JP2015213207A - 電子文書生成システム、画像形成装置およびプログラム - Google Patents

電子文書生成システム、画像形成装置およびプログラム Download PDF

Info

Publication number
JP2015213207A
JP2015213207A JP2014094431A JP2014094431A JP2015213207A JP 2015213207 A JP2015213207 A JP 2015213207A JP 2014094431 A JP2014094431 A JP 2014094431A JP 2014094431 A JP2014094431 A JP 2014094431A JP 2015213207 A JP2015213207 A JP 2015213207A
Authority
JP
Japan
Prior art keywords
data
image data
divided
divided image
external terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014094431A
Other languages
English (en)
Other versions
JP5983673B2 (ja
Inventor
卓也 川野
Takuya Kawano
卓也 川野
匡晃 坂
Masaaki Saka
匡晃 坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2014094431A priority Critical patent/JP5983673B2/ja
Priority to US14/685,843 priority patent/US9471841B2/en
Publication of JP2015213207A publication Critical patent/JP2015213207A/ja
Application granted granted Critical
Publication of JP5983673B2 publication Critical patent/JP5983673B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/146Aligning or centring of the image pick-up or image-field
    • G06V30/1475Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167Processing or editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • H04N1/3878Skew detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimiles In General (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】外部端末において効率的に電子文書を生成することが可能な技術を提供する。【解決手段】画像形成装置(MFP)10は、OCR処理の処理対象データであると判定された分割画像データ251,252,254を外部端末50へと先行して送信する。外部端末50は、分割画像データ251〜254の受信完了に先立って、当該分割画像データ251,252,254をクラウドサーバ90へと送信する。その後、外部端末50は、分割画像データ251〜254とOCRアプリケーション121の処理結果とに基づいて電子文書501を生成する。【選択図】図5

Description

本発明は、電子文書を生成する電子文書生成システムおよびそれに関連する技術に関する。
MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))などの画像形成装置において生成されたスキャン画像を画像形成装置と異なる装置(たとえば、クラウドサーバ)に送信し、当該異なる装置において、スキャン画像に基づき各種の処理(たとえば、光学文字認識処理(以下、OCR(Optical Character Recognition)処理とも称する))を実行する技術が存在する。
たとえば、特許文献1においては、複合機において文書スキャンが実行され、スキャン画像が複合機から文書管理サーバへと送信される。文書管理サーバにおいては、当該スキャン画像に対してOCR処理が実行され、スキャン画像とOCR処理結果(テキストデータ)とが作業端末に送信される。そして、当該スキャン画像とOCR処理結果とが作業端末において表示される。
特開2005−11260号公報
ところで、画像形成装置によるスキャン画像を画像形成装置とは別の外部端末に送信し、当該外部端末にてスキャン画像に基づく電子文書を生成することが考えられる。また、外部端末において電子文書が生成される場合には、当該外部端末は、スキャン画像に関するOCR処理等などの電子文書の生成処理に関連する関連処理をクラウドサーバにて実行させることも考えられる。
たとえば、外部端末は、画像形成装置からのスキャン画像の受信が完了すると、クラウドサーバへと当該スキャン画像を送信(転送)してOCR処理(関連処理)を実行させ、クラウドサーバにて実行されたOCR処理結果と当該スキャン画像とに基づき電子文書(テキストデータ付き電子文書等)を生成する。このような動作を行うことによれば、処理負荷を複数の装置にて分散することが可能である。
しかしながら、上記のような動作においては、たとえば、OCR処理を要さない(文字を含まない)領域がスキャン画像内に存在する場合であっても、外部端末は、画像形成装置から送信されてくるスキャン画像の全データの受信が完了するまで、当該スキャン画像をクラウドサーバへと送信することができない。したがって、外部端末が当該全データの受信に比較的長い時間を要する場合には、クラウドサーバにおいてOCR処理の実行が開始されるまでに比較的長い待ち時間が発生し、外部端末は電子文書を効率的に生成することができない。
また、このような問題は、クラウドサーバにおいて関連処理(OCR処理等)が実行される場合のみならず、外部端末において同様の処理が実行される場合にも生じ得る。
そこで、この発明は、外部端末において効率的に電子文書を生成することが可能な技術を提供することを課題とする。
上記課題を解決すべく、請求項1の発明は、電子文書生成システムであって、原稿のスキャン画像を生成する画像形成装置と、前記スキャン画像に関する画像データを前記画像形成装置から受信し、クラウドサーバと連携して前記スキャン画像に基づく電子文書を生成する外部端末と、を備え、前記画像形成装置は、前記スキャン画像を複数の領域に分割して複数の分割画像データを生成する分割データ生成手段と、前記複数の分割画像データのそれぞれについて、前記電子文書の生成に関連する関連処理であって前記クラウドサーバにおいて実行される関連処理の処理対象データであるか否か、を判定する判定手段と、前記複数の分割画像データを前記外部端末に送信する通信手段と、を有し、前記通信手段は、前記複数の分割画像データのうち、前記処理対象データであると判定された分割画像データを先行して前記外部端末に送信するとともに、前記処理対象データでないと判定された分割画像データを、前記処理対象データであると判定された分割画像データの送信後に前記外部端末に送信し、前記外部端末は、前記複数の分割画像データのうち、前記処理対象データであると判定され前記画像形成装置から先行して送信されてきた分割画像データである優先データを、前記複数の分割画像データの受信完了に先立って前記クラウドサーバに送信する送信手段と、前記優先データに関する前記関連処理の処理結果を前記クラウドサーバから受信する受信手段と、前記処理結果と前記複数の分割画像データとに基づいて前記電子文書を生成する文書生成手段と、を有することを特徴とする。
請求項2の発明は、請求項1の発明に係る電子文書生成システムにおいて、前記画像形成装置の前記通信手段は、前記複数の分割画像データのうち前記処理対象データでないと判定された分割画像データである非優先データの送信に先立って、前記非優先データに対応するダミーの画像データであるダミー分割データを生成すべき旨の生成指令をも前記外部端末に送信し、前記外部端末の前記文書生成手段は、前記生成指令の受信に応答して前記ダミー分割データを生成するとともに、前記ダミー分割データと前記優先データとを結合して結合データを生成し、前記ダミー分割データに係る画像は、前記結合データに係る画像において、前記スキャン画像における前記非優先データの表示位置に対応する位置に配置され、前記外部端末の前記送信手段は、前記複数の分割画像データの受信完了に先立って、前記結合データを前記クラウドサーバに送信することを特徴とする。
請求項3の発明は、請求項1の発明に係る電子文書生成システムにおいて、前記外部端末の前記文書生成手段は、前記複数の分割画像データのうち先行して前記画像形成装置から送信されてきた複数の優先データを結合して結合データを生成し、前記外部端末の前記送信手段は、前記複数の分割画像データの受信完了に先立って、前記結合データを前記クラウドサーバに送信することを特徴とする。
請求項4の発明は、請求項1ないし請求項3のいずれかの発明に係る電子文書生成システムにおいて、前記画像形成装置の前記判定手段は、前記関連処理に対応する特定属性を有する分割画像データを前記処理対象データとして判定することを特徴とする。
請求項5の発明は、請求項1ないし請求項3のいずれかの発明に係る電子文書生成システムにおいて、前記画像形成装置の前記判定手段は、前記クラウドサーバにおいて光学文字認識処理が前記関連処理として実行される場合には、文字が含まれる分割画像データを前記処理対象データとして判定し、前記外部端末の前記文書生成手段は、前記光学文字認識処理の処理結果であるテキストデータと前記複数の分割画像データとに基づいて前記電子文書を生成することを特徴とする。
請求項6の発明は、請求項1ないし請求項5のいずれかの発明に係る電子文書生成システムにおいて、前記外部端末の前記文書生成手段は、前記複数の分割画像データを統合した画像データであって前記スキャン画像に対応する画像データである統合画像データの生成処理を、前記クラウドサーバによる前記関連処理と並行して実行し、前記関連処理の処理結果と前記統合画像データとに基づいて前記電子文書を生成することを特徴とする。
請求項7の発明は、請求項1ないし請求項6のいずれかの発明に係る電子文書生成システムにおいて、前記画像形成装置の前記判定手段は、前記複数の関連処理に関する優先順序を前記複数の関連処理のそれぞれの所要処理時間の降順に設定するとともに、前記複数の関連処理のうち当該優先順序に従って順次に設定される注目関連処理に関して、前記複数の分割画像データのそれぞれが当該注目関連処理の処理対象データであるか否か、を判定し、前記画像形成装置の前記通信手段は、当該注目関連処理の処理対象データであると判定された分割画像データを、当該注目関連処理の処理対象データでないと判定された分割画像データよりも先行して前記外部端末に送信することを特徴とする。
請求項8の発明は、請求項7の発明に係る電子文書生成システムにおいて、前記外部端末の前記送信手段は、前記複数の関連処理のうち、前記画像形成装置にて設定された前記優先順序と同じ順序で順次に設定される各注目関連処理に関して、当該各注目関連処理の処理対象データであると判定された分割画像データを前記クラウドサーバに送信して、前記各注目関連処理を前記クラウドサーバに実行させることを特徴とする。
請求項9の発明は、請求項7の発明に係る電子文書生成システムにおいて、前記外部端末の前記送信手段は、前記複数の関連処理のうち、その処理の実行開始に要する画像データの前記画像形成装置からの受信が完了した特定の関連処理が存在すると判定されるときには、前記特定の関連処理の処理対象データであると判定された分割画像データを前記複数の関連処理に関する前記優先順序にかかわらず前記クラウドサーバに送信して、前記特定の関連処理を前記クラウドサーバに実行させることを特徴とする。
請求項10の発明は、電子文書を生成する外部端末と通信可能な画像形成装置であって、原稿のスキャン画像を複数の領域に分割して複数の分割画像データを生成する分割データ生成手段と、前記複数の分割画像データのそれぞれについて、前記電子文書の生成に関連して実行される関連処理の処理対象データであるか否か、を判定する判定手段と、前記複数の分割画像データを前記外部端末に送信する通信手段と、を備え、前記通信手段は、前記複数の分割画像データのうち、前記処理対象データであると判定された分割画像データを先行して前記外部端末に送信するとともに、前記処理対象データでないと判定された分割画像データを、前記処理対象データであると判定された分割画像データの送信後に前記外部端末に送信することを特徴とする。
請求項11の発明は、請求項10の発明に係る画像形成装置において、前記関連処理は、前記外部端末において実行される処理であることを特徴とする。
請求項12の発明は、請求項10の発明に係る画像形成装置において、前記関連処理は、前記外部端末と通信可能なクラウドサーバにおいて実行される処理であることを特徴とする。
請求項13の発明は、電子文書を生成する外部端末と通信可能な画像形成装置に内蔵されたコンピュータに、a)原稿のスキャン画像を複数の領域に分割して複数の分割画像データを生成するステップと、b)前記複数の分割画像データのそれぞれについて、前記電子文書の生成に関連して実行される関連処理の処理対象データであるか否か、を判定するステップと、c)前記複数の分割画像データを前記外部端末に送信するステップと、を実行させるためのプログラムであって、前記ステップc)においては、前記複数の分割画像データのうち、前記処理対象データであると判定された分割画像データが先行して前記外部端末に送信され、前記処理対象データでないと判定された分割画像データが、前記処理対象データであると判定された分割画像データの送信後に前記外部端末に送信されることを特徴とする。
請求項14の発明は、画像形成装置とクラウドサーバとの双方と通信可能な外部端末に内蔵されたコンピュータにおいて、電子文書の生成処理を実行させるためのプログラムであって、前記プログラムは、前記コンピュータに、a)原稿のスキャン画像が複数の領域に分割して生成された複数の分割画像データのうち、前記電子文書の生成処理に関連する関連処理であって前記クラウドサーバにおいて実行される関連処理の処理対象データであると判定された分割画像データを先行して前記画像形成装置から受信するステップと、b)前記複数の分割画像データのうち、前記処理対象データであると判定され前記画像形成装置から先行して送信されてきた分割画像データである優先データを、前記複数の分割画像データの受信完了に先立って前記クラウドサーバに送信するステップと、c)前記優先データに関する前記関連処理の処理結果を前記クラウドサーバから受信するステップと、d)前記処理結果と前記複数の分割画像データとに基づいて前記電子文書を生成するステップと、を実行させるためのプログラムであることを特徴とする。
請求項15の発明は、請求項14の発明に係るプログラムにおいて、前記コンピュータに、e)前記ステップb)に先立って、前記複数の分割画像データのうち前記処理対象データでないと判定された分割画像データである非優先データに対応するダミーの画像データであるダミー分割データを生成すべき旨の生成指令が前記画像形成装置から受信されると、前記ダミー分割データを生成するステップと、f)前記生成指令の受信に応答して前記ダミー分割データを生成するとともに、前記ダミー分割データと前記優先データとを結合して結合データを生成するステップと、をさらに実行させるためのプログラムであって、前記ダミー分割データに係る画像は、前記結合データに係る画像において、前記スキャン画像における前記非優先データの表示位置に対応する位置に配置され、前記ステップb)においては、前記複数の分割画像データの受信完了に先立って、前記結合データが前記クラウドサーバに送信されることを特徴とする。
請求項16の発明は、請求項14の発明に係るプログラムにおいて、前記コンピュータに、g)前記ステップb)に先立って、前記複数の分割画像データのうち先行して前記画像形成装置から送信されてきた複数の優先データを結合して結合データを生成するステップ、をさらに実行させるためのプログラムであって、前記ステップb)においては、前記複数の分割画像データの受信完了に先立って、前記結合データが前記クラウドサーバに送信されることを特徴とする。
請求項17の発明は、電子文書生成システムであって、原稿のスキャン画像を生成する画像形成装置と、前記スキャン画像に関する画像データを前記画像形成装置から受信し、前記スキャン画像に基づく電子文書を生成する外部端末と、を備え、前記画像形成装置は、前記スキャン画像を複数の領域に分割して複数の分割画像データを生成する分割データ生成手段と、前記複数の分割画像データのそれぞれについて、前記電子文書の生成に関連して前記外部端末において実行される関連処理の処理対象データであるか否か、を判定する判定手段と、前記複数の分割画像データを前記外部端末に送信する通信手段と、を有し、前記通信手段は、前記複数の分割画像データのうち、前記処理対象データであると判定された分割画像データを先行して前記外部端末に送信するとともに、前記処理対象データでないと判定された分割画像データを、前記処理対象データであると判定された分割画像データの送信後に前記外部端末に送信し、前記外部端末は、前記複数の分割画像データのうち、前記処理対象データであると判定され前記画像形成装置から先行して送信されてきた分割画像データである優先データについて、前記複数の分割画像データの受信完了に先立って前記関連処理の実行を開始するとともに、前記関連処理の処理結果と前記複数の分割画像データとに基づいて前記電子文書を生成する文書生成手段、を有することを特徴とする。
請求項18の発明は、画像形成装置と通信可能な外部端末に内蔵されたコンピュータにおいて、電子文書の生成処理を実行させるためのプログラムであって、前記プログラムは、前記コンピュータに、a)原稿のスキャン画像が複数の領域に分割して生成された複数の分割画像データのうち、前記電子文書の生成に関連して前記外部端末において実行される関連処理の処理対象データであると判定された分割画像データを先行して前記画像形成装置から受信するステップと、b)前記複数の分割画像データのうち、前記処理対象データであると判定され前記画像形成装置から先行して送信されてきた分割画像データである優先データについて、前記複数の分割画像データの受信完了に先立って前記関連処理の実行を開始するステップと、c)前記関連処理の処理結果と前記複数の分割画像データとに基づいて前記電子文書を生成するステップと、を実行させるためのプログラムであることを特徴とする。
請求項1ないし請求項18に記載の発明によれば、画像形成装置は、関連処理の処理対象データであると判定された分割画像データ(優先データ)を先行して外部端末へと送信する。したがって、外部端末は、スキャン画像に係る複数の分割画像データの受信完了を待たずに当該優先データをクラウドサーバに送信することができるので、外部端末において効率的に電子文書を生成することが可能である。
電子文書生成システム(画像形成システム)を示す図である。 画像形成装置(MFP)の機能ブロックを示す図である。 外部端末の概略構成を示す機能ブロック図である。 スキャン画像および分割画像データを示す図である。 電子文書生成システムにおける動作の概略を示す図である。 MFPの動作を示すフローチャートである。 外部端末の動作を示すフローチャートである。 分割画像データを示す図である。 第2実施形態に係るスキャン画像および分割画像データを示す図である。 第2実施形態に係る電子文書生成システムにおける動作の概略を示す図である。 第2実施形態に係るMFPの動作を示すフローチャートである。 第2実施形態に係る外部端末の動作を示すフローチャートである。 第2実施形態に係る外部端末の動作を示すフローチャートである。 第2実施形態の改変例に係る電子文書生成システムにおける動作の概略を示す図である。 第2実施形態の改変例に係る外部端末の動作を示すフローチャートである。
以下、本発明の実施形態を図面に基づいて説明する。
<1.第1実施形態>
<1−1.構成概要>
図1は、本発明に係る画像形成システム1を示す図である。図1に示すように、画像形成システム1は、画像形成装置10と外部端末50とクラウドサーバ90とを備える。
画像形成装置10と外部端末50とクラウドサーバ90とは、ネットワーク(通信ネットワーク)108を介して互いに接続される。ネットワーク108は、LAN(Local Area Network)およびインターネットなどによって構成される。また、ネットワーク108に対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。たとえば、画像形成装置10およびクラウドサーバ90はネットワーク108に対して有線接続され、外部端末50はネットワーク108に対して無線接続される。
クラウドサーバ90は、画像形成装置10とも外部端末50とも異なる外部装置(外部サーバ)であり、各種のアプリケーション(クラウドアプリケーションとも称する)によるサービスを外部端末50に対して提供するサーバである。クラウドサーバ90は、外部端末50における電子文書の生成(生成処理)に関連した関連処理を実行する。具体的には、クラウドサーバ90には、各種のアプリケーション(121等)がインストールされており、当該アプリケーションによる処理(たとえば、OCR(Optical Character Recognition)処理(光学文字認識処理)等)が関連処理としてクラウドサーバ90により実行される。
後述するように、この画像形成システム1においては、原稿のスキャン画像が画像形成装置10によって生成され、当該スキャン画像に関する画像データが画像形成装置10から外部端末50へと送信される。そして、外部端末50は、クラウドサーバ90と連携して当該スキャン画像に基づく電子文書を生成する。
なお、画像形成システム1は、電子文書を生成するシステムでもあることから、電子文書生成システムなどとも表現される。同様に、外部端末50は電子文書生成装置であるとも表現される。
<1−2.画像形成装置の構成>
図2は、画像形成装置10の機能ブロックを示す図である。ここでは、画像形成装置10として、MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))を例示する。図2においては、MFP10の機能ブロックが示されている。
MFP10は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置(複合機とも称する)である。具体的には、MFP10は、図2の機能ブロック図に示すように、画像読取部2、印刷出力部3、通信部4、格納部5、操作部6およびコントローラ9等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
画像読取部2は、MFP10の所定の位置に載置された原稿を光学的に読み取って(すなわちスキャンして)、当該原稿の画像データ(原稿画像ないしスキャン画像とも称する)を生成する処理部である。この画像読取部2は、スキャン部であるとも称される。
印刷出力部3は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。
通信部4は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部4は、ネットワーク108を介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、MFP10は、所望の相手先(たとえば、外部端末50)との間で各種のデータを授受することが可能である。通信部4は、各種データを送信する送信部4aと各種データを受信する受信部4bとを有する。たとえば、送信部4aは、分割画像データ(後述)を外部端末50に送信する。また、送信部4aは、ダミー分割データ(後述)を生成すべき旨の生成指令をも外部端末50に送信する。
格納部5は、ハードディスクドライブ(HDD)等の記憶装置で構成される。
操作部6は、MFP10に対する操作入力を受け付ける操作入力部6aと、各種情報の表示出力を行う表示部6bとを備えている。
このMFP10においては、略板状の操作パネル部6c(図1参照)が設けられている。また、操作パネル部6cは、その正面側にタッチパネル25(図1参照)を有している。タッチパネル25は、操作入力部6aの一部としても機能するとともに、表示部6bの一部としても機能する。タッチパネル25は、液晶表示パネルに圧電センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者からの各種の操作入力を受け付けることが可能である。
たとえば、タッチパネル25においては、各種の操作画面(メニュー画面等)(ボタン画像等を含む)が表示される。操作者は、タッチパネル25の操作画面内に仮想的に配置されるボタンを押下することによって、MFP10の各種動作内容を設定するとともに動作指示を付与することができる。
コントローラ9は、MFP10に内蔵され、MFP10を統括的に制御する制御装置である。コントローラ9は、CPUおよび各種の半導体メモリ(RAMおよびROM)等を備えるコンピュータシステムとして構成される。コントローラ9は、CPUにおいて、ROM(例えば、EEPROM)内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)P1を実行することによって、各種の処理部を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)P1は、USBメモリなどの可搬性の記録媒体、あるいはネットワーク108等を介してMFP10にインストールされてもよい。
具体的には、図2に示すように、コントローラ9は、プログラムP1の実行により、通信制御部11と入力制御部12と表示制御部13と判定部14と生成部15とを含む各種の処理部を実現する。
通信制御部11は、他の装置(外部端末50等)との間の通信動作を通信部4等と協働して制御する処理部である。たとえば、通信制御部11は、画像データ等を外部端末50に送信する。
入力制御部12は、操作入力部6a(タッチパネル25等)に対する操作入力動作を制御する制御部である。たとえば、入力制御部12は、タッチパネル25に表示された操作画面に対する操作入力を受け付ける動作を制御する。
表示制御部13は、表示部6b(タッチパネル25等)における表示動作を制御する処理部である。表示制御部13は、たとえば、MFP10を操作するための操作画面をタッチパネル25に表示させる。
生成部15は、原稿のスキャン画像を複数の領域に分割して複数の分割画像データを生成する動作等を制御する。なお、生成部15は、当該分割画像データを生成する処理部であることから、「分割データ生成部」とも称される。
判定部14は、複数の分割画像データのそれぞれがクラウドサーバ90による関連処理の処理対象データ(換言すれば、クラウドアプリケーションの処理対象データ)であるか否か、を判定する動作等を制御する。たとえば、クラウドサーバ90においてOCRアプリケーション121によるOCR処理が関連処理として実行される場合には、判定部14は、文字が含まれる分割画像データを当該関連処理の処理対象データ(OCRアプリケーション121の処理対象データ)として判定する。
<1−3.外部端末の構成>
次に外部端末50の構成について説明する。
外部端末50は、MFP10およびクラウドサーバ90との間でのネットワーク通信が可能な情報入出力端末装置(情報端末あるいは通信端末とも称される)である。ここでは、外部端末50として、タブレット型端末を例示する。ただし、これに限定されず、外部端末50は、スマートフォンあるいはパーソナルコンピュータなどであってもよい。また、外部端末は、携帯式の装置(携帯情報端末等)(携帯端末)であってもよく、あるいは、据置型の装置であってもよい。
図3は外部端末50の概略構成を示す機能ブロック図である。
外部端末50は、図3の機能ブロック図に示すように、通信部54、格納部55、操作部56およびコントローラ59等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
通信部54は、ネットワーク108を介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、外部端末50は、所望の相手先(MFP10およびクラウドサーバ90等)との間で各種のデータを授受することが可能である。通信部54は、各種データを送信する送信部54aと各種データを受信する受信部54bとを有する。たとえば、受信部54bは、スキャン画像に関する画像データ(分割画像データ等)をMFP10から受信し、送信部54aは、当該画像データをクラウドサーバ90に送信する。また、受信部54bは、当該画像データに関する関連処理(OCR処理等)の処理結果等をクラウドサーバ90から受信する。また、送信部54aは、当該関連処理を実行すべき旨の実行指令をもクラウドサーバ90に送信する。
格納部55は、不揮発性の半導体メモリ等の記憶装置で構成され、各種の情報を格納する。たとえば、格納部55には、MFP10から送信された画像データ(分割画像データ等)が一時的に格納される。また、格納部55には、ダミー分割データ(後述)の生成指令に基づいて生成部64によって生成されたダミー分割データも一時的に格納される。
操作部56は、外部端末50に対する操作入力を受け付ける操作入力部56aと、各種情報の表示出力を行う表示部56bとを備えている。この外部端末50においては、液晶表示パネルに各種センサ等が埋め込まれて構成されたタッチパネル75(図1参照)が設けられている。具体的には、図1に示すように、略板状の外部端末50の正面側において、その周縁部(枠部)を除くほぼ全面にわたってタッチパネル75が設けられている。このタッチパネル75は、ユーザインターフェイス部として機能する。換言すれば、タッチパネル75は、操作入力部56aの一部としても機能するとともに、表示部56bの一部としても機能する。
コントローラ59は、外部端末50に内蔵され、外部端末50を統括的に制御する制御装置である。コントローラ59は、CPUおよび各種の半導体メモリ(RAMおよびROM)等を備えるコンピュータシステムとして構成される。コントローラ59は、CPUにおいて、記憶部(半導体メモリ等)内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)P2を実行することによって、各種の処理部を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)P2は、USBメモリなどの可搬性の記録媒体、あるいはネットワーク108等を介して外部端末50にインストールされるようにしてもよい。
具体的には、コントローラ59は、プログラムP2等の実行により、通信制御部61と入力制御部62と表示制御部63と生成部64とを含む各種の処理部を実現する。
通信制御部61は、通信部54等と協働して、MFP10およびクラウドサーバ90等との通信動作を制御する処理部である。
入力制御部62は、操作入力部56a(タッチパネル75等)に対する操作入力動作を制御する制御部である。たとえば、入力制御部62は、タッチパネル75に表示された操作画面に対するタッチ操作入力を受け付ける動作を制御する。
表示制御部63は、表示部56b(タッチパネル75等)における表示動作を制御する処理部である。表示制御部63は、たとえば、MFP10との連携処理を行うための操作画面をタッチパネル75に表示する。
生成部64は、MFP10から受信されたスキャン画像に基づく電子文書を生成する処理部である。また、生成部64は、MFP10から受信された全ての分割画像データを統合して統合画像データを生成する。また、生成部64は、関連処理の処理結果(たとえば、テキストデータ)がクラウドサーバ90から受信されると、統合画像データと当該処理結果とに基づいて電子文書を生成する。なお、生成部64は、電子文書を生成する処理部であることから、「文書生成部」とも称される。
<1−4.動作>
図4は、スキャン画像201および分割画像データ251〜254を示す図である。図5は、電子文書生成システム1における動作の概略を示す図である。また、図6は、MFP10の動作を示すフローチャートであり、図7は、外部端末50の動作を示すフローチャートである。
なお、ここでは、OCRアプリケーション121によるOCR処理が、電子文書の生成処理に関連する関連処理として、クラウドサーバ90において実行される態様を例示する。
<MFPから外部端末へのデータ送信>
まず、MFP10から外部端末50へのデータ送信について図5および図6を参照しながら説明する。詳細には、図5の左部に示す、MFP10から外部端末50への各種データの送信動作等について説明する。
ステップS11(図6)において、MFP10は、スキャン動作を開始し、MFP10の原稿台(たとえば、自動給紙装置(ADF:Auto Document Feeder )あるいは原稿載置用ガラス面等)に載置された原稿のスキャン画像201(図4の上部)を生成する。
詳細には、ユーザは、スキャン対象の原稿をMFP10の原稿台(ADF等)に載置し、外部端末50の操作画面(不図示)において電子文書501の生成指示を外部端末50に付与する。外部端末50は、当該生成指示を受け付けると、当該生成指示に基づくスキャン画像生成指示をMFP10に転送する。そして、MFP10は、当該スキャン画像生成指示を外部端末50から受信すると、スキャン動作を開始する(ステップS11)。
なお、電子文書501の生成指示の付与に際して、ユーザは、スキャン処理により最終的に生成される電子文書501のファイル形式を当該操作画面において指定する。ここでは、当該電子文書501のファイル形式として、サーチャブルPDF(透明テキスト付きPDF)が指定されるものとする。このサーチャブルPDF(透明テキスト付きPDF)は、文字画像を有する画像レイヤと、当該文字画像に対する文字認識処理(OCR処理)結果(テキストデータ)が文字位置情報(後述)に基づいて(非表示状態で)埋め込まれたテキストレイヤとを有するPDF形式の電子文書である。
ステップS12においては、MFP10は、スキャン画像201に対して画像処理(領域判別処理(属性判定処理))を施すことによって、スキャン画像201内の各画素に属性データ(属性を示すデータ)を付与する。具体的には、MFP10は、原稿のスキャンに際して、スキャン画像201内の画素毎に属性(文字属性、背景(網点)属性等)をそれぞれ判別し、判別結果に基づいて各画素に属性データを付与する。たとえば、図4に示すように、文字列(「ABC」、「DEF」、「GHIJ」)内の各画素は文字属性を有し、文字列内の各画素に文字属性データが付与される。また、三日月形状の図形内の各画素は図形属性を有し、当該図形内の各画素に図形属性データが付与される。さらに、スキャン画像201内の文字列と図形とを除く領域の各画素に背景属性データが付与される。
ステップS13において、MFP10(生成部15)は、当該スキャン画像201を複数の領域に分割(区分)して複数の分割画像データを生成する。ここでは、図4の下部に示すように、スキャン画像201が、所定数の水平ラインで構成される帯状領域(バンド領域とも称される)を単位として4つの領域に分割されて、分割画像データ251〜254が生成される。図4に示すように、分割画像データ251には文字列「ABC」および三日月形状の図形の一部が含まれ、分割画像データ252には文字列「DEF」および当該図形の一部が含まれる。また、分割画像データ253には当該図形の一部が含まれ、分割画像データ254には文字列「GHIJ」が含まれる。すなわち、分割画像データ251,252,254には文字(文字属性画素)が含まれ、分割画像データ251,252,253には図形(図形属性画素)が含まれる。換言すれば、分割画像データ251,252,254は文字属性をそれぞれ有し、分割画像データ251,252,253は図形属性をそれぞれ有する。
ステップS14からステップS19においては、分割画像データ251〜254がOCR処理(関連処理)の処理対象データ(OCRアプリケーション121の処理対象データ)であるか否か、が判定され、判定結果に応じた処理がそれぞれ実行される。
ステップS14においては、変数i(iは自然数;i=1,...,M)がまず値「1」に設定される。なお、変数iは値「1」〜値Mの自然数であり、値Mは分割画像データの分割数(ここではM=4)である。また、ステップS15〜S17における1番目〜4番目の分割画像データは、分割画像データ251〜254にそれぞれ対応する。
ステップS15においては、i番目の分割画像データがOCRアプリケーション121の処理対象データであるか否か、が判定部14によって判定される。i番目の分割画像データがアプリケーション121の処理対象データであると判定される場合には、当該i番目の分割画像データがMFP10から外部端末50に送信される(ステップS16)。一方、i番目の分割画像データがアプリケーション121の処理対象データでないと判定される場合には、当該i番目の分割画像データに対応するダミー分割データ(後述)の生成指令がMFP10から外部端末50に送信される(ステップS17)。
ここでは、文字属性(OCRアプリケーション121に対応する特定属性)を有する分割画像データがアプリケーションの処理対象データである旨が判定部14によって判定される。すなわち、文字を含む分割画像データが当該処理対象データとして判定される。
なお、「ダミー分割データ」は、複数の分割画像データのうち処理対象データでないと判定された分割画像データに対応するダミーの画像データであり、当該分割画像データに代えて外部端末50からクラウドサーバ90へと送信される画像データである。
そして、ステップS18においては、変数iが値Mに到達したか否かが判定される。変数iが値Mに到達した旨が判定されると、処理はステップS20へと進む。一方、変数iが値Mに到達していない旨が判定されると、変数iが1つインクリメントされ(ステップS19)、処理は再びステップS15へと戻る。すなわち、ステップS15〜S17の処理は、変数iが値M(ここではM=4)に到達するまで繰り返し行われる。より詳細には、分割画像データ251〜254のそれぞれに対して、ステップS15の処理が順次に行われ、その処理結果に応じてステップS16あるいはステップS17の処理が行われる。
まず、1番目の分割画像データ(文字属性を有する分割画像データ(図4))251はOCRアプリケーション121の処理対象データである(OCR処理の処理対象データである)旨が判定部14によって判定され(ステップS15)、当該分割画像データ251がMFP10(送信部4a)により外部端末50へと送信される(ステップS16)(図5も参照)。すなわち、OCRアプリケーション121の処理対象データであると判定された分割画像データ(251)は、直ちにMFP10から外部端末50へと送信される。
つぎに、2番目の分割画像データ(文字属性を有する分割画像データ(図4))252(図4)もアプリケーション121の処理対象データであると判定され(ステップS15)、分割画像データ252がMFP10から外部端末50へと送信される(ステップS16)(図5も参照)。
3番目の分割画像データ(文字属性を有しない分割画像データ(図4))253はアプリケーション121の処理対象データでないと判定され(ステップS15)、分割画像データ253に対応するダミー分割データ353を生成すべき旨の生成指令がMFP10から外部端末50へと送信される(ステップS17)(図5も参照)。すなわち、アプリケーション121の処理対象データでないと判定された分割画像データ253自体は、この時点では未だ外部端末50に送信されず、当該分割画像データ253に代えてダミー分割データ353の生成指令が外部端末50へと送信される。アプリケーションの処理対象データでないと判定された分割画像データ(253)は、直ちにはMFP10から外部端末50へと送信されず、当該分割画像データ253の送信に先立って、ダミー分割データ353の生成指令が送信される。
4番目の分割画像データ(文字属性を有する分割画像データ(図4))254はOCRアプリケーション121の処理対象データであると判定され(ステップS15)、分割画像データ254はMFP10から外部端末50へと送信される(ステップS16)(図5も参照)。この分割画像データ254は、OCRアプリケーション121の処理対象データではないと判定された分割画像データ253よりも先にクラウドサーバ90に送信される。
そして、変数iが値「4」に到達した旨がステップS18において判定され、処理はステップS20へと進む。
ステップS20においては、処理対象データでないと判定された分割画像データ(ここでは分割画像データ253)がMFP10から外部端末50へと送信される(図5も参照)。
このように、MFP10は、全ての分割画像データ251〜254のうち、アプリケーション121の処理対象データであると判定された分割画像データ251,252,254を先行して(優先的に)外部端末50に送信する。そして、MFP10は、アプリケーション121の処理対象データでないと判定された分割画像データ253を、当該分割画像データ251,252,254の送信後に外部端末50に送信する。
なお、アプリケーション121の処理対象データであると判定された分割画像データ251,252,254は、先行して外部端末50へと送信されることから「優先分割データ(優先データ)」とも称される。また、アプリケーションの処理対象データでないと判定された分割画像データ253は、優先分割データの送信後に外部端末50へと送信されることから「非優先分割データ(非優先データ)」とも称される。
以上のように、MFP10は、分割画像データ251、分割画像データ252、ダミー分割データ353の生成指令、分割画像データ254、そして分割画像データ253を、この順序で外部端末50へと送信する(図5参照)。なお、外部端末50においては、当該順序(送信順序)に従って各種データが受信される。
<電子文書の生成処理等>
つぎに、外部端末50における電子文書501の生成処理等について説明する。詳細には、外部端末50およびクラウドサーバ90における動作について、図5の中央部および右部ならびに図7のフローチャート等を参照しながら説明する。
まず、図7のステップS21,S23においては、外部端末50は、MFP10から受信されたデータが分割画像データであるかダミー分割データの生成指令であるか、を判定する。具体的には、外部端末50は、受信されたデータを解析し、当該データが分割画像データであるか否かを判定する。当該データが分割画像データでない旨が判定されると、外部端末50は、当該データはダミー分割データの生成指令である旨を判定する。
受信されたデータが分割画像データである旨が判定される(ステップS21)場合には、外部端末50は、当該分割画像データを格納部55に一時的に格納する(ステップS22)。一方、受信されたデータがダミー分割データの生成指令である旨が判定される(ステップS23)場合には、外部端末50は、当該ダミー分割データを生成して格納部55に一時的に格納する(ステップS24)。
ステップS25においては、外部端末50は、OCRアプリケーション121によるOCR処理の実行開始に要する全ての画像データ(「所要画像データ」とも称する)が格納済みであるか否かを判定する。ここでは、1ページ分の画像データ(全て(ここでは4個)の分割領域に対応する画像データ)が格納済みであると判定されると、OCR処理の所要画像データが格納済みである旨が判定される。具体的には、文字(文字属性)を有する分割画像データがMFP10から受信されて格納され且つ文字属性を有しない分割画像データに対応するダミー分割データが生成されて格納されると、OCR処理の所要画像データが格納済みである旨が判定される。
所要画像データが格納済みであると判定される場合には、処理はステップS26へと進み、所要画像データが格納済みではないと判定される場合には、処理は再びステップS21に戻る。すなわち、OCR処理の実行開始に要する全ての画像データが格納部55に格納されるまで上記の処理が繰り返し行われる。
上述したように、外部端末50は、MFP10におけるデータ送信順序に従って各種データをMFP10から受信する(図5参照)。具体的には、分割画像データ251、分割画像データ252、ダミー分割データ353の生成指令、分割画像データ254、そして分割画像データ253をこの順序でMFP10から受信する(図5参照)。この場合、具体的には次のような動作が行われる。
まず、分割画像データ(優先分割データ)251,252がそれぞれ受信される(ステップS21)と、当該分割画像データ251,252が格納部55に一時的にそれぞれ格納される(ステップS22)。そして、OCR処理の所要画像データは格納済みでない旨がステップS25においてそれぞれ判定され、処理は再びステップS21に戻る。
ダミー分割データ353の生成指令が受信される(ステップS23)と、当該ダミー分割データ353が生成部64によって生成されて格納部55に一時的に格納される(ステップS24)。そして、OCR処理の所要画像データは格納済みでない旨がステップS25において判定され、処理は再びステップS21に戻る。
なお、ダミー分割データ353の生成に際して、生成部64は、分割画像データ253のデータ容量より小さいデータ容量のダミー分割データ353を生成する。たとえば、生成部64は、単一色(たとえば白色)の画素のみで構成される画像の画像データ(所定の形式で圧縮されたデータ)をダミー分割データ353として生成する。ここでは、外部端末50およびクラウドサーバ90は、それぞれ、所定の圧縮形式(たとえばJPEG形式)によるデータ圧縮機能およびデータ解凍機能を有しており、当該所定の圧縮形式によるデータの授受を行うことが可能である。ダミー分割データ353は、所定の圧縮形式のデータとして生成されることにより、比較的小さな容量を有する。特に、ダミー分割データ353が単一色の画素のみで構成されることによれば、圧縮効率が向上し、当該ダミー分割データ353のデータ容量はさらに低容量化される。
さらに、分割画像データ(優先分割データ)254が受信される(ステップS21)と、当該分割画像データ254が格納部55に一時的に格納される(ステップS22)。
この時点(分割画像データ254の格納完了時点)においては、格納部55には、分割画像データ251,252,254およびダミー分割データ353が格納されている。換言すれば、OCRアプリケーション121の処理対象データである(文字属性を有する)分割画像データ251,252,254が全て受信されて格納され、さらにOCRアプリケーション121の処理対象データでない(文字属性を有しない)分割画像データ253に対応するダミー分割データ353が生成されて格納されている。これにより、OCRアプリケーション121(詳細にはアプリケーション121によるOCR処理)の所要画像データは格納済みである旨がステップS25において判定される。
ステップS26においては、結合データ(301)(次述)が生成部64によって生成され、アプリケーション(121)による処理の実行指令と当該結合データ(301)とが外部端末50(送信部54a)によってクラウドサーバ90に送信される(図5も参照)。このように、外部端末50は、全ての分割画像データ251〜254の受信完了に先立って(特に非優先分割データ253の受信完了に先立って)、OCRアプリケーション121による処理の実行指令(OCR処理の実行指令)と結合データ301とをクラウドサーバ90に送信する。
ここにおいて、結合データ(301)は、MFP10から先行して送信されてきた優先分割データ(251,252,254)とダミー分割データ(353)とが結合された画像データである。また、ここでは、結合データ301は、スキャン画像201に対応する1ページ分の画像データである。なお、図5に示すように、ダミー分割データ353(非優先分割データ253に対応するダミーの画像データ)に係る画像(ダミー画像)は、当該結合データ301に係る画像において、スキャン画像201における非優先分割データ253の表示位置(詳細には、分割画像データ252の表示領域と分割画像データ254の表示領域との間の領域)に対応する位置に配置される。また、分割画像データ251,252,254に係る画像も、当該結合データ301に係る画像において、スキャン画像201における各分割画像データ251,252,254の各表示位置に対応する位置にそれぞれ配置される。特に、結合データ301に係る画像においてダミー分割データ353に係る画像(ダミー画像)が非優先分割データ253の表示位置に対応する位置に配置されることによって、分割画像データ(非優先分割データ)253の次の分割画像データ(優先分割データ)254に係る画像も本来の位置に配置される。この結果、優先分割データ251,252,254に係る各画像がそれぞれの適切な表示領域に配置される。
クラウドサーバ90においては、OCRアプリケーション121による処理の実行指令と結合データ301とが外部端末50から受信されると、OCRアプリケーション121によって結合データ301に対するOCR処理が実行される(図5も参照)。そして、OCR処理が完了すると、クラウドサーバ90は処理結果(テキストデータ)を外部端末50へと送信する(図5も参照)。なお、クラウドサーバ90は、当該テキストデータに加えて、テキストデータの各行の行頭の位置情報(文字位置情報(座標情報等))をも外部端末50へと送信する。これにより、テキストデータが、当該テキストデータに対応する文字画像の位置に適切に埋め込まれ得る。
ステップS27においては、全ての分割画像データがMFP10から受信されたか否かが判定される。ここでは、全ての分割画像データ251〜254のうち唯一未だ受信されていなかった分割画像データ(非優先分割データ)253が受信される(図5も参照)と、処理はステップS28へと進む。なお、非優先分割データ253をMFP10から受信する受信処理は、クラウドサーバ90によるOCR処理と並行して実行され得る。
ステップS28において、生成部64は、MFP10から受信された分割画像データ(251〜254)を統合して、スキャン画像201に対応する統合画像データ(401)を生成する(図5も参照)。なお、生成部64は、統合画像データ(401)の生成処理を、クラウドサーバ90において実行中のOCRアプリケーション121の処理と並行して実行する。
そして、OCRアプリケーション121の処理結果(テキストデータおよび文字位置情報(座標情報等))がクラウドサーバ90から受信される(ステップS29)と、生成部64は、当該処理結果(テキストデータ等)と統合画像データ401とに基づいて電子文書(テキストデータ付き電子文書)501を生成する(ステップS30)(図5も参照)。具体的には、テキストデータが文字位置情報に基づいて(非表示状態で)埋め込まれたテキストレイヤが生成部64によって生成され、当該テキストレイヤと統合画像データ401を有する画像レイヤとに基づいて電子文書(ここではサーチャブルPDF)501が生成される。
以上のような動作によれば、複数の分割画像データ251〜254のうち、OCRアプリケーション121の処理対象データ(OCR処理の処理対象データ)であると判定された分割画像データ(優先分割データ)251,252,254が(非優先分割データ253に対して)先行してMFP10から外部端末50へと送信される。そして、外部端末50は、先行受信した優先分割データ251,252,254と、OCRアプリケーション121による処理の実行指令(OCR処理の実行指令)とをクラウドサーバ90に送信する。このような動作によれば、スキャン画像201に係る全ての分割画像データ251〜254(特に分割画像データ253)の受信完了を待たずにクラウドサーバ90による関連処理が開始され得る。ひいては、当該関連処理の処理結果を用いる外部端末50は、当該関連処理の処理結果をクラウドサーバ90から比較的早期に受信し、効率的に電子文書501を生成することが可能である。
また、上述の動作においては、OCRアプリケーション121の処理対象データであると判定された分割画像データ251,252,254が結合されて結合データ301が生成される。これにより、OCR処理がより確実に実行され得る。
たとえば、図8に示すように、文字列「ABC」が分割画像データ251と分割画像データ252とに跨がっている場合には、仮に分割画像データ251のみがクラウドサーバ90に送信されると、OCRアプリケーション121は当該文字列「ABC」(分断された文字列「ABC」)を認識することができない。
これに対して、上述のような結合データ301(図5等参照)が生成される場合には、当該分割画像データ251と分割画像データ252とが結合されるため、OCRアプリケーション121は文字列「ABC」を正常に認識することが可能である。
また、分割画像データ253(非優先分割データ)は外部端末50からクラウドサーバ90へと送信されず、当該分割画像データ253よりもデータ容量が比較的小さいダミー分割データ353が当該分割画像データ253に代えてクラウドサーバ90に送信される。したがって、全ての分割画像データ251〜254が外部端末50からクラウドサーバ90に送信される場合と比べて、外部端末50からクラウドサーバ90への送信データのデータ容量を低減することが可能である。その結果、外部端末50とクラウドサーバ90との間の通信負荷を低減することが可能である。
また、分割画像データ(非優先分割データ)253に対応するダミー分割データ353が生成され、分割画像データ253の表示位置に対応する位置に当該ダミー分割データ353に係る画像が配置されて結合データ301が生成される。そのため、結合データ301に係る画像において、分割画像データ251,252,254(特に分割画像データ254)に係る画像はそれぞれ適切な表示位置に配置される。したがって、スキャン画像201内の文字列と結合データ301内の文字列との間のズレを抑制することができ、OCR処理の処理結果(テキストデータ)が電子文書501内の文字列に対して適切な位置に付加され得る。特に、分割画像データ254のOCR処理結果(テキストデータ)が、(分割画像データ253に係る画像の表示位置ではなく)本来の位置に適切に付加され得る。
なお、ここでは、複数の分割画像データ251〜254のうち、複数の優先分割データが存在する態様を例示したが、これに限定されず、複数の分割画像データ251〜254のうち、単一の優先分割データが存在する場合にも、上記思想を適用することが可能である。
たとえば、分割画像データ251〜254のうち、分割画像データ254(図4等参照)のみがアプリケーション121の処理対象データであると判定される場合には、MFP10は、当該分割画像データ254を優先分割データとして、先行して(優先的に)外部端末50へと送信する。また、MFP10は、当該分割画像データ251〜253の送信に先立って、分割画像データ251〜253にそれぞれ対応するダミー分割データ351〜353の生成指令を外部端末50へと送信する。そして、MFP10は、アプリケーション121の処理対象データでないと判定された分割画像データ251〜253を、当該分割画像データ254の送信後に外部端末50へと送信する。
また、外部端末50は、上記生成指令に応答してダミー分割データ351〜353を生成し、当該ダミー分割データ351〜353と分割画像データ254とを結合して結合データを生成する。そして、外部端末50は、全ての分割画像データ251〜254の受信完了に先立って、アプリケーション121の実行指令と当該結合データとをクラウドサーバ90に送信する。
このようにして上記思想が実現されるようにしてもよい。
<2.第2実施形態>
上記第1実施形態では、単一のアプリケーション(OCRアプリケーション121)による単一の関連処理(OCR処理)がクラウドサーバ90において実行される態様を例示した。
第2実施形態では、複数のアプリケーションによる複数の関連処理がクラウドサーバ90において実行される態様を例示する。
なお、第2実施形態は、第1実施形態の変形例である。以下では、第1実施形態との相違点を中心に説明する。
図9は、スキャン画像202および分割画像データ261〜264を示す図である。図10は、第2実施形態に係る電子文書生成システム1における動作の概略を示す図である。また、図11は、第2実施形態に係るMFP10の動作を示すフローチャートであり、図12および図13は、第2実施形態に係る外部端末50の動作を示すフローチャートである。
第2実施形態では、複数の関連処理を実行するアプリケーションとして、OCRアプリケーション121、表(ひょう)認識アプリケーション122および二次元バーコード解析アプリケーション123がクラウドサーバ90にインストールされている態様を例示する。すなわち、3つのアプリケーション121〜123による3つの関連処理がクラウドサーバ90において実行される。
なお、表認識アプリケーション122は、表認識処理(画像認識処理)によって、画像データ内に含まれる表構造(表の罫線等)を認識し、当該表構造の情報を有する表データ(たとえば表計算ソフトウエアのファイル形式のデータ)を処理結果として作成する。クラウドサーバ90は当該表データと当該表データの基準点の座標情報(表位置情報(座標情報等))とを外部端末50に送信し、外部端末50において、表画像を有する画像レイヤに当該表データが当該表位置情報に基づき付加されて電子文書が生成される。
また、二次元バーコード解析アプリケーション123は、二次元バーコード解析処理によって、画像データ内に含まれる二次元バーコード属性に基づいて二次元バーコード(QRコード(登録商標)等)に埋め込まれた情報(リンク先URL等)を解析する。そして、二次元バーコード情報(リンク先URL等)が処理結果として出力され、外部端末50において、二次元バーコードに当該処理結果(リンク先URL等)が付加される。その後、たとえば、リンク先URLが二次元バーコードに付加された電子文書において当該二次元バーコードがユーザにより押下(タッチ)されると、リンク先URLに基づく画面が外部端末50の操作画面に表示される。
<MFPから外部端末へのデータ送信>
まず、MFP10から外部端末50へのデータ送信について図10および図11を参照しながら説明する。
原稿のスキャン画像202(図9の上部)がMFP10において生成される(ステップS11)と、属性データがスキャン画像202内の各画素に付与される(ステップS12)。第2実施形態では、図9に示すように、スキャン画像202には文字列(「ABC」、「DEF」、「GHIJ」)、表および二次元バーコードが含まれる。当該文字列(「ABC」、「DEF」、「GHIJ」)(詳細には文字列の各画素)に文字属性データが付与され、当該表(詳細には「表」の各画素)に表属性データが付与され、さらに当該二次元バーコード(詳細には二次元バーコードの各画素)に二次元バーコード属性データが付与される。
そして、ステップS13において、分割画像データ(261〜264)が生成される(図9の下部参照)。ここでは、図9に示すように、分割画像データ261には文字列「ABC」と表の一部とが含まれ、分割画像データ262には二次元バーコードと表の一部とが含まれる。また、分割画像データ263には文字列「DEF」が含まれ、分割画像データ264には文字列「GHIJ」が含まれる。すなわち、分割画像データ261,263,264は文字属性をそれぞれ有し、分割画像データ261,262は表属性をそれぞれ有する。さらに、分割画像データ262は二次元バーコード属性を有する。
次のステップS41においては、各アプリケーションの所要処理時間に基づいて、各アプリケーションの優先順序(優先順位)が決定される。具体的には、複数のアプリケーションについてスキャン画像に対するそれぞれの所要処理時間(基準処理時間)が判定され、当該所要処理時間の降順に従って複数のアプリケーションの優先順序が決定される。換言すれば、互いに異なる複数のアプリケーションによる複数の(種類の)関連処理に関する優先順序が、各関連処理の所要処理時間に基づいて設定される。当該優先順序は、複数の関連処理のそれぞれの所要処理時間の降順(大きい順)に設定される。そして、複数の関連処理の中から注目関連処理が設定される。注目関連処理は、当該優先順序に従って順次に設定される。
ここでは、3つのアプリケーション(3つの関連処理)の優先順序が、その所要処理時間の降順(長い順)に従って設定される。具体的には、最も長い所要処理時間を有するOCRアプリケーション121が、第1の優先順位を有するアプリケーション(第1順位のアプリケーション)として決定される。また、OCRアプリケーション121の次に長い所要処理時間を有する表認識アプリケーション122が、第2の優先順位を有するアプリケーション(第2順位のアプリケーション)として決定される。さらに、最も短い所要処理時間を有する二次元バーコード解析アプリケーション123が、第3の優先順位を有するアプリケーション(第3順位のアプリケーション)として決定される。換言すれば、OCR処理、表認識処理および二次元バーコード解析処理は、この順で、第1、第2、および第3の優先順位を有する処理としてそれぞれ決定される。なお、各アプリケーション(各関連処理)の「所要処理時間(平均時間あるいは基準時間)」(詳細には、当該所要処理時間を示す情報)は、予め画像形成装置10の格納部5に予め格納されているものとする。当該「所要処理時間」に基づいて上述の優先順位が設定される。
次のステップS42以降においては、複数のアプリケーションに関する処理が当該複数のアプリケーションの優先順位に従って実行される。
ステップS42においては、変数j(jは自然数;j=1,...,N)が先ず値「1」に設定される。変数jは値「1」〜Nの自然数であり、値Nは、クラウドサーバ90にインストールされているアプリケーションの数(ここではN=3)である。次述するように、変数iに関する繰り返しの処理(複数の分割画像データDiのそれぞれが第jの優先順位を有するアプリケーションAjの処理対象データであるか否かの判定処理等)が、変数jが値「3」に到達するまで繰り返し実行される。換言すれば、第1〜第3順位のアプリケーション(3つのアプリケーションのうち、所要処理時間の降順に順次に設定されたアプリケーション)に関して、当該変数iに関する繰り返しの処理がそれぞれ行われる。
変数iに関する繰り返しの処理について説明する。変数iに関する繰り返しの処理は、複数の分割画像データDiのそれぞれが第j順位のアプリケーションAjの処理対象データであるか否かの判定処理等を含む処理である。変数iに関する繰り返しの処理は、アプリケーションごとの所要データをクラウドサーバ90に送信する処理であるとも表現される。
ステップS14においては、変数i(iは自然数;i=1,...,M)が先ず値「1」に設定される。なお、変数iは値「1」〜Mの自然数であり、値Mは分割画像データの分割数(ここではM=4)である。また、ステップS43〜S45における1番目〜4番目の分割画像データDiは、分割画像データ261〜264にそれぞれ対応する。
ステップS43においては、i番目の分割画像データDiが第j順位のアプリケーションAjの処理対象データ(換言すれば、第jの優先順位を有する関連処理の処理対象データ)であるか否か、が判定部14によって判定される。
i番目の分割画像データDiが第j順位のアプリケーションAjの処理対象データである旨が判定されると、i番目の分割画像データDiが外部端末50に送信済みであるか否かがステップS44において判定される。i番目の分割画像データDiが送信済みである旨が判定される場合には、処理はステップS18へと進む。一方、i番目の分割画像データDiが未送信である旨が判定される場合には、当該i番目の分割画像データDiがMFP10から外部端末50へと送信される(ステップS45)。
また、i番目の分割画像データDiが第j順位のアプリケーションAjの処理対象データでない旨がステップS43にて判定されると、第j順位のアプリケーションAjがページ単位で処理されるアプリケーション(ページ単位処理アプリケーションとも称する)であるか否かが、ステップS46において判定される。ステップS46の判定処理は、第j順位の関連処理がページ単位関連処理(ページ単位で処理される関連処理)であるか否かを判定する処理であるとも表現される。なお、ここでは、OCRアプリケーション121および表認識アプリケーション122は、ページ単位で処理されるアプリケーションであるものとする。
第j順位のアプリケーションAjがページ単位処理アプリケーションである旨が判定される場合には、当該i番目の分割画像データDi(処理対象データでないと判定された分割画像データ)に対応するダミー分割データの生成指令がMFP10から外部端末50へと送信される(ステップS17)。一方、第j順位のアプリケーションAjがページ単位処理アプリケーションでない旨が判定される場合には、処理はステップS18へと進む。
このような変数iに関する処理が、当該変数iが値M(ここではM=4)に到達するまで繰り返し行われる。詳細には、変数iが値Mに到達していない旨がステップS18にて判定されると、変数iが1つインクリメントされ(ステップS19)、処理は再びステップS43へと戻る。そして、変数iが値M(ここではM=4)に到達するまで当該処理が繰り返し行われ、変数iが値Mに到達した旨がステップS18にて判定されると、処理はステップS47へと進む。
ステップS47においては、変数jが値N(ここではN=3)に到達したか否かが判定される。変数jが値Nに到達した旨が判定される場合には、処理はステップS49へと進む。一方、変数jが値Nに到達していない旨が判定される場合には、変数jが1つインクリメントされ(ステップS48)、処理は再びステップS14へと戻る。
すなわち、変数iが値「1」〜「4」まで繰り返される上記の処理が、変数jが値「1」〜「3」まで順次に且つ繰り返し行われる。換言すれば、1番目〜4番目の分割画像データ261〜264に関する処理が、第1〜第3順位のアプリケーションに対して順次に行われる。この場合、具体的には次のような動作が行われる。
まず、変数jが値「1」に設定される場合の処理について説明する。具体的には、第1順位のアプリケーション(OCRアプリケーション)121について以下の処理が行われる。なお、ここでは、文字属性を有する分割画像データがOCRアプリケーション121の処理対象データ(OCR処理の処理対象データ)であると判定される。
1番目の分割画像データ(文字属性を有する分割画像データ(図9))261はOCRアプリケーション121の処理対象データであると判定され(ステップS43)、処理はステップS44へと進む。
この時点において分割画像データ(OCRアプリケーション121における優先分割データ)261は未だ外部端末50へと送信されていない。そのため、分割画像データ261は外部端末50に送信済みでない旨が判定され(ステップS44)、分割画像データ261がMFP10から外部端末50へと送信される(ステップS45)(図10も参照)。
2番目の分割画像データ(文字属性を有しない分割画像データ(図9))262はOCRアプリケーション121の処理対象データでないと判定され(ステップS43)、処理はステップS46へと進む。
ここではOCRアプリケーション121はページ単位処理アプリケーションであることに応じて、第1順位のアプリケーション121はページ単位処理アプリケーションである旨がステップS46において判定され、処理はステップS17へと進む。
そして、ステップS17において、分割画像データ(第1の優先順位を有するアプリケーション121における非優先分割データ)262に対応するダミー分割データ362の生成指令がMFP10から外部端末50に送信される(図10も参照)。すなわち、分割画像データ262は、この時点では外部端末50に未だ送信されず、当該分割画像データ262に代えてダミー分割データ362の生成指令が外部端末50へと送信される。
3番目、4番目の分割画像データ(文字属性を有する分割画像データ(図9))263,264はOCRアプリケーション121の処理対象データである旨がそれぞれ判定され(ステップS43)、処理はステップS44へと進む。
分割画像データ(第1の優先順位を有するアプリケーション121における優先分割データ)263,264は未だ外部端末50へと送信されていない。そのため、ステップS44においては、分割画像データ263,264は外部端末50に送信済みでない旨がそれぞれ判定され、ステップS45において当該分割画像データ263,264がMFP10から外部端末50へとそれぞれ送信される(図10も参照)。
そして、変数iが値「4」に到達した旨がステップS18において判定され、処理はステップS47,S48を経て再びステップS14に戻る。
第1優先のアプリケーション121に対する上記処理においては、分割画像データ261、ダミー分割データ362の生成指令、分割画像データ263、そして分割画像データ264がMFP10から外部端末50に送信される(図10参照)。すなわち、全ての分割画像データ261〜264のうち、OCRアプリケーション121の処理対象データであると判定された分割画像データ261,263,264が先行してMFP10から外部端末50へと送信される。さらに、処理対象データでないと判定された分割画像データ262に対応するダミー分割データ362が、当該分割画像データ262の送信に先立ってMFP10から外部端末50へと送信される。
つぎに、変数jが値「2」に設定される場合の処理について説明する。具体的には、第2の優先順位を有するアプリケーション(表認識アプリケーション)122について以下の処理が行われる。なお、ここでは、表属性を有する分割画像データが表認識アプリケーション122の処理対象データであると判定される。
1番目、2番目の分割画像データ(表属性を有する分割画像データ(図9))261,262は表認識アプリケーション122の処理対象データであるとそれぞれ判定され(ステップS43)、処理はステップS44へと進む。
分割画像データ(第2の優先順位を有するアプリケーション122における優先分割データ)261は既に外部端末50に送信済みであるため、処理はステップS18へと進む。すなわち、MFP10は、送信済みの分割画像データ261を再度外部端末50へと送信しない。
分割画像データ(第2の優先順位を有するアプリケーション122における優先分割データ)262は未だ外部端末50へと送信されていない。そのため、分割画像データ262は外部端末50に送信済みでない旨が判定され(ステップS44)、分割画像データ262がMFP10から外部端末50へと送信される(ステップS45)(図10も参照)。
3番目、4番目の分割画像データ(表属性を有しない分割画像データ(図9))263,264は表認識アプリケーション122の処理対象対象データでないとそれぞれ判定され(ステップS43)、処理はステップS46へと進む。
ここでは表認識アプリケーション122はページ単位処理アプリケーションであることに応じて、第2順位のアプリケーション122はページ単位処理アプリケーションである旨がステップS46においてそれぞれ判定され、処理はステップS17へと進む。
ステップS17においては、分割画像データ263,264にそれぞれ対応するダミー分割データ363,364の生成指令がMFP10から外部端末50にそれぞれ送信される(図10も参照)。
そして、変数iが値「4」に到達した旨がステップS18において判定され、処理はステップS47,S48を経て再びステップS14に戻る。
第2順位のアプリケーション122に対する上記処理においては、分割画像データ262、ダミー分割データ363、そしてダミー分割データ364がMFP10から外部端末50へと送信される(図10参照)。
さらに、変数jが値「3」に設定される場合の処理について説明する。具体的には、第3の優先順位を有するアプリケーション(二次元バーコード解析アプリケーション)123について以下の処理が行われる。なお、ここでは、二次元バーコード属性を有する分割画像データが二次元バーコード解析アプリケーション123の処理対象データであると判定される。
1番目、3番目および4番目の分割画像データ(二次元バーコード属性を有しない分割画像データ(図9))261,263および264は二次元バーコード解析アプリケーション123の処理対象データでないとそれぞれ判定され(ステップS43)、処理はステップS46へと進む。
ここでは二次元バーコード解析アプリケーション123はページ単位処理アプリケーションでないことに応じて、第3順位のアプリケーション123はページ単位処理アプリケーションでない旨がそれぞれ判定され(ステップS46)、処理はステップS18へと進む。
一方、2番目の分割画像データ(二次元バーコード属性を有する分割画像データ(図9))262は二次元バーコード解析アプリケーション123の処理対象データであると判定され(ステップS43)、処理はステップS44へと進む。
分割画像データ(第3の優先順位を有するアプリケーション123における優先分割データ)262は既に外部端末50に送信済みであるため、処理はステップS18へと進む。すなわち、MFP10は、送信済みの分割画像データ262を再度外部端末50へと送信しない。
そして、変数iが値「4」に到達した旨がステップS18において判定され、さらに変数jが値「3」に到達した旨がステップS47において判定され、処理はステップS49へと進む。
ステップS49においては、未送信の分割画像データがMFP10から外部端末50へと送信される。ここでは、全ての分割画像データ261〜264が外部端末50へと既に送信されている(未送信の分割画像データが存在しない)ため、ステップS49の処理は行われない。
このように、MFP10は、所要処理時間の降順に順次に設定される注目アプリケーション121〜123に関して、分割画像データ261〜264のそれぞれが当該注目アプリケーションの処理対象データであるか否かを判定する。そして、MFP10は、全ての分割画像データ261〜264のうち、注目アプリケーションの処理対象データであると判定された分割画像データを先行して外部端末50に送信する。
以上のように、MFP10は、分割画像データ261、ダミー分割データ362の生成指令、分割画像データ263、分割画像データ264、分割画像データ262、ダミー分割データ363の生成指令、そしてダミー分割データ364の生成指令の送信順序で各種データを外部端末50へと送信する(図10参照)。なお、外部端末50においては、当該送信順序に従って各種データが受信される。
<電子文書の生成処理等>
つぎに、外部端末50における電子文書502の生成処理等について、図10、図12および図13を参照しながら説明する。
外部端末50においては、複数のアプリケーションのうち、MFP10による各アプリケーションの処理順序(所要処理時間の降順に設定されたアプリケーションの順序)と同じ順序で注目アプリケーションが設定される(ステップS51,S57)。換言すれば、複数の関連処理のうち、MFP10にて設定された優先順序と同じ順序で注目関連処理が設定される。たとえば、複数のアプリケーションの種別情報が当該複数のアプリケーションの優先順序に関する情報とともにMFP10から外部端末50へと送信され、これらの情報に基づいて外部端末50は、複数の関連処理の中から注目関連処理を順次に決定する。また、注目アプリケーションの処理対象データ(注目関連処理の処理対象データ)であると判定された分割画像データが外部端末50からクラウドサーバ90へと送信され(ステップS54,S55)、当該注目アプリケーションによる注目関連処理がクラウドサーバ90にて実行される。
具体的には、まず、ステップS51(図12)において、変数jが値「1」に設定される。上述したように、変数jは値「1」〜Nの自然数であり、値Nは、クラウドサーバ90にインストールされているアプリケーションの数(ここではN=3)である。
ステップS21〜S24の各処理は、図7のステップS21〜S24の各処理とそれぞれ同様の内容である。
ステップS52においては、第j順位のアプリケーションの所要画像データ(実行開始に要する全ての画像データ)は格納済みであるか否かが判定される。第j順位のアプリケーションの所要画像データは格納済みでない旨が判定されると、処理はステップS21へと戻る。また、第j順位のアプリケーションの所要画像データは格納済みである旨が判定されると、当該第j順位のアプリケーションがページ単位処理アプリケーション(ページ単位で処理されるアプリケーション)であるか否かがステップS53において判定される。
当該第j順位のアプリケーションがページ単位処理アプリケーションである旨がステップS53にて判定される場合には、処理はステップS54へと進む。そして、ステップS54において、結合データが生成部64によって生成され、第j順位のアプリケーションによる処理の実行指令(換言すれば、第jの関連処理の実行指令)と当該結合データとが外部端末50からクラウドサーバ90へと送信される。
また、当該第j順位のアプリケーションがページ単位処理アプリケーションでない旨がステップS53にて判定される場合には、処理はステップS55へと進む。そして、ステップS55において、第j順位のアプリケーションによる処理の実行指令と、第j順位のアプリケーションの処理対象データであると判定された分割画像データとが、外部端末50からクラウドサーバ90に送信される。
ステップS56においては、変数jが値N(ここではN=3)に到達したか否かが判定される。変数jが値Nに到達した旨が判定される場合には、処理は図13のステップS27へと進む。一方、変数jが値Nに到達していない旨が判定される場合には、変数jが1つインクリメントされ(ステップS57)、処理は再びステップS21へと戻る。
以下、MFP10からの各種データの受信動作およびその後の動作について具体的に説明する。なお、図10に示すように、MFP10から外部端末50へと送信される各種データの送信順序(分割画像データ261、ダミー分割データ362の生成指令、分割画像データ263、分割画像データ264、分割画像データ262、ダミー分割データ363の生成指令、そしてダミー分割データ364の生成指令の順序)に従って、外部端末50は各種データを受信する。
まず、第1の優先順位を有するアプリケーション(OCRアプリケーション)121(j=1)に関する処理が外部端末50にて行われる。なお、このアプリケーション121においては、文字属性を有する分割画像データ261,263,264が受信されて格納され且つ文字属性を有しない分割画像データ262に対応するダミー分割データ362が生成されて格納されると、当該OCR処理の所要画像データは格納済みである旨がステップS52において判定される。
詳細には、分割画像データ261が受信される(ステップS21)(図10も参照)と、当該分割画像データ261が格納部55に一時的に格納される(ステップS22)。そして、処理はステップS52を経て再びステップS21へと戻る。
また、ダミー分割データ362の生成指令が受信される(ステップS23)(図10も参照)と、当該ダミー分割データ362が生成されて格納部55に一時的に格納される(ステップS24)。そして、処理はステップS52を経て再びステップS21へと戻る。
さらに、分割画像データ263,264がそれぞれ受信される(ステップS21)(図10も参照)と、当該分割画像データ263,264がそれぞれ格納部55に一時的に格納される(ステップS22)。
当該分割画像データ264の受信が完了し当該分割画像データ264が格納されると、格納部55には分割画像データ261,263,264およびダミー分割データ362が格納済みである。これに応じて、第1順位のアプリケーション(OCRアプリケーション)121の所要画像データが格納済みである旨がステップS52において判定され、処理はステップS53へと進む。
ステップS53においては、第1順位のアプリケーション121はページ単位処理アプリケーションである旨が判定され、処理はステップS54へと進む。
そして、ステップS54において、分割画像データ(261,263,264)とダミー分割データ362とが結合されて結合データ311が生成され、OCRアプリケーション121による処理の実行指令(OCR処理の実行指令)と当該結合データ311とが外部端末50からクラウドサーバ90へと送信される(図10参照)。なお、図10に示すように、当該ダミー分割データ362に係る画像は、結合データ311に係る画像において、スキャン画像202における分割画像データ262の表示位置に対応する位置に配置される。
クラウドサーバ90においては、OCRアプリケーション121による処理の実行指令と結合データ311とが外部端末50から受信されることに応答して、OCRアプリケーション121によって結合データ311に対するOCR処理が実行される(図10参照)。OCRアプリケーション121によるOCR処理が完了すると、クラウドサーバ90はアプリケーション121(詳細にはアプリケーション121によるOCR処理)の処理結果(テキストデータおよび文字位置情報)を外部端末50に送信する。
その後、変数jが値Nに到達していない旨がステップS56において判定され、処理は再びステップS57を経て(すなわち変数jが値「2」に更新されて)ステップS21へと戻る。
つぎに、第2の優先順位を有するアプリケーション(表認識アプリケーション)122(j=2)について説明する。なお、このアプリケーション122においては、表属性を有する分割画像データ261,262が受信されて格納され且つ表属性を有しない分割画像データ263,264にそれぞれ対応するダミー分割データ363,364が生成されて格納されると、当該アプリケーション122の所要画像データは格納済みである旨がステップS52において判定される。
外部端末50は、分割画像データ262をMFP10から受信する(ステップS21)(図10も参照)と、当該分割画像データ262を格納部55に一時的に格納する(ステップS22)。そして、処理はステップS52を経てステップS21へと戻る。なお、分割画像データ261は既に受信されて格納部55に格納済みである。
さらに、外部端末50は、ダミー分割データ363,364の生成指令をそれぞれ受信する(ステップS23)(図10も参照)と、ダミー分割データ363,364をそれぞれ生成して格納部55に一時的に格納する(ステップS24)。
ダミー分割データ364が生成されて格納されると、格納部55には分割画像データ261、分割画像データ262、ダミー分割データ363およびダミー分割データ364が格納済みである(詳細には分割画像データ263,264およびダミー分割データ362も格納済みである)。そして、第2順位のアプリケーション(表認識アプリケーション)122の所要画像データが格納済みである旨がステップS52において判定され、処理はステップS53へと進む。
ステップS53においては、第2順位のアプリケーション122はページ単位処理アプリケーションである旨が判定され、処理はステップS54へと進む。
そして、ステップS54において、分割画像データ261、分割画像データ262、ダミー分割データ363およびダミー分割データ364が結合されて結合データ312が生成され、表認識アプリケーション122による処理の実行指令と当該結合データ312とが外部端末50からクラウドサーバ90へと送信される(図10参照)。なお、図10に示すように、当該ダミー分割データ363,364に係る画像は、結合データ312に係る画像において、スキャン画像202における分割画像データ263,264の表示位置にそれぞれ対応する位置に配置される。
クラウドサーバ90においては、表認識アプリケーション122による処理の実行指令と結合データ312とが外部端末50から受信されることに応答して、表認識アプリケーション122によって結合データ312に対する表認識処理が実行される(図10参照)。表認識アプリケーション122による表認識処理が完了すると、クラウドサーバ90は表認識アプリケーション122(詳細には表認識アプリケーション122による表認識処理)の処理結果(表データおよび表位置情報)を外部端末50に送信する。
その後、変数jが値Nに到達していない旨がステップS56において判定され、処理は再びステップS57を経て(すなわち変数jが値「3」に更新されて)ステップS21へと戻る。
さらに、第3の優先順位を有するアプリケーション(二次元バーコード解析アプリケーション)123(j=3)について説明する。なお、このアプリケーション123に関しては、二次元バーコード属性を有する分割画像データ262が既に受信されて格納部55に格納されていることに応じて、当該アプリケーション123の所要画像データは格納済みである旨がステップS52において判定される。
この時点(表認識アプリケーション122による処理の実行指令のほぼ直後の時点)において、MFP10から送信されてくる全てのデータは外部端末50において受信完了済みである(図10参照)ため、処理はステップS21,S23を経てステップS52へと進む。
そして、二次元バーコード解析アプリケーション123の所要画像データ(分割画像データ262)は格納済みである旨がステップS52において判定され、処理はステップS53へと進む。
ステップS53においては、第3順位のアプリケーション123はページ単位処理アプリケーションでない旨が判定され、処理はステップS55に進む。
そして、ステップS55において、第3順位のアプリケーション123による処理の実行指令と、第3順位のアプリケーション123の処理対象データであると判定された分割画像データ262とが、外部端末50からクラウドサーバ90へと送信される(図10参照)。
クラウドサーバ90においては、当該実行指令と当該分割画像データ262とが外部端末50から受信されることに応答して、二次元バーコード解析アプリケーション123によって当該分割画像データ262に対する二次元バーコード解析処理が実行される(図10も参照)。二次元バーコード解析処理が完了すると、クラウドサーバ90は当該アプリケーション123(詳細には二次元バーコード解析アプリケーション123による二次元バーコード解析処理)の処理結果(二次元バーコード情報(リンク先URL等))を外部端末50に送信する。
そして、変数jが値「3」に到達した旨がステップS56において判定され、処理は図13のステップS27へと進む。
このように、外部端末50は、MFP10(判定部14)によるアプリケーション121〜123の処理順序と同じ順序で設定される各注目アプリケーション121〜123に関して、当該各注目アプリケーションの処理対象データであると判定された分割画像データをクラウドサーバ90に送信する。そして、外部端末50は、各注目アプリケーション121〜123による各注目関連処理をクラウドサーバ90に実行させる。
ステップS27においては、全ての分割画像データがMFP10から受信されたか否かが判定される。ここでは、全ての分割画像データ261〜264のMFP10からの受信が既に完了しているため、処理はステップS28へと進む。
そして、生成部64は、全ての分割画像データ261〜264を統合してステップS202に対応する統合画像データ402を生成する(ステップS28)(図10も参照)。
ステップS58においては、全てのアプリケーション(121〜123)の処理結果がクラウドサーバ90から受信されたか否かが判定される。具体的には、OCRアプリケーション121の処理結果としてテキストデータがクラウドサーバ90から受信され、当該テキストデータに加えて文字位置情報もが受信される。また、表認識アプリケーション122の処理結果として表データがクラウドサーバ90から受信され、当該表データに加えて表位置情報もが受信される。さらに、二次元バーコード解析アプリケーション123の処理結果として二次元バーコード情報(リンク先URL等)がクラウドサーバ90から受信される。
全てのアプリケーション(121〜123)の処理結果がクラウドサーバ90から受信された旨が判定される(ステップS56)と、生成部64は、統合画像データ402と各処理結果とに基づいて電子文書502を生成する(ステップS30)(図10も参照)。具体的には、OCR処理、表認識処理および二次元バーコード解析処理に係る処理結果(テキストデータ、表データおよびリンク先URL等)が埋め込まれた電子文書502が生成される。
以上のように、第2実施形態に係る動作においては、MFP10において、アプリケーション121〜123のうちその所要処理時間の降順に順次に設定される注目アプリケーションに関して、分割画像データ261〜264のそれぞれが当該注目アプリケーションの処理対象データであるか否か、が判定される。そして、当該注目アプリケーションの処理対象データであると判定された分割画像データが先行して(優先的に)MFP10から外部端末50へと送信される。そして、外部端末50は、所要処理時間の降順に当該注目アプリケーションによる処理の実行指令と処理対象データ(分割画像データ)とをクラウドサーバ90に送信する。したがって、外部端末50は、複数のアプリケーションのうち、その所要処理時間が比較的長いアプリケーションの実行を先行して開始させることができるので、より効率的に電子文書502を生成することが可能である。
<第2実施形態に係る改変例>
第2実施形態では、外部端末50は、MFP10における複数のアプリケーションの処理順序(MFP10から外部端末50への送信処理順序)と同じ順序で当該複数のアプリケーションによる関連処理をクラウドサーバ90に実行させる態様を例示したが、これに限定されない。具体的には、外部端末50は、当該処理順序にかかわらず、複数のアプリケーションのうち、処理の実行開始に要する画像データ(分割画像データ等)のMFP10からの受信が既に完了したアプリケーションが存在する旨が判定されるときには、当該アプリケーションをクラウドサーバ90に実行させるようにしてもよい。換言すれば、クラウドサーバ90による複数の関連処理のうち、その処理実行開始に要する画像データのMFP10からの受信が完了した特定の関連処理が存在すると判定されるときには、当該特定の関連処理をクラウドサーバ90に実行させるようにしてもよい。詳細には、当該特定の関連処理の処理対象データであると判定された分割画像データが、当該複数の関連処理に関する処理順序(優先順位)にかかわらずクラウドサーバ90に送信され、特定の関連処理がクラウドサーバ90によって実行されるようにしてもよい。
図14は、このような改変例に係る電子文書生成システム1における動作の概略を示す図である。また、図15は、この改変例に係る外部端末50の動作を示すフローチャートである。なお、図15のステップS63の次ステップは、図13のステップS27である。
図15のステップS21〜S24の各処理は、図12のステップS21〜S24の各処理とそれぞれ同様の内容である。
ステップS61においては、その実行指令が未送信のアプリケーションのうち、その所要画像データが格納済みのアプリケーション(所要画像データ格納済みアプリケーションあるいは実行準備完了アプリケーションなどとも称する)が存在するか否か、が判定される。換言すれば、その実行指令が未だ送信されていない関連処理のうち、その所要画像データが既に格納されている関連処理(所要画像データ格納済み関連処理あるいは実行準備完了関連処理などとも称する)が存在するか否かが判定される。
所要画像データ格納済みアプリケーションが存在しないと判定される場合には、処理はステップS21へと戻る。また、所要画像データ格納済みアプリケーションが存在すると判定される場合には、当該所要画像データ格納済みアプリケーションがページ単位処理アプリケーションであるか否かがステップS62において判定される。
所要画像データ格納済みアプリケーションがページ単位処理アプリケーションである旨がステップS62にて判定される場合には、処理はステップS63へと進む。また、当該所要画像データ格納済みアプリケーションがページ単位処理アプリケーションでない旨がステップS62にて判定される場合には、処理はステップS64へと進む。
そして、ステップS65においては、その実行指令が未送信のアプリケーションが存在するか否か(換言すれば、その実行指令が未だ送信されていない関連処理の存否)が判定される。実行指令が未送信のアプリケーションが存在すると判定される場合には、処理は再びステップS21へと戻り、実行指令が未送信のアプリケーションが存在しない(全てのアプリケーションによる処理の実行指令がクラウドサーバ90に送信された)と判定される場合には、処理は図13のステップS27へと進む。
以下、この改変例に係る外部端末50における動作、詳細には、MFP10からの各種データの受信動作およびその後の動作について、より具体的に説明する。なお、MFP10は図11における動作と同様の動作を行う。具体的には、MFP10は、分割画像データ261、ダミー分割データ362の生成指令、分割画像データ263、分割画像データ264、分割画像データ262、ダミー分割データ363の生成指令、そしてダミー分割データ364の生成指令をこの順序(送信順序)で外部端末50へと送信する(図14参照)。外部端末50においては、当該送信順序に従って各種データが受信される。
外部端末50は、まず、分割画像データ261をMFP10から受信する(ステップS21)(図14も参照)と、当該分割画像データ261を格納部55に一時的に格納する(ステップS22)。この時点においては、所要画像データ格納済みアプリケーションは存在しない旨がステップS61にて判定され、処理はステップS21へと戻る。
つぎに、外部端末50は、ダミー分割データ362の生成指令を受信する(ステップS23)(図14も参照)と、当該ダミー分割データ362を生成部64によって生成し格納部55に一時的に格納する(ステップS24)。この時点においても、所要画像データ格納済みアプリケーションは存在しない旨がステップS61にて判定され、処理はステップS21へと戻る。
また、分割画像データ263,264がそれぞれ受信される(ステップS21)(図14も参照)と、当該分割画像データ263,264がそれぞれ格納部55に一時的に格納される(ステップS22)。
分割画像データ264が格納されると、格納部55には分割画像データ261,263,264およびダミー分割データ362が格納済みである。換言すれば、OCR処理の所要画像データ(実行開始に要する全ての画像データ)が格納済みである。
このとき、OCRアプリケーション121が所要画像データ格納済みアプリケーションであると判定され、所要画像データ格納済みのアプリケーション(実行準備完了アプリケーション)は存在する旨がステップS61にて判定される。その後、処理はステップS62へと進む。
ステップS62においては、OCRアプリケーション121(所要画像データ格納済みアプリケーション)はページ単位処理アプリケーションである旨が判定され、処理はステップS63へと進む。
そして、ステップS63においては、分割画像データ261,263,264およびダミー分割データ362が結合されて結合データ311が生成され、OCRアプリケーション121による処理の実行指令と当該結合データ311とが外部端末50からクラウドサーバ90へと送信される(図14参照)。
この時点において、アプリケーション122,123による処理の実行指令は未だクラウドサーバ90に送信されていない。そのため、実行指令が未送信のアプリケーションが存在する旨がステップS65において判定され、処理は再びステップS21に戻る。
つぎに、外部端末50は、二次元バーコード属性と表属性とを有する分割画像データ(図9)262をMFP10から受信する(ステップS21)(図14も参照)と、当該分割画像データ262を格納部55に一時的に格納する(ステップS22)。
ここでは二次元バーコード解析アプリケーション123はページ単位処理アプリケーションでなく、当該分割画像データ262が受信されて格納されると、二次元バーコード解析アプリケーション123の所要画像データが格納済みである旨がステップS61において判定される。すなわち、二次元バーコード解析アプリケーション123が所要画像データ格納済みアプリケーションであると判定され、所要画像データ格納済みアプリケーションは存在する旨が判定される。その後、処理はステップS62へと進む。
ステップS62においては、二次元バーコード解析アプリケーション123(所要画像データ格納済みアプリケーション)はページ単位処理アプリケーションでない旨が判定され、処理はステップS64へと進む。
そして、ステップS64において、外部端末50は二次元バーコード解析アプリケーション123による処理の実行指令と、当該二次元バーコード解析アプリケーション123の処理対象データと判定された分割画像データ262とをクラウドサーバ90へと送信する(図14も参照)。
このように、複数のアプリケーション121〜123のうち、その処理の実行開始に要する分割画像データ262の受信が完了したアプリケーション123が存在すると判定されるときには、MFP10における複数のアプリケーションの処理順序にかかわらず、当該アプリケーション123による処理の実行指令と分割画像データ262とがクラウドサーバ90へと送信される。換言すれば、複数の関連処理のうち、その処理実行開始に要する画像データのMFP10からの受信が完了した特定の関連処理が存在すると判定されるときには、当該複数の関連処理に関する処理順序(優先順位)にかかわらず、特定の関連処理(二次元バーコード解析処理)の実行指令とその処理実行開始に要する画像データとがクラウドサーバ90に送信される。より詳細には、「二次元バーコード解析処理」(アプリケーション123)の優先順位(第3位)が「表認識処理」(アプリケーション122)の優先順位(第2位)よりも低い場合であっても、その実行準備が完了した二次元バーコード解析処理が、その実行準備が未だ完了していない表認識処理よりも先に開始される。
この時点において、アプリケーション122による処理の実行指令は未だクラウドサーバ90に送信されていない。そのため、実行指令が未送信のアプリケーションが存在する旨がステップS65において判定され、処理は再びステップS21へと戻る。
さらに、外部端末50は、ダミー分割データ363,364の生成指令をそれぞれ受信する(ステップS23)(図14も参照)。当該生成指令がそれぞれ受信されると、ダミー分割データ363,364がそれぞれ生成されて格納部55に一時的に格納される(ステップS24)。
これにより、格納部55には分割画像データ261、分割画像データ262、ダミー分割データ363およびダミー分割データ364が格納済みである(詳細には分割画像データ263,264およびダミー分割データ362も格納済みである)。換言すれば、表認識アプリケーション122の所要画像データが格納済みである。
これに応じて、表認識アプリケーション122が所要画像データ格納済みアプリケーションであると判定され、所要画像データ格納済みアプリケーション(実行準備完了アプリケーション)は存在する旨がステップS61にて判定される。その後、処理はステップS62へと進む。
ステップS62においては、表認識アプリケーション122(所要画像データ格納済みアプリケーション)はページ単位処理アプリケーションである旨が判定され、処理はステップS63へと進む。
ステップS63においては、分割画像データ261、分割画像データ262、ダミー分割データ363およびダミー分割データ364が結合されて結合データ312が生成され、表認識アプリケーション122による処理の実行指令と当該結合データ312とが外部端末50からクラウドサーバ90へと送信される(図14参照)。
そして、実行指令が未送信のアプリケーションが存在しない(全てのアプリケーション121〜123による処理の実行指令がクラウドサーバ90に送信された)旨がステップS65において判定され、処理は図13のステップS27へと進む。
これによれば、外部端末50において、MFP10における複数のアプリケーションの処理順序にかかわらず、所要画像データ格納済みアプリケーション(処理の実行開始に要する画像データの受信が完了したアプリケーション)(123)が存在すると、当該画像データと当該アプリケーション123による処理の実行指令とがクラウドサーバ90へと送信される。したがって、外部端末50は、各アプリケーションの所要処理時間にかかわらず、その処理の実行開始が可能なアプリケーションの実行を先行して開始させることができるので、外部端末50においてより効率的に電子文書502が生成され得る。
<3.変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記内容のものに限定されるものではない。
たとえば、上記各実施形態では、クラウドサーバ90において各種の処理(各種のアプリケーション)が実行される態様を例示したが、これに限定されない。具体的には、外部端末50において各種の関連処理(OCR処理、表認識処理等)が実行されるようにしてもよい。詳細には、外部端末50において、電子文書の生成処理のみならず、当該生成処理に関連する関連処理(OCR処理、表認識処理等)もが実行され、当該関連処理の処理結果(テキストデータ、表データ等)と統合画像データとに基づいて電子文書が生成されるようにしてもよい。
また、上記各実施形態では、外部端末50は、アプリケーションによる処理の実行指令と画像データ(結合データ、分割画像データ等)とを同時にクラウドサーバ90へと送信する態様を例示したが、これに限定されない。具体的には、外部端末50は、当該実行指令と当該画像データとを別々にクラウドサーバ90へと送信するようにしてもよい。たとえば、外部端末50は、アプリケーションによる処理の実行指令を予めクラウドサーバ90に送信し、その後当該画像データをクラウドサーバ90へと送信する。そして、クラウドサーバ90においては、当該画像データが受信されることに応答して、受信済みの当該実行指令に基づきアプリケーションによる処理が実行されるようにしてもよい。
また、上記各実施形態では、スキャン画像(201,202)が(所定数の水平ラインで構成される)帯状領域を単位として分割される態様を例示したが、これに限定されない。具体的には、スキャン画像がタイル状領域(帯状領域が所定数の垂直ライン毎に区分された領域)を単位として分割されるようにしてもよい。
また、上記各実施形態では、ダミー分割データは外部端末50において生成される態様を例示したが、これに限定されず、ダミー分割データは、MFP10において生成されるようにしてもよい。
たとえば、MFP10においてダミー分割データが生成される場合には、MFP10は、アプリケーションの処理対象でないと判定された分割画像データに対応するダミー分割データを生成し、当該ダミー分割データを外部端末50に送信するようにしてもよい。
また、上記各実施形態においては、PDF形式の電子文書が生成される態様を例示したが、これに限定されない。具体的には、様々なファイル形式(TIFF(Tagged Image File Format)形式、JPEG(Joint Photographic Experts Group)形式、HTML(HyperText Markup Language)形式、XML(Extensible Markup Language)形式(OOXML(Office Open XML)形式等を含む)、EPUB(Electronic PUBlication)形式、Word形式、Excel(登録商標)形式、PowerPoint(登録商標)形式等)の電子文書が生成されるようにしてもよい。
1 画像形成システム
10 MFP(画像形成装置)
50 外部端末
90 クラウドサーバ
121〜123 アプリケーション
201,202 スキャン画像
251〜254,261〜264 分割画像データ
301,311,312 結合データ
353,362〜364 ダミー分割データ
401,402 統合画像データ
501,502 電子文書

Claims (18)

  1. 電子文書生成システムであって、
    原稿のスキャン画像を生成する画像形成装置と、
    前記スキャン画像に関する画像データを前記画像形成装置から受信し、クラウドサーバと連携して前記スキャン画像に基づく電子文書を生成する外部端末と、
    を備え、
    前記画像形成装置は、
    前記スキャン画像を複数の領域に分割して複数の分割画像データを生成する分割データ生成手段と、
    前記複数の分割画像データのそれぞれについて、前記電子文書の生成に関連する関連処理であって前記クラウドサーバにおいて実行される関連処理の処理対象データであるか否か、を判定する判定手段と、
    前記複数の分割画像データを前記外部端末に送信する通信手段と、
    を有し、
    前記通信手段は、前記複数の分割画像データのうち、前記処理対象データであると判定された分割画像データを先行して前記外部端末に送信するとともに、前記処理対象データでないと判定された分割画像データを、前記処理対象データであると判定された分割画像データの送信後に前記外部端末に送信し、
    前記外部端末は、
    前記複数の分割画像データのうち、前記処理対象データであると判定され前記画像形成装置から先行して送信されてきた分割画像データである優先データを、前記複数の分割画像データの受信完了に先立って前記クラウドサーバに送信する送信手段と、
    前記優先データに関する前記関連処理の処理結果を前記クラウドサーバから受信する受信手段と、
    前記処理結果と前記複数の分割画像データとに基づいて前記電子文書を生成する文書生成手段と、
    を有することを特徴とする電子文書生成システム。
  2. 請求項1に記載の電子文書生成システムにおいて、
    前記画像形成装置の前記通信手段は、前記複数の分割画像データのうち前記処理対象データでないと判定された分割画像データである非優先データの送信に先立って、前記非優先データに対応するダミーの画像データであるダミー分割データを生成すべき旨の生成指令をも前記外部端末に送信し、
    前記外部端末の前記文書生成手段は、前記生成指令の受信に応答して前記ダミー分割データを生成するとともに、前記ダミー分割データと前記優先データとを結合して結合データを生成し、
    前記ダミー分割データに係る画像は、前記結合データに係る画像において、前記スキャン画像における前記非優先データの表示位置に対応する位置に配置され、
    前記外部端末の前記送信手段は、前記複数の分割画像データの受信完了に先立って、前記結合データを前記クラウドサーバに送信することを特徴とする電子文書生成システム。
  3. 請求項1に記載の電子文書生成システムにおいて、
    前記外部端末の前記文書生成手段は、前記複数の分割画像データのうち先行して前記画像形成装置から送信されてきた複数の優先データを結合して結合データを生成し、
    前記外部端末の前記送信手段は、前記複数の分割画像データの受信完了に先立って、前記結合データを前記クラウドサーバに送信することを特徴とする電子文書生成システム。
  4. 請求項1ないし請求項3のいずれかに記載の電子文書生成システムにおいて、
    前記画像形成装置の前記判定手段は、前記関連処理に対応する特定属性を有する分割画像データを前記処理対象データとして判定することを特徴とする電子文書生成システム。
  5. 請求項1ないし請求項3のいずれかに記載の電子文書生成システムにおいて、
    前記画像形成装置の前記判定手段は、前記クラウドサーバにおいて光学文字認識処理が前記関連処理として実行される場合には、文字が含まれる分割画像データを前記処理対象データとして判定し、
    前記外部端末の前記文書生成手段は、前記光学文字認識処理の処理結果であるテキストデータと前記複数の分割画像データとに基づいて前記電子文書を生成することを特徴とする電子文書生成システム。
  6. 請求項1ないし請求項5のいずれかに記載の電子文書生成システムにおいて、
    前記外部端末の前記文書生成手段は、
    前記複数の分割画像データを統合した画像データであって前記スキャン画像に対応する画像データである統合画像データの生成処理を、前記クラウドサーバによる前記関連処理と並行して実行し、
    前記関連処理の処理結果と前記統合画像データとに基づいて前記電子文書を生成することを特徴とする電子文書生成システム。
  7. 請求項1ないし請求項6のいずれかに記載の電子文書生成システムにおいて、
    前記画像形成装置の前記判定手段は、前記複数の関連処理に関する優先順序を前記複数の関連処理のそれぞれの所要処理時間の降順に設定するとともに、前記複数の関連処理のうち当該優先順序に従って順次に設定される注目関連処理に関して、前記複数の分割画像データのそれぞれが当該注目関連処理の処理対象データであるか否か、を判定し、
    前記画像形成装置の前記通信手段は、当該注目関連処理の処理対象データであると判定された分割画像データを、当該注目関連処理の処理対象データでないと判定された分割画像データよりも先行して前記外部端末に送信することを特徴とする電子文書生成システム。
  8. 請求項7に記載の電子文書生成システムにおいて、
    前記外部端末の前記送信手段は、前記複数の関連処理のうち、前記画像形成装置にて設定された前記優先順序と同じ順序で順次に設定される各注目関連処理に関して、当該各注目関連処理の処理対象データであると判定された分割画像データを前記クラウドサーバに送信して、前記各注目関連処理を前記クラウドサーバに実行させることを特徴とする電子文書生成システム。
  9. 請求項7に記載の電子文書生成システムにおいて、
    前記外部端末の前記送信手段は、前記複数の関連処理のうち、その処理の実行開始に要する画像データの前記画像形成装置からの受信が完了した特定の関連処理が存在すると判定されるときには、前記特定の関連処理の処理対象データであると判定された分割画像データを前記複数の関連処理に関する前記優先順序にかかわらず前記クラウドサーバに送信して、前記特定の関連処理を前記クラウドサーバに実行させることを特徴とする電子文書生成システム。
  10. 電子文書を生成する外部端末と通信可能な画像形成装置であって、
    原稿のスキャン画像を複数の領域に分割して複数の分割画像データを生成する分割データ生成手段と、
    前記複数の分割画像データのそれぞれについて、前記電子文書の生成に関連して実行される関連処理の処理対象データであるか否か、を判定する判定手段と、
    前記複数の分割画像データを前記外部端末に送信する通信手段と、
    を備え、
    前記通信手段は、前記複数の分割画像データのうち、前記処理対象データであると判定された分割画像データを先行して前記外部端末に送信するとともに、前記処理対象データでないと判定された分割画像データを、前記処理対象データであると判定された分割画像データの送信後に前記外部端末に送信することを特徴とする画像形成装置。
  11. 請求項10に記載の画像形成装置において、
    前記関連処理は、前記外部端末において実行される処理であることを特徴とする画像形成装置。
  12. 請求項10に記載の画像形成装置において、
    前記関連処理は、前記外部端末と通信可能なクラウドサーバにおいて実行される処理であることを特徴とする画像形成装置。
  13. 電子文書を生成する外部端末と通信可能な画像形成装置に内蔵されたコンピュータに、
    a)原稿のスキャン画像を複数の領域に分割して複数の分割画像データを生成するステップと、
    b)前記複数の分割画像データのそれぞれについて、前記電子文書の生成に関連して実行される関連処理の処理対象データであるか否か、を判定するステップと、
    c)前記複数の分割画像データを前記外部端末に送信するステップと、
    を実行させるためのプログラムであって、
    前記ステップc)においては、前記複数の分割画像データのうち、前記処理対象データであると判定された分割画像データが先行して前記外部端末に送信され、前記処理対象データでないと判定された分割画像データが、前記処理対象データであると判定された分割画像データの送信後に前記外部端末に送信されることを特徴とするプログラム。
  14. 画像形成装置とクラウドサーバとの双方と通信可能な外部端末に内蔵されたコンピュータにおいて、電子文書の生成処理を実行させるためのプログラムであって、
    前記プログラムは、前記コンピュータに、
    a)原稿のスキャン画像が複数の領域に分割して生成された複数の分割画像データのうち、前記電子文書の生成処理に関連する関連処理であって前記クラウドサーバにおいて実行される関連処理の処理対象データであると判定された分割画像データを先行して前記画像形成装置から受信するステップと、
    b)前記複数の分割画像データのうち、前記処理対象データであると判定され前記画像形成装置から先行して送信されてきた分割画像データである優先データを、前記複数の分割画像データの受信完了に先立って前記クラウドサーバに送信するステップと、
    c)前記優先データに関する前記関連処理の処理結果を前記クラウドサーバから受信するステップと、
    d)前記処理結果と前記複数の分割画像データとに基づいて前記電子文書を生成するステップと、
    を実行させることを特徴とするプログラム。
  15. 請求項14に記載のプログラムにおいて、
    前記コンピュータに、
    e)前記ステップb)に先立って、前記複数の分割画像データのうち前記処理対象データでないと判定された分割画像データである非優先データに対応するダミーの画像データであるダミー分割データを生成すべき旨の生成指令が前記画像形成装置から受信されると、前記ダミー分割データを生成するステップと、
    f)前記生成指令の受信に応答して前記ダミー分割データを生成するとともに、前記ダミー分割データと前記優先データとを結合して結合データを生成するステップと、
    をさらに実行させるためのプログラムであって、
    前記ダミー分割データに係る画像は、前記結合データに係る画像において、前記スキャン画像における前記非優先データの表示位置に対応する位置に配置され、
    前記ステップb)においては、前記複数の分割画像データの受信完了に先立って、前記結合データが前記クラウドサーバに送信されることを特徴とするプログラム。
  16. 請求項14に記載のプログラムにおいて、
    前記コンピュータに、
    g)前記ステップb)に先立って、前記複数の分割画像データのうち先行して前記画像形成装置から送信されてきた複数の優先データを結合して結合データを生成するステップ、
    をさらに実行させるためのプログラムであって、
    前記ステップb)においては、前記複数の分割画像データの受信完了に先立って、前記結合データが前記クラウドサーバに送信されることを特徴とするプログラム。
  17. 電子文書生成システムであって、
    原稿のスキャン画像を生成する画像形成装置と、
    前記スキャン画像に関する画像データを前記画像形成装置から受信し、前記スキャン画像に基づく電子文書を生成する外部端末と、
    を備え、
    前記画像形成装置は、
    前記スキャン画像を複数の領域に分割して複数の分割画像データを生成する分割データ生成手段と、
    前記複数の分割画像データのそれぞれについて、前記電子文書の生成に関連して前記外部端末において実行される関連処理の処理対象データであるか否か、を判定する判定手段と、
    前記複数の分割画像データを前記外部端末に送信する通信手段と、
    を有し、
    前記通信手段は、前記複数の分割画像データのうち、前記処理対象データであると判定された分割画像データを先行して前記外部端末に送信するとともに、前記処理対象データでないと判定された分割画像データを、前記処理対象データであると判定された分割画像データの送信後に前記外部端末に送信し、
    前記外部端末は、
    前記複数の分割画像データのうち、前記処理対象データであると判定され前記画像形成装置から先行して送信されてきた分割画像データである優先データについて、前記複数の分割画像データの受信完了に先立って前記関連処理の実行を開始するとともに、前記関連処理の処理結果と前記複数の分割画像データとに基づいて前記電子文書を生成する文書生成手段、
    を有することを特徴とする電子文書生成システム。
  18. 画像形成装置と通信可能な外部端末に内蔵されたコンピュータにおいて、電子文書の生成処理を実行させるためのプログラムであって、
    前記プログラムは、前記コンピュータに、
    a)原稿のスキャン画像が複数の領域に分割して生成された複数の分割画像データのうち、前記電子文書の生成に関連して前記外部端末において実行される関連処理の処理対象データであると判定された分割画像データを先行して前記画像形成装置から受信するステップと、
    b)前記複数の分割画像データのうち、前記処理対象データであると判定され前記画像形成装置から先行して送信されてきた分割画像データである優先データについて、前記複数の分割画像データの受信完了に先立って前記関連処理の実行を開始するステップと、
    c)前記関連処理の処理結果と前記複数の分割画像データとに基づいて前記電子文書を生成するステップと、
    を実行させることを特徴とするプログラム。
JP2014094431A 2014-05-01 2014-05-01 電子文書生成システム、画像形成装置およびプログラム Active JP5983673B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014094431A JP5983673B2 (ja) 2014-05-01 2014-05-01 電子文書生成システム、画像形成装置およびプログラム
US14/685,843 US9471841B2 (en) 2014-05-01 2015-04-14 Electronic document generation system, image forming apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014094431A JP5983673B2 (ja) 2014-05-01 2014-05-01 電子文書生成システム、画像形成装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2015213207A true JP2015213207A (ja) 2015-11-26
JP5983673B2 JP5983673B2 (ja) 2016-09-06

Family

ID=54355461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014094431A Active JP5983673B2 (ja) 2014-05-01 2014-05-01 電子文書生成システム、画像形成装置およびプログラム

Country Status (2)

Country Link
US (1) US9471841B2 (ja)
JP (1) JP5983673B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6066108B2 (ja) * 2014-04-16 2017-01-25 コニカミノルタ株式会社 電子文書生成システムおよびプログラム
CN107301418A (zh) * 2017-06-28 2017-10-27 江南大学 光学字符识别中的版面分析
US20190139280A1 (en) * 2017-11-06 2019-05-09 Microsoft Technology Licensing, Llc Augmented reality environment for tabular data in an image feed
JP7234024B2 (ja) * 2019-04-23 2023-03-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169675A (ja) * 2008-01-16 2009-07-30 Konica Minolta Business Technologies Inc 文書処理装置、文書処理方法および文書処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69523970T2 (de) * 1994-04-15 2002-07-04 Canon K.K., Tokio/Tokyo Dokumentspeicher- und Wiederauffindungssystem
JP2005011260A (ja) 2003-06-20 2005-01-13 Canon Sales Co Inc 文書管理装置、文書管理システム及び文書管理用プログラム
US20080225340A1 (en) * 2007-03-14 2008-09-18 Ricoh Company, Limited Image processing apparatus, image processing method, and computer program product

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169675A (ja) * 2008-01-16 2009-07-30 Konica Minolta Business Technologies Inc 文書処理装置、文書処理方法および文書処理プログラム

Also Published As

Publication number Publication date
US9471841B2 (en) 2016-10-18
US20150317531A1 (en) 2015-11-05
JP5983673B2 (ja) 2016-09-06

Similar Documents

Publication Publication Date Title
JP6107756B2 (ja) 電子文書生成システム、電子文書生成装置およびプログラム
US8934131B2 (en) Controlling device
US8830492B2 (en) Data processing apparatus for sending a single job based on common document information
US20090164927A1 (en) Image processing apparatus and method thereof
US9578198B2 (en) Application cooperation system including server and image processing apparatus, and application cooperation method
JP2008259211A (ja) 画像走査によって生成された電子ドキュメント・データのワークフロー制御システムおよび方法
JP5983673B2 (ja) 電子文書生成システム、画像形成装置およびプログラム
US20200162627A1 (en) Image processing apparatus, image processing system, image processing method, and web browser program
US9667831B2 (en) Information processing apparatus, printing method, and non-transitory computer-readable recording medium for generating print data corresponding to a display image
JP2020024303A (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5933387B2 (ja) スキャニング装置、スキャニング方法及びコンピュータプログラム
US20130258400A1 (en) Image forming system, image forming apparatus, external terminal, and recording medium
JP6399915B2 (ja) 画像読取装置、情報処理方法及びプログラム
US9591178B2 (en) Determination of scan resolution based on information included in scan request
US20150124294A1 (en) Image forming apparatus and method for producing e-book contents
JP6485051B2 (ja) 画像処理システム、画像処理装置およびプログラム
US8311363B2 (en) Image processing apparatus, method of controlling the same, and computer-readable storage medium
JP6283944B2 (ja) 電子文書生成システム、画像形成装置およびプログラム
JP2017046262A (ja) 情報処理装置、画像読取装置、画像形成装置およびプログラム
JP6260290B2 (ja) 画像形成システム、画像形成装置、遠隔操作装置およびプログラム
JP6340943B2 (ja) 電子文書生成システム、画像形成装置およびプログラム
JP2010021997A (ja) 非ネイティブジョブ設定により画像形成デバイスを強化するための方法及びその画像形成デバイス
JP2005175647A (ja) 画像処理方法、画像処理装置、および画像処理装置の制御プログラム
CN110557510A (zh) 图像形成装置、图像形成***及通信处理方法
JP2007316738A (ja) 文書管理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160718

R150 Certificate of patent or registration of utility model

Ref document number: 5983673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150