JP6273919B2 - Image information control apparatus, program, and image information control system - Google Patents

Image information control apparatus, program, and image information control system Download PDF

Info

Publication number
JP6273919B2
JP6273919B2 JP2014046506A JP2014046506A JP6273919B2 JP 6273919 B2 JP6273919 B2 JP 6273919B2 JP 2014046506 A JP2014046506 A JP 2014046506A JP 2014046506 A JP2014046506 A JP 2014046506A JP 6273919 B2 JP6273919 B2 JP 6273919B2
Authority
JP
Japan
Prior art keywords
image
information
correction
image information
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014046506A
Other languages
Japanese (ja)
Other versions
JP2015171082A (en
Inventor
文雄 奥村
文雄 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2014046506A priority Critical patent/JP6273919B2/en
Publication of JP2015171082A publication Critical patent/JP2015171082A/en
Application granted granted Critical
Publication of JP6273919B2 publication Critical patent/JP6273919B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Accessory Devices And Overall Control Thereof (AREA)
  • Record Information Processing For Printing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像処理装置とネットワークを介して通信可能な画像情報制御装置、この画像情報制御装置で実行されるプログラム、及び画像情報制御装置と画像処理装置を含む画像情報制御システムに関する。   The present invention relates to an image information control apparatus capable of communicating with an image processing apparatus via a network, a program executed by the image information control apparatus, and an image information control system including the image information control apparatus and the image processing apparatus.

特許文献１に記載されている画像処理装置は、ウェブブラウザを内蔵しており、ウェブページをダウンロードして印刷する機能を備えている。また、当該画像処理装置は、原稿をスキャンして生成したスキャン画像データを、ＪＰＥＧやＢＭＰなどの特定のフォーマットに変換した上で、ウェブサーバに送信する機能を備えている。   The image processing apparatus described in Patent Document 1 has a built-in web browser and has a function of downloading and printing a web page. Further, the image processing apparatus has a function of converting scanned image data generated by scanning a document into a specific format such as JPEG or BMP, and transmitting the converted data to a web server.

特開２００８−２２９９９３号公報JP 2008-229933 A

特許文献１に記載されているように、画像処理装置からウェブサーバへ画像データを送信する機能自体は、種々提案されている。
これに対し、画像処理装置から出力された画像データに対して、単なるフォーマット変換よりも複雑な画像処理を行うことによって付加価値の高いサービスを提供できるようにすることが望まれる。 As described in Patent Document 1, various functions for transmitting image data from an image processing apparatus to a web server have been proposed.
On the other hand, it is desired to provide a service with high added value by performing more complex image processing than simple format conversion on the image data output from the image processing apparatus.

本発明は上記課題に鑑みなされたものであり、画像処理装置から出力された画像データに対して付加価値の高いサービスを提供できるようにすることを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a service with high added value for image data output from an image processing apparatus.

上記課題を解決するためになされた本発明は、制御部と、通信インタフェースと、を備え、制御部が通信インタフェースを介して画像処理装置と通信可能な画像情報制御装置である。制御部は、第１取得処理と、第２取得処理と、第３取得処理と、合成処理と、結果生成処理と、送信処理と、を実行する。   The present invention made to solve the above-described problems is an image information control apparatus that includes a control unit and a communication interface, and the control unit can communicate with the image processing apparatus via the communication interface. The control unit executes a first acquisition process, a second acquisition process, a third acquisition process, a synthesis process, a result generation process, and a transmission process.

第１取得処理は、画像処理装置から通信インタフェースを介して、第１の画像を示す第１の画像情報を取得する処理である。第２取得処理は、画像処理装置から通信インタフェースを介して、第１の画像と合成させる第２の画像を指定する情報である第２画像情報識別情報を取得する処理である。第３取得処理は、第２取得処理で取得した第２画像情報識別情報に基づいて、第２の画像を示す第２の画像情報を取得する処理である。合成処理は、第１取得処理で取得した第１の画像情報が示す第１の画像のうち特定の第１領域の画像を素材画像として抽出し、その抽出した素材画像を示す素材画像情報と第３取得処理で取得した第２の画像情報とを予め決められた特定の画像合成方法に従って合成することにより、第２の画像と素材画像が合成された合成画像を示す合成画像情報を生成する処理である。結果生成処理は、合成処理で生成した合成画像情報が示す合成画像、及びその合成画像で用いられている素材画像を示す使用素材情報、を含む画像である合成結果画像を画像処理装置で印刷出力させるための、合成結果画像を示す合成結果画像情報を生成する処理である。送信処理は、結果生成処理で生成した合成結果画像情報を通信インタフェースを介して画像処理装置へ送信する処理である。   The first acquisition process is a process of acquiring first image information indicating the first image from the image processing apparatus via the communication interface. The second acquisition process is a process of acquiring second image information identification information, which is information for designating a second image to be combined with the first image, from the image processing apparatus via the communication interface. The third acquisition process is a process of acquiring second image information indicating the second image based on the second image information identification information acquired in the second acquisition process. In the composition processing, an image of a specific first area is extracted as a material image from the first image indicated by the first image information acquired in the first acquisition processing, and the material image information indicating the extracted material image and the first image are displayed. Processing for generating composite image information indicating a composite image obtained by combining the second image and the material image by combining the second image information acquired in the three acquisition processing according to a predetermined specific image composition method. It is. The result generation process prints out a composite result image, which is an image including the composite image indicated by the composite image information generated by the composite process, and the used material information indicating the material image used in the composite image, on the image processing apparatus. This is a process of generating synthesis result image information indicating a synthesis result image. The transmission process is a process of transmitting the synthesis result image information generated by the result generation process to the image processing apparatus via the communication interface.

本発明の画像情報制御装置では、合成処理により第２の画像と素材画像が合成された後、その合成結果を示す合成結果画像の情報（合成結果画像情報）が画像処理装置へ送信される。合成結果画像には、合成画像に加え、合成画像で用いられている素材画像（つまり第２の画像情報に対して実際に合成された素材画像）を示す使用素材情報も含まれる。これにより、画像処理装置において合成結果画像が印刷出力されると、その印刷出力結果に基づいて、どのような合成画像が生成されたかを確認できるのに加え、第１の画像のうちどの領域が合成画像として合成されているのかを確認することができる。   In the image information control apparatus of the present invention, after the second image and the material image are synthesized by the synthesis process, information of the synthesis result image (synthesis result image information) indicating the synthesis result is transmitted to the image processing apparatus. In addition to the synthesized image, the synthesized result image includes used material information indicating a material image used in the synthesized image (that is, a material image actually synthesized with respect to the second image information). As a result, when a composite result image is printed out in the image processing apparatus, it is possible to confirm what composite image has been generated based on the print output result, and which region of the first image is included. It can be confirmed whether it is synthesized as a synthesized image.

そのため、合成結果画像を見ることで、生成された合成画像が意図する内容となっているかどうかを効率的に確認でき、その確認結果に応じた適切な対応ができる。よって、本発明の画像情報制御装置によれば、画像処理装置から出力された画像データに対して付加価値の高いサービスを提供することが可能となる。   Therefore, by looking at the synthesis result image, it is possible to efficiently confirm whether or not the generated synthesized image has the intended content, and an appropriate response according to the confirmation result can be performed. Therefore, according to the image information control apparatus of the present invention, it is possible to provide a service with high added value for the image data output from the image processing apparatus.

実施形態の通信システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the communication system of embodiment. 画像合成処理の手順の概要を示す説明図である。It is explanatory drawing which shows the outline | summary of the procedure of an image synthesis process. お試し印刷結果の一例を示す説明図である。It is explanatory drawing which shows an example of a trial printing result. お試し印刷結果に対してユーザが赤ペンで領域を再指定した状態を示す説明図である。It is explanatory drawing which shows the state which the user re-designated the area | region with the red pen with respect to the trial printing result. 多機能機の表示部に表示される各種画面例を示す説明図である。It is explanatory drawing which shows the example of various screens displayed on the display part of a multifunctional device. 通信システムで実行される各処理のシーケンスの一部を示すシーケンス図である。It is a sequence diagram which shows a part of sequence of each process performed with a communication system. 通信システムで実行される各処理のシーケンスの一部（図６の続き）を示すシーケンス図である。FIG. 7 is a sequence diagram showing a part of a sequence of each process executed in the communication system (continuation of FIG. 6). 通信システムで実行される各処理のシーケンスの一部（図７の続き）を示すシーケンス図である。FIG. 8 is a sequence diagram showing a part of a sequence of each process executed in the communication system (continuation of FIG. 7). 通信システムで実行される各処理のシーケンスの一部（図８の続き）を示すシーケンス図である。FIG. 9 is a sequence diagram showing a part of the sequence of each process executed in the communication system (continuation of FIG. 8). 通信システムで実行される各処理のシーケンスの一部（図９の続き）を示すシーケンス図である。FIG. 10 is a sequence diagram showing a part of the sequence of each process executed in the communication system (continuation of FIG. 9). 図８のＳ３１０で実行される画像処理を示すフローチャートである。It is a flowchart which shows the image process performed by S310 of FIG.

以下に、本発明の好適な実施形態を図面に基づいて説明する。
（１）通信システム１の構成
図１に示すように、本実施形態の通信システム１は、多機能機１０と、仲介サーバ２０と、変換サーバ３０と、コンテンツサーバ５０とを備えている。多機能機１０は、ＬＡＮ２を介してインターネット４に接続されている。仲介サーバ２０、コンテンツサーバ５０、及び変換サーバ３０は、インターネット４に接続されている。 Preferred embodiments of the present invention will be described below with reference to the drawings.
(1) Configuration of Communication System 1 As shown in FIG. 1, the communication system 1 of this embodiment includes a multi-function device 10, an intermediary server 20, a conversion server 30, and a content server 50. The multi-function device 10 is connected to the Internet 4 via the LAN 2. The mediation server 20, the content server 50, and the conversion server 30 are connected to the Internet 4.

多機能機１０、仲介サーバ２０、変換サーバ３０、及びコンテンツサーバ５０は、例えば、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌの略）又はＨＴＴＰＳ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ Ｓｅｃｕｒｅの略）による通信を実行可能である。   The multi-function device 10, the mediation server 20, the conversion server 30, and the content server 50 can execute communication using, for example, HTTP (abbreviation of HyperText Transfer Protocol) or HTTPS (abbreviation of HyperText Transfer Protocol Secure).

より具体的には、多機能機１０は、ＨＴＴＰクライアントとして動作する。変換サーバ３０は、ＨＴＴＰサーバとして動作する。仲介サーバ２０は、多機能機１０との通信においてはＨＴＴＰサーバとして動作し、変換サーバ３０との通信においてはＨＴＴＰクライアントとして動作することで、ＬＡＮ２などに備えられたファイアウォールなどにより阻害されることなく、多機能機１０との通信、および変換サーバ３０との通信を行うことができる。   More specifically, the multi-function device 10 operates as an HTTP client. The conversion server 30 operates as an HTTP server. The mediation server 20 operates as an HTTP server in communication with the multi-function device 10 and operates as an HTTP client in communication with the conversion server 30 without being obstructed by a firewall or the like provided in the LAN 2 or the like. Communication with the multi-function device 10 and communication with the conversion server 30 can be performed.

（２）多機能機１０の構成
多機能機１０は、印刷機能、スキャン機能、コピー機能、ＦＡＸ機能等の各種機能を実現するための各種処理を実行可能である。多機能機１０は、操作部１１と、表示部１２と、ネットワークインタ−フェース１３と、印刷実行部１４と、スキャン実行部１５と、制御部１６とを備える。 (2) Configuration of Multi-Function Device 10 The multi-function device 10 can execute various processes for realizing various functions such as a print function, a scan function, a copy function, and a FAX function. The multi-function device 10 includes an operation unit 11, a display unit 12, a network interface 13, a print execution unit 14, a scan execution unit 15, and a control unit 16.

操作部１１は、複数のキーと、表示部１２の表示領域に重畳配置されたタッチパネルを有する。ユーザは、操作部１１を操作することによって、様々な指示を多機能機１０に入力することができる。表示部１２は、様々な情報を表示するためのディスプレイである。ネットワークインタ−フェース１３は、ＬＡＮ２に接続されている。多機能機１０は、ネットワークインタ−フェース１３を介して、仲介サーバ２０や変換サーバ３０などと通信をすることが可能である。印刷実行部１４は、インクジェット方式、レーザ方式等の印刷機構を備える。スキャン実行部１５は、ＣＣＤ、ＣＩＳ等のスキャン機構を備える。   The operation unit 11 includes a plurality of keys and a touch panel arranged in a superimposed manner on the display area of the display unit 12. The user can input various instructions to the multi-function device 10 by operating the operation unit 11. The display unit 12 is a display for displaying various information. The network interface 13 is connected to the LAN 2. The multi-function device 10 can communicate with the mediation server 20, the conversion server 30, and the like via the network interface 13. The print execution unit 14 includes a printing mechanism such as an inkjet method or a laser method. The scan execution unit 15 includes a scan mechanism such as a CCD or CIS.

制御部１６は、ＣＰＵ１７と、メモリ１８とを備える。ＣＰＵ１７は、メモリ１８に格納されているプログラム１９に従って、様々な処理を実行する。後述する図６〜図１０における多機能機１０の各処理は、ＣＰＵ１７がメモリ１８のプログラム１９を実行することにより実現される。メモリ１８は、コンピュータが読み取り可能なストレージ媒体であってよい。コンピュータが読み取り可能なストレージ媒体とは、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスクなどのnon-transitoryな媒体である。なお、インターネット上のサーバなどからダウンロードされるプログラムを搬送する電気信号は、non-transitoryな媒体には含まれない。   The control unit 16 includes a CPU 17 and a memory 18. The CPU 17 executes various processes according to the program 19 stored in the memory 18. Each process of the multi-function device 10 in FIGS. 6 to 10 to be described later is realized by the CPU 17 executing the program 19 in the memory 18. The memory 18 may be a computer readable storage medium. The computer-readable storage medium is a non-transitory medium such as a ROM, RAM, flash memory, or hard disk. Note that an electrical signal carrying a program downloaded from a server on the Internet is not included in a non-transitory medium.

（３）仲介サーバ２０の構成
仲介サーバ２０は、変換サーバ３０やコンテンツサーバ５０とは別体に構成されているサーバである。仲介サーバ２０は、変換サーバ３０と多機能機１０との間の、各種データの通信を仲介するためのサーバである。仲介サーバ２０は、多機能機１０のベンダによって提供されるサーバである。 (3) Configuration of Mediation Server 20 Mediation server 20 is a server configured separately from conversion server 30 and content server 50. The mediation server 20 is a server for mediating communication of various data between the conversion server 30 and the multi-function device 10. The mediation server 20 is a server provided by the vendor of the multi-function device 10.

仲介サーバ２０は、ネットワークインタ−フェース２１と、制御部２２とを備える。仲介サーバ２０は、ネットワークインタ−フェース２１を介して、多機能機１０、コンテンツサーバ５０、変換サーバ３０などと通信をすることが可能である。制御部２２は、ＣＰＵ２３と、メモリ２４と、を備える。メモリ２４には、プログラム２５が記憶されている。ＣＰＵ２３は、プログラム２５に従って、様々な処理を実行する。後述する図６〜図１０における仲介サーバ２０の各処理は、ＣＰＵ２３がメモリ２４のプログラム２５を実行することにより実現される。メモリ２４は、多機能機１０のメモリ１８と同様に、コンピュータが読み取り可能なストレージ媒体であってよい。   The mediation server 20 includes a network interface 21 and a control unit 22. The mediation server 20 can communicate with the multi-function device 10, the content server 50, the conversion server 30, and the like via the network interface 21. The control unit 22 includes a CPU 23 and a memory 24. A program 25 is stored in the memory 24. The CPU 23 executes various processes according to the program 25. Each process of the mediation server 20 in FIGS. 6 to 10 described later is realized by the CPU 23 executing the program 25 in the memory 24. Similar to the memory 18 of the multi-function device 10, the memory 24 may be a computer-readable storage medium.

（４）変換サーバ３０の構成
変換サーバ３０は、仲介サーバ２０、コンテンツサーバ５０とは別体に構成されているサーバである。変換サーバ３０は、入力される画像データに対して後述する各種の処理を実行するためのサーバである。 (4) Configuration of Conversion Server 30 The conversion server 30 is a server configured separately from the mediation server 20 and the content server 50. The conversion server 30 is a server for executing various processes to be described later on input image data.

変換サーバ３０は、多機能機１０のベンダによって提供されるサーバであってもよい。変換サーバ３０は、ネットワークインタ−フェース３１と、制御部３２とを備える。制御部３２は、ＣＰＵ３３と、メモリ３４とを備える。メモリ３４には、プログラム３５およびテンプレート４１が記憶されている。ＣＰＵ３３は、プログラム３５に従って様々な処理を実行する。後述する図６〜図１０における変換サーバ３０の各処理は、ＣＰＵ３３がメモリ３４のプログラム３５を実行することにより実現される。テンプレート４１には、画像処理に用いられる画像データとして、第３テンプレート画像データ４２が含まれる。メモリ３４は、多機能機１０のメモリ１８と同様に、コンピュータが読み取り可能なストレージ媒体であってよい。   The conversion server 30 may be a server provided by the vendor of the multi-function device 10. The conversion server 30 includes a network interface 31 and a control unit 32. The control unit 32 includes a CPU 33 and a memory 34. The memory 34 stores a program 35 and a template 41. The CPU 33 executes various processes according to the program 35. Each process of the conversion server 30 in FIGS. 6 to 10 to be described later is realized by the CPU 33 executing the program 35 in the memory 34. The template 41 includes third template image data 42 as image data used for image processing. Similar to the memory 18 of the multi-function device 10, the memory 34 may be a computer-readable storage medium.

プログラム３５は、画像処理を行うプログラムとして、Ａアプリケーション３６、Ｂアプリケーション３７、及びＣアプリケーション３８を含んでいる。なお、上記の第３テンプレート画像データ４２は、Ｃアプリケーション３８の実行時に用いられる。   The program 35 includes an A application 36, a B application 37, and a C application 38 as programs for performing image processing. The third template image data 42 is used when the C application 38 is executed.

Ａアプリケーション３６は、多機能機１０から出力された出力画像と、Ａアプリケーション用の第１テンプレート画像とを合成する処理を実行するためのアプリケーションである。具体的には、第１テンプレート画像に含まれている特定領域（例：透過領域）に、多機能機１０からの出力画像が合成される。   The A application 36 is an application for executing processing for combining the output image output from the multi-function device 10 and the first template image for the A application. Specifically, the output image from the multi-function device 10 is combined with a specific area (eg, a transparent area) included in the first template image.

（５）コンテンツサーバ５０の構成
コンテンツサーバ５０は、仲介サーバ２０、変換サーバ３０とは別体に構成されているサーバである。コンテンツサーバ５０は、多機能機１０のベンダによって提供されるサーバであってもよい。コンテンツサーバ５０は、メモリ５１を備えている。メモリ５１には、テンプレート５２が記憶されている。 (5) Configuration of Content Server 50 The content server 50 is a server configured separately from the mediation server 20 and the conversion server 30. The content server 50 may be a server provided by the vendor of the multi-function device 10. The content server 50 includes a memory 51. A template 52 is stored in the memory 51.

テンプレート５２には、第１テンプレート画像データ５３および第２テンプレート画像データ５４が含まれる。第１テンプレート画像データ５３は、前述した第１テンプレート画像を表示するための画像データである。第２テンプレート画像データ５４は、Ｂアプリケーション３７の実行時に用いられる画像データである。   The template 52 includes first template image data 53 and second template image data 54. The first template image data 53 is image data for displaying the first template image described above. The second template image data 54 is image data used when the B application 37 is executed.

変換サーバ３０がＡアプリケーション３６およびＢアプリケーション３７を実行する場合には、多機能機１０で選択されたテンプレート画像の画像データをコンテンツサーバ５０から取得する必要がある。一方、変換サーバ３０がＣアプリケーション３８を実行する場合には、多機能機１０で選択されたテンプレート画像の画像データを変換サーバ３０内のメモリ３４から読み出せばよいため、テンプレート画像の画像データをコンテンツサーバ５０から取得する必要はない。   When the conversion server 30 executes the A application 36 and the B application 37, it is necessary to obtain image data of the template image selected by the multi-function device 10 from the content server 50. On the other hand, when the conversion server 30 executes the C application 38, the image data of the template image selected by the multi-function device 10 may be read from the memory 34 in the conversion server 30. It is not necessary to acquire from the content server 50.

ここで、本明細書における記載上の注意点を説明する。本明細書において、「仲介サーバ２０のＣＰＵ２３が、各種の情報を受信する」という記載は、「仲介サーバ２０のＣＰＵ２３が、ネットワークインタ−フェース２１を介して各種の情報を取得する」という技術内容を含んでいるものとする。また、「仲介サーバ２０のＣＰＵ２３が、各種の情報を送信する」という記載は、「仲介サーバ２０のＣＰＵ２３が、ネットワークインタ−フェース２１を介して各種の情報を出力する」という技術内容を含んでいるものとする。なお、変換サーバ３０のＣＰＵ３３およびネットワークインタ−フェース３１についても、同様の注意点が存在する。また、多機能機１０のＣＰＵ１７およびネットワークインタ−フェース１３についても、同様の注意点が存在する。   Here, notes on description in this specification will be described. In this specification, the description “the CPU 23 of the mediation server 20 receives various types of information” means “the CPU 23 of the mediation server 20 acquires various types of information via the network interface 21”. Is included. In addition, the description “the CPU 23 of the mediation server 20 transmits various types of information” includes the technical content that “the CPU 23 of the mediation server 20 outputs various types of information via the network interface 21”. It shall be. Note that similar precautions exist for the CPU 33 and the network interface 31 of the conversion server 30. Similar precautions exist for the CPU 17 and the network interface 13 of the multi-function device 10.

次に、「データ」および「情報」の文言の定義を説明する。本明細書では、「データ」と「情報」では「情報」を「データ」の上位概念として用いている。そのため、「Ａデータ」を「Ａ情報」と言い換えてもよい。また、「情報」は、「データ」としての形式（例えば、テキスト形式、バイナリ形式、フラグ形式等）が異なっていても、同一の意味内容と認識される限り、同一の情報として取り扱われる。例えば、印刷部数が２部であることを示す情報として装置が扱う限り、“ＣＯＰＹ＝２”というテキスト形式のデータと、“１０”というバイナリ形式のデータとは、同じ情報である。   Next, the definition of the words “data” and “information” will be described. In this specification, “data” and “information” use “information” as a superordinate concept of “data”. Therefore, “A data” may be rephrased as “A information”. Further, “information” is treated as the same information as long as it is recognized as the same meaning content even if the format as “data” (for example, text format, binary format, flag format, etc.) is different. For example, as long as the apparatus handles information indicating that the number of copies is two, text data “COPY = 2” and binary data “10” are the same information.

本明細書では、仲介サーバ２０と変換サーバ３０とコンテンツサーバ５０とがインターネット４で接続されている形態（すなわち、仲介サーバ２０、変換サーバ３０、及びコンテンツサーバ５０の各々として機能する装置が物理的に離れた位置に配置されている形態）を例示しているが、本発明の適用はそのような形態に限られない。例えば、仲介サーバ２０と変換サーバ３０とコンテンツサーバ５０のうちの少なくとも２つが、１つのサーバ装置で実現されてもよい。例えば仲介サーバ２０と変換サーバ３０が１つのサーバ装置で実現される場合は、その１つのサーバ装置において、仲介サーバ２０として機能するプログラムと変換サーバ３０として機能するプログラムとを稼動させ、両プログラム間の通信をサーバ装置内のバスラインなどを介して行わせるようにしてもよい。なお、仲介サーバ２０と変換サーバ３０とが１つのサーバ装置で実現される構成の場合、本明細書で、仲介サーバ２０と変換サーバ３０との間の通信として説明している通信は、仲介サーバ２０として機能するプログラムと、変換サーバ３０として機能するプログラムとの間でのデータの受け渡しに置き換わることとしてよい。また、仲介サーバ２０として機能し、かつ変換サーバ３０としても機能するプログラムが、１つのサーバ装置で稼動する形態で実現されてもよい。この場合、本明細書で、仲介サーバ２０と変換サーバ３０との間の通信として説明している通信は、仲介サーバ２０として機能し、かつ変換サーバ３０としても機能するプログラム内でのデータの受け渡しに置き換わることとしてよい。   In the present specification, a mode in which the mediation server 20, the conversion server 30, and the content server 50 are connected via the Internet 4 (that is, a device that functions as each of the mediation server 20, the conversion server 30, and the content server 50 is physically However, the application of the present invention is not limited to such a form. For example, at least two of the mediation server 20, the conversion server 30, and the content server 50 may be realized by one server device. For example, when the mediation server 20 and the conversion server 30 are realized by one server device, the program that functions as the mediation server 20 and the program that functions as the conversion server 30 are operated in the one server device, The communication may be performed via a bus line in the server device. In the case where the mediation server 20 and the conversion server 30 are configured by a single server device, the communication described in this specification as the communication between the mediation server 20 and the conversion server 30 is the mediation server. Data exchange between the program functioning as 20 and the program functioning as the conversion server 30 may be replaced. Further, a program that functions as the mediation server 20 and also functions as the conversion server 30 may be realized in a form that operates on one server device. In this case, the communication described in this specification as the communication between the mediation server 20 and the conversion server 30 functions as the mediation server 20 and passes data within a program that also functions as the conversion server 30. It may be replaced with.

（６）通信システム１で実現されるお気に入り素材合成機能の説明
本実施形態の通信システム１は、複数種類の画像処理機能を実現可能である。即ち、通信システム１では、多機能機１０でスキャンした画像（スキャン画像）の画像データ（スキャン画像データ）を変換サーバ３０で画像処理させ、その結果を多機能機１０で取得して印刷出力させることが可能である。 (6) Description of Favorite Material Composition Function Implemented in Communication System 1 The communication system 1 of the present embodiment can implement a plurality of types of image processing functions. That is, in the communication system 1, image data (scanned image data) of an image (scanned image) scanned by the multi-function device 10 is subjected to image processing by the conversion server 30, and the result is acquired by the multi-function device 10 and printed out. It is possible.

画像処理機能の種類は種々あるが、そのうち少なくとも３つは、上述した３つのアプリケーション３６〜３８が実行されることにより実現される画像処理機能である。Ｂアプリケーション３７及びＣアプリケーション３８による画像処理機能については詳細説明を省略する。Ａアプリケーション３６による画像処理機能は、お気に入り素材合成機能である。お気に入り素材合成機能は、多機能機１０においてユーザがスキャンしたスキャン画像と、ユーザにより選択された特定のテンプレート画像とを合成し、その合成した画像（合成画像）を多機能機１０で印刷出力できるようにする機能である。   Although there are various types of image processing functions, at least three of them are image processing functions that are realized by executing the three applications 36 to 38 described above. Detailed description of the image processing function by the B application 37 and the C application 38 is omitted. The image processing function by the A application 36 is a favorite material composition function. The favorite material composition function can synthesize a scan image scanned by the user in the multi-function device 10 and a specific template image selected by the user, and print the synthesized image (composite image) on the multi-function device 10. It is a function to make it.

お気に入り素材合成機能による画像合成の具体的手順を説明する。多機能機１０のユーザは、お気に入り素材合成機能を利用したい場合、まず、多機能機１０においてＡアプリケーション３６の選択操作を行う。   A specific procedure for image composition using the favorite material composition function will be described. When the user of the multi-function device 10 wants to use the favorite material composition function, first, the multi-function device 10 selects the A application 36.

次に、ユーザは、多機能機１０において、テンプレート画像を選択する。選択可能なテンプレート画像の選択肢は複数ある。どのようなテンプレート画像があるかについての情報はコンテンツサーバ５０から仲介サーバ２０を介して多機能機１０へ送信され（後述のＳ１３２（図６））、テンプレート選択画面として多機能機１０の表示部１２に表示される（後述のＳ１３４（図６））。テンプレート選択画面は、Ａアプリケーション３６に対応するテンプレート画像（第１テンプレート画像データが示す画像）の縮小画像（サムネイル画像）を一覧表示してその中から１つのテンプレート画像の選択操作を受け付けるための画面である。以下、テンプレート選択画面に一覧表示されたテンプレート画像の中からユーザにより選択されたテンプレート画像を、選択テンプレート画像という。   Next, the user selects a template image in the multi-function device 10. There are multiple template image options that can be selected. Information about what kind of template image exists is transmitted from the content server 50 to the multi-function device 10 via the mediation server 20 (S132 (FIG. 6) described later), and the display unit of the multi-function device 10 is used as a template selection screen. 12 (S134 (FIG. 6) described later). The template selection screen is a screen for displaying a list of reduced images (thumbnail images) of template images (images indicated by the first template image data) corresponding to the A application 36 and accepting an operation for selecting one template image from the list. It is. Hereinafter, a template image selected by the user from among the template images displayed as a list on the template selection screen is referred to as a selected template image.

次に、ユーザは、選択テンプレート画像に合成させたい所望の素材の原稿をスキャンさせる。スキャンされた素材の原稿の画像（素材スキャン画像）のデータ（素材スキャン画像データ）は、多機能機１０から変換サーバ３０へ送信（アップロード）される。   Next, the user scans a document of a desired material to be combined with the selected template image. Data (material scanned image data) of a scanned original document image (material scanned image) is transmitted (uploaded) from the multi-function device 10 to the conversion server 30.

図２の上段に、素材スキャン画像及び選択テンプレート画像の一例を示す。図２の例では、素材スキャン画像は植物の葉の画像である。なお、実際には緑色を主体としたカラー画像である。選択テンプレート画像は、主に年賀状での利用を想定した、動物の絵柄と文字とを含む画像である。選択テンプレート画像は、実際には、文字や絵柄などの実質的に画像情報として機能する画像領域は白色となっており、その他の領域（空白領域）の色はグレーとなっている。   An example of the material scan image and the selected template image is shown in the upper part of FIG. In the example of FIG. 2, the material scan image is an image of a plant leaf. Actually, the color image is mainly green. The selected template image is an image including an animal pattern and characters, mainly intended for use on New Year's cards. In the selected template image, in practice, an image area that substantially functions as image information such as a character or a pattern is white, and the color of other areas (blank areas) is gray.

多機能機１０において、素材スキャン画像データの送信、及びテンプレート画像の選択が行われると、変換サーバ３０が、素材スキャン画像データとテンプレート画像データとを合成する画像処理（合成処理）を行う。   In the multi-function device 10, when transmission of material scan image data and selection of a template image are performed, the conversion server 30 performs image processing (composition processing) for combining the material scan image data and the template image data.

合成処理は、具体的には次のように行われる。変換サーバ３０は、素材スキャン画像データが示す素材スキャン画像の中から、選択テンプレート画像と合成する特定の領域の画像（素材画像）を抽出する。素材スキャン画像全体から素材画像の抽出を行うアルゴリズムは予め決められている。変換サーバ３０は、そのアルゴリズムに従って、素材スキャン画像の中から素材画像を抽出する。   Specifically, the synthesis process is performed as follows. The conversion server 30 extracts an image (material image) of a specific area to be combined with the selected template image from the material scan image indicated by the material scan image data. An algorithm for extracting a material image from the entire material scan image is determined in advance. The conversion server 30 extracts a material image from the material scan image according to the algorithm.

本実施形態では、図２の中段に例示するように、素材スキャン画像全体の中から特定の矩形領域内の画像が素材画像として抽出される。図２には、抽出パターンＡ〜Ｃの３つの抽出パターンが例示されている。   In the present embodiment, as illustrated in the middle part of FIG. 2, an image in a specific rectangular area is extracted as a material image from the entire material scan image. FIG. 2 illustrates three extraction patterns A to C.

変換サーバ３０は、素材スキャン画像から素材画像を抽出すると、予め決められた画像合成方法によって、素材画像と選択テンプレート画像を合成する。本実施形態では、素材画像は素材スキャン画像の一部であり、選択テンプレート画像よりも画像サイズが小さい。そのため、本実施形態では、選択テンプレート画像の全領域に対して素材画像を縦横に連続配置させる。そして、選択テンプレート画像における白色の領域は、その白色の領域を優先させ、素材画像を表示させない。一方、選択テンプレート画像におけるグレーの領域は、素材画像を優先させて前面に出す。つまりグレーの領域に素材画像を露出させる。   When the conversion server 30 extracts the material image from the material scan image, the conversion server 30 combines the material image and the selected template image by a predetermined image combining method. In the present embodiment, the material image is a part of the material scan image and is smaller in image size than the selected template image. For this reason, in the present embodiment, the material images are continuously arranged vertically and horizontally with respect to the entire area of the selected template image. Then, the white area in the selected template image is given priority over the white area, and the material image is not displayed. On the other hand, the gray area in the selected template image is given to the front with priority given to the material image. That is, the material image is exposed in the gray area.

このような画像合成方法によって合成処理された結果（合成画像）の一例を、図２の下段に示す。図２に示す３つの合成画像のうち、合成画像Ａは、抽出パターンＡで抽出された素材画像と選択テンプレート画像との合成結果である。合成画像Ｂは、抽出パターンＢで抽出された素材画像と選択テンプレート画像との合成結果である。合成画像Ｃは、抽出パターンＣで抽出された素材画像と選択テンプレート画像との合成結果である。いずれも、選択テンプレート画像に対して素材画像が縦横に連続的に複数配置されている。例えば合成画像Ａの場合、素材画像が４行６列に連続配置されている。   An example of the result of synthesis processing (synthesized image) by such an image synthesis method is shown in the lower part of FIG. Of the three composite images shown in FIG. 2, the composite image A is a composite result of the material image extracted by the extraction pattern A and the selected template image. The composite image B is a composite result of the material image extracted by the extraction pattern B and the selected template image. The composite image C is a composite result of the material image extracted with the extraction pattern C and the selected template image. In any case, a plurality of material images are continuously arranged vertically and horizontally with respect to the selected template image. For example, in the case of the composite image A, the material images are continuously arranged in 4 rows and 6 columns.

変換サーバ３０は、上記のように素材画像データと選択テンプレート画像データとの合成処理を行うことで、素材画像と選択テンプレート画像が合成された合成画像の合成画像データを生成する。変換サーバ３０は、合成画像データを生成すると、さらに、お試し印刷画像の画像データ（お試し印刷画像データ）を生成する。   The conversion server 30 generates composite image data of a composite image obtained by combining the material image and the selected template image by performing the composite processing of the material image data and the selected template image data as described above. When generating the composite image data, the conversion server 30 further generates image data of the trial print image (trial print image data).

お試し印刷画像とは、多機能機１０において印刷出力させるための画像であり、図３に例示するように、主に、印刷イメージ画像６１と、素材スキャン画像６２と、素材抽出領域画像６３と、注記画像６４とを有する。印刷イメージ画像６１は、実質的には上記合成処理により生成された合成画像そのものであり、最終的にはがきに印刷させた場合はこのような印刷結果が得られる、ということをユーザに提示するための画像である。素材スキャン画像６２は、多機能機１０でスキャンされて変換サーバ３０へ送信された素材スキャン画像である。素材抽出領域画像６３は、素材スキャン画像６２のうちどの領域が素材画像として用いられたかを示す画像である。素材抽出領域画像６３は、本実施形態では、素材スキャン画像６２中の素材画像に相当する領域を囲む矩形画像である。この矩形画像で囲まれた領域が素材画像として用いられていることを示している。注記画像６４は、お試し印刷画像の印刷結果を取得したユーザに対して、注意事項や次の操作などに関する情報を提示するための画像である。   The trial print image is an image to be printed out by the multi-function device 10. As illustrated in FIG. 3, the test print image mainly includes a print image image 61, a material scan image 62, and a material extraction region image 63. , And a note image 64. The print image 61 is substantially the composite image itself generated by the above-described composite processing, and in order to present to the user that such a print result can be obtained when finally printed on a postcard. It is an image. The material scan image 62 is a material scan image scanned by the multi-function device 10 and transmitted to the conversion server 30. The material extraction region image 63 is an image indicating which region of the material scan image 62 is used as a material image. In the present embodiment, the material extraction area image 63 is a rectangular image surrounding an area corresponding to the material image in the material scan image 62. This indicates that the area surrounded by the rectangular image is used as the material image. The annotation image 64 is an image for presenting information related to precautions and the next operation to the user who has acquired the print result of the trial print image.

ユーザは、印刷させたお試し印刷画像中の印刷イメージ画像６１を見て、それで問題なければ、そのまま本印刷（例えばはがきへの印刷）へ進めばよい。一方、印刷イメージ画像６１がユーザの意図しない内容となっている場合（例えば意図しない領域が素材画像として用いられている場合）、ユーザは、所望の領域を指定して画像合成をやり直しさせることができる。   The user sees the print image 61 in the printed test print image, and if there is no problem, the user can proceed to actual printing (for example, printing on a postcard) as it is. On the other hand, when the print image 61 has contents not intended by the user (for example, when an unintended area is used as a material image), the user can specify a desired area and redo the image composition. it can.

具体的には、図４に示すように、印刷されているお試し印刷画像における、素材スキャン画像６２に対して、合成用の素材にしたい所望の領域を赤色のペン（筆記用具）で囲む。つまり、お試し印刷画像が印刷されている印刷媒体に、ユーザが直接、赤色のペンで囲み（矩形状の閉じたループ。以下「赤ペン囲み」という。）６５を記入する。図４では、赤ペン囲み６５を破線で示しているが、実際には、ユーザによって記入される赤色の線である。   Specifically, as shown in FIG. 4, a desired region to be used as a composition material is surrounded with a red pen (writing tool) with respect to the material scan image 62 in the printed test print image. That is, the user directly fills in a red pen surrounded by a red pen (rectangular closed loop, hereinafter referred to as “red pen box”) 65 on a print medium on which a trial print image is printed. In FIG. 4, the red pen box 65 is indicated by a broken line, but is actually a red line written by the user.

一方、変換サーバ３０からお試し印刷画像データがダウンロードされると、多機能機１０の表示部１２には、図５（ａ）に示すような修正実行選択画面が表示される。この修正実行選択画面は、ユーザに対して画像合成の修正（やり直し）の意思表示を問うための画面であり、「はい」及び「いいえ」の選択肢が表示される。ユーザが「いいえ」を選択すると、通常の本印刷の処理へ進む。ユーザが「はい」を選択すると、表示部１２には、図５（ｂ）に示す修正原稿スキャン指示画面が表示される。この修正原稿スキャン指示画面は、ユーザが赤ペン囲み６５を記入したお試し印刷原稿を多機能機１０にセットしてスキャンさせるように指示するメッセージと「ＯＫ」ボタンが表示される。   On the other hand, when the trial print image data is downloaded from the conversion server 30, a correction execution selection screen as shown in FIG. 5A is displayed on the display unit 12 of the multi-function device 10. This correction execution selection screen is a screen for asking the user about the intention to correct (redo) image synthesis, and displays “Yes” and “No” options. If the user selects “No”, the process proceeds to normal regular print processing. When the user selects “Yes”, the corrected document scanning instruction screen shown in FIG. 5B is displayed on the display unit 12. In the corrected document scan instruction screen, a message for instructing the user to set the multi-function device 10 to scan the test print document in which the red pen box 65 is written and an “OK” button are displayed.

ユーザが、赤ペン囲み６５を記入したお試し印刷原稿を多機能機１０にセットして、修正原稿スキャン指示画面の「ＯＫ」ボタンをタップすると、多機能機１０においてスキャンが実行され、そのスキャンされた画像（修正記入済みスキャン画像）のデータ（修正記入済みスキャン画像データ）が変換サーバ３０に送信（アップロード）される。   When the user sets a trial print document in which the red pen box 65 is written on the multi-function device 10 and taps an “OK” button on the correction document scan instruction screen, the multi-function device 10 performs a scan, and the scan is performed. Data (corrected and completed scanned image data) of the image (modified and completed scanned image) is transmitted (uploaded) to the conversion server 30.

なお、印刷された印刷イメージ画像６１がユーザの意図しない内容となっているケースの１つとして、スキャン画像そのものが不適切な状態（例えば不明瞭になっていたり、色が再現されていないなど）になっていることもあり得る。その場合は、ユーザは、素材のスキャン自体をやり直すことも可能である。   As one of the cases where the printed print image 61 has contents not intended by the user, the scanned image itself is in an inappropriate state (for example, it is unclear or the color is not reproduced). It is possible that In that case, the user can redo the scanning of the material itself.

変換サーバ３０は、多機能機１０から修正記入済みスキャン画像データを受信すると、赤ペン囲み６５の認識処理を行う。変換サーバ３０は、修正記入済みスキャン画像から、赤色又はそれに近い色で略矩形ループ状の画像を検出することにより、赤ペン囲み６５を認識する。またその際、単に赤ペン囲み６５のみを認識するだけではなく、素材スキャン画像６２全体におけるその赤ペン囲み６５で囲まれた領域を相対的に検出する。つまり、認識した赤ペン囲み６５と素材スキャン画像６２との相対的位置関係に基づいて、素材スキャン画像６２全体のうちどの領域を素材画像として用いるべきかの再認識も行う。   When the conversion server 30 receives the corrected completed scan image data from the multi-function device 10, the conversion server 30 performs a recognition process for the red pen box 65. The conversion server 30 recognizes the red pen box 65 by detecting an image having a substantially rectangular loop shape in red or a color close to it from the corrected scan image. At that time, not only the red pen box 65 is recognized, but the area surrounded by the red pen box 65 in the entire material scan image 62 is relatively detected. That is, based on the relative positional relationship between the recognized red pen box 65 and the material scan image 62, re-recognition of which region of the entire material scan image 62 should be used as the material image is also performed.

変換サーバ３０が赤ペン囲み６５を検出できなかった場合は、多機能機１０の表示部１２に、図５（ｃ）に示すような囲み領域検出エラー画面が表示される。赤ペン囲み６５を認識できない原因としては、例えば、赤色とは異なる色で囲まれていたり、囲みの形状が矩形状ではなかったり、複数箇所囲まれていたりすることなどが考えられる。   When the conversion server 30 cannot detect the red pen box 65, a box area detection error screen as shown in FIG. 5C is displayed on the display unit 12 of the multi-function device 10. Possible causes of the red pen box 65 being unrecognizable are, for example, that the red pen box 65 is surrounded by a color different from red, the box shape is not rectangular, or a plurality of points are surrounded.

赤ペン囲み６５を認識できなかった場合に具体的にどのような処理を行うかについては種々考えられるが、本実施形態では、囲み領域検出エラー画面の表示に続いて（或いはその表示内容に加えて）、例えば「再度お試し印刷を実行」及び「再度スキャン」という選択肢（不図示）を表示させて、ユーザにどちらが適切か選択させるようにしている。そして、ユーザが例えば「再度お試し印刷を実行」を選択した場合は、先に生成したお試し印刷画像データが多機能機１０へ再送信される。同じお試し印刷画像データが再度多機能機１０へ送信されると、多機能機１０ではお試し印刷画像が再度印刷出力される。これにより、ユーザは、赤ペン囲み６５を記入し直して再スキャンさせることができる。逆に、ユーザが「再度スキャン」を選択した場合は、手順の最初（素材の原稿のスキャン）に戻る。   Various processing can be considered specifically when the red pen box 65 cannot be recognized, but in this embodiment, following the display of the surrounding area detection error screen (or in addition to the display contents). For example, options (not shown) of “execute trial printing again” and “scan again” are displayed to allow the user to select which one is appropriate. For example, when the user selects “execute trial printing again”, the trial print image data generated earlier is retransmitted to the multi-function device 10. When the same trial print image data is transmitted to the multi-function device 10 again, the multi-function device 10 prints out the test print image again. This allows the user to re-write the red pen box 65 and rescan. Conversely, when the user selects “scan again”, the process returns to the beginning of the procedure (scanning of the original document).

なお、図５（ｃ）に示す囲み領域検出エラー画面の内容と共に（あるいはその画面の表示後に表示内容を切り替えて）、検出できなかった原因やユーザへのアドバイスなどを表示させるようにしてもよい。例えば、赤ペンでの記入箇所が全く検出されなかった場合は、「正しい色のペンで囲っているか確認してください」というメッセージを表示させるようにしてもよい。また例えば、赤ペンでの記入箇所は存在していたものの囲み（閉じたループ）が存在していなかった場合は、「四角になるよう囲んでいるか確認してください」というメッセージを表示させるようにしてもよい。また例えば、囲みが２箇所以上検出された場合は、「１箇所のみしか囲うことができません」というメッセージを表示させるようにしてもよい。   In addition to the content of the surrounding area detection error screen shown in FIG. 5C (or by switching the display content after the screen is displayed), the cause of the failure or advice to the user may be displayed. . For example, if no entry with a red pen is detected, a message “Please check if it is enclosed with a pen of the correct color” may be displayed. Also, for example, if there was an entry with a red pen but there was no enclosure (closed loop), the message “Please check if it is enclosed in a square” should be displayed. May be. Further, for example, when two or more enclosures are detected, a message “only one can be enclosed” may be displayed.

変換サーバ３０は、赤ペン囲み６５を認識して、その認識結果に基づいて素材スキャン画像（既に前回の画像合成で取得済み）から素材画像を再抽出すると、その再抽出した新たな素材画像と選択テンプレート画像の合成処理を行う。これにより、素材画像が修正された新たな合成画像の合成画像データが生成され、更に、その新たな合成画像データを含む新たなお試し印刷画像のデータが生成される。このようにして生成された新たなお試し印刷画像データは、多機能機１０へ送信され、印刷出力される。多機能機１０では、前回の印刷出力時と同様、印刷出力されたお試し印刷画像を見て、合成画像が意図する内容になっているかどうかを確認することができる。   When the conversion server 30 recognizes the red pen box 65 and re-extracts the material image from the material scan image (already acquired in the previous image composition) based on the recognition result, the conversion material 30 and the newly extracted new material image and The selected template image is synthesized. Thereby, composite image data of a new composite image in which the material image is corrected is generated, and new test print image data including the new composite image data is further generated. The new test print image data generated in this way is transmitted to the multi-function device 10 and printed out. In the multi-function device 10, as in the previous print output, it is possible to check whether the composite image has the intended content by looking at the printed test print image.

（７）通信システム１の動作
通信システム１の動作を、図６〜図１０のシーケンス図を用いて説明する。なお、以下の説明では、図６〜図１０に連続的に示す動作例のうち、図６に示す一連の処理（Ｓ１１０〜Ｓ１３６）を、総称して初期選択処理という。また、図７に示す一連の処理（Ｓ２０２〜Ｓ２３２）を、総称してスキャンアップロード処理という。また、図８に示す一連の処理（Ｓ３００〜Ｓ３２６）を、総称して変換処理という。また、図９に示す一連の処理（Ｓ４０２〜Ｓ４２０）を、総称してダウンロードプリント処理という。また、図１０に示す一連の処理（Ｓ５０２〜Ｓ５１６）を、総称して修正受付処理という。 (7) Operation of Communication System 1 The operation of the communication system 1 will be described with reference to the sequence diagrams of FIGS. In the following description, a series of processes (S110 to S136) illustrated in FIG. 6 among the operation examples continuously illustrated in FIGS. 6 to 10 are collectively referred to as an initial selection process. A series of processes (S202 to S232) shown in FIG. 7 are collectively referred to as a scan upload process. A series of processes (S300 to S326) shown in FIG. 8 are collectively referred to as a conversion process. A series of processes (S402 to S420) shown in FIG. 9 are collectively referred to as a download print process. A series of processes (S502 to S516) shown in FIG. 10 are collectively referred to as a correction acceptance process.

図６の初期選択処理から順次説明する。多機能機１０のＣＰＵ１７は、電源投入され、メイン画面を表示させる命令を受け付けると、Ｓ１１０で、表示部１２にメイン画面を表示させる。メイン画面は、例えば、アプリケーション機能及びメニュー機能のうち何れか一方を選択させるための画面であり、選択可能な各機能を示す画像及びその機能名称が表示される。アプリケーション機能は、年賀状の宛名面や裏面の画像を生成する処理などの、応用的な加工を行う機能である。メニュー機能は、多機能機１０の各種の設定を行うための処理を行う機能である。   The initial selection process in FIG. 6 will be described sequentially. When the CPU 17 of the multi-function device 10 is turned on and receives a command to display the main screen, the CPU 17 displays the main screen on the display unit 12 in S110. The main screen is, for example, a screen for selecting one of an application function and a menu function, and displays an image showing each selectable function and its function name. The application function is a function that performs applied processing such as processing for generating an image on the address side and the back side of the New Year's card. The menu function is a function for performing processing for performing various settings of the multi-function device 10.

多機能機１０において何れかの機能を選択する操作（例えば対応する機能の画像へのタップ操作）がなされると、Ｓ１１２で、ＣＰＵ１７は、選択された機能を示す機能識別情報を仲介サーバ２０へ送信する。   When an operation for selecting any function is performed on the multi-function device 10 (for example, a tap operation on an image of a corresponding function), the CPU 17 sends function identification information indicating the selected function to the mediation server 20 in S112. Send.

仲介サーバ２０のＣＰＵ２３は、多機能機１０から機能識別情報を受信すると、Ｓ１１４で、機能識別情報が示す機能を判断する。メニュー機能が示されている場合は（Ｓ１１４：メニュー機能）、メニュー機能実行処理が行われる。メニュー機能実行処理の処理内容については、省略する。一方、アプリケーション機能が示されている場合は（Ｓ１１４：アプリケーション機能）、Ｓ１１６へ進む。   When receiving the function identification information from the multi-function device 10, the CPU 23 of the mediation server 20 determines the function indicated by the function identification information in S114. If a menu function is indicated (S114: menu function), a menu function execution process is performed. The details of the menu function execution process will be omitted. On the other hand, if an application function is indicated (S114: application function), the process proceeds to S116.

仲介サーバ２０のＣＰＵ２３は、Ｓ１１６で、アプリケーション選択画面データを生成する。アプリケーション選択画面は、多機能機１０に表示させる画面であって、複数のアプリケーション機能のうちいずれかのアプリケーション機能の選択を受け付けるための画面である。アプリケーション選択画面には、Ａアプリケーション３６、Ｂアプリケーション３７、及びＣアプリケーション３８を示す画像が含まれる。仲介サーバ２０のＣＰＵ２３は、Ｓ１１８で、アプリケーション選択画面データを多機能機１０へ送信する。   In S116, the CPU 23 of the mediation server 20 generates application selection screen data. The application selection screen is a screen to be displayed on the multi-function device 10 and is a screen for accepting selection of any one of a plurality of application functions. The application selection screen includes images showing the A application 36, the B application 37, and the C application 38. The CPU 23 of the mediation server 20 transmits the application selection screen data to the multi-function device 10 in S118.

多機能機１０のＣＰＵ１７は、仲介サーバ２０からアプリケーション選択画面データを受信すると、Ｓ１２０で、アプリケーション選択画面を表示部１２に表示させる。多機能機１０のユーザは、操作部１１を操作して、アプリケーション選択画面の中から所望のアプリケーションを表す画像を選択（例えばタップ操作）することができる。ユーザによりアプリケーションを表す画像の選択操作がなされると、多機能機１０のＣＰＵ１７は、Ｓ１２２で、アプリケーション識別情報を仲介サーバ２０へ送信する。アプリケーション識別情報は、ユーザによって選択されたアプリケーションである選択アプリケーションを識別するための情報である。   When receiving the application selection screen data from the mediation server 20, the CPU 17 of the multi-function device 10 displays the application selection screen on the display unit 12 in S120. The user of the multi-function device 10 can operate the operation unit 11 to select (for example, tap operation) an image representing a desired application from the application selection screen. When the user performs an operation of selecting an image representing an application, the CPU 17 of the multi-function device 10 transmits application identification information to the mediation server 20 in S122. The application identification information is information for identifying a selected application that is an application selected by the user.

Ｓ１２４で、仲介サーバ２０のＣＰＵ２３は、アプリケーション識別情報に基づいて選択アプリケーションを識別し、選択アプリケーションに対応するテンプレート一覧情報取得要求情報を生成する。テンプレート一覧情報取得要求情報は、選択アプリケーションに対応するテンプレート画像の一覧を表示させるために必要な情報であるテンプレート一覧情報を、コンテンツサーバ５０に要求するための情報である。   In S124, the CPU 23 of the mediation server 20 identifies the selected application based on the application identification information, and generates template list information acquisition request information corresponding to the selected application. The template list information acquisition request information is information for requesting the content server 50 for template list information that is necessary for displaying a list of template images corresponding to the selected application.

ここで、選択アプリケーションがＡアプリケーション３６であるものと仮定して、Ｓ１２４以下の説明を行う。Ａアプリケーション３６は、既述の通り、お気に入り素材合成機能を実現するためのアプリケーションである。仲介サーバ２０のＣＰＵ２３は、Ｓ１２６で、テンプレート一覧情報取得要求情報をコンテンツサーバ５０に送信する。選択アプリケーションがＡアプリケーション３６であるため、Ｓ１２６は、コンテンツサーバ５０に対し、第１テンプレート画像の一覧を表示させるためのテンプレート一覧情報を要求する処理となる。   Here, assuming that the selected application is the A application 36, the description of S124 and subsequent steps will be made. As described above, the A application 36 is an application for realizing a favorite material composition function. The CPU 23 of the mediation server 20 transmits the template list information acquisition request information to the content server 50 in S126. Since the selected application is the A application 36, S126 is a process for requesting the content server 50 for template list information for displaying a list of first template images.

仲介サーバ２０のＣＰＵ２３は、Ｓ１２８で、コンテンツサーバ５０から送信されてくるテンプレート一覧情報を受信する。Ｓ１３０では、テンプレート選択画面を表示させるためのテンプレート選択画面データを生成する。テンプレート選択画面データは、Ｓ１２８で受信したテンプレート一覧情報に基づいて生成される。Ｓ１３２では、テンプレート選択画面データを多機能機１０へ送信する。   The CPU 23 of the mediation server 20 receives the template list information transmitted from the content server 50 in S128. In S130, template selection screen data for displaying a template selection screen is generated. The template selection screen data is generated based on the template list information received in S128. In S132, the template selection screen data is transmitted to the multi-function device 10.

多機能機１０のＣＰＵ１７は、仲介サーバ２０からテンプレート選択画面データを受信すると、Ｓ１３４で、テンプレート選択画面を表示部１２に表示させる。ここで表示されるテンプレート選択画面は、既述の通り、Ａアプリケーション３６に対応する複数のテンプレート画像（第１テンプレート画像データが示す画像）のサムネイル画像を含む。   When receiving the template selection screen data from the mediation server 20, the CPU 17 of the multi-function device 10 causes the display unit 12 to display the template selection screen in S134. The template selection screen displayed here includes thumbnail images of a plurality of template images (images indicated by the first template image data) corresponding to the A application 36 as described above.

ユーザは、操作部１１を操作して、複数のサムネイル画像の中から、使用したいテンプレート画像に対応するサムネイル画像を選択する。これにより、ユーザが画像合成を望む１つのテンプレート画像（選択テンプレート画像）が選択される。本実施形態では、図２の上段に例示したテンプレート画像がユーザに選択されたことを前提として説明を続ける。   The user operates the operation unit 11 to select a thumbnail image corresponding to a template image to be used from a plurality of thumbnail images. Thereby, one template image (selected template image) for which the user desires image composition is selected. In the present embodiment, the description will be continued on the assumption that the template image illustrated in the upper part of FIG. 2 is selected by the user.

多機能機１０のＣＰＵ１７は、Ｓ１３６で、選択テンプレート画像を識別するためのテンプレート識別情報を仲介サーバ２０へ送信する。
Ｓ１３６の処理後は、図７のスキャンアップロード処理に進む。仲介サーバ２０のＣＰＵ２３は、図７のスキャンアップロード処理に進むと、Ｓ２０２で、画像処理アップロード用データＩＤ取得要求情報を変換サーバ３０へ送信する。画像処理アップロード用データＩＤ取得要求情報は、多機能機１０から変換サーバ３０へアップロードさせるアップロードデータを識別するための画像処理アップロード用データＩＤ（以下「ＵＬ−ＩＤ」と略す）を、変換サーバ３０に対して要求するための情報である。Ｓ２０４で、変換サーバ３０のＣＰＵ３３は、ＵＬ−ＩＤを仲介サーバ２０に送信する。 In step S136, the CPU 17 of the multi-function peripheral 10 transmits template identification information for identifying the selected template image to the mediation server 20.
After the process of S136, the process proceeds to the scan upload process of FIG. When the CPU 23 of the mediation server 20 proceeds to the scan upload process of FIG. 7, the image process upload data ID acquisition request information is transmitted to the conversion server 30 in S202. The image processing upload data ID acquisition request information includes an image processing upload data ID (hereinafter abbreviated as “UL-ID”) for identifying upload data to be uploaded from the multi-function device 10 to the conversion server 30. This is information for requesting for. In S <b> 204, the CPU 33 of the conversion server 30 transmits the UL-ID to the mediation server 20.

Ｓ２０６で、仲介サーバ２０のＣＰＵ２３は、スキャンアップロード実行命令情報を生成する。スキャンアップロード実行命令情報は、多機能機１０に対し、素材にしたい原稿をスキャンしてその素材スキャン画像（アップロードデータ）を変換サーバ３０へアップロードするよう命令する情報である。Ｓ２０８で、仲介サーバ２０のＣＰＵ２３は、スキャンアップロード実行命令情報を多機能機１０へ送信する。スキャンアップロード実行命令情報には、ＵＬ−ＩＤが含まれていてもよい。   In S206, the CPU 23 of the mediation server 20 generates scan upload execution command information. The scan upload execution command information is information for instructing the multi-function device 10 to scan a document to be used as a material and upload the material scan image (upload data) to the conversion server 30. In S <b> 208, the CPU 23 of the mediation server 20 transmits scan upload execution command information to the multi-function device 10. The scan upload execution command information may include a UL-ID.

Ｓ２０９で、多機能機１０のＣＰＵ１７は、原稿スキャン指示画面を表示部１２に表示させる。原稿スキャン指示画面には、ユーザに対し、素材にしたい原稿を多機能機１０にセットしてスキャンさせるように指示するメッセージと「ＯＫ」ボタンが表示される。ユーザが「ＯＫ」ボタンを操作（例えばタップ操作）すると、Ｓ２１０で、原稿のスキャンが実行される。Ｓ２１０では、ＣＰＵ１７は、スキャン実行部１５を動作させて、原稿の画像を読み取らせ、読み取った画像（素材スキャン画像）のデータ（素材スキャン画像データ）を作成する。   In step S <b> 209, the CPU 17 of the multi-function device 10 displays a document scan instruction screen on the display unit 12. On the document scan instruction screen, a message for instructing the user to set and scan a document to be used as a material on the multi-function device 10 and an “OK” button are displayed. When the user operates the “OK” button (for example, a tap operation), the document is scanned in S210. In S <b> 210, the CPU 17 operates the scan execution unit 15 to read the image of the document, and creates data (material scan image data) of the read image (material scan image).

Ｓ２１２で、多機能機１０のＣＰＵ１７は、画像処理アップロード先ＵＲＬ（Uniform Resource Locator）取得要求情報および通信書式取得要求情報を、仲介サーバ２０へ送信する。「画像処理アップロード」とは、各種のデータを、画像処理のために変換サーバ３０へアップロードする処理である。画像処理アップロード先ＵＲＬ取得要求情報は、変換サーバ３０にアップロードを行うために必要な情報である画像処理アップロード先ＵＲＬを仲介サーバ２０へ要求するための情報である。通信書式取得要求情報は、後述するアップロードメッセージの通信書式を要求するための情報である。   In S <b> 212, the CPU 17 of the multi-function device 10 transmits image processing upload destination URL (Uniform Resource Locator) acquisition request information and communication format acquisition request information to the mediation server 20. “Image processing upload” is a process of uploading various data to the conversion server 30 for image processing. The image processing upload destination URL acquisition request information is information for requesting the mediation server 20 for an image processing upload destination URL, which is information necessary for uploading to the conversion server 30. The communication format acquisition request information is information for requesting a communication format of an upload message described later.

Ｓ２１４で、仲介サーバ２０のＣＰＵ２３は、アップロードメッセージの通信書式を作成する。アップロードメッセージの通信書式は、変換サーバ３０へ素材スキャン画像データをアップロードする際のメッセージの枠組みとなる情報である。Ｓ２１６で、仲介サーバ２０のＣＰＵ２３は、画像処理アップロード先ＵＲＬおよびアップロードメッセージの通信書式を多機能機１０へ送信する。画像処理アップロード先ＵＲＬの一例としては、変換サーバ３０のＵＲＬが挙げられる。   In S214, the CPU 23 of the mediation server 20 creates a communication format for the upload message. The communication format of the upload message is information serving as a message framework when uploading the material scan image data to the conversion server 30. In S <b> 216, the CPU 23 of the mediation server 20 transmits the image processing upload destination URL and the communication format of the upload message to the multi-function device 10. An example of the image processing upload destination URL is the URL of the conversion server 30.

Ｓ２１８で、多機能機１０のＣＰＵ１７は、受信した通信書式と、受信した画像処理アップロード先ＵＲＬと、Ｓ２１０で作成した素材スキャン画像データとに基づいて、アップロードメッセージを作成する。具体的には、多機能機１０は、仲介サーバ２０から受信した通信書式の所定の位置に、素材スキャン画像データ（バイナリデータ）と、画像処理アップロード先ＵＲＬと、素材スキャン画像データのデータサイズ等の各種の情報を組み合わせる。ＵＬ−ＩＤを含めてもよい。これにより、変換サーバ３０に対応したアップロードメッセージが作成される。   In S218, the CPU 17 of the multi-function device 10 creates an upload message based on the received communication format, the received image processing upload destination URL, and the material scan image data created in S210. Specifically, the multi-function device 10 has a material scan image data (binary data), an image processing upload destination URL, a data size of the material scan image data, and the like at predetermined positions in the communication format received from the mediation server 20. Combine various information. A UL-ID may be included. Thereby, an upload message corresponding to the conversion server 30 is created.

Ｓ２２０で、多機能機１０のＣＰＵ１７は、変換サーバ３０へアップロードメッセージを送信する。Ｓ２２２で、変換サーバ３０のＣＰＵ３３は、画像処理アップロード結果情報を多機能機１０へ送信する。画像処理アップロード結果情報は、素材スキャン画像データが変換サーバ３０に正常にアップロードされたか否かを示す情報である。Ｓ２２４で、多機能機１０のＣＰＵ１７は、受信した画像処理アップロード結果情報と継続可否判断要求情報とを、仲介サーバ２０へ送信する。継続可否判断要求情報は、画像処理を継続可能であるか否かの判断を仲介サーバ２０に要求するための情報である。   In S <b> 220, the CPU 17 of the multi-function device 10 transmits an upload message to the conversion server 30. In S <b> 222, the CPU 33 of the conversion server 30 transmits image processing upload result information to the multi-function device 10. The image processing upload result information is information indicating whether or not the material scan image data has been normally uploaded to the conversion server 30. In S <b> 224, the CPU 17 of the multi-function device 10 transmits the received image processing upload result information and continuation permission determination request information to the mediation server 20. The continuation permission determination request information is information for requesting the mediation server 20 to determine whether or not image processing can be continued.

Ｓ２２６で、仲介サーバ２０のＣＰＵ２３は、画像処理アップロード結果情報を解読し、解読結果を作成する。画像処理アップロード結果情報は、変換サーバ３０から多機能機１０へ送信されてきた情報であるため、変換サーバ３０に固有の仕様を有している。よって、仲介サーバ２０に記憶されているプログラム２５に含まれる不図示の解読プログラムを用いることにより、画像処理アップロード結果情報を解読することができる。解読結果は、多機能機１０で解読可能な形式のメッセージである。解読結果には、解読された画像処理アップロード結果情報に含まれている画像処理アップロード結果が含まれている。また、仲介サーバ２０のＣＰＵ２３は、画像処理を継続可能であるか否かについての情報である継続可否情報を、解読結果に基づいて生成する。例えば、解読結果がアップロード処理の失敗を示している場合には、画像処理を継続不可能であることを示す継続可否情報が生成される。Ｓ２２８で、仲介サーバ２０のＣＰＵ２３は、解読結果および継続可否情報を多機能機１０へ送信する。   In S226, the CPU 23 of the mediation server 20 decrypts the image processing upload result information and creates a decryption result. Since the image processing upload result information is information transmitted from the conversion server 30 to the multi-function device 10, the image processing upload result information has specifications specific to the conversion server 30. Therefore, by using a decoding program (not shown) included in the program 25 stored in the mediation server 20, the image processing upload result information can be decoded. The decryption result is a message in a format that can be decrypted by the multi-function device 10. The decryption result includes the image processing upload result included in the decrypted image processing upload result information. Further, the CPU 23 of the mediation server 20 generates continuation continuity information, which is information about whether or not image processing can be continued, based on the decoding result. For example, if the decryption result indicates that the upload process has failed, continuation permission / prohibition information indicating that image processing cannot be continued is generated. In S <b> 228, the CPU 23 of the mediation server 20 transmits the decryption result and the continuation permission / inhibition information to the multi-function device 10.

Ｓ２３０で、多機能機１０のＣＰＵ１７は、受信した継続可否情報に基づいて、画像処理（合成処理）を継続可能であるか否かを判断する。画像処理を継続できない場合は（Ｓ２３０：ＮＯ）、選択されたアプリケーションの処理を終了する。画像処理を継続できる場合は（Ｓ２３０：ＹＥＳ）、Ｓ２３２へ進む。Ｓ２３２で、多機能機１０のＣＰＵ１７は、変換サーバ３０へのスキャン画像データのアップロード処理が完了したことを示すアップロード完了通知情報を、仲介サーバ２０へ送信する。   In S230, the CPU 17 of the multi-function peripheral 10 determines whether or not image processing (compositing processing) can be continued based on the received continuation permission / inhibition information. If the image processing cannot be continued (S230: NO), the processing of the selected application is terminated. If the image processing can be continued (S230: YES), the process proceeds to S232. In S <b> 232, the CPU 17 of the multi-function peripheral 10 transmits upload completion notification information indicating that the scan image data upload process to the conversion server 30 has been completed to the mediation server 20.

Ｓ２３２の処理後は、図８の変換処理に進む。仲介サーバ２０のＣＰＵ２３は、図８の変換処理に進むと、Ｓ３００で、画像処理用入力情報を生成する。画像処理用入力情報は、変換サーバ３０で画像処理（ここでは画像合成）を実行させるために必要な情報である。具体的には、画像処理用入力情報には、素材スキャン画像のＵＬ−ＩＤと、選択テンプレートパラメータと、選択アプリケーションパラメータとを含む。   After the process of S232, the process proceeds to the conversion process of FIG. When the CPU 23 of the mediation server 20 proceeds to the conversion process of FIG. 8, it generates image processing input information in S300. The input information for image processing is information necessary for causing the conversion server 30 to perform image processing (here, image composition). Specifically, the image processing input information includes a material scan image UL-ID, a selection template parameter, and a selection application parameter.

素材スキャン画像のＵＬ−ＩＤは、多機能機１０へ素材スキャン画像のスキャンを指示（Ｓ２０８）する際にその指示に先立って変換サーバ３０から取得したＵＬ−ＩＤ、即ちＳ２０４で取得したＵＬ−ＩＤである。選択アプリケーションパラメータは、ユーザによって選択された選択アプリケーションを一意に識別するための情報である。選択アプリケーションパラメータにより、画像処理を実行させるアプリケーション（本例ではアプリケーションＡ）を指定することが可能となる。選択テンプレートパラメータは、ユーザによって選択された選択テンプレート画像を一意に識別するための情報である。選択テンプレートパラメータは、ＵＲＬの記述方式によって記述されていてもよい。   The UL-ID of the material scan image is the UL-ID acquired from the conversion server 30 prior to the instruction to scan the material scan image to the multi-function device 10 (S208), that is, the UL-ID acquired in S204. It is. The selected application parameter is information for uniquely identifying the selected application selected by the user. With the selected application parameter, it is possible to designate an application (in this example, application A) for executing image processing. The selection template parameter is information for uniquely identifying the selection template image selected by the user. The selection template parameter may be described by a URL description method.

Ｓ３０２で、仲介サーバ２０のＣＰＵ２３は、お試し印刷画像処理要求情報と、Ｓ３００で生成した画像処理用入力情報を、変換サーバ３０へ送信する。お試し印刷画像処理要求情報は、Ｓ２０４で受信したＵＬ−ＩＤで識別される素材スキャン画像データ（すなわち、Ｓ２２０で変換サーバ３０にアップロードしたアップロードデータ）に対して、画像処理（合成処理）の実行を要求するための情報である。また、Ｓ３０２で画像処理用入力情報を変換サーバ３０に送信することで、変換サーバ３０は、素材スキャン画像のＵＬ−ＩＤに基づいて素材スキャン画像データを取得でき、選択テンプレートパラメータに基づいて選択テンプレート画像データをコンテンツサーバ５０から取得でき、選択アプリケーションパラメータに基づいて、実行すべき画像処理（アプリケーション）がＡアプリケーション３６の画像処理（即ち画像の合成処理）であることを認識できる。   In S <b> 302, the CPU 23 of the mediation server 20 transmits the trial print image processing request information and the image processing input information generated in S <b> 300 to the conversion server 30. The trial print image processing request information is obtained by executing image processing (compositing processing) on the material scan image data identified by the UL-ID received in S204 (that is, upload data uploaded to the conversion server 30 in S220). It is information for requesting. Further, by transmitting the image processing input information to the conversion server 30 in S302, the conversion server 30 can acquire the material scan image data based on the UL-ID of the material scan image, and select the selected template based on the selected template parameter. Image data can be acquired from the content server 50, and based on the selected application parameter, it can be recognized that the image processing (application) to be executed is the image processing of the A application 36 (ie, image composition processing).

Ｓ３０４で、変換サーバ３０のＣＰＵ３３は、処理データ取得情報を仲介サーバ２０へ送信する。処理データ取得情報は、画像処理の実行を要求する処理（Ｓ３０２）に応じて行われる画像処理を識別するための情報である、画像処理ジョブＩＤを含んでいてもよい。処理データ取得情報は、ＵＲＬの記述方式によって記述されていてもよい。   In S <b> 304, the CPU 33 of the conversion server 30 transmits processing data acquisition information to the mediation server 20. The processing data acquisition information may include an image processing job ID that is information for identifying image processing performed in response to the processing requesting execution of image processing (S302). The processing data acquisition information may be described by a URL description method.

Ｓ３０６で、変換サーバ３０のＣＰＵ３３は、テンプレート取得要求情報をコンテンツサーバ５０へ送信する。テンプレート取得要求情報は、選択テンプレートパラメータによって識別される選択テンプレート画像データをコンテンツサーバ５０から取得するための情報である。Ｓ３０８で、変換サーバ３０のＣＰＵ３３は、選択テンプレート画像データをコンテンツサーバ５０から取得する。そして、Ｓ３１０で、Ａアプリケーション３６による画像処理、即ち、素材スキャン画像データと選択テンプレート画像データの合成処理を開始する。Ｓ３１０で開始される画像処理の詳細は、後で説明する。   In S <b> 306, the CPU 33 of the conversion server 30 transmits template acquisition request information to the content server 50. The template acquisition request information is information for acquiring selected template image data identified by the selected template parameter from the content server 50. In S <b> 308, the CPU 33 of the conversion server 30 acquires the selected template image data from the content server 50. In step S310, image processing by the A application 36, that is, composition processing of material scan image data and selected template image data is started. Details of the image processing started in S310 will be described later.

Ｓ３１２〜Ｓ３２６の処理は、素材スキャン画像データについて画像処理を開始する際に、画像処理が完了するまで多機能機１０を待機させる処理である。Ｓ３１２で、仲介サーバ２０のＣＰＵ２３は、画像処理完了確認要求情報を変換サーバ３０へ送信する。画像処理完了確認要求情報は、Ｓ３０２で変換サーバ３０に対して要求した画像処理が完了したか否かを、変換サーバ３０に対して確認するための情報である。仲介サーバのＣＰＵ２３は、画像処理を識別するために、画像処理完了確認要求情報に、Ｓ３０４で変換サーバ３０が送信した処理データ取得情報を含ませる。   The processes of S312 to S326 are processes for causing the multi-function device 10 to wait until image processing is completed when starting image processing for material scanned image data. In S <b> 312, the CPU 23 of the mediation server 20 transmits image processing completion confirmation request information to the conversion server 30. The image processing completion confirmation request information is information for confirming to the conversion server 30 whether or not the image processing requested to the conversion server 30 in S302 is completed. The CPU 23 of the mediation server includes the processing data acquisition information transmitted by the conversion server 30 in S304 in the image processing completion confirmation request information in order to identify the image processing.

Ｓ３１４で、変換サーバ３０のＣＰＵ３３は、画像処理が完了したか否かを判断する。具体的には、画像処理完了確認要求情報に含まれる処理データ取得情報に対応する画像処理を、画像処理の完了の可否を判断する画像処理であると特定する。そして、特定した画像処理において、素材スキャン画像データと選択テンプレート画像データとの合成が完了したか否かが判断される。画像処理が完了していない場合は（Ｓ３１４：ＮＯ）、Ｓ３１６へ進む。   In S314, the CPU 33 of the conversion server 30 determines whether the image processing is completed. Specifically, the image processing corresponding to the processing data acquisition information included in the image processing completion confirmation request information is specified as image processing for determining whether image processing can be completed. Then, in the identified image processing, it is determined whether or not the composition of the material scan image data and the selected template image data has been completed. If the image processing has not been completed (S314: NO), the process proceeds to S316.

Ｓ３１６で、変換サーバ３０のＣＰＵ３３は、画像処理が完了していないことを示す画像処理未完了通知情報を、仲介サーバ２０へ送信する。Ｓ３１８で、仲介サーバ２０のＣＰＵ２３は、画像処理未完了通知情報を受信したことに基づき、待機命令を生成する。待機命令は、多機能機１０に対し、画像処理の完了を待機させるための命令である。   In S <b> 316, the CPU 33 of the conversion server 30 transmits image processing incomplete notification information indicating that the image processing has not been completed to the mediation server 20. In S318, the CPU 23 of the mediation server 20 generates a standby command based on the reception of the image processing incomplete notification information. The standby command is a command for causing the multi-function device 10 to wait for completion of image processing.

Ｓ３２０で、仲介サーバ２０のＣＰＵ２３は、待機命令を多機能機１０へ送信する。Ｓ３２２で、多機能機１０のＣＰＵ１７は、画像処理の完了を待機する待機処理を実行する。Ｓ３２４で、多機能機１０のＣＰＵ１７は、待機処理の実行が完了したことを示す待機処理完了情報を、仲介サーバ２０へ送信する。仲介サーバ２０のＣＰＵ２３は、Ｓ３２０で待機命令を送信した後、多機能機１０からの待機処理完了情報の受信を待つ。そして、Ｓ３２４で多機能機１０から待機処理完了情報を受信すると、Ｓ３１２へ戻る。   In S <b> 320, the CPU 23 of the mediation server 20 transmits a standby command to the multi-function device 10. In step S322, the CPU 17 of the multi-function peripheral 10 executes standby processing that waits for completion of image processing. In S324, the CPU 17 of the multi-function peripheral 10 transmits standby process completion information indicating that the execution of the standby process has been completed to the mediation server 20. The CPU 23 of the mediation server 20 waits for reception of standby processing completion information from the multi-function device 10 after transmitting a standby command in S320. When the standby process completion information is received from the multi-function device 10 in S324, the process returns to S312.

一方、変換サーバ３０において、Ｓ３１４で画像処理が完了したと判断された場合は（Ｓ３１４：ＹＥＳ）、Ｓ３２６へ進む。Ｓ３２６では、変換サーバ３０のＣＰＵ３３は、画像処理が完了したこと、即ち素材スキャン画像と選択テンプレート画像との合成が完了したことを示す画像処理完了通知情報を、仲介サーバ２０へ送信する。Ｓ３２６の処理後は、図９のダウンロードプリント処理へ進む。   On the other hand, if the conversion server 30 determines that the image processing has been completed in S314 (S314: YES), the process proceeds to S326. In S326, the CPU 33 of the conversion server 30 transmits to the mediation server 20 image processing completion notification information indicating that the image processing has been completed, that is, that the composition of the material scan image and the selected template image has been completed. After the process of S326, the process proceeds to the download print process of FIG.

ここで、Ｓ３１０で開始される画像処理の詳細について、図１１を用いて説明する。変換サーバ３０のＣＰＵ３３は、図１１に示す画像処理を開始すると、Ｓ６０２で、入力に素材スキャン画像と選択テンプレート画像（詳しくはそれらのデータ）が含まれているか否か判断する。より具体的には、Ｓ３０２で取得した画像処理用入力情報に素材スキャン画像のＵＬ−ＩＤ及び選択テンプレートパラメータが含まれているか否か判断する。入力として、素材スキャン画像（具体的にはそのＵＬ−ＩＤ）及び選択テンプレート画像（具体的にはその選択テンプレートパラメータ）のうち一方でも欠けている場合は（Ｓ６０２：ＮＯ）、Ｓ６１８で、入力画像エラー処理を実行し、お気に入り素材合成機能の処理全体を終了する。   Details of the image processing started in S310 will be described with reference to FIG. When the image processing shown in FIG. 11 is started, the CPU 33 of the conversion server 30 determines in step S602 whether the input includes a material scan image and a selected template image (specifically, their data). More specifically, it is determined whether or not the image processing input information acquired in S302 includes the UL-ID of the material scan image and the selected template parameter. When one of the material scan image (specifically, its UL-ID) and the selected template image (specifically, the selected template parameter) is missing as input (S602: NO), in S618, the input image Error processing is executed, and the entire processing of the favorite material composition function is terminated.

入力として素材スキャン画像及び選択テンプレート画像が含まれている場合は（Ｓ６０２：ＹＥＳ）、Ｓ６０４で、入力に修正記入済みスキャン画像（詳しくはそのデータ）が含まれているか否か判断する。より具体的には、Ｓ３０２で取得した画像処理用入力情報に修正記入済みスキャン画像のＵＬ−ＩＤが含まれているか否か判断する。修正記入済みスキャン画像とは、図４に例示したように、お試し印刷原稿に対してユーザが赤ペン囲み６５を記入した画像が多機能機１０によりスキャンされた画像である。入力に修正記入済みスキャン画像が含まれていない場合は（Ｓ６０４：ＮＯ）、Ｓ６１０に進む。Ｓ６１０では、素材スキャン画像から、既述のアルゴリズムに基づき、素材画像として扱う範囲（抽出すべき範囲）を算出する。Ｓ６１０で素材画像の範囲を算出した後は、Ｓ６１２に進む。   If a material scan image and a selected template image are included as inputs (S602: YES), it is determined in S604 whether or not a corrected completed scan image (specifically, data thereof) is included in the input. More specifically, it is determined whether or not the image processing input information acquired in step S302 includes the UL-ID of the corrected and completed scanned image. As illustrated in FIG. 4, the corrected and completed scan image is an image obtained by scanning the multi-function device 10 with an image in which the user has entered the red pen box 65 on the test print original. If the input image does not include a corrected scan image (S604: NO), the process proceeds to S610. In step S610, a range to be handled as a material image (a range to be extracted) is calculated from the material scan image based on the algorithm described above. After calculating the range of the material image in S610, the process proceeds to S612.

Ｓ６０４で、入力に修正記入済みスキャン画像が含まれている場合は（Ｓ６０４：ＹＥＳ）、Ｓ６０６で、修正記入済みスキャン画像から赤ペン囲みが検出できたか否か判断する。赤ペン囲みが検出できなかった場合は（Ｓ６０６：ＮＯ）、Ｓ６２０で、囲み検出エラー処理を実行して、お気に入り素材合成機能の処理全体を終了する。Ｓ６２０の囲み検出エラー処理は、具体的には、図５（ｃ）に例示したような囲み領域検出エラー画面を多機能機１０の表示部１２に表示させるための情報を仲介サーバ２０を介して多機能機１０へ送信する処理を含む。囲み領域検出エラー画面を表示させた後の処理例については既に述べた通りである。   If it is determined in step S604 that a scan image with correction entry is included in the input (S604: YES), it is determined in step S606 whether a red pen box has been detected from the scan image with correction entry. If a red pen box cannot be detected (S606: NO), a box detection error process is executed in S620, and the entire process of the favorite material composition function is terminated. Specifically, the enclosure detection error processing in S620 is performed via the mediation server 20 with information for causing the display unit 12 of the multi-function device 10 to display the enclosure area detection error screen as illustrated in FIG. Including a process of transmitting to the multi-function device 10. An example of processing after the surrounding area detection error screen is displayed is as already described.

Ｓ６０６で、赤ペン囲みを検出できた場合は（Ｓ６０６：ＹＥＳ）、Ｓ６０８に進む。Ｓ６０８では、修正記入済みスキャン画像中の赤ペン囲みから、素材画像として扱う範囲を算出する。即ち、素材スキャン画像と、その素材スキャン画像に記入されている赤ペン囲みとの相対的位置関係に基づいて、新たに抽出すべき素材画像の範囲を算出する。   If it is determined in S606 that a red pen box has been detected (S606: YES), the process proceeds to S608. In step S608, a range to be handled as a material image is calculated from the red pen box in the corrected and completed scan image. That is, the range of the material image to be newly extracted is calculated based on the relative positional relationship between the material scan image and the red pen box written in the material scan image.

Ｓ６１２では、Ｓ６０８又はＳ６１０で算出した素材画像の範囲に基づいて、スキャン画像から素材画像（詳しくはその画像データ）を抽出する。Ｓ６０８からＳ６１２に進んできた場合には、Ｓ６１２では、赤ペンで囲まれた領域の画像が素材画像として抽出し直されることになる。   In S612, based on the range of the material image calculated in S608 or S610, a material image (specifically, image data thereof) is extracted from the scanned image. If the process has proceeded from S608 to S612, the image of the area surrounded by the red pen is re-extracted as a material image in S612.

Ｓ６１４では、選択テンプレート画像と、Ｓ６１２で抽出した素材画像とを、予め決められた画像合成方法によって合成することにより、合成画像（合成画像データ）を生成する。本実施形態では、図２を用いて例示した画像合成方法によって合成する。   In S614, a synthesized image (synthesized image data) is generated by synthesizing the selected template image and the material image extracted in S612 by a predetermined image synthesis method. In the present embodiment, the image is synthesized by the image synthesis method illustrated with reference to FIG.

Ｓ６１６では、Ｓ６１４で生成した合成画像データを含むお試し印刷画像（図３参照）の画像データ（お試し印刷画像データ）を生成する。Ｓ６０８を経てＳ６１６に進んできた場合は、お試し印刷画像データ中の素材抽出領域画像６３は、赤ペン囲みによって囲まれていた領域を示す画像となる。Ｓ６１６でお試し印刷画像データを生成すると、画像処理を終了する。   In S616, image data (trial print image data) of the trial print image (see FIG. 3) including the composite image data generated in S614 is generated. When the process proceeds to S616 via S608, the material extraction area image 63 in the trial print image data is an image showing the area surrounded by the red pen box. When the trial print image data is generated in S616, the image processing ends.

仲介サーバ２０のＣＰＵ２３は、図９のダウンロードプリント処理に進むと、Ｓ４０２で、処理データ取得命令情報を生成する。なお、Ｓ４０２〜Ｓ４２０は、変換サーバ３０で画像処理により生成されたお試し印刷画像データを多機能機１０で印刷出力させるための処理である。処理データ取得命令情報は、ＵＲＬの記述方式によって記述されていてもよい。   When the CPU 23 of the mediation server 20 proceeds to the download print process of FIG. 9, in S402, it generates process data acquisition command information. Note that steps S <b> 402 to S <b> 420 are processes for causing the multi-function device 10 to print out the trial print image data generated by the image processing in the conversion server 30. The processing data acquisition command information may be described by a URL description method.

仲介サーバ２０のＣＰＵ２３は、処理データ取得命令情報を生成すると、Ｓ４０４で、処理データ取得命令情報を多機能機１０へ送信する。Ｓ４０６で、多機能機１０のＣＰＵ１７は、ダウンロード元ＵＲＬ要求情報および処理データ取得情報要求情報を仲介サーバ２０へ送信する。ダウンロード元ＵＲＬ要求情報は、Ｓ３１２で画像処理完了確認が行われた処理データ（本例ではお試し印刷画像データ）にアクセスするためのダウンロード元ＵＲＬを、仲介サーバ２０に対して要求する情報である。また処理データ取得情報要求情報は、Ｓ３１２で画像処理完了確認が行われた処理データを生成したジョブを識別するための情報である。   When generating the processing data acquisition command information, the CPU 23 of the mediation server 20 transmits the processing data acquisition command information to the multi-function device 10 in S404. In S <b> 406, the CPU 17 of the multi-function device 10 transmits the download source URL request information and the processing data acquisition information request information to the mediation server 20. The download source URL request information is information requesting the mediation server 20 for a download source URL for accessing the processing data (trial print image data in this example) for which image processing completion confirmation has been performed in S312. . The processing data acquisition information request information is information for identifying the job that generated the processing data for which image processing completion confirmation has been performed in S312.

Ｓ４０８で、仲介サーバ２０のＣＰＵ２３は、変換サーバ３０から処理データを取得するためのダウンロード元ＵＲＬおよび処理データ取得情報を生成し、多機能機１０へ送信する。Ｓ４１０で、多機能機１０のＣＰＵ１７は、処理データ取得情報で識別される処理データをダウンロードするためのダウンロード要求情報を、ダウンロード元ＵＲＬに基づいて、変換サーバ３０へ送信する。Ｓ４１２で、変換サーバ３０のＣＰＵ３３は、ダウンロード要求情報によって特定される処理データを、多機能機１０へ送信する。このＳ４１２の送信処理により、多機能機１０へお試し印刷画像データが送信される。   In S <b> 408, the CPU 23 of the mediation server 20 generates a download source URL and process data acquisition information for acquiring process data from the conversion server 30, and transmits the generated data to the multi-function device 10. In S410, the CPU 17 of the multi-function device 10 transmits download request information for downloading the processing data identified by the processing data acquisition information to the conversion server 30 based on the download source URL. In S <b> 412, the CPU 33 of the conversion server 30 transmits the processing data specified by the download request information to the multi-function device 10. The trial print image data is transmitted to the multi-function device 10 by the transmission process of S412.

Ｓ４１４で、多機能機１０のＣＰＵ１７は、印刷実行部１４に印刷処理を実行させる。即ち、変換サーバ３０による画像処理で生成されたお試し印刷画像を印刷用紙に印刷させる。お試し印刷画像の印刷出力が終了すると、多機能機１０のＣＰＵ１７は、Ｓ４１６で、印刷処理が完了したことを示す印刷完了通知情報を仲介サーバ２０へ送信する。Ｓ４１８で、仲介サーバ２０のＣＰＵ２３は、処理完了通知情報を多機能機１０へ送信する。Ｓ４２０で、多機能機１０のＣＰＵ１７は、完了画面を表示部１２に表示させる。   In step S414, the CPU 17 of the multi-function peripheral 10 causes the print execution unit 14 to execute print processing. That is, the trial print image generated by the image processing by the conversion server 30 is printed on the printing paper. When the print output of the trial print image is completed, the CPU 17 of the multi-function peripheral 10 transmits print completion notification information indicating that the printing process is completed to the mediation server 20 in S416. In S <b> 418, the CPU 23 of the mediation server 20 transmits processing completion notification information to the multi-function device 10. In S <b> 420, the CPU 17 of the multi-function device 10 displays a completion screen on the display unit 12.

Ｓ４２０の処理後は、図１０の修正受付処理に進む。仲介サーバ２０のＣＰＵ２３は、図１０の修正受付処理に進むと、Ｓ５０２で、修正実行選択画面データを生成する。修正実行選択画面データは、図５（ａ）に例示したような修正実行選択画面を多機能機１０に表示させるためのデータである。Ｓ５０４で、仲介サーバ２０のＣＰＵ２３は、生成した修正実行選択画面データを多機能機１０へ送信する。   After the process of S420, the process proceeds to the correction acceptance process of FIG. When the CPU 23 of the mediation server 20 proceeds to the correction acceptance process of FIG. 10, in S502, the correction execution selection screen data is generated. The modification execution selection screen data is data for causing the multi-function device 10 to display a modification execution selection screen as illustrated in FIG. In step S <b> 504, the CPU 23 of the mediation server 20 transmits the generated correction execution selection screen data to the multi-function device 10.

多機能機１０のＣＰＵ１７は、仲介サーバ２０から修正実行選択画面データを受信すると、Ｓ５０６で、その修正実行選択画面データが示す修正実行選択画面を表示部１２に表示させる。多機能機１０のＣＰＵ１７は、Ｓ５０８で、修正実行選択画面で表示された「はい」及び「いいえ」の選択肢のうちどちらが選択された判断する。「いいえ」が選択された場合は（Ｓ５０８：ＮＯ）、Ｓ５０９に進み、お試し印刷後通常処理を実行する。即ち、変換サーバ３０で最終的に生成された合成画像の画像データを変換サーバ３０から多機能機１０へ送信させる。これにより、多機能機１０において、その合成画像を所望の印刷媒体（例えばはがき）に印刷させることができる。   When the CPU 17 of the multi-function device 10 receives the correction execution selection screen data from the mediation server 20, the CPU 17 displays the correction execution selection screen indicated by the correction execution selection screen data on the display unit 12 in S506. In step S <b> 508, the CPU 17 of the multi-function device 10 determines which one of the “Yes” and “No” options displayed on the correction execution selection screen has been selected. When “No” is selected (S508: NO), the process proceeds to S509, and normal processing is executed after trial printing. That is, the image data of the composite image finally generated by the conversion server 30 is transmitted from the conversion server 30 to the multi-function device 10. As a result, the multi-function device 10 can print the composite image on a desired print medium (for example, a postcard).

修正実行選択画面が表示されている状態で「はい」が選択された場合は（Ｓ５０８：ＹＥＳ）、多機能機１０のＣＰＵ１７は、Ｓ５１０で、修正実行選択情報を仲介サーバ２０へ送信する。一方、修正実行選択画面において「はい」が選択されたということは、多機能機１０のユーザが画像合成のやり直しを要求しているということであるため、ユーザによる、お試し印刷原稿への修正の記入（赤ペン囲みの記入）が行われる（Ｓ５１２）。そして、Ｓ５１４で、その赤ペン囲みが記入されたお試し印刷原稿（修正記入済みお試し印刷原稿）を対象とした、スキャンアップロード処理が実行される。即ち、修正記入済みお試し印刷原稿を対象として、図７に示したスキャンアップロード処理が実行される。   When “Yes” is selected while the correction execution selection screen is displayed (S508: YES), the CPU 17 of the multi-function peripheral 10 transmits the correction execution selection information to the mediation server 20 in S510. On the other hand, when “Yes” is selected on the correction execution selection screen, it means that the user of the multi-function device 10 requests to redo the image composition. Is entered (filling the red pen box) (S512). In step S514, a scan upload process is performed on the trial print original (corrected-filled trial print original) in which the red pen box is written. That is, the scan upload process shown in FIG.

修正記入済みお試し印刷原稿を対象としたスキャンアップロード処理においては、Ｓ２０４では、修正記入済みお試し原稿のスキャン画像に対するＵＬ−ＩＤが取得される。つまり、先の素材スキャン画像のアップロード時に取得したＵＬ−ＩＤとは別のＵＬ−ＩＤである。また、Ｓ２０６では、スキャンアップロード実行命令情報として、修正記入済みお試し印刷原稿をスキャンしてそのスキャン画像（修正記入済みスキャン画像）を変換サーバ３０へアップロードするよう命令する情報が生成される。また、Ｓ２０９では、修正記入済みお試し印刷原稿のスキャン指示を示す画像が表示され、Ｓ２１０では、ユーザにより、修正記入済みお試し印刷原稿のスキャンが実行される。そして、Ｓ２１２では、修正記入済みスキャン画像のアップロード先のＵＲＬが要求され、Ｓ２２０では、修正記入済みスキャン画像データを含むアップロードメッセージが変換サーバ３０へ送信される。   In the scan upload process for the trial-printed document with correction entry, in step S204, the UL-ID for the scan image of the trial document with correction entry is acquired. That is, the UL-ID is different from the UL-ID acquired when uploading the previous material scan image. Further, in S206, information for instructing to scan the corrected and written trial print original and upload the scanned image (corrected and completed scanned image) to the conversion server 30 is generated as scan upload execution instruction information. In S209, an image indicating a scan instruction for the corrected written trial print original is displayed. In S210, the user scans the corrected written trial print original. In S212, the URL of the upload destination of the corrected completed scan image is requested. In S220, an upload message including the corrected completed scanned image data is transmitted to the conversion server 30.

このように、お試し印刷原稿の印刷出力後、ユーザから修正要求があった場合は、Ｓ５１４において、修正記入済みお試し原稿に対するスキャンアップロード処理が実行される。即ち、ユーザが真に素材画像として採用してほしい領域を赤ペンで囲んだスキャン画像が、変換サーバ３０へ送信される。   As described above, when a correction request is received from the user after the test print original is printed out, a scan upload process for the correction completed trial original is executed in S514. That is, a scan image in which a region that the user really wants to adopt as a material image is surrounded by a red pen is transmitted to the conversion server 30.

Ｓ５１４の、修正記入済みお試し印刷原稿を対象としたスキャンアップロード処理が実行された後は、Ｓ５１６に進む。Ｓ５１６では、既に前回送信されている素材スキャン画像のＵＬ−ＩＤ、修正記入済みスキャン画像のＵＬ−ＩＤ、選択テンプレートパラメータ、及び選択アプリケーションパラメータを入力情報に含めた、変換処理（図８）が実行される。   After the scan upload process for the corrected test print original document in S514 is executed, the process proceeds to S516. In S516, a conversion process (FIG. 8) is executed in which the input information includes the UL-ID of the material scan image, the UL-ID of the scan image that has already been corrected, the selection template parameter, and the selection application parameter that have already been transmitted last time. Is done.

Ｓ５１６で実行される変換処理、即ち、修正記入済みお試しスキャン画像の送信後に実行される変換処理は、基本的には図８に示す通りであるが、素材スキャン画像に対して実行される最初の変換処理と比較して、主に次の点が異なる。即ち、Ｓ３００で生成される画像処理用入力情報には、素材スキャン画像のＵＬ−ＩＤ、選択テンプレートパラメータ、及び選択アプリケーションパラメータに加えて、修正記入済みスキャン画像のＵＬ−ＩＤも含まれる。これにより、変換サーバ３０は、素材スキャン画像データ及び選択テンプレート画像データを取得できるのに加え、修正記入済みスキャン画像データも取得できる。   The conversion process executed in S516, that is, the conversion process executed after transmitting the corrected trial scan image is basically as shown in FIG. 8, but is the first executed for the material scan image. Compared with the conversion process, the following points are mainly different. In other words, the input information for image processing generated in S300 includes the UL-ID of the scan image with the correction entry in addition to the UL-ID of the material scan image, the selection template parameter, and the selection application parameter. As a result, the conversion server 30 can acquire not only the material scan image data and the selected template image data but also the scan image data with correction entry.

そのため、Ｓ３１０の画像処理（詳細は図１１）において、Ｓ６０４で肯定判定され、赤ペン囲みが検出されると（Ｓ６０６：ＹＥＳ）、赤ペンで囲まれた領域が素材画像として抽出されて画像合成が再び行われることになる。そして、赤ペンで囲まれた領域に対応した素材画像にて画像合成が行われた後は、その合成画像データを含むお試し印刷画像データが、図９のダウンロードプリント処理によって多機能機１０へ送信されることになる。この場合、お試し印刷画像中に表示される素材抽出領域画像６３（図３参照）は、新たに抽出された素材画像の領域、即ち赤ペン囲みによってユーザにより指定された領域を示す画像となる。   Therefore, in the image processing of S310 (details are shown in FIG. 11), when an affirmative determination is made in S604 and a red pen box is detected (S606: YES), the area surrounded by the red pen is extracted as a material image and combined. Will be done again. Then, after image composition is performed on the material image corresponding to the region surrounded by the red pen, the trial print image data including the composite image data is transferred to the multi-function device 10 by the download print processing of FIG. Will be sent. In this case, the material extraction region image 63 (see FIG. 3) displayed in the trial print image is an image showing the region of the newly extracted material image, that is, the region designated by the user by the red pen box. .

（８）実施形態の効果
以上説明したように、本実施形態の通信システム１では、変換サーバ３０で合成処理が実行されることにより、選択テンプレート画像と素材画像が合成される。そして、その合成された合成画像を含むお試し印刷画像の画像データが多機能機１０へ送信される。お試し印刷画像には、図３に例示したように、合成画像である印刷イメージ画像６１に加え、多機能機１０から送信されてきた素材スキャン画像６２と、素材抽出領域画像６３と、注記画像６４とが含まれる。素材抽出領域画像６３は、素材スキャン画像６２のうちどの領域を素材として抽出し合成に用いたかを示す情報である。このようなお試し印刷画像の画像データが変換サーバ３０で生成されて多機能機１０へ送信されることで、多機能機１０では、お試し印刷画像を印刷出力できる。 (8) Effects of Embodiment As described above, in the communication system 1 according to the present embodiment, the conversion server 30 executes the combining process, whereby the selected template image and the material image are combined. Then, image data of a trial print image including the synthesized composite image is transmitted to the multi-function device 10. As illustrated in FIG. 3, the trial print image includes a material scan image 62, a material extraction area image 63, and a note image transmitted from the multi-function device 10, in addition to the print image image 61 that is a composite image. 64. The material extraction region image 63 is information indicating which region of the material scan image 62 is extracted as a material and used for synthesis. The image data of such a trial print image is generated by the conversion server 30 and transmitted to the multi-function device 10, so that the multi-function device 10 can print out the test print image.

多機能機１０でお試し印刷画像が印刷出力されると、多機能機１０のユーザは、その印刷出力結果に基づいて、どのような合成画像が生成されたかを確認できるのに加え、スキャンした素材のスキャン結果（素材スキャン画像）を確認でき、更に、素材スキャン画像のうち具体的にどの領域が素材画像として抽出されて合成に用いられているのかを視覚的に直接且つ容易に確認することができる。   When the trial print image is printed out by the multi-function device 10, the user of the multi-function device 10 can check what kind of composite image has been generated based on the print output result, and scan it. The material scan result (material scan image) can be confirmed, and moreover, it is possible to visually and easily confirm which area of the material scan image is specifically extracted as a material image and used for composition. Can do.

そのため、お試し印刷画像を見ることで、生成された合成画像（印刷イメージ画像６１）が意図する内容となっているかどうかを容易且つ効率的に確認でき、その確認結果に応じた適切な対応ができる。例えば、合成画像が意図した内容になっている場合は、その合成画像を用いた各種の応用処理（例えば所望の印刷用紙への印刷）を行うことができる。また例えば、合成画像が意図した内容になっていない場合は、変換サーバ３０に対して直接又は仲介サーバ２０を介して画像合成のやり直しを要求することができる。従って、多機能機１０から送信された画像データ（素材スキャン画像）に対して付加価値の高いサービスを提供することが可能となる。   Therefore, by looking at the trial print image, it is possible to easily and efficiently confirm whether or not the generated composite image (print image image 61) has the intended contents, and an appropriate response according to the confirmation result can be made. it can. For example, when the composite image has the intended content, various application processes (for example, printing on a desired printing paper) using the composite image can be performed. Further, for example, when the synthesized image does not have the intended content, it is possible to request the conversion server 30 to redo the image synthesis directly or via the mediation server 20. Therefore, it is possible to provide a service with high added value for the image data (material scanned image) transmitted from the multi-function device 10.

また、本実施形態では、変換サーバ３０で画像合成が行われて多機能機１０へお試し印刷画像データが送信された後、多機能機１０から画像合成のやり直し（修正）を要求することができる。具体的には、図４に例示したように、素材スキャン画像６２のうちユーザが真に素材として使って欲しい領域をユーザ自身が赤ペンで囲む（赤ペン囲み６５）。そして、その赤ペン囲み６５が記入されたお試し印刷の原稿を再スキャンしてその再スキャン結果（修正記入済みスキャン画像データ）を送信する。これにより、変換サーバ３０において、修正記入済みスキャン画像データに基づいて、素材スキャン画像から赤ペン囲み６５が認識され、その赤ペン囲み６５で囲まれた領域が素材画像として新たに抽出される。変換サーバ３０は、素材スキャン画像に対して直接記入されている赤ペン囲み６５を認識することで、素材画像として抽出すべき領域（ユーザが望む領域）を的確に抽出することができる。そして、その新たに抽出された素材画像と、既に取得済みの素材スキャン画像とが合成されて、新たな合成画像が生成される。   Further, in the present embodiment, after the image composition is performed by the conversion server 30 and the trial print image data is transmitted to the multi-function device 10, the multi-function device 10 may request the image composition to be redone (corrected). it can. Specifically, as illustrated in FIG. 4, the user himself encloses an area that the user really wants to use as a material in the material scan image 62 with a red pen (a red pen box 65). Then, the test printing document in which the red pen box 65 is written is rescanned, and the rescan result (corrected written scanned image data) is transmitted. As a result, the conversion server 30 recognizes the red pen box 65 from the material scan image based on the corrected and completed scan image data, and newly extracts a region surrounded by the red pen box 65 as a material image. The conversion server 30 can accurately extract a region (a region desired by the user) to be extracted as a material image by recognizing the red pen box 65 directly written on the material scan image. Then, the newly extracted material image and the already acquired material scan image are combined to generate a new combined image.

新たに生成された合成画像についても、最初に生成された合成画像と同様、お試し印刷画像として多機能機１０へ送信される。その際、新たに生成された合成画像（印刷イメージ画像６１）と、素材スキャン画像６２と、新たに抽出された素材画像の領域を示す素材抽出領域画像６３とを少なくとも含むお試し印刷画像の画像データが多機能機１０へ送信される。   The newly generated composite image is also transmitted to the multi-function device 10 as a trial print image, similar to the first generated composite image. At that time, an image of a trial print image including at least a newly generated composite image (print image image 61), a material scan image 62, and a material extraction region image 63 indicating a region of the newly extracted material image. Data is transmitted to the multi-function device 10.

そのため、多機能機１０のユーザは、最初の合成結果が意図する内容となっていなかった場合（例えば素材スキャン画像中の意図する領域が素材画像として抽出されていなかった場合）、素材画像として用いて欲しい領域を直接的且つ具体的に指示することができ、その指示が反映された新たな合成結果を得ることができる。   For this reason, the user of the multi-function device 10 uses the original composite result as the material image when the intended content is not the intended content (for example, when the intended region in the material scan image is not extracted as the material image). The desired area can be instructed directly and specifically, and a new composition result reflecting the instruction can be obtained.

また、変換サーバ３０は、修正記入済みスキャン画像データの中から赤ペン囲み６５を正常に認識できなかった場合は、エラー処理を行う（Ｓ６２０）。具体的には、図５（ｃ）に例示したようなメッセージを多機能機１０の表示部１２に表示させる。更に、エラーメッセージに加えて、お試し印刷画像データの再送信又はスキャンのやり直しのどちらかを多機能機１０のユーザに選択させて、その選択結果に応じた処理を行うこともできる。そのため、赤ペン囲み６５が認識できなかった場合にも、多機能機１０に対して適切な情報提示を行うことができる。   Also, if the red pen box 65 cannot be normally recognized from the corrected and completed scanned image data, the conversion server 30 performs error processing (S620). Specifically, a message as illustrated in FIG. 5C is displayed on the display unit 12 of the multi-function device 10. Further, in addition to the error message, the user of the multi-function device 10 can select either re-transmission of the trial print image data or re-scanning, and processing according to the selection result can be performed. Therefore, even when the red pen box 65 cannot be recognized, appropriate information can be presented to the multi-function device 10.

なお、本実施形態において、通信システム１は本発明の画像情報制御システムの一例に相当する。多機能機１０は本発明の画像処理装置の一例に相当する。仲介サーバ２０のＣＰＵ２３及び変換サーバ３０のＣＰＵ３３は本発明の制御部の一例に相当する。素材スキャン画像は本発明の第１の画像の一例に相当する。選択テンプレート画像は本発明の第２の画像の一例に相当する。テンプレート識別情報（Ｓ１３６）は本発明の第２画像情報識別情報の一例に相当する。お試し印刷画像は本発明の合成結果画像及び修正合成結果画像の一例に相当する。お試し印刷画像中の素材スキャン画像６２（図３）は本発明の特定領域画像の一例に相当する。お試し印刷画像中の素材抽出領域画像６３（図３）は本発明の素材領域明示画像の一例に相当し、その素材抽出領域画像６３で囲まれた領域は本発明の第１領域の一例に相当する。赤ペン囲み６５は本発明の領域指定情報の一例に相当し、その赤ペン囲み６５で囲まれた領域は本発明の第２領域の一例に相当する。修正記入済みスキャン画像データは本発明の領域指定情報付加画像情報の一例に相当する。   In the present embodiment, the communication system 1 corresponds to an example of an image information control system of the present invention. The multi-function device 10 corresponds to an example of an image processing apparatus of the present invention. The CPU 23 of the mediation server 20 and the CPU 33 of the conversion server 30 correspond to an example of a control unit of the present invention. The material scan image corresponds to an example of the first image of the present invention. The selected template image corresponds to an example of the second image of the present invention. The template identification information (S136) corresponds to an example of the second image information identification information of the present invention. The trial print image corresponds to an example of the composite result image and the corrected composite result image of the present invention. The material scan image 62 (FIG. 3) in the trial print image corresponds to an example of the specific area image of the present invention. The material extraction region image 63 (FIG. 3) in the trial print image corresponds to an example of the material region explicit image of the present invention, and the region surrounded by the material extraction region image 63 is an example of the first region of the present invention. Equivalent to. The red pen box 65 corresponds to an example of the area designation information of the present invention, and the area surrounded by the red pen box 65 corresponds to an example of the second area of the present invention. The corrected and completed scanned image data corresponds to an example of the image information with the area designation information added according to the present invention.

［他の実施形態］
（１）変換サーバ３０における、素材スキャン画像から素材画像を抽出するアルゴリズムは種々ありえる。即ち、素材スキャン画像全体のうちどの領域を素材画像として抽出するかについては適宜決めることができ、図２の中段に示した例はあくまでも一例である。 [Other Embodiments]
(1) There can be various algorithms for extracting a material image from a material scan image in the conversion server 30. That is, it is possible to appropriately determine which region of the entire material scan image is extracted as the material image, and the example shown in the middle of FIG. 2 is merely an example.

また、素材画像と選択テンプレート画像の画像合成方法についても、種々の方法が考えられる。上記実施形態では、素材画像を選択テンプレート画像中に複数配列させる画像合成方法を示したが、そのような合成方法はあくまでも一例である。素材画像をいくつ用いるか、また、複数用いる場合にはそれらをどのように配列するか、などについては、適宜決めることができる。素材画像そのものを複数種類抽出して（つまり素材スキャン画像から異なる複数箇所の素材画像を抽出して）それら複数の素材画像を適宜配置するようにしてもよい。選択テンプレート画像が白色（絵柄や文字）とグレー（空白領域）の２色構成であることや、画像合成において選択テンプレート画像中のグレーの領域に素材画像を露出させることもあくまでも一例である。   Various methods are conceivable for the image composition method of the material image and the selected template image. In the above-described embodiment, an image combining method in which a plurality of material images are arranged in a selected template image has been described. However, such a combining method is merely an example. How many material images are used and how to arrange them when a plurality of material images are used can be appropriately determined. A plurality of types of material images may be extracted (that is, a plurality of different material images may be extracted from the material scan image), and the plurality of material images may be appropriately arranged. It is only an example that the selected template image has a two-color configuration of white (picture or character) and gray (blank area), and that the material image is exposed in a gray area in the selected template image in image synthesis.

（２）素材スキャン画像の中からどの領域が素材画像として抽出されたかをユーザに示す方法として、図３に示した、その領域を囲む矩形状の素材抽出領域画像６３を表示させる方法は、あくまでも一例である。他の表示方法を用いて抽出領域をユーザに示すようにしてもよい。   (2) As a method for indicating to the user which region is extracted as the material image from the material scan image, the method of displaying the rectangular material extraction region image 63 surrounding the region shown in FIG. It is an example. You may make it show an extraction area | region to a user using another display method.

（３）お試し印刷画像に対してユーザが画像合成のやり直しを指示させる場合に、素材画像として用いたい所望の領域を再指定する方法についても、図４に示したような、所望の領域を赤ペン囲み６５で囲む方法はあくまでも一例である。他の指定方法を用いて、素材画像として使って欲しい領域を指定できるようにしてもよい。   (3) A method for re-designating a desired area to be used as a material image when the user instructs the trial print image to re-compose the image, the desired area as shown in FIG. The method of surrounding with the red pen box 65 is merely an example. Other designation methods may be used to designate a region desired to be used as a material image.

（４）素材スキャン画像を多機能機１０から複数アップロードして、各々の素材スキャン画像に基づいて画像合成させて、各々の画像合成結果（お試し印刷画像）を取得できるようにしてもよい。その場合、複数のお試し印刷画像の印刷結果のうち何れか１つ又は複数について、それぞれ赤ペン囲みで素材領域を再指定できるようにしてもよい。   (4) A plurality of material scan images may be uploaded from the multi-function device 10 and image synthesis may be performed based on each material scan image to obtain each image synthesis result (trial print image). In this case, the material region may be redesignated in a red pen box for any one or a plurality of print results of the plurality of test print images.

（５）その他、本発明は、上記の実施形態に示された具体的手段や構造等に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の形態を採り得る。例えば、上記の実施形態の構成の一部を、同様の機能を有する公知の構成に置き換えたり、他の実施形態の構成に対して付加、置換等したり、課題を解決できる限りにおいて省略したりしてもよい。また、上記の複数の実施形態を適宜組み合わせて構成してもよい。   (5) In addition, the present invention is not limited to the specific means and structure shown in the above embodiment, and can take various forms without departing from the gist of the present invention. For example, a part of the configuration of the above embodiment is replaced with a known configuration having the same function, added to or replaced with the configuration of another embodiment, or omitted as long as the problem can be solved. May be. Moreover, you may comprise combining several said embodiment suitably.

１…通信システム、２…ＬＡＮ、４…インターネット、１０…多機能機、１１…操作部、１２…表示部、１３，２１，３１…ネットワークインタ−フェース、１４…印刷実行部、１５…スキャン実行部、１６，２２，３２…制御部、１８，２４，３４，５１…メモリ、１９，２５，３５…プログラム、２０…仲介サーバ、３０…変換サーバ、３６…Ａアプリケーション、３７…Ｂアプリケーション、３８…Ｃアプリケーション、４１，５２…テンプレート、４２…第３テンプレート画像データ、５０…コンテンツサーバ、５３…第１テンプレート画像データ、５４…第２テンプレート画像データ、６１…印刷イメージ画像、６２…素材スキャン画像、６３…素材抽出領域画像、６５…赤ペン囲み。 DESCRIPTION OF SYMBOLS 1 ... Communication system, 2 ... LAN, 4 ... Internet, 10 ... Multi-function machine, 11 ... Operation part, 12 ... Display part, 13, 21, 31 ... Network interface, 14 ... Print execution part, 15 ... Scan execution , 16, 22, 32 ... control unit, 18, 24, 34, 51 ... memory, 19, 25, 35 ... program, 20 ... mediation server, 30 ... conversion server, 36 ... A application, 37 ... B application, 38 ... C application, 41, 52 ... Template, 42 ... Third template image data, 50 ... Content server, 53 ... First template image data, 54 ... Second template image data, 61 ... Print image image, 62 ... Material scan image 63 ... Material extraction area image, 65 ... Red pen box.

Claims (9)

制御部と、
通信インタフェースと、
を備え、前記制御部が前記通信インタフェースを介して画像処理装置と通信可能な画像情報制御装置であって、
前記制御部は、
前記画像処理装置から前記通信インタフェースを介して、第１の画像を示す第１の画像情報を取得する第１取得処理と、
前記画像処理装置から前記通信インタフェースを介して、前記第１の画像と合成させる第２の画像を指定する情報である第２画像情報識別情報を取得する第２取得処理と、
前記第２取得処理で取得した前記第２画像情報識別情報に基づいて、前記第２の画像を示す第２の画像情報を取得する第３取得処理と、
前記第１取得処理で取得した前記第１の画像情報が示す前記第１の画像のうち特定の第１領域の画像を素材画像として抽出し、その抽出した素材画像を示す素材画像情報と前記第３取得処理で取得した前記第２の画像情報とを予め決められた特定の画像合成方法に従って合成することにより、前記第２の画像と前記素材画像が合成された合成画像を示す合成画像情報を生成する合成処理と、
前記合成処理で生成した合成画像情報が示す前記合成画像、及びその合成画像で用いられている前記素材画像を示す使用素材情報、を含む画像である合成結果画像を前記画像処理装置で印刷出力させるための、前記合成結果画像を示す合成結果画像情報を生成する結果生成処理と、
前記結果生成処理で生成した前記合成結果画像情報を前記通信インタフェースを介して前記画像処理装置へ送信する送信処理と、
前記送信処理で前記合成結果画像情報を送信した後、前記画像処理装置から、前記合成画像の修正要求を示す修正要求情報を取得する第４取得処理と、
前記第４取得処理で取得した前記修正要求情報に基づき、前記第１取得処理で取得した前記第１の画像情報が示す第１の画像のうち前記第１領域とは異なる特定の第２領域の画像を、前記第２の画像に合成させる修正素材画像として抽出し、その抽出した修正素材画像を示す修正素材画像情報と前記第３取得処理で取得した前記第２の画像情報とを前記画像合成方法に従って合成することにより、前記第２の画像に前記修正素材画像が合成された修正合成画像を示す修正合成画像情報を生成する修正合成処理と、
前記修正合成処理で生成した前記修正合成画像情報を少なくとも含む画像情報を前記通信インタフェースを介して前記画像処理装置へ送信する再送信処理と、
を実行することを特徴とする画像情報制御装置。 A control unit;
A communication interface;
An image information control apparatus capable of communicating with the image processing apparatus via the communication interface,
The controller is
A first acquisition process for acquiring first image information indicating a first image from the image processing apparatus via the communication interface;
A second acquisition process for acquiring second image information identification information, which is information for designating a second image to be combined with the first image, from the image processing apparatus via the communication interface;
A third acquisition process for acquiring second image information indicating the second image based on the second image information identification information acquired in the second acquisition process;
An image of a specific first region is extracted as a material image from the first image indicated by the first image information acquired in the first acquisition process, and the material image information indicating the extracted material image and the first image are extracted. 3 The synthesized image information indicating the synthesized image obtained by synthesizing the second image and the material image by synthesizing the second image information obtained in the obtaining process according to a predetermined specific image synthesizing method. The synthesis process to generate,
The image processing apparatus prints out a composite result image that is an image including the composite image indicated by the composite image information generated by the composite processing and the use material information indicating the material image used in the composite image. A result generation process for generating synthesis result image information indicating the synthesis result image;
A transmission process for transmitting the combined result image information generated in the result generation process to the image processing apparatus via the communication interface;
A fourth acquisition process for acquiring correction request information indicating a correction request for the synthesized image from the image processing apparatus after transmitting the synthesis result image information in the transmission process;
Based on the correction request information acquired in the fourth acquisition process, a specific second area different from the first area in the first image indicated by the first image information acquired in the first acquisition process. An image is extracted as a correction material image to be combined with the second image, and the correction material image information indicating the extracted correction material image and the second image information acquired in the third acquisition process are combined with the image. Correcting composition processing for generating corrected composite image information indicating a corrected composite image in which the correction material image is combined with the second image by combining according to a method;
A retransmission process for transmitting image information including at least the corrected composite image information generated by the correction composite process to the image processing apparatus via the communication interface;
The image information control apparatus characterized by performing. 請求項１に記載の画像情報制御装置であって、
前記使用素材情報は、前記第１の画像のうち少なくとも前記素材画像を含む特定の領域の画像である特定領域画像を含む
ことを特徴とする画像情報制御装置。 The image information control device according to claim 1,
The use material information includes a specific area image that is an image of a specific area including at least the material image in the first image. 請求項２に記載の画像情報制御装置であって、
前記使用素材情報は、前記特定領域画像中の前記素材画像に該当する領域に付加される素材領域明示画像を含む
ことを特徴とする画像情報制御装置。 The image information control device according to claim 2,
The use material information includes a material region explicit image added to a region corresponding to the material image in the specific region image. 請求項１〜請求項３のいずれか１項に記載の画像情報制御装置であって、
前記修正要求情報には、前記第１の画像のうちどの領域を前記第２領域とすべきかを示す領域指定情報が含まれており、
前記修正合成処理では、前記第１の画像のうち、前記領域指定情報が示す前記第２領域の画像を、前記修正素材画像として抽出する
ことを特徴とする画像情報制御装置。 The image information control apparatus according to any one of claims 1 to 3 ,
The correction request information includes region designation information indicating which region of the first image should be the second region,
In the correction composition process, an image of the second area indicated by the area designation information is extracted as the correction material image from the first image. 請求項４に記載の画像情報制御装置であって、
前記画像処理装置は、画像を読み取り可能な画像読取機能を備えており、
前記合成結果画像に含まれる前記使用素材情報は、前記第１の画像のうち少なくとも前記素材画像を含む特定の領域の画像である特定領域画像を含み、
前記修正要求情報は、前記画像処理装置により印刷出力された前記合成結果画像中の前記特定領域画像に対して前記領域指定情報が付加された画像である領域指定情報付加画像が、前記画像処理装置の前記画像読取機能により読み取られることによって生成される、領域指定情報付加画像情報であり、
前記制御部は、前記第４取得処理で前記修正要求情報として前記領域指定情報付加画像情報を取得した場合に、その領域指定情報付加画像情報から前記領域指定情報を認識してその認識結果に基づいて前記第１の画像のうち前記第２領域を特定する領域特定処理を実行し、
前記修正合成処理では、前記第１の画像のうち前記領域特定処理で特定した前記第２領域の画像を前記修正素材画像として抽出する
ことを特徴とする画像情報制御装置。 The image information control device according to claim 4 ,
The image processing apparatus has an image reading function capable of reading an image,
The use material information included in the synthesis result image includes a specific region image that is an image of a specific region including at least the material image in the first image,
The correction request information is a region designation information addition image that is an image obtained by adding the region designation information to the specific region image in the synthesis result image printed out by the image processing device. Area designation information added image information generated by being read by the image reading function of
When acquiring the area designation information additional image information as the correction request information in the fourth acquisition process, the control unit recognizes the area designation information from the area designation information additional image information and based on the recognition result. Executing an area specifying process for specifying the second area of the first image,
In the correction composition process, an image of the second area specified by the area specifying process in the first image is extracted as the correction material image. 請求項５に記載の画像情報制御装置であって、
前記制御部は、前記領域特定処理において前記領域指定情報付加画像情報から前記領域指定情報を正常に認識できなかった場合、特定の非認識時処理を実行する
ことを特徴とする画像情報制御装置。 The image information control device according to claim 5 ,
The said control part performs a specific non-recognition process, when the said area designation | designated information is not normally recognized from the said area designation | designated information addition image information in the said area | region identification process. The image information control apparatus characterized by the above-mentioned. 請求項１〜請求項６の何れか１項に記載の画像情報制御装置であって、
前記制御部は、前記修正合成処理の実行後、前記修正合成処理で生成した修正合成画像情報が示す前記修正合成画像、及びその修正合成画像で用いられている前記修正素材画像を示す修正使用素材情報、を含む画像である修正合成結果画像を前記画像処理装置で印刷出力させるための、前記修正合成結果画像を示す修正合成結果画像情報を生成する修正結果生成処理を実行し、
前記再送信処理では、前記修正結果生成処理で生成した前記修正合成結果画像情報を送信する
ことを特徴とする画像情報制御装置。 An image information control apparatus according to any one of claims 1 to 6,
The control unit, after execution of the correction composition process, the correction composite image indicated by the correction composite image information generated by the correction composition process, and the correction use material indicating the correction material image used in the correction composite image Executing correction result generation processing for generating corrected composite result image information indicating the corrected composite result image for causing the image processing apparatus to print out a corrected composite result image that is an image including information,
In the retransmission process, the corrected composite result image information generated in the correction result generation process is transmitted. 制御部と通信インタフェースとを備え、前記制御部が前記通信インタフェースを介して画像処理装置と通信可能な画像情報制御装置において、前記制御部が実行可能なプログラムであって、
前記制御部に、
前記画像処理装置から前記通信インタフェースを介して、第１の画像を示す第１の画像情報を取得する第１取得処理と、
前記画像処理装置から前記通信インタフェースを介して、前記第１の画像と合成させる第２の画像を指定する情報である第２画像情報識別情報を取得する第２取得処理と、
前記第２取得処理で取得した前記第２画像情報識別情報に基づいて、前記第２の画像を示す第２の画像情報を取得する第３取得処理と、
前記第１取得処理で取得した前記第１の画像情報が示す前記第１の画像のうち特定の第１領域の画像を素材画像として抽出し、その抽出した素材画像を示す素材画像情報と前記第３取得処理で取得した前記第２の画像情報とを予め決められた特定の画像合成方法に従って合成することにより、前記第２の画像と前記素材画像が合成された合成画像を示す合成画像情報を生成する合成処理と、
前記合成処理で生成した合成画像情報が示す前記合成画像、及びその合成画像で用いられている前記素材画像を示す使用素材情報、を含む画像である合成結果画像を前記画像処理装置で印刷出力させるための、前記合成結果画像を示す合成結果画像情報を生成する結果生成処理と、
前記結果生成処理で生成した前記合成結果画像情報を前記通信インタフェースを介して前記画像処理装置へ送信する送信処理と、
前記送信処理で前記合成結果画像情報を送信した後、前記画像処理装置から、前記合成画像の修正要求を示す修正要求情報を取得する第４取得処理と、
前記第４取得処理で取得した前記修正要求情報に基づき、前記第１取得処理で取得した前記第１の画像情報が示す第１の画像のうち前記第１領域とは異なる特定の第２領域の画像を、前記第２の画像に合成させる修正素材画像として抽出し、その抽出した修正素材画像を示す修正素材画像情報と前記第３取得処理で取得した前記第２の画像情報とを前記画像合成方法に従って合成することにより、前記第２の画像に前記修正素材画像が合成された修正合成画像を示す修正合成画像情報を生成する修正合成処理と、
前記修正合成処理で生成した前記修正合成画像情報を少なくとも含む画像情報を前記通信インタフェースを介して前記画像処理装置へ送信する再送信処理と、
を実行させるためのプログラム。 In an image information control apparatus comprising a control unit and a communication interface, wherein the control unit can communicate with the image processing apparatus via the communication interface, the program can be executed by the control unit,
In the control unit,
A first acquisition process for acquiring first image information indicating a first image from the image processing apparatus via the communication interface;
A second acquisition process for acquiring second image information identification information, which is information for designating a second image to be combined with the first image, from the image processing apparatus via the communication interface;
A third acquisition process for acquiring second image information indicating the second image based on the second image information identification information acquired in the second acquisition process;
An image of a specific first region is extracted as a material image from the first image indicated by the first image information acquired in the first acquisition process, and the material image information indicating the extracted material image and the first image are extracted. 3 The synthesized image information indicating the synthesized image obtained by synthesizing the second image and the material image by synthesizing the second image information obtained in the obtaining process according to a predetermined specific image synthesizing method. The synthesis process to generate,
The image processing apparatus prints out a composite result image that is an image including the composite image indicated by the composite image information generated by the composite processing and the use material information indicating the material image used in the composite image. A result generation process for generating synthesis result image information indicating the synthesis result image;
A transmission process for transmitting the combined result image information generated in the result generation process to the image processing apparatus via the communication interface;
A fourth acquisition process for acquiring correction request information indicating a correction request for the synthesized image from the image processing apparatus after transmitting the synthesis result image information in the transmission process;
Based on the correction request information acquired in the fourth acquisition process, a specific second area different from the first area in the first image indicated by the first image information acquired in the first acquisition process. An image is extracted as a correction material image to be combined with the second image, and the correction material image information indicating the extracted correction material image and the second image information acquired in the third acquisition process are combined with the image. Correcting composition processing for generating corrected composite image information indicating a corrected composite image in which the correction material image is combined with the second image by combining according to a method;
A retransmission process for transmitting image information including at least the corrected composite image information generated by the correction composite process to the image processing apparatus via the communication interface;
A program for running 少なくとも画像を印刷出力する機能を有する画像処理装置と、
前記画像処理装置と通信可能な画像情報制御装置と、
を備え、
前記画像情報制御装置は、
通信インタフェースと、
前記通信インタフェースを介して前記画像処理装置と通信可能な制御部と、
を備え、
前記制御部は、
前記画像処理装置から前記通信インタフェースを介して、第１の画像を示す第１の画像情報を取得する第１取得処理と、
前記画像処理装置から前記通信インタフェースを介して、前記第１の画像と合成させる第２の画像を指定する情報である第２画像情報識別情報を取得する第２取得処理と、
前記第２取得処理で取得した前記第２画像情報識別情報に基づいて、前記第２の画像を示す第２の画像情報を取得する第３取得処理と、
前記第１取得処理で取得した前記第１の画像情報が示す前記第１の画像のうち特定の第１領域の画像を素材画像として抽出し、その抽出した素材画像を示す素材画像情報と前記第３取得処理で取得した前記第２の画像情報とを予め決められた特定の画像合成方法に従って合成することにより、前記第２の画像と前記素材画像が合成された合成画像を示す合成画像情報を生成する合成処理と、
前記合成処理で生成した合成画像情報が示す前記合成画像、及びその合成画像で用いられている前記素材画像を示す使用素材情報、を含む画像である合成結果画像を前記画像処理装置で印刷出力させるための、前記合成結果画像を示す合成結果画像情報を生成する結果生成処理と、
前記結果生成処理で生成した前記合成結果画像情報を前記通信インタフェースを介して前記画像処理装置へ送信する送信処理と、
前記送信処理で前記合成結果画像情報を送信した後、前記画像処理装置から、前記合成画像の修正要求を示す修正要求情報を取得する第４取得処理と、
前記第４取得処理で取得した前記修正要求情報に基づき、前記第１取得処理で取得した前記第１の画像情報が示す第１の画像のうち前記第１領域とは異なる特定の第２領域の画像を、前記第２の画像に合成させる修正素材画像として抽出し、その抽出した修正素材画像を示す修正素材画像情報と前記第３取得処理で取得した前記第２の画像情報とを前記画像合成方法に従って合成することにより、前記第２の画像に前記修正素材画像が合成された修正合成画像を示す修正合成画像情報を生成する修正合成処理と、
前記修正合成処理で生成した前記修正合成画像情報を少なくとも含む画像情報を前記通信インタフェースを介して前記画像処理装置へ送信する再送信処理と、
を実行する
ことを特徴とする画像情報制御システム。 An image processing apparatus having a function of printing at least an image;
An image information control device capable of communicating with the image processing device;
With
The image information control device includes:
A communication interface;
A control unit capable of communicating with the image processing apparatus via the communication interface;
With
The controller is
A first acquisition process for acquiring first image information indicating a first image from the image processing apparatus via the communication interface;
A second acquisition process for acquiring second image information identification information, which is information for designating a second image to be combined with the first image, from the image processing apparatus via the communication interface;
A third acquisition process for acquiring second image information indicating the second image based on the second image information identification information acquired in the second acquisition process;
An image of a specific first region is extracted as a material image from the first image indicated by the first image information acquired in the first acquisition process, and the material image information indicating the extracted material image and the first image are extracted. 3 The synthesized image information indicating the synthesized image obtained by synthesizing the second image and the material image by synthesizing the second image information obtained in the obtaining process according to a predetermined specific image synthesizing method. The synthesis process to generate,
The image processing apparatus prints out a composite result image that is an image including the composite image indicated by the composite image information generated by the composite processing and the use material information indicating the material image used in the composite image. A result generation process for generating synthesis result image information indicating the synthesis result image;
A transmission process for transmitting the combined result image information generated in the result generation process to the image processing apparatus via the communication interface;
A fourth acquisition process for acquiring correction request information indicating a correction request for the synthesized image from the image processing apparatus after transmitting the synthesis result image information in the transmission process;
Based on the correction request information acquired in the fourth acquisition process, a specific second area different from the first area in the first image indicated by the first image information acquired in the first acquisition process. An image is extracted as a correction material image to be combined with the second image, and the correction material image information indicating the extracted correction material image and the second image information acquired in the third acquisition process are combined with the image. Correcting composition processing for generating corrected composite image information indicating a corrected composite image in which the correction material image is combined with the second image by combining according to a method;
A retransmission process for transmitting image information including at least the corrected composite image information generated by the correction composite process to the image processing apparatus via the communication interface;
An image information control system characterized by
JP2014046506A 2014-03-10 2014-03-10 Image information control apparatus, program, and image information control system Active JP6273919B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014046506A JP6273919B2 (en) 2014-03-10 2014-03-10 Image information control apparatus, program, and image information control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014046506A JP6273919B2 (en) 2014-03-10 2014-03-10 Image information control apparatus, program, and image information control system

Publications (2)

Publication Number Publication Date
JP2015171082A JP2015171082A (en) 2015-09-28
JP6273919B2 true JP6273919B2 (en) 2018-02-07

Family

ID=54203422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014046506A Active JP6273919B2 (en) 2014-03-10 2014-03-10 Image information control apparatus, program, and image information control system

Country Status (1)

Country Link
JP (1) JP6273919B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822544B (en) * 2020-12-31 2023-10-20 广州酷狗计算机科技有限公司 Video material file generation method, video synthesis method, device and medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5347762B2 (en) * 2009-06-29 2013-11-20 株式会社リコー Image processing system, image processing apparatus, image processing method, program, and recording medium
JP5967960B2 (en) * 2012-02-03 2016-08-10 キヤノン株式会社 Information processing apparatus, control method thereof, and program

Also Published As

Publication number Publication date
JP2015171082A (en) 2015-09-28

Similar Documents

Publication Publication Date Title
US10375267B2 (en) Mediation server
US10659627B2 (en) Image processing apparatus, image processing method, and storage medium
US9075555B2 (en) Print system, image forming apparatus, coordination method upon printing, and non-transitory computer-readable recording medium encoded with coordination program upon printing
JP2015041358A (en) Relay device, program, and control method for relay device
US20150172482A1 (en) Portable information terminal and recording medium
US20170147267A1 (en) Information output apparatus, method for outputting information, and non-transitory computer-readable medium
JP6175905B2 (en) Information processing apparatus, information processing method, system, and program
CN103813047B (en) Image processing system and image processing method
JP2010224627A (en) Print system
JP6273919B2 (en) Image information control apparatus, program, and image information control system
JP6399915B2 (en) Image reading apparatus, information processing method, and program
US20220303400A1 (en) Information processing apparatus, control method of information processing apparatuses, scanner apparatus, control method of scanner apparatus, and recording medium
US11350011B2 (en) Device, process execution system, process execution method, and non-transitory recording medium
JP2017175611A (en) Scan distribution system, document management apparatus, scan distribution method, and program
US9383952B1 (en) Systems and methods for overriding a print ticket when printing from a mobile device
JP6458427B2 (en) Information processing apparatus, recording system, and program
JP6273928B2 (en) Image information control apparatus, program, and image information control system
JP6485051B2 (en) Image processing system, image processing apparatus, and program
US20170019542A1 (en) Communication system, relay apparatus and communication method
JP2016071488A (en) Information processing apparatus, recording system, and program
JP2006135644A (en) Document processing system, and its document processing method, document processor and image input device
JP2013077933A (en) Image processing device
JP4748169B2 (en) Image forming apparatus
JP7036188B2 (en) Information processing equipment, recording systems, and programs
JP6981137B2 (en) Information processing equipment, image processing systems, image processing methods, and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171225

R150 Certificate of patent or registration of utility model

Ref document number: 6273919

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150