JP6489434B2 - Image generation apparatus, image generation control program, and image generation control method - Google Patents
Image generation apparatus, image generation control program, and image generation control method Download PDFInfo
- Publication number
- JP6489434B2 JP6489434B2 JP2015081641A JP2015081641A JP6489434B2 JP 6489434 B2 JP6489434 B2 JP 6489434B2 JP 2015081641 A JP2015081641 A JP 2015081641A JP 2015081641 A JP2015081641 A JP 2015081641A JP 6489434 B2 JP6489434 B2 JP 6489434B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- title
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 102
- 238000012545 processing Methods 0.000 claims description 96
- 230000008569 process Effects 0.000 claims description 72
- 238000007639 printing Methods 0.000 claims description 25
- 238000012790 confirmation Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 description 21
- 238000012937 correction Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000010017 direct printing Methods 0.000 description 10
- 238000006467 substitution reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000003702 image correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101000648554 Mus musculus Sushi domain-containing protein 6 Proteins 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- KAATUXNTWXVJKI-UHFFFAOYSA-N cypermethrin Chemical compound CC1(C)C(C=C(Cl)Cl)C1C(=O)OC(C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 KAATUXNTWXVJKI-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Information Transfer Between Computers (AREA)
Description
本発明は、画像生成装置及び画像生成制御プログラム並びに画像生成制御方法に関し、特に、電子メールに添付された複数の画像を用いてＨＤＲ（High Dynamic Range）画像を生成する画像生成装置及びＨＤＲ画像の生成を制御する画像生成制御プログラム並びに画像生成制御方法に関する。 The present invention relates to an image generation device, an image generation control program, and an image generation control method, and more particularly to an image generation device that generates an HDR (High Dynamic Range) image using a plurality of images attached to an e-mail and an HDR image The present invention relates to an image generation control program for controlling generation and an image generation control method.
近年のプリンタやＭＦＰ（Multi-Functional Peripherals）などの画像生成装置は、ダイレクトプリントをサポートする機種が増えている。例えば、電子メールによるダイレクトプリントをサポートする画像生成装置では、パーソナルコンピュータやタブレット端末、スマートフォン、デジタルカメラなどから電子メールを受信すると、その電子メールに添付された画像を印刷することが可能である。 In recent years, image generation apparatuses such as printers and MFPs (Multi-Functional Peripherals) are increasing in the number of models that support direct printing. For example, in an image generation apparatus that supports direct printing by e-mail, when an e-mail is received from a personal computer, a tablet terminal, a smartphone, a digital camera, or the like, an image attached to the e-mail can be printed.
このような電子メールによるダイレクトプリントに関する技術として、例えば、下記特許文献１には、サーバからユーザ端末に対して順次撮影指示を与え、ユーザに撮影を実行させ、その撮影した画像が添付された電子メールを順次システムサーバに返信させ、サーバは、ユーザ端末から返信された画像がどの撮影指示の、どの選択肢を選択して撮影された画像かによってアルバム文データベースから対応するアルバム文を選択し、受信した各画像と画像ごとに選択したアルバム文とに基づいて電子アルバムを作成する技術が開示されている。 As a technique relating to such direct printing by e-mail, for example, in Japanese Patent Application Laid-Open No. 2004-228561, an electronic device in which a server sequentially gives a shooting instruction to a user terminal, causes the user to perform shooting, and the captured image is attached. Mail is sent back to the system server sequentially, and the server selects and receives the corresponding album text from the album text database according to which shooting instruction and which option was selected and the image sent back from the user terminal. A technique for creating an electronic album based on each image and an album sentence selected for each image is disclosed.
また、下記特許文献２には、ユーザにより選択されたテンプレートに配置する複数の画像のそれぞれについてのガイダンスが記述された複数の電子メールを、前記ユーザが所持するカメラ付き携帯端末装置に送信するメール送信手段を備えたサービス提供サーバと、前記テンプレートに配置する複数の画像がそれぞれ添付された、前記カメラ付き携帯端末装置から送信された前記複数の電子メールのそれぞれに対応する複数の画像添付メールを受信するメール受信手段、および前記複数の画像添付メールにそれぞれ添付された複数の画像を前記テンプレートに配置して合成画像を作成する合成手段を備えた注文処理サーバと、を備えた画像合成サービスシステムが開示されている。 Further, in Patent Document 2 below, a mail that transmits a plurality of e-mails describing guidance for each of a plurality of images to be arranged in a template selected by the user to a mobile terminal device with a camera possessed by the user. A plurality of image-attached emails corresponding to each of the plurality of e-mails transmitted from the camera-equipped mobile terminal device, each of which is attached with a plurality of images to be arranged in the template An image synthesizing service system comprising: an e-mail receiving means for receiving; and an order processing server provided with a synthesizing means for arranging a plurality of images respectively attached to the plurality of image-attached e-mails on the template to create a synthesized image. Is disclosed.
複数の画像を合成する技術として、露出が異なる複数枚の入力画像から、白飛びや黒潰れが軽減された一枚のトーンマッピングされたＨＤＲ画像を作成する技術が知られている。このＨＤＲ画像の生成方法として、コンピュータ装置上で動作するアプリケーションソフトを利用する方法の他に、デジタルカメラ本体に内蔵されたＨＤＲ画像生成モジュールを利用する方法などがある。 As a technique for synthesizing a plurality of images, a technique is known in which a single tone-mapped HDR image in which overexposure and blackout are reduced from a plurality of input images with different exposures is known. As a method of generating the HDR image, there is a method of using an HDR image generation module built in the digital camera body in addition to a method of using application software running on a computer device.
ここで、ＨＤＲ画像生成モジュールが組み込まれたデジタルカメラなどのように、撮像モジュールとＨＤＲ画像生成モジュールとが同じ装置に搭載されている場合、これらのモジュールは連動して動作させることができるため、ＨＤＲ画像生成モジュールは撮像モジュールから送信される複数の画像を用いて、ＨＤＲ画像を容易に生成することができる。 Here, when the imaging module and the HDR image generation module are mounted on the same device, such as a digital camera in which the HDR image generation module is incorporated, these modules can be operated in conjunction with each other. The HDR image generation module can easily generate an HDR image using a plurality of images transmitted from the imaging module.
しかしながら、画像を取得する装置とＨＤＲ画像を生成する装置とが別々の装置の場合、適切にＨＤＲ画像を生成することができない。例えば、上記ＨＤＲ画像生成モジュールを画像生成装置に搭載し、この画像生成装置で電子メールを用いたダイレクトプリントを実施する場合を想定すると、電子メールに添付された画像はあくまで入力画像に過ぎないため、画像生成装置では、電子メールに添付された画像がＨＤＲ画像の生成対象となる画像であるのかを判別することができない。 However, when the device that acquires the image and the device that generates the HDR image are separate devices, the HDR image cannot be generated appropriately. For example, assuming that the HDR image generation module is installed in an image generation apparatus and direct printing using an e-mail is performed in the image generation apparatus, the image attached to the e-mail is only an input image. The image generation apparatus cannot determine whether the image attached to the e-mail is an image that is an HDR image generation target.
すなわち、ＨＤＲ画像生成モジュールを搭載した画像生成装置でＨＤＲ画像のダイレクトプリントを実施するためには、通常の印刷処理ではなく、ＨＤＲ画像生成処理を実行することを画像生成装置に認識させること、入力画像がＨＤＲ画像の生成対象となる画像であることを画像生成装置に認識させること、どの画像がＨＤＲ画像生成処理の入力画像としてセットになっているのかを画像生成装置に認識させることが必要となる。 That is, in order to directly print an HDR image with an image generation apparatus equipped with an HDR image generation module, the image generation apparatus recognizes that an HDR image generation process is executed instead of a normal print process, and input. It is necessary for the image generating apparatus to recognize that the image is an image to be generated as an HDR image, and to allow the image generating apparatus to recognize which image is set as an input image for the HDR image generating process. Become.
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、電子メールに添付された複数の画像を用いて、適切なＨＤＲ画像を確実に生成することができる画像生成装置及び画像生成制御プログラム並びに画像生成制御方法を提供することにある。 The present invention has been made in view of the above problems, and a main object of the present invention is to provide an image generation apparatus capable of reliably generating an appropriate HDR image using a plurality of images attached to an e-mail. And an image generation control program and an image generation control method.
本発明の一側面は、印刷のための画像を生成する画像生成装置であって、電子メールを受信し、受信メールに複数の画像が添付されているかを判別する入出力制御部と、前記受信メールのタイトル若しくは本文に、特定のキーワードが記述されているかを判別するキーワード判別部と、前記受信メールに複数の画像が添付され、かつ、当該受信メールのタイトル若しくは本文に前記特定のキーワードが記述されている場合に、前記複数の画像を入力画像として、ＨＤＲ画像を生成する画像合成処理部と、を備えることを特徴とする。 One aspect of the present invention is an image generation apparatus that generates an image for printing, which receives an electronic mail and determines whether a plurality of images are attached to the received mail; and the reception A keyword discriminating section for discriminating whether a specific keyword is described in the title or body of the mail, a plurality of images are attached to the received mail, and the specific keyword is described in the title or body of the received mail And an image composition processing unit that generates an HDR image using the plurality of images as input images.
本発明の一側面は、印刷のための画像を生成する画像生成装置で動作する画像生成制御プログラムであって、前記画像生成装置に、電子メールを受信し、受信メールに複数の画像が添付されているかを判別する入出力制御処理、前記受信メールのタイトル若しくは本文に、特定のキーワードが記述されているかを判別するキーワード判別処理、前記受信メールに複数の画像が添付され、かつ、当該受信メールのタイトル若しくは本文に前記特定のキーワードが記述されている場合に、前記複数の画像を入力画像として、ＨＤＲ画像を生成する画像合成処理、を実行させることを特徴とする。 One aspect of the present invention is an image generation control program that operates in an image generation apparatus that generates an image for printing. The image generation apparatus receives an email, and a plurality of images are attached to the received mail. Input / output control processing for determining whether a specific keyword is described in the title or body of the received mail, a plurality of images are attached to the received mail, and the received mail When the specific keyword is described in the title or body of the image, an image composition process for generating an HDR image is executed using the plurality of images as input images.
本発明の一側面は、印刷を指示するコンピュータ装置と印刷のための画像を生成する画像生成装置とが通信ネットワークで接続されたシステムにおける画像生成制御方法であって、前記画像生成装置は、前記コンピュータ装置から電子メールを受信し、受信メールに複数の画像が添付されているかを判別する入出力制御処理と、前記受信メールのタイトル若しくは本文に、特定のキーワードが記述されているかを判別するキーワード判別処理と、前記受信メールに複数の画像が添付され、かつ、当該受信メールのタイトル若しくは本文に前記特定のキーワードが記述されている場合に、前記複数の画像を入力画像として、ＨＤＲ画像を生成する画像合成処理と、を実行することを特徴とする。 One aspect of the present invention is an image generation control method in a system in which a computer apparatus that instructs printing and an image generation apparatus that generates an image for printing are connected via a communication network, and the image generation apparatus includes: An input / output control process for receiving an e-mail from a computer device and determining whether a plurality of images are attached to the received mail, and a keyword for determining whether a specific keyword is described in the title or body of the received mail When a plurality of images are attached to the received mail and the specific keyword is described in the title or body of the received mail, an HDR image is generated using the plurality of images as an input image. And performing an image composition process.
本発明の画像生成装置及び画像生成制御プログラム並びに画像生成制御方法によれば、電子メールに添付された複数の画像を用いて、適切なＨＤＲ画像を確実に生成することができる。 According to the image generation device, the image generation control program, and the image generation control method of the present invention, it is possible to reliably generate an appropriate HDR image using a plurality of images attached to an e-mail.
その理由は、画像生成装置（画像生成制御プログラム）は、複数の画像が添付された電子メールを受信したら、電子メールのタイトル若しくは本文に特定のキーワードが記述されているかを判別し、当該特定キーワードが記述されている場合は、電子メールに添付された複数の画像を入力画像として、ＨＤＲ画像を生成するからである。 The reason is that when an image generation apparatus (image generation control program) receives an e-mail attached with a plurality of images, the image generation apparatus (image generation control program) determines whether or not a specific keyword is described in the title or body of the e-mail. This is because an HDR image is generated using a plurality of images attached to an e-mail as input images.
また、画像生成装置（画像生成制御プログラム）は、電子メールのタイトル又は本文に、ＨＤＲ画像の仕上がりを示唆する第１のキーワードが記述されているかを判別し、当該第１のキーワードが記述されている場合は、第１のキーワードに基づいて電子メールに添付された複数の画像の取捨選択を行って、ＨＤＲ画像を生成するからである。 Further, the image generation apparatus (image generation control program) determines whether the first keyword suggesting the finish of the HDR image is described in the title or body of the e-mail, and the first keyword is described. This is because the HDR image is generated by selecting a plurality of images attached to the e-mail based on the first keyword.
また、画像生成装置（画像生成制御プログラム）は、電子メールのタイトル又は本文に、ＨＤＲ画像を画面上で確認するためのプレビュー画像の作成を示唆する第２のキーワードが記述されているかを判別し、当該第２のキーワードが記載されている場合は、プレビュー用のＨＤＲ画像を生成し、電子メールに添付して返信するからである。 Further, the image generation device (image generation control program) determines whether the second keyword suggesting creation of a preview image for confirming the HDR image on the screen is described in the title or body of the e-mail. This is because, when the second keyword is described, an HDR image for preview is generated and sent back as an e-mail attachment.
背景技術で示したように、近年の画像生成装置には、ダイレクトプリントをサポートする機種も多く、電子メールによるダイレクトプリントをサポートする画像生成装置では、受信した電子メールに添付された画像を印刷することができる。また、露出を変えて撮影した複数の画像からＨＤＲ画像を作成する技術も知られており、ＨＤＲ画像生成モジュールを搭載したデジタルカメラなどが市販されている。 As shown in the background art, many image generation apparatuses in recent years support direct printing, and image generation apparatuses that support direct printing by e-mail print an image attached to received e-mail. be able to. In addition, a technique for creating an HDR image from a plurality of images taken with different exposures is also known, and a digital camera equipped with an HDR image generation module is commercially available.
ここで、ＨＤＲ画像生成モジュールを搭載した画像生成装置を想定し、この画像生成装置で電子メールによるダイレクトプリントを実施しようとした場合、画像生成装置では、電子メールに添付された複数の画像がＨＤＲ画像の生成対象となる画像であるのかを判別することができないため、ＨＤＲ画像を確実に生成することができない。また、通常の印刷を指示する画像と区別できたとしても、電子メールに添付された複数の画像で適切なＨＤＲ画像が生成できるとは限らない。 Here, assuming an image generation apparatus equipped with an HDR image generation module, and attempting to perform direct printing by e-mail with this image generation apparatus, in the image generation apparatus, a plurality of images attached to the e-mail are HDR. Since it cannot be determined whether the image is an image generation target, the HDR image cannot be generated reliably. Even if it can be distinguished from an image instructing normal printing, an appropriate HDR image cannot always be generated from a plurality of images attached to an e-mail.
そこで、本発明の一実施の形態では、ＨＤＲ画像処理機能を有する画像生成装置に対して、電子メールでダイレクトプリントを指示する際に、電子メールに複数の画像が添付されており、かつ、電子メールのタイトル若しくは本文中にＨＤＲ画像の生成を指示するキーワード（例えば、”ＨＤＲ”など）が記述されている場合は、電子メールに添付されている複数の画像を通常通りに出力するのではなく、ＨＤＲ画像を生成し出力する。また、電子メールのタイトル若しくは本文中に、ＨＤＲ画像の仕上がりを示唆するキーワード（例えば、”Auto”、”ＨＱ（High Quality）”などの完成度情報）が記述されている場合は、その完成度情報に従ってＨＤＲ画像の生成に使用する画像を取捨選択する。 Therefore, in one embodiment of the present invention, when direct printing is instructed by e-mail to an image generation apparatus having an HDR image processing function, a plurality of images are attached to the e-mail, and the electronic When a keyword (for example, “HDR”) that instructs generation of an HDR image is described in the title or text of an email, a plurality of images attached to the email are not output as usual. , Generate and output an HDR image. Further, when a keyword (for example, completion level information such as “Auto”, “HQ (High Quality)”) indicating the finish of the HDR image is described in the title or text of the e-mail, the level of completion The image used for generating the HDR image is selected according to the information.
また、電子メールのタイトル若しくは本文中に、プレビュー画像の作成を示唆するキーワード（例えば、”/prev”など）が記述されている場合は、電子メールに添付されている複数の画像を用いて、画面表示に適したプレビュー用のＨＤＲ画像を生成し、ダイレクトプリントを依頼する電子メールの発信元メールアドレスに、プレビュー用のＨＤＲ画像を添付した電子メールを返信する。 In addition, when a keyword (for example, “/ prev”) suggesting creation of a preview image is described in the title or text of the email, a plurality of images attached to the email are used. An HDR image for preview suitable for screen display is generated, and an e-mail attached with the HDR image for preview is returned to the e-mail source e-mail address requesting direct printing.
その際、ＨＤＲ画像の仕上がりを変更した再プレビューや本印刷の指示を行う時のために使用するユニークなジョブＩＤを発行し、そのジョブＩＤを返信メールのタイトル若しくは本文中に追記すると共に、電子メールに添付された複数の画像をジョブＩＤに対応付けて保存し、ＨＤＲ画像生成処理のジョブをホールドする。その後、ユーザは電子メールに添付されたプレビュー用のＨＤＲ画像を見てその仕上がり具合を確認し、問題がないと判断した場合は、上記ジョブＩＤがタイトル若しくは本文中に記載されている電子メールに対して返信する。画像生成装置側では、当該電子メールを受信したら、ジョブＩＤに対応付けて保存した複数の画像に基づいて一枚のトーンマッピングされたＨＤＲ画像を生成し、エンジン部で印刷する。一方、仕上がり具合に不満がある場合は、電子メールのタイトル若しくは本文中に所望の完成度情報を記述して送信する。画像生成装置側では、電子メールに記述された完成度情報に従って、印刷用のＨＤＲ画像を生成して出力したり、プレビュー用のＨＤＲ画像を再度生成し、電子メールに添付して再度返信したりする。 At that time, a unique job ID used for re-previewing the HDR image finish or giving a print instruction is issued, and the job ID is added to the title or body of the reply mail, A plurality of images attached to the mail are stored in association with the job ID, and a job for HDR image generation processing is held. Thereafter, the user looks at the preview HDR image attached to the e-mail and confirms the finish, and if it is determined that there is no problem, the job ID is included in the e-mail described in the title or text. Reply to. On the image generation apparatus side, when the electronic mail is received, one tone-mapped HDR image is generated based on a plurality of images stored in association with the job ID, and is printed by the engine unit. On the other hand, if the finish is unsatisfactory, the desired completeness information is described in the title or text of the e-mail and transmitted. On the image generation device side, in accordance with the completeness information described in the e-mail, a print HDR image is generated and output, or a preview HDR image is generated again, attached to the e-mail, and returned again. To do.
このような制御を行うことにより、ＨＤＲ画像生成モジュールを搭載した画像生成装置に対して、電子メールを用いて容易にＨＤＲ画像生成処理を依頼することができ、また、プレビュー画像の作成を依頼することにより、事前にＨＤＲ画像の仕上がり具合を確認することができる。また、ＨＤＲ画像の仕上がりの変更も、電子メールを介して簡便かつインタラクティブに実施することができる。 By performing such control, it is possible to easily request HDR image generation processing using an e-mail to an image generation apparatus equipped with an HDR image generation module, and to request creation of a preview image. As a result, it is possible to confirm the finish of the HDR image in advance. In addition, the change of the finish of the HDR image can be easily and interactively performed via electronic mail.
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像生成装置及び画像生成制御プログラム並びに画像生成制御方法について、図１乃至図９を参照して説明する。図１は、本実施例のプリンタ装置の概略構成を示すブロック図であり、図２は、本実施例のプリンタ装置で動作するコントローラファームウェアの機能を示すブロック図である。また、図３乃至図９は、本実施例のプリンタ装置（コントローラファームウェア）の動作を示すフローチャート図である。 In order to describe the above-described embodiment of the present invention in more detail, an image generation apparatus, an image generation control program, and an image generation control method according to an embodiment of the present invention will be described with reference to FIGS. To do. FIG. 1 is a block diagram illustrating a schematic configuration of a printer apparatus according to the present embodiment. FIG. 2 is a block diagram illustrating functions of controller firmware that operates in the printer apparatus according to the present embodiment. FIGS. 3 to 9 are flowcharts showing the operation of the printer apparatus (controller firmware) of this embodiment.
図１に示すように、本実施例の印刷システムは、印刷を指示する１又は複数のコンピュータ装置１０と、印刷のための画像を生成する１又は複数の画像生成装置（プリンタ装置２０とする。）などで構成される。コンピュータ装置１０とプリンタ装置２０とは、Ethernet（登録商標）やToken Ring等の規格に従ってデータ通信を行うＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの通信ネットワークを介して接続されている。
As shown in FIG. 1, the printing system according to the present embodiment includes one or
［コンピュータ装置］
コンピュータ装置１０は、パーソナルコンピュータやタブレット端末、スマートフォン、デジタルカメラなどであり、図示しないＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリと、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）カードなどの記憶部と、ＮＩＣ（Network Interface Card）やモデムなど入出力Ｉ／Ｆ部と、電子メール（プリンタ装置２０からの返信メール）に添付されたプレビュー用のＨＤＲ画像の表示などを行う表示部、プリンタ装置２０に送信する電子メールに特定のキーワードを記述する操作などを行う操作部などを備える。
[Computer device]
The
ＣＰＵは、コンピュータ装置１０の動作を制御するプログラム、ＯＳ（Operating System）、電子メールアプリケーション、必要に応じて、文書のデータをプリンタ装置２０が解釈可能な言語（ＰＣＬ（Printer Control Language）やＰＳ（Post Script）などのＰＤＬ（Page Description Language））に変換して印刷ジョブを作成するデバイスドライバ（プリンタドライバ）などをＲＯＭや記憶部から読み出し、ＲＡＭに展開して実行する。電子メールアプリケーションは、ＨＤＲ画像を生成するための複数の画像データを添付した電子メールをプリンタ装置２０に送信したり、プリンタ装置２０からプレビュー用のＨＤＲ画像データが添付された電子メールを受信したりする。
The CPU is a program that controls the operation of the
［プリンタ装置］
プリンタ装置２０は、ＭＦＰなどであり、ＣＰＵ２１とメモリ２２と記憶部２３と入出力Ｉ／Ｆ部２４と操作部２５と表示部２６と機構部２７とエンジン部２８などで構成される。
[Printer]
The printer device 20 is an MFP or the like, and includes a CPU 21, a
ＣＰＵ２１は、プログラムに従って演算するデータ処理装置である。メモリ２２は、ＲＯＭやＲＡＭなどである。ＲＯＭは、プリンタ装置２０の全体の動作を制御するための制御プログラム（本実施例の画像生成制御を行うコントローラファームウェアを含む。）、フォントデータなどを記録する。ＲＡＭは、ＣＰＵ２１による制御に必要なデータ及び制御動作時に一時記憶が必要なデータ等を記憶する。記憶部２３は、ＨＤＤやＳＳＤなどであり、コンピュータ装置１０から受信した電子メール、電子メールに添付された画像データ、コンピュータ装置１０から取得した印刷ジョブ、印刷ジョブから生成した印刷データなどを保存する。入出力Ｉ／Ｆ部２４は、ＮＩＣやモデムなどであり、コンピュータ装置１０との接続を行う。
The CPU 21 is a data processing device that operates according to a program. The
操作部２５は、ハードキーやタッチセンサなどで構成され、印刷やＨＤＲ画像生成に関する各種操作を可能にする。表示部２６は、ＬＣＤ（Liquid Crystal Display）などで構成され、印刷やＨＤＲ画像生成に関する各種画面を表示する。
The
機構部２７は、画像を形成する用紙を格納する用紙トレイ、エンジン部２８に用紙を搬送する給紙部、画像形成後の用紙を排出する排出部などで構成される。
The
エンジン部２８は、電子写真方式や静電記録方式等の作像プロセスを利用した画像形成のために必要な要素、すなわち、帯電装置、感光体ドラム、露光装置、転写ローラ、転写ベルト、定着装置などで構成され、用紙上に画像を形成する。具体的には、帯電装置により帯電された感光体ドラムに露光装置から画像データに応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像を一次転写ローラ、二次転写ベルトを介して用紙に転写し、定着装置で定着させる処理を行う。
The
図２は、コントローラファームウェアの機能を示している。コントローラファームウェアは、ＣＰＵ２１を、制御部３０、言語部３６などとして機能させる。
FIG. 2 shows the function of the controller firmware. The controller firmware causes the CPU 21 to function as the control unit 30, the
制御部３０は、プリンタ装置２０全体の制御を担当する。制御部３０は、入出力制御部３１、キーワード判別部３２、画像選択部３３、画像確認部３４、画像合成処理部３５などを含む。
The control unit 30 is in charge of overall control of the printer device 20. The control unit 30 includes an input / output control unit 31, a
入出力制御部３１は、コンピュータ装置１０から送信された電子メールを受信し、受信した電子メールに複数の画像データ（以下、画像と略記する。）が添付されているかを判別する。また、入出力制御部３１は、プレビュー用のＨＤＲ画像を添付した電子メール（返信メール）をコンピュータ装置１０に送信したり、画像確認部３４が作成したメッセージをタイトル若しくは本文中に記述した電子メールをコンピュータ装置１０に送信したりする。その際、ＨＤＲ画像生成ジョブを識別するユニークなジョブＩＤを発行し、当該ジョブＩＤを返信メールのタイトル若しくは本文中に記述すると共に、電子メールに添付された複数の画像をジョブＩＤに対応付けて記憶部２３に保存する。また、入出力制御部３１は、タイトル若しくは本文中にジョブＩＤが記述された電子メール（上記返信メールに対する電子メール、第２の電子メールと呼ぶ。）を受信する。
The input / output control unit 31 receives an electronic mail transmitted from the
キーワード判別部３２は、コンピュータ装置１０から受信した電子メールのタイトル若しくは本文中に特定のキーワードが記述されているかを判別する。具体的には、キーワード判別部３２は、電子メールのタイトル若しくは本文中に、ＨＤＲ画像の生成を示唆する”ＨＤＲ”などのキーワードが記述されているかを判別する。また、キーワード判別部３２は、電子メール（第２の電子メールを含む。）のタイトル若しくは本文中に、ＨＤＲ画像の仕上がりを示唆する”Auto”、”ＨＱ”などのキーワート（完成度情報）が記述されているかを判別する。また、キーワード判別部３２は、電子メール（第２の電子メールを含む。）のタイトル若しくは本文中に、プレビュー画像の作成を示唆する”/prev”などのキーワード（プレビュー画像作成依頼オプションと呼ぶ。）が記述されているかを判別する。また、キーワード判別部３２は、第２の電子メールのタイトル若しくは本文中に、入出力制御部３１が発行したジョブＩＤが記述されているかを判別する。
The
画像選択部３３は、電子メールに添付された複数の画像の中から、ＨＤＲ画像の生成に適切な画像を取捨選択する。例えば、電子メールのタイトル若しくは本文中に完成度情報が含まれている場合は、当該完成度情報に基づいてＨＤＲ画像の生成に利用する画像の数量を変更する。また、画像選択部３３は、プレビュー用のＨＤＲ画像を添付した返信メールに対して送信された電子メール（第２の電子メール）に画像が添付されている場合は、ジョブＩＤに対応付けて記憶部２３に保存された複数の画像に第２の電子メールに添付された画像を追加したり、複数の画像の一部を第２の電子メールに添付された画像に差し替えたりする画像の追加・差し替え処理を実行する。
The
画像確認部３４は、電子メールに添付された複数の画像の内容を確認し、ＨＤＲ画像の生成に不適切な画像が含まれている場合は、画像の追加・代替が望ましい旨をユーザに通知するメッセージを作成して入出力制御部３１に通知し、ユーザに画像の追加・代替を促す。例えば、電子メールに添付された複数の画像のＥｖ値（露出値）を確認し、Ｅｖ値が予め定めた基準値及び当該基準値に対して正及び負の所定値（露出補正値）の３つの画像が揃っていない場合は、その旨を警告するメッセージを通知して、Ｅｖ値が基準値又は露出補正値の画像の追加又は代替を促す。また、電子メールに添付された複数の画像の中にゴースト（不要な被写体）が写り込んでいる画像が含まれているかを確認し、ゴーストが写り込んでいる画像が含まれている場合は、その旨を警告するメッセージを通知して、前記ゴーストが写り込んでいない画像の追加又は代替を促す。また、電子メールに添付された複数の画像の中に手ブレが生じた画像が含まれているかを確認し、手ブレが生じた画像が含まれている場合は、その旨を警告するメッセージを通知して、手ブレがない画像の追加又は代替を促す。 The image confirmation unit 34 confirms the contents of a plurality of images attached to the e-mail, and if an image inappropriate for generating an HDR image is included, notifies the user that it is desirable to add or substitute an image. A message is generated and notified to the input / output control unit 31 to prompt the user to add / substitute an image. For example, Ev values (exposure values) of a plurality of images attached to an e-mail are confirmed, and the Ev value is a predetermined reference value, and positive and negative predetermined values (exposure correction values) 3 When two images are not prepared, a message to that effect is notified, and the addition or substitution of an image whose Ev value is the reference value or exposure correction value is prompted. Also, check if images containing ghosts (unnecessary subjects) are included in multiple images attached to e-mails. If images containing ghosts are included, A message to warn that effect is sent to prompt the user to add or replace an image in which the ghost is not reflected. Also, check whether there is a camera shake image in the multiple images attached to the e-mail, and if a camera shake image is included, a message to warn that effect is displayed. Notify and encourage the addition or replacement of images without camera shake.
画像合成処理部３５は、電子メールに複数の画像が添付され、電子メールのタイトル若しくは本文中に、ＨＤＲ画像の生成を示唆する”ＨＤＲ”などのキーワードが記述されている場合は、複数の画像を合成してＨＤＲ画像を生成する。また、画像合成処理部３５は、電子メール（第２の電子メールを含む。）のタイトル若しくは本文中に、更に”Auto”、”ＨＱ”などの完成度情報が記述されている場合は、完成度情報に応じて画像選択部３３が取捨選択した複数の画像を合成してＨＤＲ画像を生成する。また、画像合成処理部３５は、電子メール（第２の電子メールを含む。）のタイトル若しくは本文中に、”/prev”などのプレビュー画像作成依頼オプションが記述されている場合は、プレビュー用のＨＤＲ画像を生成する。また、画像合成処理部３５は、第２の電子メールのタイトル若しくは本文中にジョブＩＤが記述されている場合は、ジョブＩＤに対応付けて記憶部２３に保存された複数の画像を用いて印刷用のＨＤＲ画像を生成する。なお、ＨＤＲ画像の生成では、公知の手法を用いて、イメージ補正処理、ゴースト検出／除去処理、放射輝度マップ作成処理、シーン分類処理、トーンマッピング処理、ガモットマッピング処理などを行う。
When a plurality of images are attached to an e-mail and a keyword such as “HDR” suggesting generation of an HDR image is described in the title or text of the e-mail, the image
言語部３６は、入力データが印刷ジョブの場合に、印刷ジョブのコマンド（ＰＤＬコマンド）を解釈し、印刷ジョブに含まれる各ページのデータをラスタライズして印刷データを生成する。
When the input data is a print job, the
なお、本実施例の画像生成制御プログラムは、ＣＰＵ２１を、入出力制御部３１、キーワード判別部３２、画像選択部３３、画像確認部３４、画像合成処理部３５（特に、入出力制御部３１、キーワード判別部３２、画像合成処理部３５）として機能させるものである。
Note that the image generation control program of the present embodiment causes the CPU 21 to change the input / output control unit 31, the
また、上記では、コントローラファームウェアを機構部２７やエンジン部２８を備えるプリンタ装置２０で動作させる構成としたが、本実施例の画像生成制御を実施する装置は、コントローラファームウェアが動作可能な装置であればよく、例えば、コントローラファームウェアを、エンジン部２８に印刷を指示するプリンタコントローラやプリンタサーバなどで動作させてもよい。
In the above description, the controller firmware is configured to operate on the printer device 20 including the
以下、上記構成のプリンタ装置２０の動作について説明する。ＣＰＵ２１は、ＲＯＭ又は記憶部２３に記憶したコントローラファームウェア（画像生成制御プログラムを含む。）をＲＡＭに展開して実行することにより、図３乃至図９のフローチャート図に示す各ステップの処理を実行する。なお、図３は、電子メールによりダイレクトプリントが依頼された時のＨＤＲ画像生成処理の全体処理を示しており、図４乃至図９は、その一部の処理を示している。 The operation of the printer device 20 having the above configuration will be described below. The CPU 21 executes the processing of each step shown in the flowcharts of FIGS. 3 to 9 by developing and executing the controller firmware (including the image generation control program) stored in the ROM or the storage unit 23 in the RAM. . FIG. 3 shows the entire HDR image generation process when direct printing is requested by e-mail, and FIGS. 4 to 9 show a part of the process.
図３に示すように、コントローラファームウェアは諸々の制御処理（例えば、入出力Ｉ／Ｆ部２４によるコンピュータ装置１０との通信）を実行し（Ｓ１０１）、制御部３０（入出力制御部３１）は、複数画像が添付されている電子メールを受信したかを判断する（Ｓ１０２）。
As shown in FIG. 3, the controller firmware executes various control processes (for example, communication with the
複数画像が添付されている電子メールを受信した場合（Ｓ１０２のＹｅｓ）は、制御部３０（キーワード判別部３２）は、電子メールのタイトル若しくは本文中に特定のキーワードが記述されているか否かを判断する（Ｓ１０３）。この特定のキーワードとは、例えば、”ＨＤＲ”、”AUTO”、”ＨＱ”、”/prev”などである。 When an e-mail with a plurality of images attached is received (Yes in S102), the control unit 30 (keyword determination unit 32) determines whether or not a specific keyword is described in the title or text of the e-mail. Judgment is made (S103). Examples of the specific keyword include “HDR”, “AUTO”, “HQ”, “/ prev”, and the like.
電子メールのタイトル若しくは本文中に特定のキーワードが記述されている場合（Ｓ１０３のＹｅｓ）は、制御部３０（画像合成処理部３５）は、特定のキーワードに対応付けられた画像合成処理、すなわち、ＨＤＲ画像合成処理（印刷用のＨＤＲ画像作成処理又はプレビュー用のＨＤＲ画像作成処理）を実行する（Ｓ１０４）。この画像合成処理の詳細については後述する。 When a specific keyword is described in the title or text of the email (Yes in S103), the control unit 30 (image composition processing unit 35) performs image composition processing associated with the specific keyword, that is, HDR image synthesis processing (print HDR image creation processing or preview HDR image creation processing) is executed (S104). Details of this image composition processing will be described later.
一方、電子メールのタイトル若しくは本文中に特定のキーワードが記述されていない場合（Ｓ１０３のＮｏ）は、エンジン部２８は、電子メールに添付されている複数画像を通常通り印刷する（Ｓ１０５）。
On the other hand, when a specific keyword is not described in the title or text of the email (No in S103), the
また、複数画像が添付されている電子メールを受信していない場合（Ｓ１０２のＮｏ）は、制御部３０（キーワード判別部３２）は、電子メールのタイトル若しくは本文中にユニークなジョブＩＤが記述されているか否かを判断する（Ｓ１０６）。このユニークなジョブＩＤは、プレビュー用のＨＤＲ画像の作成が依頼された場合に、後述するプレビュー画像作成処理において発行されるジョブＩＤである。 If an e-mail attached with a plurality of images has not been received (No in S102), the control unit 30 (keyword determination unit 32) describes a unique job ID in the e-mail title or text. It is judged whether it is (S106). This unique job ID is a job ID issued in a preview image creation process to be described later when a creation of a preview HDR image is requested.
電子メールのタイトル若しくは本文中にユニークなジョブＩＤが記述されている場合（Ｓ１０６のＹｅｓ）は、すでにプレビュー用のＨＤＲ画像を作成し、プリンタ装置２０の記憶部２３に保存されている複数画像に基づく印刷用のＨＤＲ画像の作成が依頼されていることを意味するので、制御部３０（画像合成処理部３５）は、特定のキーワードに対応付けられた画像合成処理、すなわち、ＨＤＲ画像処理（印刷用のＨＤＲ画像作成処理）を実行する（Ｓ１０４）。 If a unique job ID is described in the e-mail title or text (Yes in S106), a preview HDR image is already created and stored in a plurality of images stored in the storage unit 23 of the printer device 20. This means that the creation of an HDR image for printing is requested, so that the control unit 30 (image composition processing unit 35) performs image composition processing associated with a specific keyword, that is, HDR image processing (printing). HDR image creation processing) is executed (S104).
一方、電子メールのタイトル若しくは本文中にユニークなジョブＩＤが記述されていない場合（Ｓ１０６のＮｏ）は、Ｓ１０１の制御処理に戻って、コントローラファームウェアは諸々の制御処理を実行する。 On the other hand, if a unique job ID is not described in the e-mail title or text (No in S106), the process returns to the control process in S101, and the controller firmware executes various control processes.
次に、Ｓ１０４の画像合成処理について、図４のフローチャート図を参照して詳細に説明する。 Next, the image composition processing in S104 will be described in detail with reference to the flowchart in FIG.
まず、制御部３０（キーワード判別部３２）は、電子メールのタイトル若しくは本文中にユニークなジョブＩＤが記述されているか否かを判断する（Ｓ２０１）。電子メールのタイトル若しくは本文中にユニークなジョブＩＤが記述されていない場合（Ｓ２０１のＮｏ）は、制御部３０（キーワード判別部３２）は、電子メールのタイトル若しくは本文中にプレビュー画像の作成依頼オプションが記述されているか否かを判断する（Ｓ２０２）。 First, the control unit 30 (keyword determination unit 32) determines whether or not a unique job ID is described in the title or text of an e-mail (S201). If a unique job ID is not described in the e-mail title or text (No in S201), the control unit 30 (keyword discriminating unit 32) gives a preview image creation request option in the e-mail title or text. Is described (S202).
電子メールのタイトル若しくは本文中にプレビュー画像の作成依頼オプションが記述されていない場合（Ｓ２０２のＮｏ）は、制御部３０（画像合成処理部３５）は、電子メールに添付されている複数画像を入力画像として、印刷用に最適化されたＨＤＲ画像を生成する印刷用画像作成処理を実行する（Ｓ２０３）。また、電子メールのタイトル若しくは本文中にプレビュー画像の作成依頼オプションが記載されている場合（Ｓ２０２のＹｅｓ）は、制御部３０（画像合成処理部３５）は、電子メールに添付されている複数画像を入力画像として、画面表示に適したＨＤＲ画像を生成するプレビュー画像作成処理を実行する（Ｓ２０４）。この印刷用画像作成処理及びプレビュー画像作成処理の詳細については後述する。 If the preview image creation request option is not described in the title or text of the email (No in S202), the control unit 30 (image composition processing unit 35) inputs a plurality of images attached to the email. Printing image creation processing for generating an HDR image optimized for printing is executed as an image (S203). When the preview image creation request option is described in the title or text of the e-mail (Yes in S202), the control unit 30 (image compositing processing unit 35) displays a plurality of images attached to the e-mail. Is used as an input image to execute a preview image creation process for generating an HDR image suitable for screen display (S204). Details of the print image creation process and the preview image creation process will be described later.
Ｓ２０１で電子メールのタイトル若しくは本文中にユニークなジョブＩＤが記述されている場合（Ｓ２０１のＹｅｓ）は、プレビュー用のＨＤＲ画像を添付した電子メールに対する返信であり、プレビュー用のＨＤＲ画像の確認結果を反映した処理を行うことになるため、制御部３０（入出力制御部３１）は、この返信メールに画像が添付されているか否かを判断する（Ｓ２０５）。 If a unique job ID is described in the e-mail title or text in S201 (Yes in S201), this is a reply to the e-mail attached with the preview HDR image, and the confirmation result of the preview HDR image Therefore, the control unit 30 (input / output control unit 31) determines whether or not an image is attached to the reply mail (S205).
返信メールに画像が添付されていない場合（Ｓ２０５のＮｏ）は、プレビュー用のＨＤＲ画像の仕上がりが良好であることを意味しているので、制御部３０（画像合成処理部３５）は、ユニークなジョブＩＤに対応付けて記憶部２３に保存されている複数画像を取得する（Ｓ２０６）。一方、返信メールに画像が添付されている場合（Ｓ２０５のＹｅｓ）は、プレビュー用のＨＤＲ画像の仕上がりに不満があり、ユーザが画像の追加・差し替えを望んでいること意味しているので、制御部３０（画像選択部３３）は、画像の追加・差し替え処理を実行する（Ｓ２０７）。この画像の追加・差し替え処理では、記憶部２３に保存されている複数画像に返信メールに添付された画像を追加したり、記憶部２３に保存されている複数画像の一部を返信メールに添付された画像に差し替えたりする。 If no image is attached to the reply mail (No in S205), it means that the finish of the preview HDR image is good, so the control unit 30 (image composition processing unit 35) is unique. A plurality of images stored in the storage unit 23 in association with the job ID are acquired (S206). On the other hand, if an image is attached to the reply mail (Yes in S205), this means that the preview HDR image is not satisfactory and the user wants to add or replace the image. The unit 30 (image selection unit 33) executes an image addition / replacement process (S207). In this image addition / replacement process, an image attached to the reply mail is added to a plurality of images stored in the storage unit 23, or a part of the plurality of images stored in the storage unit 23 is attached to the reply mail. Or replace it with a new image.
その後、上述したように、Ｓ２０２で、電子メールのタイトル若しくは本文中にプレビュー画像の作成依頼オプションが記載されているか否かを判断し、判断結果に応じて、Ｓ２０３で印刷用画像作成処理を実行又はＳ２０４でプレビュー用画像作成処理を実行する。例えば、Ｓ２０５で電子メールに画像が添付されていない場合は、プレビュー用のＨＤＲ画像の仕上がりが良好である（プレビュー画像の作成依頼オプションは記載されない）ことから、Ｓ２０３で印刷用画像作成処理を実行することになる。また、Ｓ２０５で電子メールに画像が添付されている場合は、プレビュー用のＨＤＲ画像の仕上がりに不満があることから、ユーザがプレビュー用のＨＤＲ画像を再度確認する必要があると判断し、プレビュー画像の作成依頼オプションを記載した場合は、Ｓ２０４でプレビュー用画像作成処理を実行し、ユーザがプレビュー用のＨＤＲ画像を再度確認する必要がないと判断し、プレビュー画像の作成依頼オプションを記載しなかった場合は、Ｓ２０３で印刷用画像作成処理を実行することになる。 Thereafter, as described above, in S202, it is determined whether a preview image creation request option is described in the title or body of the e-mail, and print image creation processing is executed in S203 according to the determination result. Alternatively, preview image creation processing is executed in S204. For example, if no image is attached to the e-mail in S205, the preview HDR image is good (the preview image creation request option is not described), so the print image creation process is executed in S203. Will do. If an image is attached to the e-mail in step S205, it is determined that the user needs to check the preview HDR image again because the preview HDR image is unsatisfactory. When the creation request option is described, the preview image creation process is executed in S204, and it is determined that the user does not need to check the preview HDR image again, and the preview image creation request option is not described. In this case, the printing image creation process is executed in S203.
次に、Ｓ２０４のプレビュー画像作成処理について、図５のフローチャート図を参照して説明する。 Next, the preview image creation processing in S204 will be described with reference to the flowchart in FIG.
まず、制御部３０（画像確認部３４）は、入力画像チェック処理として、入力画像に不適切な点がないかどうかを事前にチェックする（Ｓ３０１）。図６は、この入力画像チェック処理の詳細を示しており、初めに、制御部３０（画像確認部３４）は、Ｅｖ値バランスチェック処理として、入力として与えられた画像のＥｖ値のバランスをチェックする（Ｓ４０１）。例えば、デジタルカメラが最良と判断した基準値（標準露出：０Ｅｖ）に対して、プラス側とマイナス側に露出補正（＋２Ｅｖ、−２Ｅｖ）を行った合計３つの画像を用いてＨＤＲ画像を生成するのが一般的であることから、この数値を基準にして、入力された複数の画像のＥｖ値のバランスを確認する。 First, the control unit 30 (image confirmation unit 34) checks in advance whether there is any inappropriate point in the input image as the input image check process (S301). FIG. 6 shows the details of the input image check process. First, the control unit 30 (image confirmation unit 34) checks the balance of the Ev values of the image given as input as the Ev value balance check process. (S401). For example, an HDR image is generated using a total of three images obtained by performing exposure correction (+2 Ev, −2 Ev) on the plus side and the minus side with respect to a reference value (standard exposure: 0 Ev) determined to be the best by the digital camera. Therefore, the balance of the Ev values of a plurality of inputted images is confirmed based on this numerical value.
具体的には、Ｅｖ値が０Ｅｖと＋１Ｅｖの２つの画像が入力されたときは、マイナス側に露出補正した画像が欠落しているため、プラス側と同等の露出補正値の−１Ｅｖの画像が追加されることが望ましいと判定する。また、Ｅｖ値が−０．５Ｅｖと０Ｅｖと＋０．５Ｅｖの３つの画像が入力されたときは、標準露出に対してプラス側とマイナス側に露出補正された３つの画像があるものの、露出補正値が−０．５Ｅｖ、＋０．５Ｅｖと小さく、レンジが不足しているため、それら２つの画像を露出補正値が−２Ｅｖと＋２Ｅｖなどの画像と代替することが望ましいと判定する。なお、各々の画像のＥｖ値は画像データに含まれているＥｘｉｆ（Exchangeable image file format）情報から取得することができる。 Specifically, when two images having an Ev value of 0 Ev and +1 Ev are input, an image whose exposure correction is equal to that on the plus side is lost because an image whose exposure is corrected on the minus side is missing. It is determined that it is desirable to add. When three images with Ev values of −0.5 Ev, 0 Ev, and +0.5 Ev are input, there are three images that are corrected for exposure on the positive side and the negative side with respect to the standard exposure, but exposure correction Since the values are as small as −0.5 Ev and +0.5 Ev and the range is insufficient, it is determined that it is desirable to replace these two images with images whose exposure correction values are −2 Ev and +2 Ev. In addition, the Ev value of each image can be acquired from Exif (Exchangeable image file format) information included in the image data.
次に、制御部３０（画像確認部３４）は、ゴースト検出処理として、入力として与えられた画像の中にゴーストとなる要素が混入していないかどうかをチェックする（Ｓ４０２）。ゴーストとは、例えば、露出ブラケティングで複数枚撮影した画像の中に、たまたま移動中の人や車などの被写体（不要な被写体）が写り込んでしまった場合、当該被写体が最終仕上がりのＨＤＲ画像の中にあたかもゴーストのようにうっすらと写ってしまう現象のことである。ここでは、複数の画像を比較し、相関関数を用いた数学的な手法などを用いて、他の画像には含まれていない移動物体等が混入していないかどうかを検出する。画像中にゴーストとなる要素が混入していた場合は、当該画像はゴーストとなる要素が混入していない画像と代替することが望ましいと判定する。 Next, as the ghost detection process, the control unit 30 (image confirmation unit 34) checks whether or not a ghost element is mixed in the image given as an input (S402). For example, when a subject (unnecessary subject) such as a moving person or a car happens to appear in an image taken by exposure bracketing, the ghost is the final finished HDR image. It is a phenomenon that looks like a ghost. Here, a plurality of images are compared, and a mathematical method using a correlation function or the like is used to detect whether or not a moving object that is not included in other images is mixed. If an element that becomes a ghost is mixed in the image, it is determined that it is desirable to replace the image with an image that does not include the element that becomes a ghost.
次に、制御部３０（画像確認部３４）は、手ブレ検出処理として、入力として与えられた画像の中に手ブレ（傾きやズレ）が無いかどうかをチェックする（Ｓ４０３）。例えば、公知の画像処理技術を利用して、各々の画像の中からコーナー、エッジ、クロスポイント、エンドポイントなどの注目点を検出し、それらの注目点の変動を解析することによって、ズレや回転が発生していないかを確認する。手ブレが発生していた場合は、当該画像は手ブレが無い画像と代替することが望ましいと判定する。 Next, the control unit 30 (image confirmation unit 34) checks whether there is any camera shake (tilt or misalignment) in the image given as input as a camera shake detection process (S403). For example, using known image processing techniques, detect points of interest such as corners, edges, cross points, and endpoints from each image, and analyze the fluctuations in those points of interest to shift or rotate them. Make sure that is not occurring. If camera shake has occurred, it is determined that it is desirable to replace the image with an image without camera shake.
図５のフローチャート図に戻って、Ｓ３０１の入力画像チェック処理が完了すると、制御部３０（画像確認部３４）は、入力画像の追加・代替が望ましいケースが検出されたか否かを判断する（Ｓ３０２）。入力画像の追加・代替が望ましいケースが検出された場合（Ｓ３０２のＹｅｓ）は、制御部３０（入出力制御部３１）は、既にユニークなジョブＩＤが発行されているか否かを判断する（Ｓ３０３）。 Returning to the flowchart of FIG. 5, when the input image check process in S301 is completed, the control unit 30 (image confirmation unit 34) determines whether or not a case where addition / substitution of an input image is desired is detected (S302). ). When a case where it is desirable to add or substitute an input image is detected (Yes in S302), the control unit 30 (input / output control unit 31) determines whether a unique job ID has already been issued (S303). ).
ユニークなＩＤが発行されていない場合（Ｓ３０３のＮｏ）は、制御部３０（入出力制御部３１）は、当該ジョブに対応するユニークなジョブＩＤを発行する（Ｓ３０４）。なお、規定の時間が経過しても、ここで発行されたユニークなジョブＩＤがタイトル若しくは本文中に記載された電子メールを受信しなかった場合は、当該ジョブＩＤに対応付けて記憶部２３に保存されている複数画像は削除し、当該ジョブはキャンセルすることとする。既にユニークなジョブＩＤが発行されている場合（Ｓ３０３のＹｅｓ）は、後段の処理へ進む。 If a unique ID has not been issued (No in S303), the control unit 30 (input / output control unit 31) issues a unique job ID corresponding to the job (S304). If the unique job ID issued here does not receive the title or the e-mail written in the text even after the specified time has elapsed, it is stored in the storage unit 23 in association with the job ID. A plurality of stored images are deleted, and the job is canceled. If a unique job ID has already been issued (Yes in S303), the process proceeds to the subsequent stage.
次に、入力画像の追加・代替が望ましいケースについての具体的な内容を後でユーザに通知するため、制御部３０（画像確認部３４）は、メッセージを生成する（Ｓ３０５）。このメッセージは、例えば、”Ｅｖ値が所定の値の画像を追加してください”、”ゴーストが写り込んでいない画像を追加してください”、手ブレのない画像を追加してください”などである。 Next, the control unit 30 (image confirmation unit 34) generates a message (S305) in order to notify the user later of specific contents regarding the case where the addition / substitution of the input image is desirable. This message may be, for example, “Add an image with a specified Ev value”, “Add an image that does not have a ghost”, or “Add an image without camera shake”. is there.
メッセージを生成後、又は、入力画像の追加・代替が望ましいケースが検出されていない場合（Ｓ３０２のＮｏ）は、制御部３０（キーワード判別部３２）は、電子メールのタイトル若しくは本文中に予め定めた完成度情報（ＨＤＲ画像の仕上がりを示唆する情報）が記述されているか否かを判断する（Ｓ３０６）。完成度情報が記述されている場合（Ｓ３０６のＹｅｓ）は、制御部３０（画像選択部３３）は、完成度情報に基づいて、複数画像の中から選択する入力画像の枚数（数量）を変更する（Ｓ３０７）。 After the message is generated or when a case where the addition / substitution of the input image is desirable is not detected (No in S302), the control unit 30 (keyword determination unit 32) determines in advance in the title or text of the e-mail. It is determined whether or not completeness information (information suggesting the finish of the HDR image) is described (S306). When the completeness information is described (Yes in S306), the control unit 30 (image selection unit 33) changes the number (quantity) of input images to be selected from a plurality of images based on the completeness information. (S307).
例えば、”ＨＱ”という完成度情報が含まれていた場合は、現時点で選別されている全ての画像を使用する。また、例えば、”AUTO”という完成度情報が含まれていた場合は、現時点で選別されている画像の中から最適なものを選択（例えば、Ｅｖ値が近接しており他の入力画像において情報的に充足可能な画像は除外）する。また、例えば、”FAST”という完成度情報が含まれていた場合は、処理速度の短縮を最優先として、現時点で選別されている画像の中から必要最低限な枚数を選択する。 For example, when the completeness information “HQ” is included, all images currently selected are used. Also, for example, when the completeness information “AUTO” is included, the most suitable image is selected from the currently selected images (for example, the Ev value is close and information in other input images is selected). Images that can be fully satisfied are excluded). Further, for example, when the completeness information “FAST” is included, the minimum required number of images is selected from the images currently selected with the highest priority given to the reduction in processing speed.
完成度情報が記述されていない場合（Ｓ３０６のＮｏ）は、制御部３０（画像選択部３３）は、現時点で選別されている全ての画像を後述するプレビュー用ＨＤＲ画像処理（Ｓ３０８）に渡すものとする。ここまでのプロセスでＨＤＲ画像処理に用いる入力画像が選択されたので、制御部３０（画像合成処理部３５）は、プレビュー用ＨＤＲ画像処理を実行する（Ｓ３０８）。図７は、プレビュー用ＨＤＲ画像処理の詳細を示している。 When the completeness information is not described (No in S306), the control unit 30 (image selection unit 33) passes all images currently selected to the HDR image processing for preview (S308) described later. And Since the input image used for the HDR image processing has been selected in the process so far, the control unit 30 (image composition processing unit 35) executes the HDR image processing for preview (S308). FIG. 7 shows details of the HDR image processing for preview.
はじめに、制御部３０（画像合成処理部３５）は、イメージ補正処理として、入力として使用する複数枚の画像に対して、撮影時の手ブレ等に起因する位置のズレや回転の補正処理を行う（Ｓ５０１）。例えば、公知の画像処理技術を利用して、コーナー、エッジ、クロスポイント、エンドポイントなどの注目点を検出し、それらの注目点の変動を解析することによって位置のズレや回転を補正する。この位置のズレや回転の補正処理は標準露出の画像を基準とする。なお、事前にＳ４０３において手ブレが検出され、画像の代替が行われている場合、ここでの補正処理はスキップすることができる。 First, the control unit 30 (image composition processing unit 35) performs correction processing for positional deviation and rotation caused by camera shake at the time of shooting, for a plurality of images used as input, as image correction processing. (S501). For example, using known image processing techniques, attention points such as corners, edges, cross points, and end points are detected, and fluctuations in the attention points are analyzed to correct positional deviation and rotation. This positional deviation and rotation correction processing is based on the standard exposure image. If camera shake is detected in advance in S403 and the image is replaced, the correction process here can be skipped.
続いて、制御部３０（画像合成処理部３５）は、ゴースト検出／除去処理として、入力として使用する複数枚の画像の中に写り込んだゴースト（移動物体）の検出ならびに除去処理を行う（Ｓ５０２）。ゴースト（移動物体）の検出は前述した通りである。ゴーストの除去は、後述する放射輝度マップ作成処理の際に、ゴーストの領域の重み付けを低くすることで、最終仕上がりのＨＤＲ画像から除去することができる。なお、事前にＳ４０２においてゴーストとなる要素が検出され、画像の代替が行われている場合、ここでの除去処理はスキップすることができる。 Subsequently, the control unit 30 (image composition processing unit 35) performs detection and removal processing of a ghost (moving object) reflected in a plurality of images used as input as ghost detection / removal processing (S502). ). The detection of the ghost (moving object) is as described above. The ghost can be removed from the final HDR image by lowering the weight of the ghost area during the radiance map creation process described later. If an element that becomes a ghost is detected in advance in S402 and an image is substituted, the removal process here can be skipped.
次に、制御部３０（画像合成処理部３５）は、放射輝度マップ生成処理として、イメージ補正ならびにゴースト検出／除去処理が施された複数枚の入力画像から、シーンの放射輝度マップ（ダイナミックレンジが拡張された不可視のＨＤＲイメージ）を作成する（Ｓ５０３）。その際、ゴーストが検出され、適切な画像に代替されていない場合は、上述したようにゴーストの領域の重み付けを低くして放射輝度マップを作成する。 Next, as a radiance map generation process, the control unit 30 (image composition processing unit 35) uses a scene radiance map (with a dynamic range of a dynamic range) from a plurality of input images subjected to image correction and ghost detection / removal processing. An expanded invisible HDR image) is created (S503). At that time, if a ghost is detected and not replaced with an appropriate image, a radiance map is created by reducing the weight of the ghost region as described above.
次に、制御部３０（画像合成処理部３５）は、シーン分類処理として、撮影されたシーンの分類処理を行う（Ｓ５０４）。シーンの分類は、例えば、撮影場所が屋内か屋外か、あるいは撮影状況が暗いか普通か明るいかといった条件を組み合わせて行う。ここでのシーンの分類は、後述のトーンマッピング処理をより適切に行うための判断材料として用いられる。 Next, the control unit 30 (image composition processing unit 35) performs a classification process of the photographed scene as the scene classification process (S504). The scene classification is performed by combining conditions such as whether the shooting location is indoors or outdoors, or whether the shooting situation is dark, normal, or bright. The classification of the scene here is used as a judgment material for performing tone mapping processing described later more appropriately.
次に、制御部３０（画像合成処理部３５）は、トーンマッピング処理として、Ｓ５０３で作成されたダイナミックレンジが拡張された不可視のＨＤＲイメージを可視の範囲に圧縮するために、トーンマッピング処理を行う（Ｓ５０５）。トーンマッピング処理は、大別して、画像全体に一律に適用するグローバルトーンマッピング手法と、周囲の情報を考慮して部分的に適用するローカルトーンマッピング手法とに分けることができる。具体的なトーンマッピングのアルゴリズムとしては、”iCAM06”、”Drago”、”Reinhard”などがあり、前述のＳ５０４のシーン分類処理で分類されたシーンに応じて、適切なトーマッピングのアルゴリズムを選択してトーンマッピング処理を実行する。 Next, as the tone mapping process, the control unit 30 (image composition processing unit 35) performs the tone mapping process in order to compress the invisible HDR image with the expanded dynamic range created in S503 into a visible range. (S505). The tone mapping processing can be broadly divided into a global tone mapping method that is uniformly applied to the entire image and a local tone mapping method that is partially applied in consideration of surrounding information. Specific tone mapping algorithms include “iCAM06”, “Drago”, “Reinhard”, etc., and an appropriate toe mapping algorithm is selected according to the scene classified by the scene classification process of S504 described above. To execute tone mapping.
次に、制御部３０（画像合成処理部３５）は、ガモットマッピング処理として、公知の色変換手法を用いてＲＧＢで再現されている色をＣＭＹＫで再現可能な色空間に変換する処理を行い（Ｓ５０６）、その後、画面表示用画像データ生成処理として、プレビュー用の画面表示に適した画像データを生成する（Ｓ５０７）。 Next, the control unit 30 (image composition processing unit 35) performs a process of converting a color reproduced in RGB into a color space reproducible in CMYK using a known color conversion method as a gamut mapping process ( Thereafter, image data suitable for preview screen display is generated as screen display image data generation processing (S507).
次に、制御部３０（入出力制御部３１）は、必要に応じて、ユニークなジョブＩＤの割り当て処理を行う（Ｓ５０８）。なお、前にプレビュー画像作成処理を実施、あるいは、入力画像の追加・代替が望ましいケースが検出され（Ｓ３０２のＹｅｓ）、Ｓ３０４で当該ジョブに対して既にユニークなジョブＩＤが割り当てられている場合は、新規発行は行わない。また、規定の時間が経過しても、ここで発行されたジョブＩＤがタイトル若しくは本文中に記載された電子メールを受信しなかった場合は、当該ジョブＩＤに対応付けて記憶部２３に保存されている複数画像は削除し、当該ジョブはキャンセルすることとする。 Next, the control unit 30 (input / output control unit 31) performs unique job ID assignment processing as necessary (S508). In the case where a preview image creation process has been performed before or a case where it is desirable to add or replace an input image is detected (Yes in S302), and a unique job ID is already assigned to the job in S304 No new issue will be made. In addition, if the job ID issued here does not receive the e-mail described in the title or text even after the specified time has elapsed, it is stored in the storage unit 23 in association with the job ID. The multiple images are deleted and the job is cancelled.
ここまでの処理で、プレビュー用の画面表示に適した画像、ならびに、入力画像の追加・代替が望ましいケースが検出された場合はその旨を通知するメッセージが用意できたので、図５のフローチャート図に戻って、制御部３０（入出力制御部３１）は、依頼元のメールアドレスに対して、プレビュー用ＨＤＲ画像を添付した電子メール（更にタイトル若しくは本文中に上記メッセージを記述した電子メール）を送信する（Ｓ３０９）。 In the processing up to this point, an image suitable for preview screen display and a message for notifying that an addition / substitution of an input image is desirable can be prepared. The control unit 30 (input / output control unit 31) returns an e-mail attached with a preview HDR image (an e-mail in which the message is described in the title or text) to the e-mail address of the request source. Transmit (S309).
ユーザは電子メール（返信メール）に添付されたプレビュー用ＨＤＲ画像を確認し、もし仕上がり具合に不満がある場合は、改めて電子メールのタイトル若しくは本文中に異なる完成度情報を記述して返信する（第２の電子メールを送信する）ことで、異なる条件下でのプレビュー用ＨＤＲ画像生成処理を依頼することができる。また、返信メールに入力画像の追加・代替が望ましいケースが検出された旨のメッセージが記述されていた場合は、必要に応じて入力画像の追加・代替を行ない、異なる入力画像でのプレビュー用ＨＤＲ画像生成処理又は印刷用ＨＤＲ画像生成処理を依頼することができる。仕上がり具合に特に問題が無い場合は、単に、プレビュー用ＨＤＲ画像が添付された電子メールに返信することで、当該条件下での印刷用ＨＤＲ画像生成処理を依頼することができる。 The user checks the preview HDR image attached to the e-mail (reply mail). If the user is unsatisfied with the finished image, he / she replies with another completeness information described in the e-mail title or body ( By transmitting the second e-mail), it is possible to request a preview HDR image generation process under different conditions. In addition, when a message indicating that the addition / substitution of the input image is desirable is described in the reply mail, the input image is added / substitution as necessary, and the preview HDR with a different input image is performed. An image generation process or a print HDR image generation process can be requested. If there is no particular problem in the finish, it is possible to request a print HDR image generation process under the conditions by simply replying to the e-mail attached with the preview HDR image.
次に、図４のＳ２０３の印刷用画像作成処理について説明する。図８は、この印刷用画像作成処理の詳細を示している。 Next, the printing image creation process in S203 of FIG. 4 will be described. FIG. 8 shows details of this print image creation processing.
まず、制御部３０（キーワード判別部３２）は、電子メールのタイトル若しくは本文中に完成度情報が記述されているかを判断する（Ｓ６０１）。完成度情報が記述されている場合（Ｓ６０１のＹｅｓ）は、完成度情報に基づいて複数画像の中から選択する入力画像の枚数を変更する（Ｓ６０２）。上述したように、例えば、”ＨＱ（High Quality）”という完成度情報が含まれていた場合は、現時点で選別されている全ての画像を使用する。また、”AUTO”という完成度情報が含まれていた場合は、現時点で選別されている画像の中から最適なものを選択する。また、”FAST”という完成度情報が含まれていた場合は、処理速度の短縮を最優先として、現時点で選別されている画像の中から必要最低限な枚数を選択する。 First, the control unit 30 (keyword determination unit 32) determines whether the completeness information is described in the title or text of the e-mail (S601). When the completeness information is described (Yes in S601), the number of input images to be selected from a plurality of images is changed based on the completeness information (S602). As described above, for example, when the completeness information “HQ (High Quality)” is included, all images currently selected are used. If the completion information “AUTO” is included, the most suitable image is selected from the currently selected images. In addition, when the completeness information “FAST” is included, the minimum required number of images is selected from currently selected images with the highest priority given to the reduction in processing speed.
完成度情報が記述されていない場合（Ｓ６０１のＮｏ）は、現時点で選別されている全ての画像を後述の印刷用ＨＤＲ画像処理（Ｓ６０３）に渡すものとする。ここまでのプロセスでＨＤＲ画像処理に用いる入力画像が選択されたので、次に、印刷用ＨＤＲ画像処理を実行する（Ｓ６０３）。図９は、印刷用ＨＤＲ画像処理の詳細を示している。 When the completeness information is not described (No in S601), all images currently selected are transferred to a print HDR image process (S603) described later. Since an input image to be used for HDR image processing has been selected in the process so far, next, print HDR image processing is executed (S603). FIG. 9 shows details of the print HDR image processing.
まず、制御部３０（画像合成処理部３５）は、イメージ補正処理として、入力として使用する複数枚の画像に対して、撮影時の手ブレ等に起因する位置のズレや回転の補正処理を行う（Ｓ７０１）。上述したように、例えば、公知の画像処理技術を利用して、コーナー、エッジ、クロスポイント、エンドポイントなどの注目点を検出し、それらの注目点の変動を解析することによって位置のズレや回転を補正する。この位置のズレや回転の補正処理は標準露出の画像を基準とする。なお、事前にＳ４０３において手ブレが検出され、画像の代替が行われている場合、ここでの補正処理はスキップすることができる。 First, the control unit 30 (image composition processing unit 35) performs correction processing of positional deviation and rotation caused by camera shake at the time of shooting, etc., for a plurality of images used as input as image correction processing. (S701). As described above, for example, a known image processing technique is used to detect attention points such as corners, edges, cross points, and end points, and by analyzing the fluctuations of the attention points, positional deviation and rotation Correct. This positional deviation and rotation correction processing is based on the standard exposure image. If camera shake is detected in advance in S403 and the image is replaced, the correction process here can be skipped.
続いて、制御部３０（画像合成処理部３５）は、ゴースト検出／除去処理として、入力として使用する複数枚の画像の中に写り込んだゴースト（移動物体）の検出ならびに除去処理を行う（Ｓ７０２）。ゴースト（移動物体）の検出は前述した通りである。ゴーストの除去は、後述する放射輝度マップ作成処理の際に、ゴーストの領域の重み付けを低くすることで、最終仕上がりのＨＤＲ画像から除去することができる。なお、Ｓ４０２において、ゴーストとなる要素が検出され、画像の代替が行われている場合、ここでの除去処理はスキップすることができる。 Subsequently, the control unit 30 (image composition processing unit 35) performs detection and removal processing of a ghost (moving object) reflected in a plurality of images used as input as ghost detection / removal processing (S702). ). The detection of the ghost (moving object) is as described above. The ghost can be removed from the final HDR image by lowering the weight of the ghost area during the radiance map creation process described later. In S402, when an element that becomes a ghost is detected and an image is substituted, the removal process here can be skipped.
次に、制御部３０（画像合成処理部３５）は、放射輝度マップ生成処理として、イメージ補正ならびにゴースト検出／除去処理が施された複数枚の入力画像から、シーンの放射輝度マップ（ダイナミックレンジが拡張された不可視のＨＤＲイメージ）を作成する（Ｓ７０３）。その際、ゴーストが検出され、適切な画像に代替されていない場合は、上述したようにゴーストの領域の重み付けを低くして放射輝度マップを作成する。 Next, as a radiance map generation process, the control unit 30 (image composition processing unit 35) uses a scene radiance map (with a dynamic range of a dynamic range) from a plurality of input images subjected to image correction and ghost detection / removal processing. An expanded invisible HDR image) is created (S703). At that time, if a ghost is detected and not replaced with an appropriate image, a radiance map is created by reducing the weight of the ghost region as described above.
次に、制御部３０（画像合成処理部３５）は、シーン分類処理として、撮影されたシーンの分類処理を行う（Ｓ７０４）。シーンの分類は、例えば、撮影場所が屋内か屋外か、あるいは撮影状況が暗いか普通か明るいかといった条件を組み合わせて行う。ここでのシーンの分類は、後述のトーンマッピング処理をより適切に行うための判断材料として用いられる。 Next, the control unit 30 (image composition processing unit 35) performs a classification process of the photographed scene as the scene classification process (S704). The scene classification is performed by combining conditions such as whether the shooting location is indoors or outdoors, or whether the shooting situation is dark, normal, or bright. The classification of the scene here is used as a judgment material for performing tone mapping processing described later more appropriately.
次に、制御部３０（画像合成処理部３５）は、トーンマッピング処理として、Ｓ７０３で作成されたダイナミックレンジが拡張された不可視のＨＤＲイメージを可視の範囲に圧縮するために、トーンマッピング処理を行う（Ｓ７０５）。トーンマッピング処理は、大別して、画像全体に一律に適用するグローバルトーンマッピング手法と、周囲の情報を考慮して部分的に適用するローカルトーンマッピング手法とに分けることができ、前述のＳ７０４のシーン分類処理で分類されたシーンに応じて、適切なトーマッピングのアルゴリズムを選択してトーンマッピング処理を実行する。 Next, as the tone mapping process, the control unit 30 (image composition processing unit 35) performs the tone mapping process in order to compress the invisible HDR image created in S703 with the expanded dynamic range into a visible range. (S705). The tone mapping process can be broadly divided into a global tone mapping method that is uniformly applied to the entire image and a local tone mapping method that is partially applied in consideration of surrounding information. The tone mapping process is executed by selecting an appropriate toe mapping algorithm according to the scene classified by the process.
次に、制御部３０（画像合成処理部３５）は、ガモットマッピング処理として、公知の色変換手法を用いてＲＧＢで再現されている色をＣＭＹＫで再現可能な色空間に変換する処理を行い（Ｓ７０６）、その後、印刷用データ生成処理として、最終仕上がりとなる印刷に最適化されたデータを生成する（Ｓ７０７）。 Next, the control unit 30 (image composition processing unit 35) performs a process of converting a color reproduced in RGB into a color space reproducible in CMYK using a known color conversion method as a gamut mapping process ( Thereafter, data optimized for printing, which is the final finish, is generated as a print data generation process (S707).
以上説明したように、本実施例では、コントローラファームウェア（画像生成制御プログラム）は、複数画像が添付された電子メールを受信し、かつ、受信した電子メールのタイトル若しくは本文中に特定のキーワードが記述されている場合は、電子メールに添付された複数の画像に基づいてＨＤＲ画像を生成するため、ＨＤＲ画像を確実に生成することができる。また、電子メールのタイトル若しくは本文中に、プレビュー用のＨＤＲ画像の作成依頼が記述されている場合は、印刷用のＨＤＲ画像の作成に先立ってプレビュー用のＨＤＲ画像を作成し、作成したプレビュー用のＨＤＲ画像を添付した電子メールを返信するため、適切なＨＤＲ画像を確実に生成することができる。また、電子メールに添付された複数の画像の取捨選択を行ったり、画像の内容を確認して追加・代替を促したりするため、適切なＨＤＲ画像を生成することができる。 As described above, in this embodiment, the controller firmware (image generation control program) receives an e-mail attached with a plurality of images, and a specific keyword is described in the title or text of the received e-mail. In the case where the HDR image is generated, the HDR image is generated based on the plurality of images attached to the e-mail, so that the HDR image can be generated reliably. Also, if a preview HDR image creation request is described in the e-mail title or text, a preview HDR image is created prior to the creation of the print HDR image, and the created preview image is created. Since an e-mail attached with the HDR image is returned, an appropriate HDR image can be generated reliably. In addition, since a plurality of images attached to the e-mail are selected or the contents of the images are confirmed to promote addition / substitution, an appropriate HDR image can be generated.
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。 In addition, this invention is not limited to the said Example, The structure and control can be changed suitably, unless it deviates from the meaning of this invention.
例えば、上記実施例ではＨＤＲ画像の作成に関して説明したが、複数の画像を合成して印刷のための画像を生成する任意の場合に対して、本発明の画像生成制御を同様に適用することができる。 For example, in the above embodiment, the creation of the HDR image has been described. However, the image generation control according to the present invention can be similarly applied to any case where a plurality of images are combined to generate an image for printing. it can.
本発明は、電子メールに添付された複数の画像を用いて印刷用の画像を生成する画像生成装置及び印刷用の画像の生成を制御する画像生成制御プログラム並びに当該画像生成制御プログラムを記録した記録媒体並びに画像生成制御方法に利用可能である。 The present invention relates to an image generation apparatus that generates a print image using a plurality of images attached to an e-mail, an image generation control program that controls generation of a print image, and a record that records the image generation control program It can be used for a medium and an image generation control method.
１０ コンピュータ装置
２０ プリンタ装置
２１ ＣＰＵ
２２ メモリ
２３ 記憶部
２４ 入出力Ｉ／Ｆ部
２５ 操作部
２６ 表示部
２７ 機構部
２８ エンジン部
３０ 制御部
３１ 入出力制御部
３２ キーワード判別部
３３ 画像選択部
３４ 画像確認部
３５ 画像合成処理部
３６ 言語部
10 Computer Device 20 Printer Device 21 CPU
DESCRIPTION OF
Claims (11)
電子メールを受信し、受信メールに複数の画像が添付されているかを判別する入出力制御部と、
前記受信メールのタイトル若しくは本文に、特定のキーワードが記述されているかを判別するキーワード判別部と、
前記受信メールに複数の画像が添付され、かつ、当該受信メールのタイトル若しくは本文に前記特定のキーワードが記述されている場合に、前記複数の画像を入力画像として、ＨＤＲ（High Dynamic Range）画像を生成する画像合成処理部と、を備える、
ことを特徴とする画像生成装置。 An image generation device that generates an image for printing,
An input / output control unit that receives an email and determines whether a plurality of images are attached to the received email;
A keyword discriminating unit for discriminating whether a specific keyword is described in the title or body of the received mail;
When a plurality of images are attached to the received mail and the specific keyword is described in the title or body of the received mail, an HDR (High Dynamic Range) image is obtained using the plurality of images as an input image. An image composition processing unit to be generated,
An image generation apparatus characterized by that.
前記キーワード判別部は、前記受信メールのタイトル若しくは本文に、前記ＨＤＲ画像の仕上がりを示唆する第１のキーワードが記述されているか判別し、
前記画像選択部は、前記受信メールのタイトル若しくは本文に前記第１のキーワードが記述されている場合は、当該第１のキーワードに基づいて前記入力画像の数量を変更し、
前記画像合成処理部は、前記数量の入力画像を用いて、前記ＨＤＲ画像を生成する、
ことを特徴とする請求項１に記載の画像生成装置。 An image selection unit for selecting the input image;
The keyword determining unit determines whether or not a first keyword suggesting a finish of the HDR image is described in a title or body of the received mail,
When the first keyword is described in the title or body of the received mail, the image selection unit changes the quantity of the input image based on the first keyword,
The image composition processing unit generates the HDR image using the quantity of input images.
The image generating apparatus according to claim 1.
前記画像合成処理部は、前記受信メールのタイトル若しくは本文に前記第２のキーワードが記述されている場合は、前記入力画像を用いて、プレビュー用のＨＤＲ画像を生成し、
前記入出力制御部は、前記受信メールの発信元メールアドレスに、前記プレビュー用のＨＤＲ画像を添付した返信メールを送信する、
ことを特徴とする請求項１又は２に記載の画像生成装置。 The keyword determination unit determines whether a second keyword suggesting creation of a preview image is described in the title or body of the received mail,
When the second keyword is described in the title or text of the received mail, the image composition processing unit generates an HDR image for preview using the input image,
The input / output control unit transmits a reply mail with the preview HDR image attached to a sender mail address of the received mail;
The image generation apparatus according to claim 1, wherein the image generation apparatus is an image generation apparatus.
ことを特徴とする請求項３に記載の画像生成装置。 The input / output control unit issues a job ID for identifying a job for generating an HDR image for printing, stores the input image in the storage unit in association with the job ID, and the title or body of the reply mail To describe and send the job ID,
The image generating apparatus according to claim 3.
前記画像合成処理部は、前記第２の受信メールのタイトル若しくは本文に前記ジョブＩＤが記述されている場合は、当該ジョブＩＤに対応付けて記憶された前記入力画像を用いて、前記印刷用のＨＤＲ画像を生成する、
ことを特徴とする請求項４に記載の画像生成装置。 The keyword determining unit determines whether the job ID is described in the title or text of the second received mail received after the reply mail is transmitted,
When the job ID is described in the title or text of the second received mail, the image composition processing unit uses the input image stored in association with the job ID to print the print ID. Generating an HDR image,
The image generation apparatus according to claim 4.
前記画像確認部は、前記入力画像の内容を確認した結果、前記印刷用のＨＤＲ画像の生成に際して画像の追加・代替が望ましいと判断した場合は、その旨をユーザに通知するメッセージを作成し、
前記入出力制御部は、前記返信メールのタイトル若しくは本文に、前記メッセージを記述して送信し、
前記画像選択部は、前記第２の受信メールに所定の画像が添付されている場合は、前記入力画像に前記所定の画像を追加、若しくは、前記入力画像の一部を前記所定の画像に差し替える、
ことを特徴とする請求項５に記載の画像生成装置。 An image confirmation unit for confirming the content of the input image;
As a result of confirming the content of the input image, if the image confirmation unit determines that it is desirable to add or substitute an image when generating the print HDR image, the image confirmation unit creates a message to notify the user to that effect,
The input / output control unit describes and sends the message in the title or body of the reply mail,
When a predetermined image is attached to the second received mail, the image selection unit adds the predetermined image to the input image or replaces a part of the input image with the predetermined image. ,
The image generating apparatus according to claim 5.
前記画像合成処理部は、前記数量の入力画像を用いて、前記印刷用のＨＤＲ画像を生成する、
ことを特徴とする請求項５又は６に記載の画像生成装置。 If the first keyword is further described in the title or text of the second received mail, the image selection unit changes the quantity of the input image based on the first keyword,
The image composition processing unit generates the print HDR image using the quantity of input images.
The image generation apparatus according to claim 5, wherein the image generation apparatus is an image generation apparatus.
ことを特徴とする請求項５乃至７のいずれか一に記載の画像生成装置。 When the second keyword is further described in the title or body of the second received mail, the image composition processing unit uses the input image of the quantity changed based on the first keyword. , Generating the preview HDR image again, and retransmitting the reply mail with the preview HDR image attached to the sender mail address of the second received mail.
The image generation apparatus according to claim 5, wherein the image generation apparatus is an image generation apparatus.
ことを特徴とする請求項３乃至８のいずれか一に記載の画像生成装置。 The input / output control unit stores the input image stored in association with the job ID when the e-mail in which the job ID is described in the title or body is not received within a predetermined time after the reply mail is transmitted. And cancel the job with the job ID.
The image generation apparatus according to claim 3, wherein the image generation apparatus is an image generation apparatus.
前記画像生成装置に、
電子メールを受信し、受信メールに複数の画像が添付されているかを判別する入出力制御処理、
前記受信メールのタイトル若しくは本文に、特定のキーワードが記述されているかを判別するキーワード判別処理、
前記受信メールに複数の画像が添付され、かつ、当該受信メールのタイトル若しくは本文に前記特定のキーワードが記述されている場合に、前記複数の画像を入力画像として、ＨＤＲ画像を生成する画像合成処理、を実行させる、
ことを特徴とする画像生成制御プログラム。 An image generation control program that operates on an image generation apparatus that generates an image for printing,
In the image generation device,
I / O control process that receives an email and determines whether multiple images are attached to the received email,
A keyword determination process for determining whether a specific keyword is described in the title or body of the received mail;
Image composition processing for generating an HDR image using the plurality of images as an input image when a plurality of images are attached to the received mail and the specific keyword is described in the title or body of the received mail , Run,
An image generation control program characterized by that.
前記画像生成装置は、
前記コンピュータ装置から電子メールを受信し、受信メールに複数の画像が添付されているかを判別する入出力制御処理と、
前記受信メールのタイトル若しくは本文に、特定のキーワードが記述されているかを判別するキーワード判別処理と、
前記受信メールに複数の画像が添付され、かつ、当該受信メールのタイトル若しくは本文に前記特定のキーワードが記述されている場合に、前記複数の画像を入力画像として、ＨＤＲ画像を生成する画像合成処理と、を実行する、
ことを特徴とする画像生成制御方法。 An image generation control method in a system in which a computer device that instructs printing and an image generation device that generates an image for printing are connected via a communication network,
The image generation device includes:
An input / output control process for receiving an electronic mail from the computer device and determining whether a plurality of images are attached to the received mail;
A keyword determination process for determining whether a specific keyword is described in the title or body of the received mail;
Image composition processing for generating an HDR image using the plurality of images as an input image when a plurality of images are attached to the received mail and the specific keyword is described in the title or body of the received mail And run the
An image generation control method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015081641A JP6489434B2 (en) | 2015-04-13 | 2015-04-13 | Image generation apparatus, image generation control program, and image generation control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015081641A JP6489434B2 (en) | 2015-04-13 | 2015-04-13 | Image generation apparatus, image generation control program, and image generation control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016201022A JP2016201022A (en) | 2016-12-01 |
| JP6489434B2 true JP6489434B2 (en) | 2019-03-27 |
Family
ID=57424228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015081641A Active JP6489434B2 (en) | 2015-04-13 | 2015-04-13 | Image generation apparatus, image generation control program, and image generation control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6489434B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6946966B2 (en) * | 2017-11-22 | 2021-10-13 | 富士通株式会社 | Image generator and method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000059600A (en) * | 1998-08-04 | 2000-02-25 | Canon Inc | Printer and recording medium |
| JP2005115559A (en) * | 2003-10-06 | 2005-04-28 | Canon Inc | Print processing system, its control method, control program, and storage medium |
| JP4561649B2 (en) * | 2006-02-13 | 2010-10-13 | セイコーエプソン株式会社 | Image compression apparatus, image compression program and image compression method, HDR image generation apparatus, HDR image generation program and HDR image generation method, image processing system, image processing program and image processing method |
| JP4860551B2 (en) * | 2007-06-01 | 2012-01-25 | 株式会社キーエンス | Magnification observation apparatus, high gradation image file creation method, high gradation image file creation method, high gradation image file creation program, and computer-readable recording medium |
| US10382674B2 (en) * | 2013-04-15 | 2019-08-13 | Qualcomm Incorporated | Reference image selection for motion ghost filtering |
-
2015
- 2015-04-13 JP JP2015081641A patent/JP6489434B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016201022A (en) | 2016-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101408739B1 (en) | Image forming apparatus, method of controlling the same, and storage medium | |
| US9374495B2 (en) | Printer with outsourcing capability for color copies | |
| JP4941463B2 (en) | Information processing apparatus and printing apparatus | |
| JP2011248677A (en) | Image formation system, data processing device, image formation device and computer program | |
| US20090080019A1 (en) | Image forming apparatus | |
| JP6489434B2 (en) | Image generation apparatus, image generation control program, and image generation control method | |
| US11662968B2 (en) | Information processing system, information processing method, and recording medium | |
| US11175864B2 (en) | Image forming apparatus and method for displaying image | |
| US9733873B2 (en) | Apparatus for processing medical image with toner save function | |
| JP6536012B2 (en) | IMAGE GENERATION APPARATUS, IMAGE GENERATION CONTROL PROGRAM, AND IMAGE GENERATION CONTROL METHOD | |
| JP2012033024A (en) | Output system, creation device, display device, output method, output instruction method, computer program and recording medium | |
| US20200019351A1 (en) | Image forming apparatus and method for controlling the same | |
| JP6702262B2 (en) | Image forming apparatus and image forming system | |
| JP5145741B2 (en) | Image processing device | |
| JP6819132B2 (en) | Image processing equipment and image processing program | |
| US20120250055A1 (en) | Image processing apparatus, image forming apparatus, image processing method, image processing program, and storage medium | |
| JP4497000B2 (en) | Copy system, copy control method and program | |
| JP2005208824A (en) | Image processor, image processing method and image processing program | |
| JP2020170291A (en) | Image formation device, system, and method | |
| JP6688927B2 (en) | Image processing device | |
| JP2016036932A (en) | Image formation apparatus | |
| US11394851B1 (en) | Information processing apparatus and display method | |
| JP7271902B2 (en) | Information processing device, information processing system, and information processing program | |
| US20240031502A1 (en) | Information processing apparatus that requests collection of consumable, controlling method and storage medium therefor | |
| US10579314B2 (en) | Printing apparatus, usable amount managing system, usable amount managing method, and non-transitory recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180319 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6489434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |