JP2016091300A - Image generation device, image generation control program and image generation control method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an image generation device, image generation control program and image generation control method which can surely generate an appropriate HDR (High Dynamic Range) image.SOLUTION: The image generation device for generating an image for printing includes: an input data determination part for determining whether data inputted from an external device is specific data obtained by grouping a plurality of images in a prescribed format; and an HDR image generation part for combining a plurality of images included in the specific data to generate an HDR image in the case that the inputted data is the specific data. Further, the image generation device includes: an image selection part for selecting an image to be used to generate the HDR image among the plurality of images included in the specific data; and an image confirmation part for confirming contents of the plurality of images included in the specific data.SELECTED DRAWING: Figure 2

Description

本発明は、画像生成装置及び画像生成制御プログラム並びに画像生成制御方法に関し、特に、ＨＤＲ（High Dynamic Range）画像を生成する画像生成装置及びＨＤＲ画像の生成を制御する画像生成制御プログラム並びに画像生成制御方法に関する。   The present invention relates to an image generation device, an image generation control program, and an image generation control method, and more particularly, to an image generation device that generates an HDR (High Dynamic Range) image, an image generation control program that controls generation of an HDR image, and image generation control. Regarding the method.

露出が異なる複数枚の入力画像から、白飛びや黒潰れが軽減された一枚のトーンマッピングされたＨＤＲ画像を作成する技術が知られている。このＨＤＲ画像の生成方法として、コンピュータ装置上で動作するアプリケーションソフトを利用する方法の他に、デジタルカメラ本体に内蔵されたＨＤＲ画像生成モジュールを利用する方法などがある。   A technique for creating a single tone-mapped HDR image with reduced whiteout and blackout from a plurality of input images with different exposures is known. As a method of generating the HDR image, there is a method of using an HDR image generation module built in the digital camera body in addition to a method of using application software running on a computer device.

上記画像合成に関連する技術として、例えば、下記特許文献１には、第１の画像に第２の画像を合成した合成画像を所定の色モードで出力する画像処理装置であって、第１の画像を取得する第１の取得手段と、第２の画像及び該第２の画像の色モードを取得する第２の取得手段と、前記第１の画像の色モードを判定する判定手段と、前記第１の画像に前記第２の画像を合成して合成画像を生成する合成手段と、前記第１の画像及び前記第２の画像の色モードを利用して、前記合成画像の出力時の色モードを設定する設定手段と、前記設定手段によって設定された色モードに従って、前記合成画像を出力する出力手段と、を備える画像処理装置が開示されている。   As a technique related to the above-described image composition, for example, Patent Document 1 below is an image processing apparatus that outputs a composite image obtained by combining a first image with a second image in a predetermined color mode. A first acquisition means for acquiring an image; a second acquisition means for acquiring a second image and a color mode of the second image; a determination means for determining a color mode of the first image; A color at the time of output of the synthesized image by using a synthesizing unit that synthesizes the second image with the first image to generate a synthesized image, and a color mode of the first image and the second image. An image processing apparatus is disclosed that includes a setting unit that sets a mode, and an output unit that outputs the composite image according to a color mode set by the setting unit.

また、下記特許文献２には、異なる撮影条件の下での撮影によって得られた複数の合成対象画像を表わすデータを記憶する合成対象画像データ記憶手段、背景を撮影して背景画像を表すデータを出力する撮像手段、上記撮像手段による背景画像の撮影時の撮影条件にもとづいて、上記合成画像データ記憶手段に記憶されている上記複数の合成対象画像データの中から、背景画像に適する一つの合成対象画像データを選択する合成対象画像選択手段、および、上記撮像手段から出力される背景画像に、上記合成対象画像選択手段によって選択された合成対象画像を合成し、合成画像を表す合成画像データを出力する画像合成手段を備えた撮像装置が開示されている。   Japanese Patent Application Laid-Open Publication No. 2004-259542 discloses composition target image data storage means for storing data representing a plurality of composition target images obtained by photographing under different photographing conditions, and data representing a background image by photographing a background. One composition suitable for the background image from among the plurality of composition target image data stored in the composite image data storage means based on the imaging means to output and the photographing conditions at the time of photographing the background image by the imaging means A synthesis target image selecting unit that selects target image data, and a synthesis target image selected by the synthesis target image selecting unit are synthesized with a background image output from the imaging unit, and synthesized image data representing the synthesized image is obtained. An imaging apparatus having an image synthesizing unit for outputting is disclosed.

特開２００５−１０９６９１号公報JP 2005-109691 A 国際公開ＷＯ９９／６７９４９号International Publication WO99 / 67949

デジタルカメラなどの撮像装置に組み込まれたＨＤＲ画像生成モジュールを用いてＨＤＲ画像を生成する場合、例えば、動作モードを設定することによって、ＨＤＲ画像生成用に撮影された複数の画像データがＨＤＲ画像生成モジュールに入力されるため、ＨＤＲ画像を容易に生成することができる。しかしながら、ＨＤＲ画像生成モジュールが別の装置に組み込まれている場合、当該装置では入力されたデータがＨＤＲ画像の生成対象となる画像データであるのかを判別することができない。例えば、プリンタ装置にＨＤＲ画像生成モジュールを搭載した場合、プリンタ装置では入力されたデータが通常の印刷のデータであるのか、ＨＤＲ画像の生成のためのデータであるのかを判別することができない。そのため、ＨＤＲ画像を確実に生成することができないという問題があった。   When an HDR image is generated using an HDR image generation module incorporated in an imaging apparatus such as a digital camera, for example, by setting an operation mode, a plurality of image data photographed for HDR image generation is generated as an HDR image. Since it is input to the module, an HDR image can be easily generated. However, when the HDR image generation module is incorporated in another apparatus, the apparatus cannot determine whether the input data is image data that is a generation target of the HDR image. For example, when an HDR image generation module is installed in a printer device, the printer device cannot determine whether input data is normal print data or data for generating an HDR image. Therefore, there is a problem that an HDR image cannot be generated reliably.

また、撮像モジュールとＨＤＲ画像生成モジュールとが同じ装置に搭載されている場合、これらのモジュールは連動して動作させることができるため、撮像モジュールにＨＤＲ画像の生成に適した複数の画像データを取得させることができる。しかしながら、これらのモジュールが別々の装置に搭載されている場合、撮像モジュールが取得した画像データがＨＤＲ画像の生成に適した画像データであるとは限らず、不適切な画像データがＨＤＲ画像生成モジュールに入力された場合には適切なＨＤＲ画像を生成することができないという問題があった。   In addition, when the imaging module and the HDR image generation module are mounted on the same device, these modules can be operated in conjunction with each other, so the imaging module acquires a plurality of image data suitable for generating an HDR image. Can be made. However, when these modules are mounted on different devices, the image data acquired by the imaging module is not necessarily image data suitable for generating an HDR image, and inappropriate image data is generated by the HDR image generating module. However, there is a problem that an appropriate HDR image cannot be generated.

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、適切なＨＤＲ画像を確実に生成することができる画像生成装置及び画像生成制御プログラム並びに画像生成制御方法を提供することにある。   The present invention has been made in view of the above problems, and a main object of the present invention is to provide an image generation apparatus, an image generation control program, and an image generation control method capable of reliably generating an appropriate HDR image. There is.

本発明の一側面は、印刷のための画像を生成する画像生成装置であって、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定部と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してＨＤＲ画像を生成するＨＤＲ画像生成部と、を備えることを特徴とする。   One aspect of the present invention is an image generation device that generates an image for printing, and determines whether data input from an external device is specific data in which a plurality of images are grouped in a predetermined format. And an HDR image generation unit that generates an HDR image by synthesizing the plurality of images included in the specific data when the input data is the specific data. And

本発明の一側面は、印刷のための画像を生成する装置で動作する画像生成制御プログラムであって、前記装置に、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してＨＤＲ画像を生成するＨＤＲ画像生成処理、を実行させることを特徴とする。   One aspect of the present invention is an image generation control program that operates on an apparatus that generates an image for printing. Data input from an external apparatus is grouped into a predetermined format in the apparatus. Input data determination processing for determining whether the input data is the specified data, HDR image generation for generating an HDR image by combining the plurality of images included in the specific data when the input data is the specific data The processing is executed.

本発明の一側面は、印刷のための画像を生成する装置を用いた画像生成制御方法であって、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理と、前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してＨＤＲ画像を生成するＨＤＲ画像生成処理と、を実行することを特徴とする。   One aspect of the present invention is an image generation control method using an apparatus for generating an image for printing, in which data input from an external apparatus is specified data in which a plurality of images are grouped in a predetermined format. An input data determination process for determining whether the input data is the specific data; an HDR image generation process for generating an HDR image by combining the plurality of images included in the specific data; It is characterized by performing.

本発明の画像生成装置及び画像生成制御プログラム並びに画像生成制御方法によれば、適切なＨＤＲ画像を確実に生成することができる。   According to the image generation apparatus, the image generation control program, and the image generation control method of the present invention, an appropriate HDR image can be generated reliably.

その理由は、画像生成装置（画像生成制御プログラム）は、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定し、特定データの場合は、当該特定データに含まれる複数の画像に基づいてＨＤＲ画像を生成するからである。また、画像生成装置（画像生成制御プログラム）は、特定データに含まれる複数の画像の取捨選択を行ったり、複数の画像の内容を確認して画像の追加・代替を促したりして、ＨＤＲ画像の生成に適した画像を選択するからである。   The reason is that the image generation apparatus (image generation control program) determines whether the data input from the external apparatus is specific data in which a plurality of images are grouped in a predetermined format. This is because an HDR image is generated based on a plurality of images included in the specific data. Further, the image generation apparatus (image generation control program) selects a plurality of images included in the specific data, or confirms the contents of the plurality of images and prompts addition / substitution of the images, so that the HDR image This is because an image suitable for generating the image is selected.

本発明の一実施例に係るプリンタ装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a printer apparatus according to an embodiment of the present invention. 本発明の一実施例に係るプリンタ装置で動作するコントローラファームウェアの機能を示すブロック図である。3 is a block diagram illustrating functions of controller firmware that operates in the printer device according to the embodiment of the present invention. FIG. 本発明の一実施例に係るプリンタ装置の全体動作を示すフローチャート図である。FIG. 6 is a flowchart illustrating an overall operation of the printer apparatus according to the embodiment of the present invention. 本発明の一実施例に係るプリンタ装置の全体動作を示すフローチャート図である。FIG. 6 is a flowchart illustrating an overall operation of the printer apparatus according to the embodiment of the present invention. 本発明の一実施例に係るプリンタ装置の動作（入力データの補正処理）を示すフローチャート図である。FIG. 6 is a flowchart illustrating an operation (input data correction process) of the printer apparatus according to the embodiment of the present invention. 本発明の一実施例に係るプリンタ装置の動作（ＨＤＲ画像生成処理）を示すフローチャート図である。FIG. 6 is a flowchart illustrating an operation (HDR image generation process) of the printer apparatus according to the embodiment of the present invention.

背景技術で示したように、露出を変えて撮影した複数の画像からＨＤＲ画像を作成する技術が知られており、ＨＤＲ画像生成モジュールを搭載したデジタルカメラなどが市販されている。ここで、デジタルカメラなどのように、撮像モジュールとＨＤＲ画像生成モジュールとが同一の装置に搭載されている場合は、動作モードをＨＤＲ画像生成モードなどに設定することによって、撮像モジュールにＨＤＲ画像の生成に適した複数の画像データを取得させ、その複数の画像データをＨＤＲ画像生成モジュールに転送することができるため、ＨＤＲ画像生成モジュールでは、適切なＨＤＲ画像を容易に生成することができる。   As shown in the background art, a technique for creating an HDR image from a plurality of images taken with different exposures is known, and a digital camera equipped with an HDR image generation module is commercially available. Here, when the imaging module and the HDR image generation module are mounted on the same apparatus, such as a digital camera, the HDR image generation mode is set in the imaging module by setting the operation mode to the HDR image generation mode. Since a plurality of image data suitable for generation can be acquired and the plurality of image data can be transferred to the HDR image generation module, the HDR image generation module can easily generate an appropriate HDR image.

しかしながら、撮像モジュールとＨＤＲ画像生成モジュールとが別々の装置に搭載されている場合は、ＨＤＲ画像生成モジュールを搭載する装置（例えば、プリンタ装置）では、入力されたデータが通常の印刷を指示するデータであるのか、ＨＤＲ画像を生成するためのデータであるのかを判別することができないため、ＨＤＲ画像を確実に生成することができない。また、通常の印刷を指示するデータと区別できたとしても、入力されたデータがＨＤＲ画像の生成に適したデータであるとは限らず、露出が不適切な画像データが含まれていたり、不適切な被写体が写り込んでいる画像データが含まれていたり、被写体がぶれている画像データが含まれていたりした場合には、適切なＨＤＲ画像を生成することができない。   However, when the imaging module and the HDR image generation module are mounted on different devices, in the device (for example, a printer device) mounted with the HDR image generation module, the input data is data for instructing normal printing. Therefore, it is impossible to determine whether the data is for generating an HDR image, and therefore, the HDR image cannot be generated reliably. Even if the data can be distinguished from the data for instructing normal printing, the input data is not necessarily data suitable for generating an HDR image, and image data with inappropriate exposure is included or not included. An appropriate HDR image cannot be generated when image data including an appropriate subject is included or image data including a blurred subject is included.

すなわち、ＨＤＲ画像生成モジュールを搭載したプリンタ装置を用いて適切なＨＤＲ画像を確実に生成するためには、
・通常の印刷処理ではなく、ＨＤＲ画像生成処理を実行することを装置に認識させる、
・ＨＤＲ画像を生成するための複数の画像データが、通常印刷のためのデータとは異なる特別なデータであることを装置に認識させる、
・どの画像データがＨＤＲ画像生成処理の入力データとしてセットになっているのかを装置に認識させる、
といった処理をプリンタ装置に実行させる必要がある。 That is, in order to reliably generate an appropriate HDR image using a printer device equipped with an HDR image generation module,
-Let the device recognize that it will execute HDR image generation processing instead of normal printing processing.
-Causing the apparatus to recognize that a plurality of image data for generating an HDR image is special data different from data for normal printing;
-Let the device recognize which image data is set as input data for HDR image generation processing.
Such processing needs to be executed by the printer apparatus.

そこで、本発明の一実施の形態では、ＨＤＲ画像生成モジュールを搭載したプリンタ装置は、外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データ（例えば、ｚｉｐファイル）であるかを判定する。入力されたデータが特定データの場合、複数の画像のファイルの拡張子や撮影日時、サイズなどに基づいて画像を取捨選択する。また、特定データに含まれる複数の画像の内容（露出、ゴーストや手ブレの有無など）を確認し、不適切な画像が含まれている場合は、画像の追加・代替を促す。その後、選択した複数の画像をＨＤＲ画像生成モジュールに転送し、ＨＤＲ画像生成モジュールは一枚のトーンマッピングされたＨＤＲ画像を生成し、エンジン部で印刷する。   Therefore, in one embodiment of the present invention, a printer device equipped with an HDR image generation module is configured such that data input from an external device is specified data (for example, a zip file) in which a plurality of images are grouped in a predetermined format. ). When the input data is specific data, the images are selected based on file extensions, shooting dates / times, sizes, and the like. Also, the contents of a plurality of images included in the specific data (existence of exposure, ghost, camera shake, etc.) are confirmed, and if an inappropriate image is included, the addition / substitution of the image is prompted. Thereafter, the selected plurality of images are transferred to the HDR image generation module, and the HDR image generation module generates a single tone-mapped HDR image and prints it with the engine unit.

具体的には、特定データに含まれる複数の画像の取捨選択や画像内容の確認の際に、以下の処理を行う。
（１）所定形式でグループ化された特定データのファイル名に完成度情報（ＨＤＲ画像の仕上がりを示す情報）が含まれる時は、その完成度情報に従って選択する画像の数量を変える、
（２）所定形式でグループ化された特定データに含まれる複数の画像の中に、明らかに他とは異なる種別の画像が含まれているときは警告を発し、当該画像をＨＤＲ画像の生成対象から外す、
（３）所定形式でグループ化された特定データに含まれる複数の画像が、更に複数のグループに分割可能な時は、複数のＨＤＲ画像生成が依頼されていると解釈し、グループ毎にＨＤＲ画像生成処理を実行する、
（４）所定形式でグループ化された特定データに含まれる複数の画像の内容を確認し、露出値（Ｅｖ値）のバランスが悪い場合は警告を発して画像の追加・代替を促す、
（５）所定形式でグループ化された特定データに含まれる複数の画像の中に、ゴーストとなる要素が混入している画像が見つかった場合は、警告を発して画像の代替を促す、
（６）所定形式でグループ化された特定データに含まれる複数の画像の中に、手ブレ（傾きやズレ）が検出された場合は、警告を発して画像の代替を促す。 Specifically, the following processing is performed when selecting a plurality of images included in the specific data and confirming the image contents.
(1) When completeness information (information indicating the finish of an HDR image) is included in the file names of specific data grouped in a predetermined format, the number of images to be selected is changed according to the completeness information.
(2) When a plurality of images included in specific data grouped in a predetermined format includes an image clearly different from other types, a warning is issued and the image is generated as an HDR image. Remove from the
(3) When a plurality of images included in specific data grouped in a predetermined format can be further divided into a plurality of groups, it is interpreted that a plurality of HDR images are requested to be generated, and an HDR image for each group Execute the generation process,
(4) Confirm the contents of a plurality of images included in the specific data grouped in a predetermined format, and if the exposure value (Ev value) balance is poor, issue a warning and prompt the addition / substitution of the image.
(5) If an image in which an element that becomes a ghost is found among a plurality of images included in specific data grouped in a predetermined format, a warning is issued to prompt replacement of the image.
(6) When camera shake (tilt or deviation) is detected in a plurality of images included in specific data grouped in a predetermined format, a warning is issued to prompt the user to replace the image.

また、画像の追加・代替を促す場合は、ユニークなジョブＩＤを発行し、追加・代替の画像をプリンタ装置に送信する際に、ファイル名にジョブＩＤを含ませることにより、すでにプリンタ装置内に保持されている画像との関連性を保つ。   In addition, when urging the user to add / substitute an image, a unique job ID is issued, and when the add / substitute image is transmitted to the printer device, the job ID is included in the file name so that the image is already stored in the printer device. Maintain relevance to the image being retained.

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像生成装置及び画像生成制御プログラム並びに画像生成制御方法について、図１乃至図５を参照して説明する。図１は、本実施例のプリンタ装置の概略構成を示すブロック図であり、図２は、本実施例のプリンタ装置で動作するコントローラファームウェアの機能を示すブロック図である。また、図３乃至図５は、本実施例のプリンタ装置（コントローラファームウェア）の動作を示すフローチャート図である。   In order to describe the above-described embodiment of the present invention in more detail, an image generation apparatus, an image generation control program, and an image generation control method according to an embodiment of the present invention will be described with reference to FIGS. To do. FIG. 1 is a block diagram illustrating a schematic configuration of a printer apparatus according to the present embodiment. FIG. 2 is a block diagram illustrating functions of controller firmware that operates in the printer apparatus according to the present embodiment. 3 to 5 are flowcharts showing the operation of the printer apparatus (controller firmware) of this embodiment.

図１に示すように、本実施例の印刷システムは、印刷を指示する１又は複数のコンピュータ装置１０と、印刷処理を実行する１又は複数のプリンタ装置２０などで構成される。コンピュータ装置１０とプリンタ装置２０とは、Ethernet（登録商標）やToken Ring等の規格に従ってデータ通信を行うＬＡＮ（Local Area Network）などのネットワーク（構内ネットワーク）を介して接続されている。   As shown in FIG. 1, the printing system according to the present embodiment includes one or more computer apparatuses 10 that instruct printing, one or more printer apparatuses 20 that execute printing processing, and the like. The computer device 10 and the printer device 20 are connected via a network (private network) such as a LAN (Local Area Network) that performs data communication in accordance with standards such as Ethernet (registered trademark) and Token Ring.

［コンピュータ装置］
コンピュータ装置１０は、パーソナルコンピュータやタブレット端末、デジタルカメラなどであり、図示しないＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリと、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）カードなどの記憶装置と、ＮＩＣ（Network Interface Card）やモデムなど入出力Ｉ／Ｆなどを備える。 [Computer device]
The computer device 10 is a personal computer, a tablet terminal, a digital camera or the like, and includes a CPU (Central Processing Unit) (not shown), a memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory), and an HDD (Hard Disk Drive). ), SSD (Solid State Drive), SD (Secure Digital) card and other storage devices, and NIC (Network Interface Card) and input / output I / F such as a modem.

ＣＰＵは、コンピュータ装置１０の動作を制御するプログラム、ＯＳ（Operating System）、必要に応じて、文書のデータをプリンタ装置１０が解釈可能な言語（ＰＣＬ（Printer Control Language）やＰＳ（Post Script）などのＰＤＬ（Page Description Language））に変換して印刷ジョブを作成するデバイスドライバ（プリンタドライバ）、ＨＤＲ画像を生成するための複数の画像を所定形式でグループ化してプリンタ装置２０に送信するアプリケーションなどをＲＯＭや記憶装置から読み出し、ＲＡＭに展開して実行する。   The CPU is a program that controls the operation of the computer device 10, an OS (Operating System), and a language (PCL (Printer Control Language), PS (Post Script), etc.) that allows the printer device 10 to interpret document data as necessary. A device driver (printer driver) that creates a print job by converting to PDL (Page Description Language), and an application that groups a plurality of images for generating an HDR image in a predetermined format and transmits them to the printer device 20. The data is read from the ROM or storage device, loaded into the RAM, and executed.

［プリンタ装置］
プリンタ装置２０は、ＭＦＰ（Multi Function Peripheral）などであり、ＣＰＵ２１とメモリ２２と記憶装置２３と入出力Ｉ／Ｆ２４と操作部２５と表示部２６と機構部２７とエンジン部２８などで構成される。 [Printer]
The printer device 20 is an MFP (Multi Function Peripheral) or the like, and includes a CPU 21, a memory 22, a storage device 23, an input / output I / F 24, an operation unit 25, a display unit 26, a mechanism unit 27, an engine unit 28, and the like. .

ＣＰＵ２１は、プログラムに従って演算するデータ処理装置である。メモリ２２は、ＲＯＭやＲＡＭなどである。ＲＯＭは、プリンタ装置２０の全体の動作を制御するための制御プログラム（本実施例の画像生成制御を行うコントローラファームウェアを含む。）、フォントデータなどを記録する。ＲＡＭは、ＣＰＵ２１による制御に必要なデータ及び制御動作時に一時記憶が必要なデータ等を記憶する。記憶装置２３は、ＨＤＤやＳＳＤなどであり、コンピュータ装置１０から取得した印刷ジョブ、印刷ジョブから生成した印刷データ、複数の画像を所定形式でグループ化した特定データなどを保存する。入出力Ｉ／Ｆ２４は、ＮＩＣやモデムなどであり、コンピュータ装置１０との接続を行う。   The CPU 21 is a data processing device that operates according to a program. The memory 22 is a ROM, a RAM, or the like. The ROM records a control program (including controller firmware that performs image generation control in this embodiment), font data, and the like for controlling the overall operation of the printer device 20. The RAM stores data necessary for control by the CPU 21 and data that needs to be temporarily stored during the control operation. The storage device 23 is an HDD or SSD, and stores a print job acquired from the computer device 10, print data generated from the print job, specific data obtained by grouping a plurality of images in a predetermined format, and the like. The input / output I / F 24 is a NIC, a modem, or the like, and connects to the computer apparatus 10.

操作部２５は、ハードキーやタッチセンサなどで構成され、印刷に関する各種操作や、ＨＤＲ画像生成を実施するかの選択操作などを可能にする。表示部２６は、ＬＣＤ（Liquid Crystal Display）などで構成され、印刷に関する各種画面や、ＨＤＲ画像生成を実施するかをユーザに選択させる選択画面、ＨＤＲ画像生成に適していない画像が検出されたことを通知するメッセージなどを表示する。   The operation unit 25 includes a hard key, a touch sensor, and the like, and enables various operations related to printing, a selection operation for performing HDR image generation, and the like. The display unit 26 is configured by an LCD (Liquid Crystal Display) or the like, and various screens related to printing, a selection screen that allows the user to select whether to perform HDR image generation, or an image that is not suitable for HDR image generation has been detected. Display a message to notify you.

機構部２７は、画像を形成する用紙を格納する用紙トレイ、エンジン部２８に用紙を搬送する給紙部、画像形成後の用紙を排出する排出部などで構成される。   The mechanism unit 27 includes a paper tray that stores paper on which an image is formed, a paper feed unit that transports the paper to the engine unit 28, and a discharge unit that discharges the paper after image formation.

エンジン部２８は、電子写真方式や静電記録方式等の作像プロセスを利用した画像形成のために必要な要素、すなわち、帯電装置、感光体ドラム、露光装置、転写ローラ、転写ベルト、定着装置などで構成され、用紙上に画像を形成する。具体的には、帯電装置により帯電された感光体ドラムに露光装置から印刷データやＨＤＲ画像の画像データに応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像を一次転写ローラ、二次転写ベルトを介して用紙に転写し、定着装置で定着させる処理を行う。   The engine unit 28 is an element necessary for image formation using an image forming process such as an electrophotographic method or an electrostatic recording method, that is, a charging device, a photosensitive drum, an exposure device, a transfer roller, a transfer belt, and a fixing device. And forms an image on a sheet. Specifically, the photosensitive drum charged by the charging device is irradiated with light corresponding to the print data or HDR image data from the exposure device to form an electrostatic latent image, and the toner charged by the developing device is attached. The toner image is transferred to a sheet via a primary transfer roller and a secondary transfer belt, and fixed by a fixing device.

図２は、コントローラファームウェアの機能を示している。コントローラファームウェアは、ＣＰＵ２１を、制御部３０、言語部３５などとして機能させる。   FIG. 2 shows the function of the controller firmware. The controller firmware causes the CPU 21 to function as the control unit 30, the language unit 35, and the like.

制御部３０は、プリンタ装置２０全体の制御を担当する。制御部３０は、入力データ判定部３１、画像選択部３２、画像確認部３３、ＨＤＲ画像生成部３４などを含む。   The control unit 30 is in charge of overall control of the printer device 20. The control unit 30 includes an input data determination unit 31, an image selection unit 32, an image confirmation unit 33, an HDR image generation unit 34, and the like.

入力データ判定部３１は、コンピュータ装置１０などから入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する。例えば、入力されたデータがｚｉｐファイルの場合に特定データであると判定する。   The input data determination unit 31 determines whether the data input from the computer apparatus 10 is specific data in which a plurality of images are grouped in a predetermined format. For example, when the input data is a zip file, it is determined that the data is specific data.

画像選択部３２は、特定データに含まれる複数の画像の中から、ＨＤＲ画像の生成に適切な画像を取捨選択する。例えば、特定データのファイル名に完成度情報（ＨＤＲ画像の仕上がりを示す情報）が含まれている場合は、当該完成度情報に基づいてＨＤＲ画像の生成に利用する画像の数量を変更する。また、特定データに含まれる複数の画像の中に、ファイルの拡張子が他とは異なる画像、タイムスタンプ（例えば、撮影日時）が所定の範囲から外れる画像、又は、ファイルのサイズが所定の範囲から外れる画像が含まれている場合は、当該画像をＨＤＲ画像の生成に利用する画像から除外する。また、特定データに含まれる複数の画像が、ファイルの拡張子、タイムスタンプ、ファイルのサイズの少なくとも１つに基づいて複数のグループに分類できる場合は、当該複数の画像を複数のグループに分類する。   The image selection unit 32 selects an image suitable for generating an HDR image from a plurality of images included in the specific data. For example, if the file name of the specific data includes completeness information (information indicating the finish of the HDR image), the number of images used for generating the HDR image is changed based on the completeness information. In addition, among a plurality of images included in the specific data, an image having a different file extension, an image whose time stamp (eg, shooting date / time) is out of a predetermined range, or a file size within a predetermined range If an image deviating from the above is included, the image is excluded from the images used for generating the HDR image. In addition, when a plurality of images included in the specific data can be classified into a plurality of groups based on at least one of a file extension, a time stamp, and a file size, the plurality of images are classified into a plurality of groups. .

画像確認部３３は、特定データに含まれる複数の画像の内容を確認し、ＨＤＲ画像の生成に不適切な画像が含まれている場合は、その旨をユーザに警告して画像の追加・代替を促す。例えば、特定データに含まれる複数の画像のＥｖ値（露出値）を確認し、Ｅｖ値が予め定めた基準値及び当該基準値に対して正及び負の所定値（露出補正値）の３つの画像が揃っていない場合は、その旨を警告するメッセージを通知して、Ｅｖ値が基準値又は露出補正値の画像の追加又は代替を促す。また、特定データに含まれる複数の画像の中にゴースト（不要な被写体）が写り込んでいる画像が含まれているかを確認し、ゴーストが写り込んでいる画像が含まれている場合は、その旨を警告するメッセージを通知して、前記ゴーストが写り込んでいない画像の追加又は代替を促す。また、特定データに含まれる複数の画像の中に手ブレが生じた画像が含まれているかを確認し、手ブレが生じた画像が含まれている場合は、その旨を警告するメッセージを通知して、手ブレがない画像の追加又は代替を促す。また、画像の追加又は代替を促す際に、ユニークなジョブＩＤ（所定の識別情報）を通知する。   The image confirmation unit 33 confirms the contents of a plurality of images included in the specific data, and if an image inappropriate for generating the HDR image is included, the image confirmation unit 33 warns the user to that effect and adds or substitutes the image. Prompt. For example, the Ev value (exposure value) of a plurality of images included in the specific data is confirmed, and the Ev value is a reference value that is set in advance, and three positive and negative predetermined values (exposure correction values) with respect to the reference value. If the images are not complete, a message to that effect is notified to prompt the addition or substitution of an image whose Ev value is the reference value or exposure correction value. Also, check if images containing ghosts (unnecessary subjects) are included in multiple images included in the specific data. If images containing ghosts are included, A message that warns the user is notified, and the addition or substitution of an image in which the ghost is not reflected is prompted. Also, check whether there is a camera shake image among the multiple images included in the specified data, and if a camera shake image is included, a message is sent to warn that effect. Thus, the user is encouraged to add or substitute an image without camera shake. Also, a unique job ID (predetermined identification information) is notified when the user is prompted to add or substitute an image.

ＨＤＲ画像生成部３４は、選択された複数の画像に基づいてＨＤＲ画像を生成する。具体的には、公知の手法を用いて、イメージ補正処理、ゴースト検出／除去処理、放射輝度マップ作成処理、シーン分類処理、トーンマッピング処理、ガモットマッピング処理などを行ってＨＤＲ画像を生成する。   The HDR image generation unit 34 generates an HDR image based on the selected plurality of images. Specifically, an HDR image is generated by performing image correction processing, ghost detection / removal processing, radiance map creation processing, scene classification processing, tone mapping processing, gamut mapping processing, and the like using a known method.

なお、本実施例の画像生成制御プログラムは、ＣＰＵ２１を、入力データ判定部３１、画像選択部３２、画像確認部３３及びＨＤＲ画像生成部３４（特に、入力データ判定部３１及びＨＤＲ画像生成部３４）として機能させるものである。   Note that the image generation control program of this embodiment causes the CPU 21 to input the input data determination unit 31, the image selection unit 32, the image confirmation unit 33, and the HDR image generation unit 34 (particularly, the input data determination unit 31 and the HDR image generation unit 34). ).

言語部３５は、入力データが印刷ジョブの場合に、印刷ジョブのコマンド（ＰＤＬコマンド）を解釈し、印刷ジョブに含まれる各ページのデータをラスタライズして印刷データを生成する。   When the input data is a print job, the language unit 35 interprets a print job command (PDL command) and rasterizes the data of each page included in the print job to generate print data.

なお、本実施例では、コンピュータ装置１０からは、複数の画像が所定形式でグループ化された特定データを取得する構成とするが、コンピュータ装置１０から複数の画像データを取得してもよいし、複数の画像データを指定した印刷ジョブを取得してもよい。印刷ジョブを取得した場合は、上記言語部３５は、印刷ジョブから複数の画像データを特定して、入力データ判定部３１に転送すればよい。   In this embodiment, the computer device 10 is configured to acquire specific data in which a plurality of images are grouped in a predetermined format. However, a plurality of image data may be acquired from the computer device 10, A print job designating a plurality of image data may be acquired. When the print job is acquired, the language unit 35 may identify a plurality of image data from the print job and transfer the image data to the input data determination unit 31.

また、上記では、コントローラファームウェアを機構部２７やエンジン部２８を備えるプリンタ装置２０で動作させる構成としたが、本実施例の画像生成制御を実施する装置は、コントローラファームウェアが動作可能な装置であればよく、例えば、コントローラファームウェアを、エンジン部２８に印刷を指示するプリンタコントローラやプリンタサーバなどで動作させてもよい。   In the above description, the controller firmware is configured to operate on the printer device 20 including the mechanism unit 27 and the engine unit 28. However, the device that performs the image generation control according to the present embodiment is a device that can operate the controller firmware. For example, the controller firmware may be operated by a printer controller or a printer server that instructs the engine unit 28 to perform printing.

以下、上記構成のプリンタ装置２０の動作について説明する。ＣＰＵ２１は、ＲＯＭ又は記憶装置２３に記憶したコントローラファームウェア（画像生成制御プログラムを含む。）をＲＡＭに展開して実行することにより、図３乃至図５のフローチャート図に示す各ステップの処理を実行する。なお、図３のフローチャートは作図の都合上、分図しているが、これらは一連の処理を示している。   The operation of the printer device 20 having the above configuration will be described below. The CPU 21 executes the processing of each step shown in the flowcharts of FIGS. 3 to 5 by developing and executing the controller firmware (including the image generation control program) stored in the ROM or the storage device 23 in the RAM. . Note that the flowchart of FIG. 3 is divided for convenience of drawing, but these show a series of processing.

図３（ａ）に示すように、コントローラファームウェアは諸々の制御処理（例えば、入出力Ｉ／Ｆ２４によるコンピュータ装置１０との通信）を実行し（Ｓ１０１）、制御部３０（入力データ判定部３１）は、複数の画像が所定形式でグループ化された特定データを受信したかを判断する（Ｓ１０２）。特定データを受信していない場合（Ｓ１０２のＮｏ）は、Ｓ１０１の制御処理に戻って、コントローラファームウェアは諸々の制御処理（例えば、印刷ジョブを受信した場合は通常の印刷処理）を実行する。なお、複数の画像が所定形式でグループ化された特定データとは、複数の画像データがｚｉｐ圧縮されたデータなどである。   As shown in FIG. 3A, the controller firmware executes various control processes (for example, communication with the computer apparatus 10 by the input / output I / F 24) (S101), and the control unit 30 (input data determination unit 31). Determines whether specific data in which a plurality of images are grouped in a predetermined format has been received (S102). When the specific data has not been received (No in S102), the process returns to the control process in S101, and the controller firmware executes various control processes (for example, a normal print process when a print job is received). The specific data in which a plurality of images are grouped in a predetermined format is data obtained by zip compression of a plurality of image data.

特定データを受信した場合（Ｓ１０２のＹｅｓ）は、制御部３０（入力データ判定部３１）は、受信した特定データのファイル名の中にユニークなジョブＩＤが含まれているかを判断する（Ｓ１０３）。このユニークなジョブＩＤは、別々のタイミングで受信した画像を、ＨＤＲ画像生成処理の対象となる一連の画像として認識するために使用されるものであり、後述するＳ１０９で発行される。   When specific data is received (Yes in S102), the control unit 30 (input data determination unit 31) determines whether a unique job ID is included in the file name of the received specific data (S103). . This unique job ID is used for recognizing images received at different timings as a series of images to be subjected to HDR image generation processing, and is issued in S109 described later.

ファイル名の中にユニークなジョブＩＤが含まれている場合（Ｓ１０３のＹｅｓ）は、追加ないし代替の画像データが送られてきたことを意味するため、制御部３０（入力データ判定部３１）は、受信した特定データに含まれる画像と既にプリンタ装置２０の記憶装置２３等に当該ジョブＩＤにて保存済みの画像とを、以降の処理においてセットの画像として認識する（Ｓ１０４）。   If a unique job ID is included in the file name (Yes in S103), this means that additional or alternative image data has been sent, so the control unit 30 (input data determination unit 31) Then, the image included in the received specific data and the image already stored in the storage device 23 of the printer device 20 with the job ID are recognized as a set image in the subsequent processing (S104).

次に、制御部３０（画像確認部３３）は、Ｓ１０２で受信した特定データに含まれる複数の画像、又は、Ｓ１０４でセットとして認識した複数の画像の中に、不適切な画像がないか否かを事前に確認する画像確認処理を行う（Ｓ１０５）。図４は、画像確認処理の詳細を示している。   Next, the control unit 30 (image confirmation unit 33) determines whether or not there is an inappropriate image in the plurality of images included in the specific data received in S102 or the plurality of images recognized as a set in S104. Image confirmation processing for confirming whether or not in advance is performed (S105). FIG. 4 shows details of the image confirmation processing.

まず、制御部３０（画像確認部３３）は、Ｅｖ値バランスチェック処理として、入力された複数の画像のＥｖ値のバランスを確認する（Ｓ２０１）。例えば、デジタルカメラが最良と判断した基準値（標準露出：０Ｅｖ）に対して、プラス側とマイナス側に露出補正（＋２Ｅｖ、−２Ｅｖ）を行った合計３つの画像を用いてＨＤＲ画像を生成するのが一般的であることから、この数値を基準にして、入力された複数の画像のＥｖ値のバランスを確認する。   First, the control unit 30 (image confirmation unit 33) confirms the balance of Ev values of a plurality of input images as an Ev value balance check process (S201). For example, an HDR image is generated using a total of three images obtained by performing exposure correction (+2 Ev, −2 Ev) on the plus side and the minus side with respect to a reference value (standard exposure: 0 Ev) determined to be the best by the digital camera. Therefore, the balance of the Ev values of a plurality of inputted images is confirmed based on this numerical value.

具体的には、Ｅｖ値が０Ｅｖと＋１Ｅｖの２つの画像が入力されたときは、マイナス側に露出補正した画像が欠落しているため、プラス側と同等の露出補正値の−１Ｅｖの画像が追加されることが望ましいと判定する。また、Ｅｖ値が−０．５Ｅｖと０Ｅｖと＋０．５Ｅｖの３つの画像が入力されたときは、標準露出に対してプラス側とマイナス側に露出補正された３つの画像があるものの、露出補正値が−０．５Ｅｖ、＋０．５Ｅｖと小さく、レンジが不足しているため、それら２つの画像を露出補正値が−２Ｅｖと＋２Ｅｖなどの画像と代替することが望ましいと判定する。なお、各々の画像のＥｖ値は画像データに含まれているＥｘｉｆ（Exchangeable image file format）情報から取得することができる。   Specifically, when two images having an Ev value of 0 Ev and +1 Ev are input, an image whose exposure correction is equal to that on the plus side is lost because an image whose exposure is corrected on the minus side is missing. It is determined that it is desirable to add. When three images with Ev values of −0.5 Ev, 0 Ev, and +0.5 Ev are input, there are three images that are corrected for exposure on the positive side and the negative side with respect to the standard exposure, but exposure correction Since the values are as small as −0.5 Ev and +0.5 Ev and the range is insufficient, it is determined that it is desirable to replace these two images with images whose exposure correction values are −2 Ev and +2 Ev. In addition, the Ev value of each image can be acquired from Exif (Exchangeable image file format) information included in the image data.

次に、制御部３０（画像確認部３３）は、ゴースト検出処理として、入力された複数の画像の中に、ゴーストとなる要素が混入していないかどうかを確認する（Ｓ２０２）。ゴーストとは、例えば、露出ブラケティングで複数枚撮影した画像の中に、たまたま移動中の人や車などの被写体（不要な被写体）が写り込んでしまった場合、当該被写体が最終仕上がりのＨＤＲ画像の中にあたかもゴーストのようにうっすらと写ってしまう現象のことである。ここでは、複数の画像を比較し、相関関数を用いた数学的な手法などを用いて、他の画像には含まれていない移動物体等が混入していないかどうかを検出する。画像中にゴーストとなる要素が混入していた場合は、当該画像はゴーストとなる要素が混入していない画像と代替することが望ましいと判定する。   Next, as a ghost detection process, the control unit 30 (image confirmation unit 33) confirms whether or not a ghost element is mixed in the plurality of input images (S202). For example, when a subject (unnecessary subject) such as a moving person or a car happens to appear in an image taken by exposure bracketing, the ghost is the final finished HDR image. It is a phenomenon that looks like a ghost. Here, a plurality of images are compared, and a mathematical method using a correlation function or the like is used to detect whether or not a moving object that is not included in other images is mixed. If an element that becomes a ghost is mixed in the image, it is determined that it is desirable to replace the image with an image that does not include the element that becomes a ghost.

次に、制御部３０（画像確認部３３）は、手ブレ検出処理として、入力された複数の画像の中に、手ブレ（傾きやズレ）が無いかどうかを確認する。例えば、公知の画像処理技術を利用して、各々の画像の中からコーナー、エッジ、クロスポイント、エンドポイントなどの注目点を検出し、それらの注目点の変動を解析することによって、ズレや回転が発生していないかを確認する。手ブレが発生していた場合は、当該画像は手ブレが無い画像と代替することが望ましいと判定する。   Next, the control unit 30 (image confirmation unit 33) confirms whether or not there is a camera shake (tilt or deviation) in the input plurality of images as a camera shake detection process. For example, using known image processing techniques, detect points of interest such as corners, edges, cross points, and endpoints from each image, and analyze the fluctuations in those points of interest to shift or rotate them. Make sure that is not occurring. If camera shake has occurred, it is determined that it is desirable to replace the image with an image without camera shake.

なお、図４では、画像確認処理として、Ｅｖ値が適切であるか、ゴーストが写り込んでいないか、手ブレが無いかを確認したが、これらの処理に加えて、撮影範囲が適切であるかなどを確認することもできる。撮影範囲が適切であるかどうかは、複数の画像の注目点の位置が一致するかなどによって確認することができる。   In FIG. 4, as the image confirmation processing, it is confirmed whether the Ev value is appropriate, whether the ghost is captured, or there is no camera shake. In addition to these processing, the imaging range is appropriate. You can also check. Whether or not the shooting range is appropriate can be confirmed by checking whether the positions of the points of interest in the plurality of images match.

図３（ａ）のフローチャートに戻って、制御部３０（画像確認部３３）は、画像の追加・代替が望ましいケースを検出したかを判断する（Ｓ１０６）。画像の追加・代替が望ましいケースを検出した場合（Ｓ１０６のＹｅｓ）は、現行の画像で処理を続行するかどうかを判断する（Ｓ１０７）。例えば、追加・代替が望ましい画像の入力を促すメッセージをユーザに通知するとともに、続行、キャンセル、画像の追加・代替の実施、のいずれかのアクションをユーザに選択させ、その選択結果に基づいて処理を続行するかどうかを判断する。   Returning to the flowchart of FIG. 3A, the control unit 30 (image confirmation unit 33) determines whether or not a case where addition / substitution of an image is desirable is detected (S106). When a case where it is desirable to add or replace an image is detected (Yes in S106), it is determined whether or not to continue processing with the current image (S107). For example, a message prompting the user to input an image that should be added / substituted is notified to the user, and the user is allowed to select one of the following actions: continue, cancel, or add / substitute image, and processing is performed based on the selection result. Determine whether to continue.

処理の続行が選択された場合（Ｓ１０７のＹｅｓ）は、Ｓ１１０に遷移し、処理の続行が選択されなかった場合（Ｓ１０７のＮｏ）は、制御部３０（画像確認部３３）は、画像の追加・代替の実施が選択されたかを判断する（Ｓ１０８）。画像の追加・代替の実施が選択されなかった場合（Ｓ１０８のＮｏ）は、ＨＤＲ画像生成処理はキャンセルされたことになるため、Ｓ１０１の制御処理に戻って、コントローラファームウェアは諸々の制御処理を実行する。   If the continuation of the process is selected (Yes in S107), the process proceeds to S110. If the continuation of the process is not selected (No in S107), the control unit 30 (image confirmation unit 33) adds an image. It is determined whether an alternative implementation has been selected (S108). If the execution of image addition / substitution is not selected (No in S108), the HDR image generation process is canceled, so the process returns to the control process in S101 and the controller firmware executes various control processes. To do.

画像の追加・代替の実施が選択された場合（Ｓ１０８のＹｅｓ）は、制御部３０（画像確認部３３）は、ユニークなジョブＩＤを発行し、入力された画像のファイル名にこのジョブＩＤを付加して記憶装置２３等に保存すると共に、このジョブＩＤをユーザに通知する（Ｓ１０９）。ここで発行されたジョブＩＤは、後ほど、追加・代替の画像をプリンタ装置２０に送信する際に利用される。すなわち、追加・代替の画像のファイル名にこのジョブＩＤを付加して送信することで、すでにプリンタ装置２０内に保持されている画像との関連性を保つことができる。なお、ユーザへの通知は、プリンタ装置２０の表示部２６（オペレーションパネル）上に表示する方法の他に、ユーザが追加・代替の画像を送信するコンピュータ装置１０の画面上に表示させる方法などがあり得る。その後、Ｓ１０１の制御処理に戻ってコントローラファームウェアの諸々の制御処理を実行する。   When the addition / substitution of the image is selected (Yes in S108), the control unit 30 (image confirmation unit 33) issues a unique job ID, and this job ID is added to the file name of the input image. In addition, the job ID is stored in the storage device 23 and the like, and the user is notified of the job ID (S109). The job ID issued here is used later when an additional / substitute image is transmitted to the printer device 20. That is, by adding the job ID to the file name of the additional / alternative image and transmitting it, the relevance with the image already held in the printer device 20 can be maintained. In addition to the method of displaying the notification to the user on the display unit 26 (operation panel) of the printer device 20, there is a method of displaying the notification on the screen of the computer device 10 to which the user transmits an additional / alternative image. possible. Thereafter, returning to the control process of S101, various control processes of the controller firmware are executed.

画像の追加・代替が望ましいケースを検出しなかった場合（Ｓ１０６のＮｏ）、及び、現行の画像での処理の続行が選択された場合（Ｓ１０７のＹｅｓ）は、制御部３０（画像選択部３２）は、入力された複数の画像の中に、他とは異なる種別の画像が含まれていないかどうかを判断する（Ｓ１１０）。例えば、複数の画像は露出ブラケティングで撮影することが一般的であるので、複数の画像の種類（拡張子）は同じとなり、画像のタイムスタンプやサイズは近い値となる。そこで、このタイムスタンプの値や種類（拡張子）、更にはサイズ等のパラメータを使用して、異なる種別の画像が含まれていないかどうかを判定する。   When a case where it is desirable to add / substitute an image is not detected (No in S106), and when it is selected to continue processing with the current image (Yes in S107), the control unit 30 (image selection unit 32). ) Determines whether or not an image of a different type from the others is included in the plurality of input images (S110). For example, since it is common to shoot a plurality of images by exposure bracketing, the types (extensions) of the plurality of images are the same, and the time stamps and sizes of the images are close to each other. Therefore, it is determined whether or not images of different types are included by using parameters such as the time stamp value, type (extension), and size.

具体的には、入力された複数の画像が「J1.jpg」、「J2.jpg」、「J3.jpg」、「P.png」の場合、拡張子が異なる「P.png」は間違って混入したと推測できるため、異なる種別の画像が含まれていると判定する。また、入力された複数の画像の中に、タイムスタンプが所定の範囲（例えば、１分）を超える画像、及び／又は、サイズが所定の範囲（例えば、±１０％）を超える画像が含まれている場合は、異なる種別の画像が含まれていると判定する。なお、拡張子が異なる画像、タイムスタンプやサイズが所定の範囲を超える画像が１つだけでなく複数含まれている場合は、後述のグルーピングが可能な場合があるため、ここでは排除しないものとする。   Specifically, if multiple input images are "J1.jpg", "J2.jpg", "J3.jpg", "P.png", "P.png" with a different extension is incorrect. Since it can be presumed that the images have been mixed, it is determined that different types of images are included. Also, among the plurality of input images, an image whose time stamp exceeds a predetermined range (for example, 1 minute) and / or an image whose size exceeds a predetermined range (for example, ± 10%) is included. If it is, it is determined that different types of images are included. It should be noted that if there are multiple images with different extensions, time stamps and sizes exceeding a predetermined range, and not only one, it may be possible to perform grouping, which will be described later. To do.

他とは異なる種別の画像が含まれていると判断した場合（Ｓ１１０のＹｅｓ）は、制御部３０（画像選択部３２）は、その旨をユーザに通知した上で、当該画像をＨＤＲ画像生成処理の対象から除外し（Ｓ１１１）、処理を続行する。   If it is determined that an image of a different type from the other is included (Yes in S110), the control unit 30 (image selection unit 32) notifies the user to that effect, and then generates the HDR image. It excludes from the object of a process (S111), and continues a process.

次に、図３（ｂ）に示すように、制御部３０（画像選択部３２）は、入力された複数の画像に関してグルーピングが可能かどうかを判断する（Ｓ１１２）。例えば、複数の画像は露出ブラケティングで撮影することが一般的であるので、複数の画像の種類（拡張子）は同じとなり、画像のタイムスタンプやサイズは近い値となる。そこで、このタイムスタンプの値や種類（拡張子）、更にはサイズ等のパラメータを使用して、グルーピングが可能かどうかを判定する。   Next, as illustrated in FIG. 3B, the control unit 30 (image selection unit 32) determines whether grouping is possible for the plurality of input images (S112). For example, since it is common to shoot a plurality of images by exposure bracketing, the types (extensions) of the plurality of images are the same, and the time stamps and sizes of the images are close to each other. Therefore, it is determined whether grouping is possible using parameters such as the time stamp value, type (extension), and size.

具体的には、入力された複数の画像が「A1.jpg」、「A2.jpg」、「A3.jpg」、「B1.jpg」、「B2.jpg」、「B3.jpg」であり、「A1.jpg」〜「A3.jpg」ならびに「B1.jpg」〜「B3.jpg」のタイムスタンプ及び／又はサイズが所定範囲内の場合は、Ａ、Ｂの２つのグループに分類できるものと判定する。また、入力された複数の画像が「A1.jpg」、「A2.jpg」、「A3.jpg」、「B1.bmp」、「B2.bmp」、「B3.bmp」の場合、拡張子に基づいてＡ、Ｂの２つのグループに分類できるものと判定する。   Specifically, the input images are "A1.jpg", "A2.jpg", "A3.jpg", "B1.jpg", "B2.jpg", "B3.jpg" If the time stamps and / or sizes of “A1.jpg” to “A3.jpg” and “B1.jpg” to “B3.jpg” are within the predetermined range, they can be classified into two groups A and B. judge. Also, if multiple input images are "A1.jpg", "A2.jpg", "A3.jpg", "B1.bmp", "B2.bmp", "B3.bmp", the extension Based on this, it is determined that the data can be classified into two groups A and B.

複数の画像のグルーピングが可能と判断した場合（Ｓ１１２のＹｅｓ）は、制御部３０（画像選択部３２）は、画像のグルーピングを実施する（Ｓ１１３）。その場合、後述のＨＤＲ画像生成処理（Ｓ１１６）はグループ単位で複数回実行するものとする。次に、制御部３０（画像選択部３２）は、特定データのファイル名に予め定めた完成度情報（ＨＤＲ画像の仕上がりを示す情報）があるか否かを判断する（Ｓ１１４）。ファイル名に完成度情報がある場合（Ｓ１１４のＹｅｓ）は、制御部３０（画像選択部３２）は、完成度情報に基づいて選択する画像の数量を変更する（Ｓ１１５）。   When it is determined that a plurality of images can be grouped (Yes in S112), the control unit 30 (image selection unit 32) performs grouping of images (S113). In this case, the HDR image generation process (S116) described later is executed a plurality of times for each group. Next, the control unit 30 (image selection unit 32) determines whether or not there is predetermined completion degree information (information indicating the finish of the HDR image) in the file name of the specific data (S114). When the file name includes completion degree information (Yes in S114), the control unit 30 (image selection unit 32) changes the number of images to be selected based on the completion degree information (S115).

例えば、「HDR_HQ.ZIP」というファイル名の特定データを受信した場合、”ＨＱ（High Quality）”という完成度情報が含まれているので、現時点で選択されている全ての画像を使用する。また、「HDR_AUTO.ZIP」というファイル名の特定データを受信した場合、”AUTO”という完成度情報が含まれているので、現時点で選択されている画像の中から最適なもの（例えば、Ｅｖ値が所望の値の画像や露出補正値がプラス側とマイナス側とでセットになっている画像、ゴーストや手ブレがない画像など）を選択する。また、「HDR_FAST.ZIP」というファイル名の特定データを受信した場合、”FAST”という完成度情報が含まれているので、処理速度の短縮を最優先として、現時点で選択されている画像の中から必要最低限の数量の画像を選択する。   For example, when the specific data having the file name “HDR_HQ.ZIP” is received, since the completeness information “HQ (High Quality)” is included, all the images currently selected are used. In addition, when the specific data having the file name “HDR_AUTO.ZIP” is received, the perfection information “AUTO” is included, so that the most suitable image (for example, Ev value) is selected from the currently selected images. Select an image having a desired value, an image with exposure correction values set on the plus side and the minus side, an image having no ghost or camera shake). In addition, when the specific data with the file name “HDR_FAST.ZIP” is received, the completeness information “FAST” is included. Select the minimum required quantity of images.

なお、ここでは特定データのファイル名に完成度情報があるかを判断したが、特定データとは別に完成度情報を取得してもよい。また、特定データに含まれる画像の数量や構成に基づいて制御部３０（画像選択部３２）が完成度を判断してもよい。   Here, it is determined whether or not the file name of the specific data includes the completeness information, but the completeness information may be acquired separately from the specific data. Further, the control unit 30 (image selection unit 32) may determine the degree of completion based on the quantity and configuration of images included in the specific data.

ここまでのプロセスでＨＤＲ画像生成処理に用いる複数の画像が選択されたので、制御部３０（ＨＤＲ画像生成部３４）は、ＨＤＲ画像生成処理を実行する（Ｓ１１６）。図５は、ＨＤＲ画像生成処理の詳細を示している。   Since a plurality of images used for the HDR image generation process have been selected in the process so far, the control unit 30 (HDR image generation unit 34) executes the HDR image generation process (S116). FIG. 5 shows details of the HDR image generation process.

まず、制御部３０（ＨＤＲ画像生成部３４）は、イメージ補正処理として、複数の画像に対して、撮影時の手ブレ等に起因する位置のズレや回転の補正処理を行う（Ｓ３０１）。例えば、公知の画像処理技術を利用して、コーナー、エッジ、クロスポイント、エンドポイントなどの注目点を検出し、それらの注目点の変動を解析することによって位置のズレや回転を補正する。この位置のズレや回転の補正処理は標準露出の画像を基準とする。なお、Ｓ１０５の画像確認処理（Ｓ２０３）において手ブレが検出され、画像の代替が行われている場合、ここでの補正処理はスキップすることができる。また、撮影時の手ブレ等に起因する位置のズレや回転に加えて、撮影範囲の補正処理を行うこともできる。この補正処理は、注目点が一致する共通の撮影範囲をトリミングすることによって実現することができる。   First, the control unit 30 (HDR image generation unit 34) performs a positional shift and rotation correction process due to camera shake at the time of shooting, etc., on a plurality of images as an image correction process (S301). For example, using known image processing techniques, attention points such as corners, edges, cross points, and end points are detected, and fluctuations in the attention points are analyzed to correct positional deviation and rotation. This positional deviation and rotation correction processing is based on the standard exposure image. If camera shake is detected in the image confirmation process (S203) in S105 and the image is replaced, the correction process here can be skipped. Further, in addition to positional shift and rotation caused by camera shake or the like during photographing, it is also possible to perform a photographing range correction process. This correction processing can be realized by trimming a common shooting range where the points of interest match.

次に、制御部３０（ＨＤＲ画像生成部３４）は、ゴースト検出／除去処理として、複数の画像の中に写り込んだゴースト（移動物体）の検出ならびに除去処理を行う。ゴースト（移動物体）の検出は前述した通りである。ゴーストの除去は、後述する放射輝度マップ作成処理の際に、ゴーストの領域の重み付けを低くすることで、最終仕上がりのＨＤＲ画像から除去することができる。なお、Ｓ１０５の画像確認処理（Ｓ２０２）において、ゴーストとなる要素が検出され、画像の代替が行われている場合、ここでの除去処理はスキップすることができる。   Next, the control unit 30 (HDR image generation unit 34) performs detection and removal processing of ghosts (moving objects) reflected in a plurality of images as ghost detection / removal processing. The detection of the ghost (moving object) is as described above. The ghost can be removed from the final HDR image by lowering the weight of the ghost area during the radiance map creation process described later. In addition, in the image confirmation process (S202) of S105, when the element which becomes a ghost is detected and the substitution of the image is performed, the removal process here can be skipped.

次に、制御部３０（ＨＤＲ画像生成部３４）は、放射輝度マップ生成処理として、イメージ補正を行うと共に、複数の画像から、各々のシーンの放射輝度マップ（ダイナミックレンジが拡張された不可視のＨＤＲイメージ）を作成する。その際、ゴーストが検出され、適切な画像に代替されていない場合は、上述したようにゴーストの領域の重み付けを低くして放射輝度マップを作成する。   Next, the control unit 30 (HDR image generation unit 34) performs image correction as a radiance map generation process, and also, from a plurality of images, a radiance map of each scene (an invisible HDR with an expanded dynamic range). Image). At that time, if a ghost is detected and not replaced with an appropriate image, a radiance map is created by reducing the weight of the ghost region as described above.

次に、制御部３０（ＨＤＲ画像生成部３４）は、シーン分類処理として、撮影されたシーンの分類処理を行う（Ｓ３０３）。シーンの分類は、例えば、撮影場所が屋内か屋外か、あるいは撮影状況が暗いか普通か明るいかといった条件を組み合わせて行う。ここでのシーンの分類は、後述のトーンマッピング処理をより適切に行うための判断材料として用いられる。   Next, the control unit 30 (HDR image generation unit 34) performs a process of classifying the captured scene as the scene classification process (S303). The scene classification is performed by combining conditions such as whether the shooting location is indoors or outdoors, or whether the shooting situation is dark, normal, or bright. The classification of the scene here is used as a judgment material for performing tone mapping processing described later more appropriately.

次に、制御部３０（ＨＤＲ画像生成部３４）は、トーンマッピング処理として、Ｓ３０３で作成されたダイナミックレンジが拡張された不可視のＨＤＲイメージを可視の範囲に圧縮するために、トーンマッピング処理を行う（Ｓ３０５）。トーンマッピング処理は、大別して、画像全体に一律に適用するグローバルトーンマッピング手法と、周囲の情報を考慮して部分的に適用するローカルトーンマッピング手法とに分けることができる。具体的なトーンマッピングのアルゴリズムとしては、”iCAM06”、”Drago”、”Reinhard”などがあり、前述のＳ３０４のシーン分類処理で分類されたシーンに応じて、適切なトーマッピングのアルゴリズムを選択してトーンマッピング処理を実行する。   Next, the control unit 30 (HDR image generation unit 34) performs tone mapping processing as tone mapping processing in order to compress the invisible HDR image with the expanded dynamic range created in S303 into a visible range. (S305). The tone mapping processing can be broadly divided into a global tone mapping method that is uniformly applied to the entire image and a local tone mapping method that is partially applied in consideration of surrounding information. Specific tone mapping algorithms include “iCAM06”, “Drago”, “Reinhard”, etc., and an appropriate toe mapping algorithm is selected according to the scene classified by the scene classification process of S304 described above. To execute tone mapping.

次に、制御部３０（ＨＤＲ画像生成部３４）は、ガモットマッピング処理として、公知の色変換手法を用いてＲＧＢで再現されている色をＣＭＹＫで再現可能な色空間に変換する処理を行い、最終的な可視のＨＤＲ画像を生成する（Ｓ３０６）。その後、生成したＨＤＲ画像をエンジン部２８に送り、印刷処理を実行する（Ｓ３０７）。   Next, the control unit 30 (HDR image generation unit 34) performs a process of converting colors reproduced in RGB into a color space reproducible in CMYK using a known color conversion method as a gamut mapping process, A final visible HDR image is generated (S306). Thereafter, the generated HDR image is sent to the engine unit 28, and printing processing is executed (S307).

以上説明したように、本実施例では、コントローラファームウェア（画像生成制御プログラム）は、複数の画像が所定形式でグループ化された特定データが入力されたかを判定し、特定データが入力された場合に、特定データに含まれる複数の画像に基づいてＨＤＲ画像を生成するため、適切なＨＤＲ画像を確実に生成することができる。また、特定データに含まれる複数の画像の取捨選択を行ったり、画像の内容を確認して追加・代替を促したりするため、適切なＨＤＲ画像を生成することができる。   As described above, in this embodiment, the controller firmware (image generation control program) determines whether or not specific data in which a plurality of images are grouped in a predetermined format is input, and when specific data is input. Since an HDR image is generated based on a plurality of images included in specific data, an appropriate HDR image can be generated reliably. In addition, since a plurality of images included in the specific data are selected or the contents of the images are confirmed to prompt addition / substitution, an appropriate HDR image can be generated.

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。   In addition, this invention is not limited to the said Example, The structure and control can be changed suitably, unless it deviates from the meaning of this invention.

例えば、上記実施例ではＨＤＲ画像の作成に関して説明したが、複数の画像を合成して印刷のための画像を生成する任意の場合に対して、本発明の画像生成制御を同様に適用することができる。   For example, in the above embodiment, the creation of the HDR image has been described. However, the image generation control according to the present invention can be similarly applied to any case where a plurality of images are combined to generate an image for printing. it can.

本発明は、印刷のための画像を生成する画像生成装置及び画像の生成を制御する画像生成制御プログラム並びに当該画像生成制御プログラムを記録した記録媒体並びに画像生成制御方法に利用可能である。   The present invention can be used for an image generation apparatus that generates an image for printing, an image generation control program that controls image generation, a recording medium that records the image generation control program, and an image generation control method.

１０ コンピュータ装置
２０ プリンタ装置
２１ ＣＰＵ
２２ メモリ
２３ 記憶装置
２４ 入出力Ｉ／Ｆ
２５ 操作部
２６ 表示部
２７ 機構部
２８ エンジン部
３０ 制御部
３１ 入力データ判定部
３２ 画像選択部
３３ 画像確認部
３４ ＨＤＲ画像生成部
３５ 言語部 10 Computer Device 20 Printer Device 21 CPU
22 memory 23 storage device 24 input / output I / F
25 Operation unit 26 Display unit 27 Mechanism unit 28 Engine unit 30 Control unit 31 Input data determination unit 32 Image selection unit 33 Image confirmation unit 34 HDR image generation unit 35 Language unit

Claims (13)

印刷のための画像を生成する画像生成装置であって、
外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定部と、
前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してＨＤＲ（High Dynamic Range）画像を生成するＨＤＲ画像生成部と、を備える、
ことを特徴とする画像生成装置。 An image generation device that generates an image for printing,
An input data determination unit that determines whether data input from an external device is specific data in which a plurality of images are grouped in a predetermined format;
An HDR image generation unit configured to generate an HDR (High Dynamic Range) image by combining the plurality of images included in the specific data when the input data is the specific data;
An image generation apparatus characterized by that. 前記特定データは、ｚｉｐファイルである、
ことを特徴とする請求項１に記載の画像生成装置。 The specific data is a zip file.
The image generating apparatus according to claim 1. 前記特定データに含まれる前記複数の画像の中から、前記ＨＤＲ画像の生成に利用する画像を選択する画像選択部を更に備える、
ことを特徴とする請求項１又は２に記載の画像生成装置。 An image selection unit that selects an image to be used for generating the HDR image from the plurality of images included in the specific data;
The image generation apparatus according to claim 1, wherein the image generation apparatus is an image generation apparatus. 前記画像選択部は、前記複数の画像の中に、ファイルの拡張子が他とは異なる画像、撮影日時が所定の範囲から外れる画像、又は、ファイルのサイズが所定の範囲から外れる画像が含まれている場合は、その旨を警告するメッセージを通知すると共に、当該画像を前記ＨＤＲ画像の生成に利用する画像から除外する、
ことを特徴とする請求項３に記載の画像生成装置。 The image selection unit includes, among the plurality of images, an image having a different file extension, an image whose shooting date / time is out of a predetermined range, or an image whose file size is out of a predetermined range. If not, notify a message to that effect and exclude the image from the image used for generating the HDR image,
The image generating apparatus according to claim 3. 前記画像選択部は、ファイルの拡張子、撮影日時、ファイルのサイズの少なくとも１つに基づいて、前記複数の画像が複数のグループに分類できるかを判断し、前記複数のグループに分類できると判断した場合は、前記複数の画像を前記複数のグループに分類し、
前記ＨＤＲ画像生成部は、前記グループ毎に前記ＨＤＲ画像を生成する、
ことを特徴とする請求項３又は４に記載の画像生成装置。 The image selection unit determines whether the plurality of images can be classified into a plurality of groups based on at least one of a file extension, a shooting date, and a file size, and determines that the plurality of images can be classified into the plurality of groups. If so, classify the plurality of images into the plurality of groups,
The HDR image generation unit generates the HDR image for each group.
The image generation apparatus according to claim 3, wherein the image generation apparatus is an image generation apparatus. 前記画像選択部は、前記特定データのファイル名に、前記ＨＤＲ画像の仕上がりを示す所定の情報が含まれている場合は、当該所定の情報に基づいて前記ＨＤＲ画像の生成に利用する画像の数量を変更する、
ことを特徴とする請求項３乃至５のいずれか一に記載の画像生成装置。 The image selection unit, when the file name of the specific data includes predetermined information indicating the finish of the HDR image, the number of images used for generating the HDR image based on the predetermined information Change
The image generation apparatus according to claim 3, wherein the image generation apparatus is an image generation apparatus. 前記特定データに含まれる前記複数の画像の内容を確認する画像確認部を更に備える、
ことを特徴とする請求項１乃至６のいずれか一に記載の画像生成装置。 An image confirmation unit for confirming the contents of the plurality of images included in the specific data;
The image generation apparatus according to claim 1, wherein the image generation apparatus is an image generation apparatus. 前記画像確認部は、前記複数の画像の露出値を確認し、露出値が予め定めた基準値及び当該基準値に対して正及び負の所定値の３つの画像が揃っているかを確認し、前記３つの画像が揃っていない場合は、露出値が前記基準値又は前記所定値の画像の追加又は代替を促すメッセージを通知する、
ことを特徴とする請求項７に記載の画像生成装置。 The image confirmation unit confirms the exposure value of the plurality of images, confirms whether the exposure value is a predetermined reference value and three images having a positive value and a negative predetermined value with respect to the reference value. If the three images are not complete, a message prompting the addition or substitution of an image with an exposure value of the reference value or the predetermined value is notified.
The image generating apparatus according to claim 7. 前記画像確認部は、前記複数の画像の中に不要な被写体が写り込んでいる画像が含まれているかを確認し、前記不要な被写体が写り込んでいる画像が含まれている場合は、前記不要な被写体が写り込んでいない画像の追加又は代替を促すメッセージを通知する、
ことを特徴とする請求項７又は８に記載の画像生成装置。 The image confirmation unit confirms whether an image in which an unnecessary subject is reflected is included in the plurality of images, and if the image in which the unnecessary subject is reflected is included, Send a message prompting you to add or replace an image that does not contain unnecessary subjects.
The image generation apparatus according to claim 7, wherein the image generation apparatus is an image generation apparatus. 前記画像確認部は、前記複数の画像の中に手ブレが生じた画像が含まれているかを確認し、前記手ブレが生じた画像が含まれている場合は、手ブレがない画像の追加又は代替を促すメッセージを通知する、
ことを特徴とする請求項７乃至９のいずれか一に記載の画像生成装置。 The image confirmation unit confirms whether or not the image having a camera shake is included in the plurality of images. If the image having the camera shake is included, an image without a camera shake is added. Or a message prompting for replacement,
The image generation apparatus according to claim 7, wherein the image generation apparatus is an image generation apparatus. 前記画像確認部は、画像の追加又は代替を促す前記メッセージを通知する際に、所定の識別情報を通知し、
前記入力データ判定部は、前記特定データのファイル名に前記所定の識別情報が含まれる場合は、前記特定データに含まれる画像を、前記所定の識別情報を含むファイル名で予め保存された画像に関連付ける、
ことを特徴とする請求項７乃至１０のいずれか一に記載の画像生成装置。 The image confirmation unit notifies predetermined identification information when notifying the message that prompts addition or replacement of an image,
When the predetermined identification information is included in the file name of the specific data, the input data determination unit converts the image included in the specific data into an image stored in advance with a file name including the predetermined identification information. Associate,
The image generation apparatus according to claim 7, wherein the image generation apparatus is an image generation apparatus. 印刷のための画像を生成する装置で動作する画像生成制御プログラムであって、
前記装置に、
外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理、
前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してＨＤＲ画像を生成するＨＤＲ画像生成処理、を実行させる、
ことを特徴とする画像生成制御プログラム。 An image generation control program that operates on an apparatus that generates an image for printing,
In the device,
Input data determination processing for determining whether data input from an external device is specific data in which a plurality of images are grouped in a predetermined format;
When the input data is the specific data, an HDR image generation process for generating an HDR image by combining the plurality of images included in the specific data is executed.
An image generation control program characterized by that. 印刷のための画像を生成する装置を用いた画像生成制御方法であって、
外部の装置から入力されたデータが、複数の画像が所定形式でグループ化された特定データであるかを判定する入力データ判定処理と、
前記入力されたデータが前記特定データの場合に、当該特定データに含まれる前記複数の画像を合成してＨＤＲ画像を生成するＨＤＲ画像生成処理と、を実行する、
ことを特徴とする画像生成制御方法。 An image generation control method using an apparatus for generating an image for printing,
Input data determination processing for determining whether data input from an external device is specific data in which a plurality of images are grouped in a predetermined format;
An HDR image generation process for generating an HDR image by combining the plurality of images included in the specific data when the input data is the specific data;
An image generation control method characterized by the above.

Images