WO2018097114A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2018097114A1
WO2018097114A1 PCT/JP2017/041739 JP2017041739W WO2018097114A1 WO 2018097114 A1 WO2018097114 A1 WO 2018097114A1 JP 2017041739 W JP2017041739 W JP 2017041739W WO 2018097114 A1 WO2018097114 A1 WO 2018097114A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
output
sharpness
input
Prior art date
Application number
PCT/JP2017/041739
Other languages
English (en)
French (fr)
Inventor
将史 大矢
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017161799A external-priority patent/JP2018093472A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2018097114A1 publication Critical patent/WO2018097114A1/ja
Priority to US16/396,039 priority Critical patent/US10868938B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction

Definitions

  • the present invention relates to an image processing technique for reproducing one image by combining images output from a plurality of devices.
  • JP-A-2010-103863 discloses a technique for reproducing one image by superimposing images output from a plurality of devices.
  • JP-A-2010-103863 color reproduction in a dark region of an image reproduced by using an image projection apparatus superimposed on a printed matter formed by an image forming apparatus, compared to the case of using only the image projection apparatus.
  • the resolution of the image output by the image projecting apparatus is lower than the resolution of the image output by the image forming apparatus. End up. Due to the reduction in resolution, the information held at the resolution of the input image data cannot be expressed and the sharpness is lowered. In this case, if the image output from each device is superimposed, the sharpness of the image output by the image projector decreases, so that the sharpness of the image reproduced by superimposing the image output from each device is reduced. The degree is lower than the sharpness of the input image.
  • the present invention provides image processing for suppressing a decrease in the sharpness of a superimposed image with respect to an input image, which occurs when a single image is generated by superimposing images output from a plurality of devices based on the input image.
  • the purpose is to do.
  • an image processing apparatus outputs a first output image output from a first image output apparatus based on an input image, and an output from a second image output apparatus based on the input image.
  • An image processing device that generates image data to be output to the second image output device in order to generate one image by superimposing the second output image with a higher resolution than the first output image.
  • a first acquisition unit configured to acquire input image data representing the input image; and a second acquisition unit configured to acquire first output image data generated based on the input image data and output to the first image output device.
  • First generation means for generating second output image data to be output to the second image output device based on the acquisition means, the input image data, and the first output image data, and Second Sharpness of the image represented by the image data is characterized in that depending on the sharpness of the first output image data represents an image.
  • the present invention it is possible to suppress a decrease in the sharpness of a superimposed image with respect to an input image, which occurs when an image output from a plurality of devices is superimposed based on the input image to generate one image.
  • the block diagram which shows an example of a function structure of the image processing apparatus 1 Flow chart for processing executed by image processing apparatus 1 Flow chart for processing executed by image processing apparatus 1
  • generating projection image data A block diagram showing an example of a hardware configuration of the image processing apparatus 1 Flowchart for processing (S203) for calculating degree of sharpness reduction Flowchart for processing (S203) for calculating degree of sharpness reduction
  • the block diagram which shows an example of a function structure of the image processing apparatus 1 The block diagram which shows an example of a function structure of the image processing apparatus 1
  • the block diagram which shows an example of a function structure of the image processing apparatus 1 A diagram schematically showing resolution conversion processing based on variable magnification A diagram schematically showing resolution conversion processing based on variable magnification
  • the resolution in this embodiment is also expressed as a measure of the fineness of expression in a projected or formed image, and uses dpi (dot per inch) as a unit.
  • the sharpness in this embodiment is a measure of the clarity of a fine portion (high resolution portion) of an image.
  • the sharpness can be expressed by a response function MTF (modulation transfer function) represented by a rate of decrease in output contrast with respect to input contrast at each resolution.
  • FIG. 14A shows input image data (also referred to as first image data) representing an image to be reproduced.
  • FIG. 14B shows formed image data (also referred to as third image data) representing an image having the same size as the input image data (enlargement ratio 1.0), and
  • FIG. 14C shows twice the input image data ( The formation image data showing the image of the size of the enlargement ratio 2.0) is shown.
  • the formed image data is image data input by the image forming apparatus to form an image on a recording medium.
  • an input image data representing an image having a resolution of 300 dpi and a size of 8192 pixels in the horizontal direction and 4320 pixels in the vertical direction
  • an image forming apparatus capable of forming an image with a resolution of 1200 dpi based on the input image data.
  • An example of the formed image is shown.
  • the image forming apparatus forms an image by scanning a recording head that ejects ink on a recording medium a plurality of times. Since the distance between the recording medium and the recording head is constant regardless of the size of the image to be formed, the resolution of the image formed by the image forming apparatus is constant. For example, as shown in FIG.
  • the number of pixels of the image represented by the formed image data is set both vertically and horizontally with respect to the number of pixels of the image represented by the input image data. 4 times.
  • the resolution of an image output (formed) by the image forming apparatus is made constant.
  • FIG. 18A shows the input image data representing the image to be reproduced
  • FIG. 18B shows the size of the image represented by the input image data when projected with the number of pixels of the image projection apparatus (enlargement ratio 1.0).
  • 3 shows projection image data (also referred to as second image data) representing an image having an “actual size” size.
  • FIG. 18C shows projection image data representing an image when the size of the image to be projected is twice the “same size” size (enlargement ratio 2.0).
  • the projection image data is image data input by the image projection apparatus to project an image.
  • the input image data is the same as in FIG. 14, and the number of pixels of the image output from the image projection apparatus is 4096 pixels in the horizontal direction and 2160 pixels in the vertical direction.
  • an image projection apparatus Unlike an image forming apparatus, an image projection apparatus generates an image by driving a display element such as a liquid crystal panel for each pixel, and displays the image by projecting the generated image with a projection lens. For this reason, the number of pixels of an image to be output is determined by a display element such as a liquid crystal panel held in advance, and the number of pixels to be output cannot be increased or decreased as in the image forming apparatus. As a result, as shown in FIG. 18, the image was projected in the case of projecting the image at the same size based on the input image data representing the image having the resolution of 300 dpi and in the case of projecting the image at the size of 2 times. The number of pixels in the image is constant. Therefore, the resolution of the image decreases in inverse proportion to the increase in the size of the image to be projected.
  • the image forming apparatus can increase or decrease the number of pixels of the image to be output by the scanning method of the recording head, it is possible to form an image with a constant resolution regardless of the image size.
  • the number of pixels of the output image is determined by a display element such as a liquid crystal panel, so that the resolution of the image decreases in inverse proportion to the enlargement of the image size caused by extending and projecting the input image. Resulting in.
  • the output image from the image forming apparatus has a constant sharpness regardless of the size of the reproduction target image, whereas the output image from the image projection apparatus increases in pixel size as the size of the reproduction target image increases. The sharpness when viewed from the position is lowered.
  • one image is reproduced by superimposing the image projected by the image projection apparatus and the image formed by the image forming apparatus. At that time, the reduction in the sharpness of the image projected by the image projection apparatus as described above is compensated by enhancing the sharpness of the image formed by the image forming apparatus. Details will be described below.
  • FIG. 4 is a hardware configuration example of the image processing apparatus 1 in the present embodiment.
  • the image processing apparatus 1 is a computer, for example, and includes a CPU 1401, a ROM 1402, and a RAM 1403.
  • the CPU 1401 executes an OS (Operating System) and various programs stored in the ROM 1402, HDD (Hard Disk Drive) 1412, and the like using the RAM 1403 as a work memory.
  • the CPU 1401 controls each component via the system bus 1408. Note that the processing according to the flowchart to be described later is executed by the CPU 1401 after the program code stored in the ROM 1402, the HDD 1412, or the like is expanded in the RAM 1403.
  • a display 5 is connected to a VC (video card) 1404.
  • a general-purpose I / F (interface) 1405 is connected to an input device 1410 such as a mouse and a keyboard, the image projection apparatus 2, and the image forming apparatus 3 via a serial bus 1409.
  • a SATA (Serial ATA) I / F 1406 is connected to a general-purpose drive 1413 for reading and writing the HDD 1412 and various recording media via a serial bus 1411.
  • a NIC (network interface card) 1407 inputs / outputs information to / from an external device.
  • the CPU 1401 uses various recording media mounted on the HDD 1412 or the general-purpose drive 1413 as a storage location for various data.
  • the CPU 1401 displays a UI (user interface) provided by the program on the display 5 and receives an input such as a user instruction accepted via the input device 1410.
  • FIG. 1 is a block diagram illustrating a functional configuration of the image processing apparatus 1.
  • 1 is an image processing apparatus
  • 2 is an image projection apparatus (projector)
  • 3 is an image forming apparatus (printer)
  • 4 is illumination that determines ambient light when observing a superimposed image.
  • the superimposed image indicates an image in which the projection image 502 projected by the image projection device 2 is superimposed on the formation image 501 formed on the recording medium by the image forming device 3.
  • the image processing apparatus 1 can be implemented by a printer driver installed in a general personal computer, for example. In that case, each part of the image processing apparatus 1 described below is realized by a computer executing a predetermined program.
  • the image processing device 1 may include the image projection device 2 and the image forming device 3.
  • the image processing apparatus 1 and the image projection apparatus 2, and the image processing apparatus 1 and the image forming apparatus 3 are connected by an interface or a circuit.
  • the image processing apparatus 1 includes a first input terminal 101, a second input terminal 102, an acquisition unit 103, a first generation unit 104, a first color conversion LUT 105, a calculation unit 106, and a second generation unit 107. , A second color conversion LUT 108, a first output terminal 109, and a second output terminal.
  • the acquisition unit 103 acquires input image data representing an image to be reproduced via the first input terminal 101. Further, the projection state of the image projection device 2 is acquired via the second input terminal 102. The projection state will be described later.
  • the first generation unit 104 refers to the first color conversion LUT 105 based on the input image data described above, and generates image data (projection image data) to be input to the image projection device 2.
  • the calculation unit 106 acquires the input image data and the projection image data, and converts the resolution of the image represented by the input image data and the resolution of the image represented by the projection image data according to the projection state. Further, the degree of reduction in the sharpness of the image represented by the projection image data with respect to the image represented by the input image data is calculated based on the input image data representing the image whose resolution has been converted and the projection image data.
  • the second generation unit 107 enhances the sharpness of the image represented by the input image data based on the input image data and the degree of sharpness reduction.
  • the second color conversion LUT 108 is referred to, and image data (formed image data) to be input to the image forming apparatus 3 is generated.
  • the projection image data generated by the first generation unit 104 is output to the image projection apparatus 2 via the first output terminal 109, and the formed image data generated by the second generation unit 107 is output by the second output terminal 110. And output to the image forming apparatus 3.
  • the image projection apparatus 2 has a projection optical unit (not shown).
  • the projection optical unit includes a lamp that is a light source, a liquid crystal driving device that drives a liquid crystal panel based on input projection image data, and a projection lens.
  • the light from the lamp is decomposed into R, G, and B light by the optical system and guided to the liquid crystal panel.
  • the light guided to each liquid crystal panel is modulated in luminance by each liquid crystal panel, and an image is projected onto a printed matter formed by the image forming apparatus 3 by a projection lens.
  • the image forming apparatus 3 records ink dots on the recording medium by moving a recording head (not shown) vertically and horizontally relative to the recording medium based on the formed image data generated by the image processing apparatus 1. , Form an image.
  • the image forming apparatus 3 uses an ink jet printer, but other types of printers such as an electrophotographic method may be used.
  • the acquisition unit 103 acquires input image data via the first input terminal 101.
  • the input image data is 3-channel color image data in which 8-bit RGB values are recorded in each pixel.
  • the image represented by the input image data has a higher resolution than the image projected by the image projection device 2. That is, the image projected by the image projection device 2 has a lower resolution than the image represented by the input image data.
  • the input image data acquired by the input image data acquisition unit 103 is sent to the first generation unit 104, the calculation unit 106, and the second generation unit 107. Further, the projection state is acquired via the second input terminal.
  • the projection state is an image determined from the distance (projection distance) between the image projection apparatus 2 and the formed image 501 that is the projection target when the image projection apparatus 2 projects the projection image 502 and the relationship between the projection lens and the liquid crystal panel. It is a horn.
  • the projection distance D is acquired as 4-bit data converted into meters (m) and the angle of view ⁇ is converted into radians.
  • the projection state is acquired by receiving an input from the user via the UI screen illustrated in FIG. 19 or directly acquired from the image projection apparatus 2 by connecting the image projection apparatus 2 and the image processing apparatus 1.
  • the first generation unit 105 converts the resolution of the image represented by the input image data acquired by the acquisition unit 103 based on the number of pixels of the image output from the image projection device 2.
  • a known bicubic method is used for resolution conversion, but other resolution conversion methods such as a bilinear method may be used.
  • projection image data is generated by referring to a second color conversion LUT 105 held in advance.
  • the first color conversion LUT 105 referred to is shown in FIG. As shown in FIG. 3, the correspondence between the signal value (RGB value) recorded for each pixel of the input image data and the signal value (RGB value) recorded for each pixel of the projection image data is maintained.
  • the first color conversion LUT 105 described above is created in advance by projecting a chart with a known input signal value recorded in the projection image data and measuring the color of the projected image.
  • the generated projection image data is three-channel color image data in which 8-bit RGB values are recorded in each pixel, as in the case of the input image data.
  • the projection image data is generated, it is sent to the image projection device 2 via the first output terminal 109. It is also sent to the calculation unit 106.
  • the calculation unit 106 acquires the input image data and the projection state acquired in S201, and the projection image data generated in S202. Further, based on the acquired projection state, an enlargement ratio E of the size of the image projected by the image projection apparatus 2 with respect to the size of the image represented by the input image data is calculated.
  • the enlargement ratio is a magnification for enlarging the image.
  • the resolution of the image represented by the projection image data and the resolution of the image represented by the input image data are converted. After converting the resolution, the degree of reduction in the sharpness of the image represented by the projection image data with respect to the image represented by the input image data is calculated. The calculated degree of sharpness reduction is sent to the second generator.
  • the detailed processing of S203 will be described using the flowchart shown in FIG. 5A.
  • step S203 input image data, projection image data, and a projection state are acquired.
  • step S2032 based on the acquired projection state (D and ⁇ ) and the projection state (projection distance D 0 and angle of view ⁇ 0 ) in which the size of the image represented by the input image data and the size of the projection image 502 are equal.
  • the enlargement ratio E is calculated using the following equation (1).
  • the projection state (D 0 and ⁇ 0 ) having the same magnification as described above is determined in advance by the following method and held in the calculation unit 106. Projecting projection image data generated based on input image data whose image size is known in advance, and searching for a projection state in which the image size of the projected image 502 projected matches the size of the image represented by the input image data Determined by.
  • a calculation formula may be constructed based on the characteristics of the projection lens and the liquid crystal panel included in the image projection apparatus 2, and the calculation formula may be used. Note that, in S2031, to acquire only the projection distance D as the projection state, at S2032, it may calculate the enlargement ratio E by dividing D 0 from the projection distance D.
  • the resolution of the image represented by the input image data and the resolution of the image represented by the projection image data are converted based on the enlargement ratio E calculated in S2032 and the resolution Rf of the image formed by the image forming apparatus 3.
  • the resolution conversion of the image represented by the projection image data is performed by using the following formula (2) based on the enlargement ratio E, the resolution R f , and the resolution R p of the image projected by the image projection device 2.
  • the scaling factor Fp is calculated.
  • the calculated scaling factor F p based, resolution-converting each pixel of the projection image data in F p pieces.
  • a known nearest neighbor method is used for this resolution conversion.
  • the resolution conversion of the image represented by the input image data is performed by first using the following formula (3) based on the enlargement ratio E, the resolution R f , and the resolution R in of the image represented by the input image data. to calculate the scaling factor F in the.
  • a known bicubic method is used for the resolution conversion.
  • the resolutions R f and R p described above are acquired by user input or directly by connecting the image projection apparatus 2 or the image forming apparatus 3 and the image processing apparatus 1. Both the resolutions R f and R p are preferably the highest resolution that each device can output.
  • step S2034 the pixel value of the input image data representing the image whose resolution is converted in step S2033 and the pixel value of the projection image data are subtracted, and the difference obtained by the subtraction process is set as the sharpness reduction degree.
  • the degree of reduction in sharpness is calculated as 3-channel color image data in which 8-bit RGB values are recorded, as in the case of input image data and projection image data.
  • the subtraction process is performed independently on each of the R, G, and B channels for each pixel of each image.
  • the pixel value of the R channel of the input image data is I_R x, y (x is the pixel position in the horizontal direction and y is the pixel position in the vertical direction), and the pixel value of the R plane of the projection image data is P_R x, y . Further, the pixel value of the R plane having the degree of reduction in sharpness is set as Q_R x, y, and is calculated from the following equation (4).
  • FIG. 12 schematically shows an example in which the degree of reduction in sharpness is calculated from input image data and projection image data. Since the G and B planes are the same process, description thereof is omitted. The above calculation is calculated for each pixel in the R channel, and then processed in the order of G and B. Since I_R x, y and P_R x, y are 8-bit data representing 0 to 255 , Q_R x, y output in the above calculation is 9-bit data representing -255 to +255.
  • the example which processes sequentially is shown above, it is not limited to said example. For example, the calculation for each channel may be processed in parallel.
  • the calculated degree of reduction in sharpness (3-channel color image data in which 9-bit RGB values are recorded in each pixel) is sent to the second generation unit 107.
  • the second generation unit 107 enhances the sharpness of the image represented by the input image data whose resolution has been converted in S2033 based on the degree of reduction in sharpness calculated in S203.
  • the sharpness enhancement is realized by adding the pixel value of the input image data subjected to resolution conversion and the pixel value of the image data representing the degree of reduction in sharpness.
  • the pixel value of the R channel of the input image data is I_R x, y (x is the pixel position in the horizontal direction, y is the pixel position in the vertical direction), and the pixel value of the R channel of the degree of reduction in sharpness is Q_R x, y . . Further, the pixel value of the R channel of the input image data after the addition processing is set as I_R ′ x, y and is calculated from the following equation (5).
  • FIG. 13 schematically shows an example in which input image data representing an image with enhanced sharpness is calculated based on the input image data and image data representing the degree of sharpness reduction. If I_R x, y is less than 0 as a result of the calculation, the input image data representing an image in which sharpness is emphasized is represented by 0 to 255 by clipping to 0 if it is 0, 256 or more. Bit data. Since the G and B channels are the same process, the description thereof is omitted. The above calculation is calculated for each pixel in the R channel and then sequentially processed with G and B, but may be parallel processing.
  • the second image conversion LUT 108 held in advance is referred to generate the formed image data.
  • the second color conversion LUT 108 referred to is shown in FIG. As shown in FIG. 7, the correspondence between the signal value (RGB value) recorded for each pixel of the input image data and the signal value (RGB value) recorded for each pixel of the formed image data is maintained.
  • the second color conversion LUT 108 described above is created in advance by forming an image on a recording medium based on a chart with known input signal values recorded in the formed image data, and measuring the color of the formed image. deep.
  • the formed image data to be generated is 3-channel color image data in which RGB values of 8 bits are recorded in each pixel, as in the case of input image data.
  • the generated formed image data is sent to the image forming apparatus 3 via the second output terminal 110. Thus, a series of processes for generating the projection image data and the formed image data is completed.
  • the input image data and the projection image data are subjected to resolution conversion processing according to the projection state, and the image projection apparatus 2 projects the image to be reproduced based on the input image data and the projection image data.
  • An example of calculating the degree of reduction in sharpness of an image to be displayed has been shown.
  • the method for calculating the degree of reduction in sharpness is not limited to the above example.
  • the degree of reduction in the sharpness of the projected image 502 with respect to the image to be reproduced by arithmetic processing based on the resolution R f of the image formed by the image forming apparatus 3 and the resolution R p of the image projected by the image projecting apparatus 2 May be calculated.
  • the detailed processing of S203 in the calculation processing of the sharpness reduction degree will be described with reference to the flowchart shown in FIG.
  • S2031 and S2032 are the same as those of the first embodiment described above, description thereof is omitted.
  • S2035 only the input image data is converted based on the enlargement ratio E calculated in S2032 and the resolution Rf of the image formed by the image forming apparatus 3. Since the resolution conversion for the input image data is the same as that in the first embodiment, description thereof is omitted.
  • FIG. 16 shows an example of a high-pass filter applied when the scaling factor F p is 3, 5, or 9.
  • a high-pass filter having a matrix of F p ⁇ F p is generated, and the input image data subjected to resolution conversion in S2035 is subjected to filter processing, and the processing result is set as a degree of reduction in sharpness.
  • the sharpness of the image that can be reproduced by the image forming apparatus 3 is extracted from the sharpness of the image to be reproduced. Then, by performing a filtering process using a high-pass filter based on the scaling factor F p to sharpness extracted above, and calculates the sharpness is lost when expressed by the image projection apparatus 2. By executing a series of processing, the sharpness that can be reproduced by the image forming apparatus 3 and cannot be reproduced by the image projection apparatus 2 among the sharpnesses of the image to be reproduced is calculated as the above-described reduction degree of the sharpness. be able to.
  • a high-pass filter is generated and filter processing is performed using the generated high-pass filter.
  • a plurality of types of filters may be held in advance.
  • a filter for filter processing is acquired from a plurality of types of filters stored in advance according to the above-described scaling factor and the frequency band in which the sharpness that can be calculated based on the scaling factor is reduced.
  • the configuration example using one image projection device 2 is shown, but the configuration using two or more image projection devices 2 may be used.
  • n image projection apparatuses 2a to 2c and one image forming apparatus 3 are used, and n image projection apparatuses 2 project n projection images at the same position.
  • a superimposed image expression system may be constructed.
  • each image projection apparatuses 2a to 2d and one image forming apparatus 3 are used to divide the input image data into 2 ⁇ 2, and the divided input image data Projection image data generated based on the above is projected from the image projection apparatuses 2a to 2d.
  • a superimposed image expression system multi-projection
  • Each image projection device 2a to 2d reproduces each area of the image represented by the input image data, thereby superimposing a projection image having a higher resolution or a larger size than the projection image projected by one image projection device 2. It becomes possible to do.
  • FIG. 17 shows a functional configuration of the image processing apparatus 1 for calculating the degree of reduction in sharpness in the projected image 502.
  • the image processing apparatus 1 includes an imaging device 6 that captures a projection image 502 and a third input terminal 112 that acquires data from the imaging device 6.
  • Image data obtained by imaging the projection image 502 by the imaging device 6 may be used as projection image data used for calculating the degree of reduction in sharpness. As described above, by using the projection image data obtained by capturing the actual projection image 502, it is possible to cope with a change in the relationship between the projection image data and the projection image 502 due to the deterioration of the image projection apparatus 2 over time. It becomes possible.
  • the projection state is not limited to the above example.
  • a known trapezoidal distortion correction keystone correction
  • an example of generating projection image data in consideration of ⁇ being a projection state will be shown.
  • the first generation unit 104 acquires the angle ⁇ formed as the projection state. Furthermore, a known affine transformation parameter (trapezoidal distortion correction coefficient) for transforming input image data into a trapezoidal image is held for each ⁇ , and the input image data is converted into a trapezoidal image using the affine transformation parameters corresponding to the obtained ⁇ . Is converted into image data.
  • the affine transformation parameter includes, for example, a horizontal movement amount, a vertical movement amount, a horizontal scaling factor, and a vertical scaling factor for each pixel position of the input image data in accordance with ⁇ .
  • a known bicubic method is used for resolution conversion when converting to trapezoidal image data.
  • the image data representing the trapezoidal image is inversely transformed using the affine transformation parameters to return to the same rectangle as the input image data.
  • a known nearest neighbor method is used.
  • the nearest neighbor method that replicates neighboring pixels at the time of inverse conversion, it becomes possible to generate projection image data that assumes sharpness lost when converting to image data representing a trapezoidal image.
  • the first color conversion LUT 105 is referred to generate projection image data. Since the processing after generating the projection image data in consideration of ⁇ being the projection state is the same, the description is omitted.
  • the present invention is not limited to the above example.
  • the affine transformation parameters corresponding to the respective corrections may be held, and the conversion process similar to the above-described trapezoidal distortion correction may be performed.
  • the brightness of the image may be reduced due to a decrease in the amount of light generated in the peripheral portion as compared with the central portion of the projected image 502.
  • the input image data may be corrected in advance. In the above case, it is necessary to calculate the degree of reduction in sharpness based on input image data that has been subjected to correction processing.
  • An example in which projection image data is generated in consideration of ⁇ and ⁇ which are projection states will be shown below.
  • the first generation unit 104 acquires a light amount reduction amount ⁇ and a coefficient ⁇ for adjusting the light amount of the entire image for each pixel position of the projection image 502 as a projection state.
  • the pixel value I_R ′ x, y of the corrected input image data is calculated.
  • I_R ′ x, y (I_R x, y + ⁇ x, y ) ⁇ ⁇ x, y (6)
  • the light amount reduction amount ⁇ for each pixel position of the projected image 502 and the coefficient ⁇ for adjusting the light amount of the entire image are obtained by projecting an image based on input image data whose signal value is known, and measuring the projected image. To determine in advance. Based on the corrected input image data, the first color conversion LUT 105 is referred to generate projection image data. Since the processing after generating the projection image data in consideration of the projection states ⁇ and ⁇ is the same, the description is omitted.
  • the sharpness of the input image data is enhanced by adding the pixel value of the input image data and the pixel value of the image data representing the degree of reduction of the sharpness.
  • the enhancement process is not limited to the above example.
  • a correction value corresponding to the value of the degree of sharpness reduction may be separately stored, and this correction value may be added to the pixel value of the input image data.
  • a gamma ( ⁇ ) value corresponding to the degree of reduction in sharpness may be stored in advance, and the sharpness of input image data may be enhanced by a known ⁇ correction process using the stored ⁇ value. .
  • a plurality of known edge enhancement filters with different enhancement levels for emphasizing fine portions of an image may be held, and the edge enhancement filters may be used properly according to the degree of sharpness reduction.
  • the projection image data is generated based on the input image data, and then the formation image data is generated.
  • the processing of this embodiment is not limited to the above example.
  • projection image data is generated based on input image data in advance and stored in the HDD 1412 or the like. Input image data and projection image data generated in advance are acquired, and formation image data is generated based on the input image data and the projection image data.
  • Example 2 In the first embodiment, the example in which the formed image data is generated by enhancing the sharpness of the image represented by the input image data based on the degree of reduction in the sharpness calculated from the projection image data and the input image data has been described.
  • the luminance range that can be expressed by the formed image 501 changes according to the ambient light determined by the illumination 4.
  • the formed image 501 is an image representing an image recorded by reflecting the irradiated light. Therefore, when the illumination light is small (dark), the luminance range that can be expressed by the formed image 501 is narrow, and conversely, when the illumination light is large (bright), the luminance range that can be expressed by the formed image 501 tends to be wide. is there.
  • the enhancement degree of the process for enhancing the sharpness is controlled in consideration of the luminance range of the formed image 501 that changes according to the ambient light. As a result, it is possible to reduce fluctuations in the effect of suppressing the reduction in sharpness due to ambient light.
  • An example of realizing the above processing will be described mainly with respect to differences from the first embodiment.
  • the second generation unit 107 acquires ambient light information via the fourth output terminal 111.
  • the ambient light information is 4-bit data representing the intensity of the ambient light irradiated on the superimposed image.
  • the ambient light information is directly acquired by input by the user or by connecting the illumination 4 and the image processing apparatus 1.
  • the acquisition of ambient light information is not limited to the above example.
  • the light intensity information of a presumed superimposed image observation scene (outdoor clear sky, outdoor cloudy sky, indoor spotlight lighting, indoor office lighting, etc.) is held, Light intensity information may be acquired. Since the configuration other than the above is the same as that of the first embodiment, the description thereof is omitted.
  • S204 different from the first embodiment is described.
  • the degree of reduction in sharpness calculated in S203 is corrected based on the ambient light information acquired from the fourth input terminal 111, and the sharpness of the image represented by the input image data is determined by the corrected degree of reduction in sharpness. Emphasize.
  • the formation image data is generated by referring to the second color conversion LUT 108 held in advance as in the first embodiment.
  • the enhancement process is realized by adding a sharpness reduction component corrected with a correction coefficient corresponding to the ambient light information to the pixel value of the input image data subjected to resolution conversion.
  • the formed image 501 is an image representing an image recorded by reflecting the irradiated light. Therefore, when the ambient light is small, the luminance range that can be expressed by the formed image 501 tends to be narrow, and conversely, when the ambient light is large, the luminance range that can be expressed by the formed image 501 tends to be wide. Therefore, when the ambient light is small compared to the case where there is a lot of ambient light, the projection image 502 cannot be fully expressed, and a correction that emphasizes the sharpness component expressed only by the formed image 501 is performed, thereby changing the ambient light. It is possible to reduce fluctuations in the effect of suppressing the reduction in sharpness. Detailed processing contents will be described below.
  • the correction coefficient Z is determined from the ambient light information with reference to the LUT 113 that holds the correspondence relationship between the ambient light information and the correction coefficient held in advance.
  • An example of the LUT 113 is shown in FIG.
  • the LUT 113 measures the luminance range that can be expressed by the formed image 501 for each observation environment in which ambient light is changed in advance, and determines the luminance range according to the ratio of the luminance range. Similar to S2033, the addition processing is performed independently on each of the R, G, and B channels for each pixel of each image.
  • the pixel value of the R plane of the input image data is I_R x, y (x is the pixel position in the horizontal direction, y is the pixel position in the vertical direction), the pixel value of the R plane of the degree of sharpness reduction is Q_R x, y , and emphasis
  • the pixel value of the R plane of the input image data after processing be I_R ′ x, y .
  • the correction coefficient Z is used to calculate from the following equation (7).
  • I_R ′ x, y I_R x, y + (Q_R x, y ) ⁇ Z (7)
  • ⁇ Modification> an example in which the conversion LUT 113 that holds the correspondence between the ambient light information and the correction coefficient is shown, but the present invention is not limited to the above example.
  • a calculation formula for predicting the correspondence between the ambient light information and the correction coefficient may be constructed, and the correction coefficient may be calculated according to the ambient light information input using the above calculation formula.
  • the present invention is not limited to the above example.
  • two-dimensional ambient light information similar to the input image data is acquired, and enhancement processing according to the ambient light information is performed for each region (pixel) of the input image data.
  • the degree of emphasis may be controlled.
  • Example 3 In the first embodiment, the example in which the formed image data is generated by enhancing the sharpness of the image represented by the input image data based on the degree of reduction in the sharpness calculated from the projection image data and the input image data has been described.
  • the resolution R p of the projected image the resolution varies depending on the magnification of the image. Therefore, for example, when displaying by reducing the input image (if the enlargement ratio E is below 1) may resolution R p of the projected image is higher than the resolution R f of the formed image.
  • the degree of reduction in sharpness occurring in the formed image is predicted based on the input image and the enlargement ratio E, and the sharpness of the projection image is emphasized based on the predicted degree of reduction in sharpness.
  • An example of realizing the above processing will be described mainly with respect to differences from the first embodiment.
  • the enlargement ratio E is less than 1
  • the enlargement ratio E is referred to as a reduction ratio S.
  • the reduction ratio is a magnification when the image is reduced.
  • FIG. 1 A functional configuration of the image processing apparatus 1 is shown in FIG.
  • the image processing apparatus 1 is connected to the image projection apparatus 2 via the second output terminal 110, and the image processing apparatus 1 is connected to the image forming apparatus via the first output terminal 109. 3 is connected.
  • the first generation unit 104 refers to the first color conversion LUT 105 based on the input image data, and generates image data (formed image data) to be input to the image forming apparatus 3.
  • the calculation unit 106 acquires the input image data and the formed image data, and converts the resolution of the image represented by the input image data and the resolution of the image represented by the formed image data according to the projection state.
  • the degree of reduction in the sharpness of the image represented by the formed image data relative to the image represented by the input image data is calculated based on the input image data representing the image whose resolution has been converted and the formed image data.
  • the second generation unit 107 enhances the sharpness of the image represented by the input image data based on the input image data and the degree of sharpness reduction. Further, based on input image data representing an image with enhanced sharpness, the second color conversion LUT 108 is referred to, and image data (projected image data) to be input to the image projection device 3 is generated.
  • the formed image data generated by the first generation unit 104 is output to the image forming apparatus 3 via the first output terminal 109, and the projection image data generated by the second generation unit 107 is output by the second output terminal 110. Is output to the image projection apparatus 2.
  • the first generation unit 105 converts the resolution of the image represented by the input image data acquired by the acquisition unit 103 based on the number of pixels of the image output from the image forming apparatus 3.
  • a known bicubic method is used for resolution conversion, but other resolution conversion methods such as a bilinear method may be used.
  • the first color conversion LUT 105 that is held in advance is referred to, and formed image data is generated.
  • the first color conversion LUT 105 referred to is the same as the second color conversion LUT 108 in the first embodiment, and a description thereof will be omitted.
  • the calculation unit 106 acquires the input image data and the projection state acquired in S201, and the formation image data generated in S202'. Furthermore, based on the acquired projection state, a reduction ratio S of the size of the image projected by the image projection apparatus 2 with respect to the size of the image represented by the input image data is calculated. Based on the calculated reduction ratio S, the resolution of the image represented by the formed image data and the resolution of the image represented by the input image data are converted. After converting the resolution, the degree of reduction in the sharpness of the image represented by the projection image data with respect to the image represented by the input image data is calculated. The calculated degree of sharpness reduction is sent to the second generator 107.
  • the second generation unit 107 enhances the sharpness of the image represented by the input image data whose resolution is converted in S ⁇ b> 2033 ′, based on the degree of sharpness reduction calculated in S ⁇ b> 203 ′.
  • Sharpness enhancement is performed by addition processing as in the first embodiment.
  • the second color conversion LUT 108 held in advance is referred to generate projection image data. Since the second color conversion LUT 108 referred to is the same as the first color conversion LUT 105 in the first embodiment, the description thereof is omitted.
  • the calculation unit 106 acquires input image data, projection image data, and a projection state, as in the first embodiment.
  • the calculation unit 106 obtains the obtained projection state (D and ⁇ ) and the projection state in which the size of the image represented by the input image data and the size of the projection image are equal (projection distance D 0 and angle of view ⁇ ). 0 )), the reduction ratio S is calculated using the following equation (8).
  • S D / D 0 + ⁇ / ⁇ 0 (8)
  • the resolution of each pixel of the formed image data is converted to F f .
  • a known nearest neighbor method is used for this resolution conversion.
  • other methods such as the bicubic method may be used instead of the nearest neighbor method.
  • a known bicubic method is used for the resolution conversion.
  • the resolutions R f and R p described above are acquired by user input or directly by connecting the image projection apparatus 2 or the image forming apparatus 3 and the image processing apparatus 1. Both the resolutions R f and R p are preferably the highest resolution that each device can output.
  • the calculation unit 106 subtracts the pixel value of the input image data representing the image whose resolution has been converted in S2033 ′ and the pixel value of the formed image data, and reduces the difference obtained by the subtraction process to reduce the sharpness.
  • the degree The method for calculating the degree of reduction in sharpness and generating an image in which the sharpness of the input image is emphasized is the same as that in the first embodiment, and a description thereof will be omitted.
  • ⁇ Modification> In the present embodiment, an example in which a reduction in sharpness generated in a superimposed image of a projection image by the image projection device 2 and a formation image by the image forming device 3 has been described.
  • the combination of apparatuses for generating a superimposed image is not limited to the above example.
  • the sharpness reduction generated in the output image of the device having a low expressible resolution is higher. Any combination may be used as long as it can be compensated by the output image of the apparatus. For example, as shown in FIG.
  • a plurality of image projecting apparatuses having different expressible resolutions are used, and a first image projecting apparatus having a lower resolution is obtained by a projection image of the second image projecting apparatus 2b having a higher expressible resolution. You may supplement the fall of the sharpness of the projection image by 2a.
  • an example in which an image projecting apparatus that projects an image and an image forming apparatus that forms an image on a recording medium is used as an apparatus that outputs an image.
  • the above-described processing can be applied to other image output apparatuses.
  • the device combination may be a combination of two or more image output devices capable of generating a superimposed image.
  • an image display device such as a liquid crystal display or an organic EL display may be used.
  • an image is formed on a recording medium that transmits light, such as an OHP sheet, by the image forming device, and the OHP sheet on which the image is formed is placed on the image display device. Put it on.
  • the above-described processing can be applied to image superposition when one is a formed image formed by the image forming apparatus and the other is a display image displayed by the image display apparatus.
  • the sharpness reduction that occurs in the output image of the image output device whose resolution that can be expressed is reduced according to the image size of the superimposed image can be reduced by the output image of the image output device that can express higher resolution.
  • An example to supplement was shown.
  • the reduction of the sharpness of the superimposed image is not limited to the reduction of the sharpness according to the size of the superimposed image.
  • the reduction in image sharpness also occurs according to the output characteristics of the image output apparatus. For example, an image formed by an image forming apparatus is caused by a deviation in the landing position of a color material (ink), bleeding (mechanical dot gain) when the color material is fixed on a recording medium, optical blur (optical dot gain), and the like.
  • the sharpness is lower than that of the input image.
  • an example will be described in which, in addition to a reduction in sharpness corresponding to the size of the superimposed image, a reduction in sharpness corresponding to the output characteristics of the image output apparatus is also suppressed.
  • the output characteristics (characteristics of the sharpness of the formed image) of the image forming apparatus 3 are measured in advance, and a filter (hereinafter referred to as a compensation filter) that is opposite to the measured characteristics in frequency space is created. Keep it.
  • a filter created in advance is convolved with the input image data.
  • FIG. 22 shows a functional configuration of the image processing apparatus 1 according to the fourth embodiment.
  • a compensation filter 113 having a reverse characteristic with respect to the output characteristic of the image forming apparatus 3 is provided in advance. Since the processing flow is the same as that of the third embodiment except for S202 ′, the description is omitted, and S202 ′ different from that of the third embodiment will be described.
  • the first generation unit 105 converts the resolution of the image represented by the input image data acquired by the acquisition unit 103 based on the number of pixels of the image output from the image forming apparatus 3. Furthermore, a convolution process is performed on the input image data whose resolution has been converted, according to the output characteristics of the image forming apparatus 3 provided in advance. A method for creating a compensation filter created in advance will be described below.
  • the compensation filter is created by printing a chart including a plurality of sine wave pattern images and uniform pattern images having different frequencies as shown in FIG. 23 on a recording medium and measuring the printed chart. Details of the method for creating the compensation filter will be described below.
  • the reflectance distribution of the output chart is acquired using a known image acquisition device (scanner, camera, microscope, etc.).
  • a frequency response value fi (u) that is an output characteristic of the image forming apparatus 3 is calculated by the following equation (11).
  • u is the frequency of the sine wave
  • Max (u) and Min (u) are the maximum reflectance and the minimum reflectance of the image that change according to the frequency u, respectively.
  • White and Black are the reflectances of the uniform pattern, respectively.
  • a known inverse Fourier transform is performed on the above Rx, and a filter calculated by the inverse Fourier transform is used as a compensation filter. Note that when the above compensation filter is used to compensate up to a high-frequency component, noise and brightness fluctuations occur. Therefore, it is desirable that the compensation intensity (enhancement degree) is lower than less than 4 Cycle / mm when the sensitivity is 4 Cycle / mm or more, which has a low sensitivity in the known visual characteristics.
  • a sharpness reduction due to the output characteristics of the image formed by the image forming apparatus 3 (color material landing position deviation, bleeding, optical blur, etc.) is predicted in advance, and the input image is enhanced.
  • An example is shown.
  • the apparatus in which the sharpness reduction according to the output characteristics occurs is not limited to the image forming apparatus 3.
  • the sharpness is lowered by the optical blurring of the projection lens.
  • an image display device such as a display, an optical blur is generated by the liquid crystal panel, and the sharpness is lowered.
  • the processing of the present embodiment can also be applied to sharpness reduction according to the output characteristics of these image output devices.
  • an example in which compensation according to output characteristics is applied to any one of a plurality of devices is shown. However, compensation processing according to the output characteristics of each device used for generating a superimposed image is performed. A configuration to perform is desirable.
  • an example is shown in which one filter having characteristics opposite to the output characteristics of the image formed by the image forming apparatus 3 is held in advance and the sharpness of the input image is enhanced.
  • the output characteristics described above vary depending on image printing conditions (recording medium, ink type, number of passes, carriage speed, scanning direction, halftone processing). Therefore, it is desirable to hold a plurality of inverse characteristic filters corresponding to the above printing conditions and perform the switching process according to the printing conditions.
  • one inverse characteristic filter and a filter correction coefficient for each printing condition are provided, and a plurality of inverse characteristic filters are generated by switching the filter correction coefficient according to the printing conditions. May be.
  • the sharpness enhancement process is performed on the input image data using the inverse characteristic filter.
  • the image processing procedure including the inverse characteristic filter is not limited to the above example.
  • an inverse characteristic filtering process based on the output characteristics of each image output device may be performed.
  • Max (u), Min (u), White, and Black are described as reflectance, but luminance, density, and RGB values of the device may be used.
  • the chart for acquiring the output characteristics of the output image is not limited to the example of FIG.
  • a rectangular wave pattern may be used instead of the sine wave pattern as long as the responsiveness for each frequency can be calculated.
  • the CTF value calculated by applying Expression (11) to the rectangular wave pattern is used as the frequency characteristic fi (u).
  • the CTF value may be converted into the MTF value using a known Coltman correction equation without using the frequency characteristic.
  • an inverse characteristic filter is generated and held in advance.
  • an input unit is provided for the user to input the reflectance distribution of the chart, and the inverse characteristic is determined according to the input reflectance distribution.
  • a filter may be generated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

第１画像出力装置から出力された第１出力画像と、第２画像出力装置から出力された第２出力画像と、を重畳することによって１つの画像を生成するために、画像データを生成する画像処理装置であって、入力画像データを取得する第１取得手段と、前記第１画像出力装置に出力する第１出力画像データを取得する第２取得手段と、前記入力画像データと、前記第１出力画像データと、に基づいて、前記第２画像出力装置に出力する第２出力画像データを生成する生成手段と、を有し、前記第２出力画像データが表す画像の鮮鋭度は、前記第１出力画像データが表す画像の鮮鋭度に応じていることを特徴とする画像処理装置。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、複数のデバイスそれぞれから出力された画像を組み合わせることによって１つの画像を再現するための画像処理技術に関する。
　近年、デジタルカメラ等による撮像やＣＧ（コンピュータグラフィックス）レンダリングにおいて、より高精細で広いダイナミックレンジを持つ画像を扱う機会が増えてきている。同様に、プリンタ等の出力デバイスによる上述したような画像の再現についても需要が高まっている。この需要に対し、実物（被写体）やＣＧオブジェクトの色や階調、質感等を、迫力のあるサイズで再現可能であるプロジェクタや大判プリンタ等の利用が期待されている。複数のデバイスから出力された画像を重畳することによって１つの画像を再現する技術として、ＪＰ公報特開２０１０－１０３８６３号が開示する技術がある。ＪＰ公報特開２０１０－１０３８６３号では、画像形成装置によって形成されたプリント物に画像投影装置が投影する画像を重ねることによって、画像投影装置のみを用いる場合よりも再現する画像の暗部領域における色再現範囲を拡大する技術が開示されている。
特開２０１０－１０３８６３号公報
　上述したように複数のデバイスから出力された画像を重畳する際に、解像度の異なる画像を重畳する場合がある。この場合、各デバイスから出力された画像を重畳して再現される画像の鮮鋭度が、入力画像の鮮鋭度よりも低下してしまうといった課題がある。画像投影装置によって出力された画像と画像形成装置によって出力された画像とを重畳する場合を例にこの課題を説明する。画像投影装置によって投影された画像は画素数が一定であるために、画像のサイズの拡大に反比例して出力できる画像の解像度が低下する。そのため、画像形成装置と画像投影装置とに同じ画像データを入力し引き延ばして出力する場合、画像形成装置によって出力された画像の解像度よりも画像投影装置によって出力された画像の解像度の方が低くなってしまう。この解像度の低下により、入力された画像データの解像度で保持されていた情報を表現しきれずに、鮮鋭度が低下してしまう。この場合に各デバイスから出力された画像を重畳すると、画像投影装置によって出力された画像の鮮鋭度が低下しているために、各デバイスから出力された画像を重畳して再現される画像の鮮鋭度が、入力画像の鮮鋭度よりも低下してしまう。
　本発明は、入力画像に基づいて複数の装置から出力された画像を重畳して１つの画像を生成する際に生じる、入力画像に対する重畳画像の鮮鋭度の低下を抑制するための画像処理を提供することを目的とする。
　上記課題を解決するために、本発明に係る画像処理装置は、入力画像に基づいて第１画像出力装置から出力された第１出力画像と、前記入力画像に基づいて第２画像出力装置から出力され、前記第１出力画像よりも高解像度な第２出力画像と、を重畳することによって１つの画像を生成するために、前記第２画像出力装置に出力する画像データを生成する画像処理装置であって、前記入力画像を表す入力画像データを取得する第１取得手段と、前記入力画像データに基づいて生成された、前記第１画像出力装置に出力する第１出力画像データを取得する第２取得手段と、前記入力画像データと、前記第１出力画像データと、に基づいて、前記第２画像出力装置に出力する第２出力画像データを生成する第１生成手段と、を有し、前記第２出力画像データが表す画像の鮮鋭度は、前記第１出力画像データが表す画像の鮮鋭度に応じていることを特徴とする。
　本発明によれば、入力画像に基づいて複数の装置から出力された画像を重畳して１つの画像を生成する際に生じる、入力画像に対する重畳画像の鮮鋭度の低下を抑制することができる。
画像処理装置１の機能構成の一例を示すブロック図 画像処理装置１が実行する処理についてのフローチャート 画像処理装置１が実行する処理についてのフローチャート 投影画像データを生成するための第１色変換ＬＵＴ１０５の一例を示す図 画像処理装置１のハードウェア構成の一例を示すブロック図 鮮鋭度の低下度合いを算出する処理（Ｓ２０３）についてのフローチャート 鮮鋭度の低下度合いを算出する処理（Ｓ２０３）についてのフローチャート 環境光情報に応じて補正係数を決定するためのＬＵＴ１１３の一例を示す図 形成画像データを生成するための第２色変換ＬＵＴ１０８の一例を示す図 画像処理装置１の機能構成の一例を示すブロック図 画像処理装置１の機能構成の一例を示すブロック図 画像処理装置１の機能構成の一例を示すブロック図 変倍率に基づいた解像度の変換処理を模式的に示した図 変倍率に基づいた解像度の変換処理を模式的に示した図 鮮鋭度の低下度合いを算出する処理の一例を模式的に示した図 画像の鮮鋭度を強調する処理の一例を模式的に示した図 再現対象の画像と画像形成装置が出力する画像との関係を模式的に示す概念図 鮮鋭度の低下度合いを算出する処理（Ｓ２０３）についてのフローチャート 変倍率に応じたハイパスフィルタの一例を示す模式図 変倍率に応じたハイパスフィルタの一例を示す模式図 変倍率に応じたハイパスフィルタの一例を示す模式図 画像処理装置１の機能構成の一例を示すブロック図 再現対象の画像と画像投影装置が出力する画像との関係を模式的に示す概念図 ユーザによる入力を受け付けるためのＵＩ画面の一例を示す図 画像処理装置１の機能構成を示すブロック図 画像処理装置１の機能構成を示すブロック図 画像処理装置１の機能構成を示すブロック図 画像形成装置３の出力特性を計測するためのチャートの一例を示す図
　以下、本発明の実施例について、図面を参照して説明する。尚、同一の構成については、同じ符号を付して説明する。
　［実施例１］
　＜再現対象の画像とデバイスが出力する画像との関係＞
　まず、図１４及び図１８を用いて、再現対象の画像と画像形成装置が出力する画像との関係及び、再現対象の画像と画像投影装置が出力する画像との関係を説明する。尚、本実施例における解像度は、投影もしくは形成された画像における表現の細かさの尺度としても表現され、単位としてｄｐｉ（ｄｏｔ　ｐｅｒ　ｉｎｃｈ）を用いる。また、本実施例における鮮鋭度は、画像の微細部分（高解像度部分）の明瞭性の尺度である。例えば、鮮鋭度は、各解像度における入力コントラストに対する出力コントラストの減少の割合で表される応答関数ＭＴＦ（ｍｏｄｕｌａｔｉｏｎ　ｔｒａｎｓｆｅｒ　ｆｕｎｃｔｉｏｎ）で表現可能である。コントラストの減少の割合が低く応答性が良い場合を鮮鋭度が高いと表現し、コントラストの減少の割合が高く応答性が悪い場合を鮮鋭度が低いと表現する。
　図１４（ａ）に再現対象の画像を表す入力画像データ（第１画像データとも呼ぶ）を示す。図１４（ｂ）に入力画像データの等倍（拡大率１．０）のサイズの画像を表す形成画像データ（第３画像データとも呼ぶ）、図１４（ｃ）に入力画像データの２倍（拡大率２．０）のサイズの画像を表す形成画像データを示す。尚、形成画像データは、画像形成装置が記録媒体上に画像を形成するために入力する画像データである。図１４では、解像度３００ｄｐｉで、水平方向に８１９２画素、垂直方向に４３２０画素のサイズである画像を表す入力画像データと、解像度１２００ｄｐｉの画像を形成可能な画像形成装置が当該入力画像データに基づいて形成した画像の例を示している。画像形成装置は、記録媒体に対してインクを吐出する記録ヘッドを複数回走査することで画像を形成する。記録媒体と記録ヘッドの距離は形成する画像のサイズによらず一定のため、画像形成装置が形成する画像の解像度は一定となる。例えば、図１４に示すように、解像度３００ｄｐｉの画像を上述した画像形成装置が解像度１２００ｄｐｉで出力する場合、入力画像データが表す画像の画素数に対し形成画像データが表す画像の画素数を縦横共に４倍にする。また、入力画像データが表す画像の２倍の画像サイズで画像を形成する場合では、入力画像データが表す画像の画素数に対し形成画像データが表す画像の画素数を縦横共に２倍にする。上述のようにすることで、画像形成装置が出力（形成）する画像の解像度を一定にしている。
　図１８（ａ）に再現対象の画像を表す入力画像データ、図１８（ｂ）に入力画像データが表す画像を画像投影装置の画素数（拡大率１．０）で投影した場合のサイズ（「等倍」サイズと仮定）である画像を表す投影画像データ（第２画像データとも呼ぶ）を示す。さらに、図１８（ｃ）に投影する画像のサイズを「等倍」サイズの２倍（拡大率２．０）にした場合の画像を表す投影画像データを示す。尚、投影画像データは、画像投影装置が画像を投影するために入力する画像データである。図１８において、入力画像データは図１４と同様であり、画像投影装置が出力する画像の画素数は水平方向に４０９６画素、垂直方向に２１６０画素の例を示している。画像投影装置は、画像形成装置と異なり、液晶パネル等の表示素子を画素毎に駆動させて画像を生成し、生成した画像を投射レンズにより投射することで画像を表示する。そのため、予め保持する液晶パネル等の表示素子によって出力する画像の画素数が決定してしまい、画像形成装置のように出力する画素数を増減させることができない。その結果、図１８に示すように、解像度３００ｄｐｉの画像を表す入力画像データに基づいて等倍のサイズで画像を投影する場合と、２倍のサイズで画像を投影する場合とで、投影された画像の画素数は一定である。そのため、投影する画像のサイズの拡大に反比例して画像の解像度が低下する。
　以上に述べた通り、画像形成装置は記録ヘッドの走査方法によって出力する画像の画素数を増減できるために、画像サイズによらず一定の解像度で画像の形成が可能である。一方、画像投影装置では、出力する画像の画素数が液晶パネル等の表示素子によって決定されてしまうために、入力画像を引き延ばして投影することによる画像サイズの拡大に反比例して画像の解像度が低下してしまう。すなわち、画像形成装置による出力画像は再現対象画像のサイズによらず一定の鮮鋭度であるのに対し、画像投影装置による出力画像は再現対象画像のサイズが大きくなると画素サイズも大きくなり、同一の位置から見た場合の鮮鋭度が低下してしまう。本実施例では、画像投影装置が投影する画像と画像形成装置が形成する画像とを重畳して１つの画像を再現する。その際に、上述したような画像投影装置で投影した画像の鮮鋭度の低下を、画像形成装置が形成する画像の鮮鋭度を強調することで補う。以下で詳細を説明する。
　＜画像処理装置１のハードウェア構成＞
　図４は、本実施例における画像処理装置１のハードウェア構成例である。画像処理装置１は、例えばコンピュータであり、ＣＰＵ１４０１、ＲＯＭ１４０２、ＲＡＭ１４０３を備える。ＣＰＵ１４０１は、ＲＡＭ１４０３をワークメモリとして、ＲＯＭ１４０２、ＨＤＤ（ハードディスクドライブ）１４１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１４０１は、システムバス１４０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１４０２やＨＤＤ１４１２などに格納されたプログラムコードがＲＡＭ１４０３に展開され、ＣＰＵ１４０１によって実行される。ＶＣ（ビデオカード）１４０４には、ディスプレイ５が接続される。汎用Ｉ／Ｆ（インターフェース）１４０５には、シリアルバス１４０９を介して、マウスやキーボードなどの入力デバイス１４１０や画像投影装置２、画像形成装置３が接続される。ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１４０６には、シリアルバス１４１１を介して、ＨＤＤ１４１２や各種記録メディアの読み書きを行う汎用ドライブ１４１３が接続される。ＮＩＣ（ネットワークインターフェースカード）１４０７は、外部装置との間で情報の入出力を行う。ＣＰＵ１４０１は、ＨＤＤ１４１２や汎用ドライブ１４１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１４０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ５に表示し、入力デバイス１４１０を介して受け付けるユーザ指示などの入力を受信する。
　＜画像処理装置１の機能構成＞
　図１は、画像処理装置１の機能構成を示したブロック図である。図１において、１は画像処理装置、２は画像投影装置（プロジェクタ）、３は画像形成装置（プリンタ）、４は重畳画像を観察する際の環境光を決定する照明を示す。重畳画像は、画像形成装置３によって記録媒体上に形成された形成画像５０１の上に、画像投影装置２によって投影された投影画像５０２が重なった画像を示す。尚、画像処理装置１は例えば一般的なパーソナルコンピュータにインストールされたプリンタドライバによって実施され得る。その場合、以下に説明する画像処理装置１の各部は、コンピュータが所定のプログラムを実行することにより実現されることになる。また、別の構成としては、例えば、画像投影装置２と画像形成装置３を画像処理装置１が含む構成としても良い。
　画像処理装置１と画像投影装置２、画像処理装置１と画像形成装置３とはインターフェース又は回路によって接続されている。画像処理装置１は、第１入力端子１０１と、第２入力端子１０２と、取得部１０３と、第１生成部１０４と、第１色変換ＬＵＴ１０５と、算出部１０６と、第２生成部１０７と、第２色変換ＬＵＴ１０８と、第１出力端子１０９と、第２出力端子とを有する。取得部１０３は、第１入力端子１０１を介して、再現対象の画像を表す入力画像データを取得する。また、第２入力端子１０２を介して、画像投影装置２の投影状態を取得する。投影状態については後述する。第１生成部１０４は、上述した入力画像データに基づいて、第１色変換ＬＵＴ１０５を参照し、画像投影装置２に入力する画像データ（投影画像データ）を生成する。算出部１０６は、入力画像データと投影画像データとを取得し、投影状態に応じて入力画像データが表す画像の解像度及び投影画像データが表す画像の解像度を変換する。さらに、解像度が変換された画像を表す入力画像データ及び投影画像データに基づいて、入力画像データが表す画像に対する投影画像データが表す画像の鮮鋭度の低下度合いを算出する。第２生成部１０７は、入力画像データと鮮鋭度の低下度合いとに基づいて、入力画像データが表す画像の鮮鋭度を強調する。さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、第２色変換ＬＵＴ１０８を参照し、画像形成装置３に入力する画像データ（形成画像データ）を生成する。第１生成部１０４で生成された投影画像データは、第１出力端子１０９を介して、画像投影装置２に出力され、第２生成部１０７で生成された形成画像データは、第２出力端子１１０を介して、画像形成装置３に出力される。
　＜画像投影装置２の構成と動作＞
　画像投影装置２は、投射光学部（不図示）を有する。投射光学部は、光源であるランプと、入力された投影画像データに基づいて液晶パネルを駆動させる液晶駆動装置と、投射レンズとを備える。ランプからの光が光学系によってＲ、Ｇ、Ｂの光に分解されて、液晶パネルにそれぞれ導かれる。各液晶パネルに導かれた光は、各液晶パネルで輝度変調されて投射レンズにより、画像形成装置３により形成されたプリント物上に画像を投影する。
　＜画像形成装置３の構成と動作＞
　画像形成装置３は、画像処理装置１において生成された形成画像データに基づいて、記録ヘッド（不図示）を記録媒体に対して相対的に縦横に移動させてインクドットを記録媒体上に記録し、画像を形成する。本実施例において、画像形成装置３はインクジェット方式のプリンタを用いるが、電子写真方式など他の方式のプリンタでも構わない。
　＜画像処理装置１の処理内容＞
　次に、上述した機能構成を備えた画像処理装置１の処理内容について、図２Ａのフローチャートを用いて説明する。以下、各ステップ（工程）は符号の前にＳをつけて表す。
　Ｓ２０１において、取得部１０３は、第１入力端子１０１を介して入力画像データを取得する。入力画像データは、各画素に各８ビットのＲＧＢ値が記録された３チャンネルのカラー画像データである。また、入力画像データが表す画像は、画像投影装置２が投影する画像の解像度よりも高解像度であることとする。つまり、画像投影装置２が投影する画像は、入力画像データが表す画像よりも低解像度となる。入力画像データ取得部１０３で取得した入力画像データは、第１生成部１０４と算出部１０６と第２生成部１０７とに送られる。さらに、第２入力端子を介して、投影状態を取得する。投影状態は、画像投影装置２が投影画像５０２を投影する際の、画像投影装置２と投影対象である形成画像５０１との距離（投影距離）及び、投射レンズと液晶パネルとの関係から定まる画角である。投影距離Ｄはメートル（ｍ）単位、画角θはラジアン単位に換算した４ビットデータとして取得する。投影状態は、図１９に示すＵＩ画面を介したユーザによる入力を受付けることによって取得するか、もしくは画像投影装置２と画像処理装置１とを接続することで画像投影装置２より直接取得する。
　Ｓ２０２において、第１生成部１０５は、画像投影装置２の出力する画像の画素数に基づいて、取得部１０３で取得した入力画像データが表す画像の解像度を変換する。解像度の変換には公知のバイキュービック法を用いるが、バイリニア法など他の解像度変換方法を用いても良い。さらに、解像度を変換した画像を表す入力画像データに基づいて、予め保持する第２色変換ＬＵＴ１０５を参照し、投影画像データを生成する。参照される第１色変換ＬＵＴ１０５を図３に示す。図３に示す通り、入力画像データの画素ごとに記録されている信号値（ＲＧＢ値）と投影画像データの各画素に記録される信号値（ＲＧＢ値）との対応関係を保持している。上述した第１色変換ＬＵＴ１０５は、投影画像データに記録された入力信号値が既知のチャートを投影し、投影された画像の色を測定することで予め作成しておく。生成する投影画像データは、入力画像データと同様に、各画素に各８ビットのＲＧＢ値が記録された３チャンネルのカラー画像データである。投影画像データが生成されると、第１出力端子１０９を介して画像投影装置２に送られる。また、算出部１０６にも送られる。
　Ｓ２０３において、算出部１０６は、Ｓ２０１で取得した入力画像データ及び投影状態と、Ｓ２０２で生成した投影画像データとを取得する。さらに、取得した投影状態に基づいて、入力画像データが表す画像のサイズに対する画像投影装置２が投影する画像のサイズの拡大率Ｅを算出する。ここで拡大率は、画像を拡大する際の倍率である。算出した拡大率Ｅに基づいて、投影画像データが表す画像の解像度及び入力画像データが表す画像の解像度を変換する。解像度を変換した後に、入力画像データが表す画像に対する投影画像データが表す画像の鮮鋭度の低下度合いを算出する。算出された鮮鋭度の低下度合いは第２生成部に送られる。以下に、Ｓ２０３の詳細な処理について、図５Ａに示すフローチャートを用いて説明する。
　Ｓ２０３１において、入力画像データ、投影画像データ、投影状態を取得する。Ｓ２０３２において、取得した投影状態（Ｄ及びθ）と、入力画像データが表す画像のサイズと投影画像５０２のサイズとが等倍となる投影状態（投影距離Ｄ０及び画角θ０）とを基に、以下に示す式（１）を用いて拡大率Ｅを算出する。
Ｅ＝Ｄ／Ｄ０＋θ／θ０・・・式（１）
　尚、上述した等倍となる投影状態（Ｄ０及びθ０）は、以下の方法により予め決定し、算出部１０６に保持させておく。予め画像サイズが既知の入力画像データを基に生成した投影画像データを投影し、投影された投影画像５０２の画像サイズが入力した入力画像データが表す画像のサイズと一致する投影状態を探索することによって決定する。尚、画像投影装置２が備える投射レンズや液晶パネルの特性により計算式を構築し、当該計算式を用いて算出しても良い。尚、Ｓ２０３１において、投影状態として投影距離Ｄのみを取得し、Ｓ２０３２において、投影距離ＤからＤ０を除算することによって拡大率Ｅを算出してもよい。
　Ｓ２０３３において、Ｓ２０３２で算出した拡大率Ｅと、画像形成装置３で形成する画像の解像度Ｒｆとに基づいて、入力画像データが表す画像の解像度及び投影画像データが表す画像の解像度を変換する。投影画像データが表す画像の解像度変換は、まず、拡大率Ｅと解像度Ｒｆ、画像投影装置２で投影する画像の解像度Ｒｐを基に以下の式（２）を用いて、投影画像データの変倍率Ｆｐを算出する。
Ｆｐ＝Ｒｆ／（Ｒｐ／Ｅ）・・・式（２）
　算出した変倍率Ｆｐを基に、投影画像データの各画素をＦｐ個に解像度変換する。この解像度変換には、公知の最近傍法を用いる。投影画像データの変倍率Ｆｐ＝３の場合における、投影画像データが表す画像の解像度変換の例を図１１Ａに示す。最近傍法を用いるため、変換前の画素値を複製する処理となり、投影された投影画像５０２を模した画像を表す投影画像データに変換することができる。尚、解像度の変換には、最近傍法ではなくバイキュービック法など他の方法でも良い。
　同様に、入力画像データが表す画像の解像度変換は、まず、拡大率Ｅと解像度Ｒｆ、入力画像データが表す画像の解像度Ｒｉｎを基に以下の式（３）を用いて、入力画像データの変倍率Ｆｉｎを算出する。
Ｆｉｎ＝Ｒｆ／（Ｒｉｎ／Ｅ）・・・式（３）
　算出した変倍率Ｆｉｎを基に、入力画像データの各画素をＦｉｎ個に解像度変換する。この解像度変換には、公知のバイキュービック法を用いる。入力画像データの変倍率Ｆｉｎ＝１．５の場合における、入力画像データが表す画像の解像度変換の例を図１１Ｂに示す。変換前の近傍画素値を基に補間処理することで解像度を変換するバイキュービック法を用いることで、形成画像５０１を模した画像を表す形成画像データを生成するための入力画像データに変換することが可能となる。尚、上述した解像度Ｒｆ及びＲｐは、ユーザによる入力によって取得するか、もしくは画像投影装置２又は画像形成装置３と画像処理装置１とを接続することで直接取得する。解像度Ｒｆ及びＲｐはどちらも各デバイスが出力できる最高解像度であることが望ましい。
　Ｓ２０３４において、Ｓ２０３３で解像度変換された画像を表す入力画像データの画素値と投影画像データの画素値とを減算処理し、減算処理して得た差分を鮮鋭度の低下度合いとする。鮮鋭度の低下度合いは、入力画像データや投影画像データと同様に、各８ビットのＲＧＢ値を記録した３チャンネルのカラー画像データとして算出される。減算処理は、各画像の各画素について、Ｒ、Ｇ、Ｂの各チャンネルで独立に行う。入力画像データのＲチャンネルの画素値をＩ＿Ｒｘ，ｙ（ｘは水平方向の画素位置、ｙは垂直方向の画素位置）、投影画像データのＲプレーンの画素値をＰ＿Ｒｘ，ｙとする。さらに、鮮鋭度の低下度合いのＲプレーンの画素値をＱ＿Ｒｘ，ｙとし、以下の式（４）より算出する。
Ｑ＿Ｒｘ，ｙ＝（Ｉ＿Ｒｘ，ｙ－Ｐ＿Ｒｘ，ｙ）・・・式（４）
　図１２に、入力画像データと投影画像データから鮮鋭度の低下度合いを算出する例を模式的に示す。Ｇ、Ｂプレーンについては同様の処理のため、説明を省略する。上記の計算はＲチャンネルにおいて、画素毎に算出された後に、Ｇ、Ｂと順次処理される。Ｉ＿Ｒｘ，ｙ、Ｐ＿Ｒｘ，ｙは０～２５５までを表す８ビットデータであるため、上記の計算で出力されるＱ＿Ｒｘ，ｙは－２５５～＋２５５を表す９ビットデータとなる。尚、上記に順次処理する例を示したが、上記の一例に限定されない。例えば、各チャンネルでの計算を並列処理しても良い。算出した鮮鋭度の低下度合い（各画素に各９ビットのＲＧＢ値が記録された３チャンネルのカラー画像データ）を第２生成部１０７に送る。
　Ｓ２０４において、第２生成部１０７は、Ｓ２０３で算出された鮮鋭度の低下度合いに基づいて、Ｓ２０３３において解像度変換された入力画像データが表す画像の鮮鋭度を強調する。鮮鋭度の強調は、解像度変換された入力画像データの画素値と鮮鋭度の低下度合いを表す画像データの画素値とを加算処理することで実現する。画像投影装置２が投影画像５０２を投影することによって鮮鋭度が低下した分を、投影画像５０２と重畳する形成画像５０１の鮮鋭度を強調することで、重畳画像の鮮鋭度の低下を抑制できる。加算処理は、Ｓ２０３４の減算処理と同様に、各画像の各画素について、Ｒ、Ｇ、Ｂの各チャンネルで独立に行う。入力画像データのＲチャンネルの画素値をＩ＿Ｒｘ，ｙ（ｘは水平方向の画素位置、ｙは垂直方向の画素位置）、鮮鋭度の低下度合いのＲチャンネルの画素値をＱ＿Ｒｘ，ｙとする。さらに、加算処理後の入力画像データのＲチャンネルの画素値をＩ＿Ｒ’ｘ，ｙとし、以下の式（５）より算出する。
Ｉ＿Ｒ’ｘ，ｙ＝Ｉ＿Ｒｘ，ｙ＋Ｑ＿Ｒｘ，ｙ・・・式（５）
　図１３に、入力画像データと鮮鋭度の低下度合いを表す画像データとに基づいて、鮮鋭度が強調された画像を表す入力画像データを算出する例を模式的に示す。計算の結果、Ｉ＿Ｒｘ，ｙが０未満となる場合は０、２５６以上の場合は２５５にクリッピング処理することで、鮮鋭度が強調された画像を表す入力画像データは０～２５５までを表す８ビットデータとなる。Ｇ、Ｂチャンネルについても同様の処理のため、説明を省略する。上記の計算はＲチャンネルにおいて、画素毎に算出された後に、Ｇ、Ｂと順次処理されるが、並列処理としても良い。
　さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、予め保持する第２色変換ＬＵＴ１０８を参照し、形成画像データを生成する。参照される第２色変換ＬＵＴ１０８を図７に示す。図７に示す通り、入力画像データの画素ごとに記録されている信号値（ＲＧＢ値）と形成画像データの各画素に記録される信号値（ＲＧＢ値）との対応関係を保持している。上述した第２色変換ＬＵＴ１０８は、形成画像データに記録された入力信号値が既知のチャートを基に記録媒体上に画像を形成し、形成された画像の色を測定することで予め作成しておく。生成する形成画像データは、入力画像データと同様に、各画素に各８ビットのＲＧＢ値が記録された３チャンネルのカラー画像データである。生成した形成画像データは第２出力端子１１０を介して、画像形成装置３に送られる。以上で、投影画像データと形成画像データを生成する一連の処理が完了する。
　上記に説明した処理制御を行うことで、再現対象の画像に対する投影画像５０２の鮮鋭度の低下を、形成画像５０１の鮮鋭度を強調することで補うことができる。その結果、画像形成装置３によって形成されたプリント物（形成画像５０１）の上に投影装置２によって投影された投影画像５０２を重畳した重畳画像における鮮鋭度の低下を抑制することができる。
　＜変形例＞
　尚、本実施例では、投影状態に応じて入力画像データ及び投影画像データに解像度の変換処理を施し、入力画像データと投影画像データとに基づいて、再現対象の画像に対する画像投影装置２が投影する画像の鮮鋭度の低下度合いを算出する例を示した。しかし、鮮鋭度の低下度合いの算出方法は上記の一例に限定されない。例えば、画像形成装置３で形成する画像の解像度Ｒｆと画像投影装置２で投影する画像の解像度Ｒｐとを基にした演算処理によって、再現対象の画像に対する投影画像５０２の鮮鋭度の低下度合いを算出しても良い。上記の鮮鋭度の低下度合いの算出処理における、Ｓ２０３の詳細な処理について、図１５に示すフローチャートを用いて説明する。
　Ｓ２０３１及びＳ２０３２は、上述した実施例１と同様のため説明を省略する。Ｓ２０３５において、Ｓ２０３２で算出した拡大率Ｅと画像形成装置３が形成する画像の解像度Ｒｆとに基づいて、入力画像データのみを解像度変換する。入力画像データに対する解像度変換は、上述した実施例１と同様のため説明を省略する。
　Ｓ２０３６において、上述したＳ２０３３と同様に、式（２）を用いて変倍率Ｆｐを算出し、算出した変倍率Ｆｐに基づくマトリクスサイズのハイパスフィルタを生成し、フィルタ処理する。図１６に変倍率Ｆｐが３、５、９の場合に適用するハイパスフィルタの例を示す。図１６に示す通り、Ｆｐ×Ｆｐのマトリクスを持つハイパスフィルタを生成し、Ｓ２０３５において解像度変換を施した入力画像データに対しフィルタ処理し、処理結果を鮮鋭度の低下度合いとする。
　まず、入力画像データが表す画像を画像形成装置３で形成する画像の解像度に変換することで、再現対象の画像の鮮鋭度のうち画像形成装置３で再現できる画像の鮮鋭度を抽出する。次に、上記で抽出した鮮鋭度に対し変倍率Ｆｐに基づくハイパスフィルタを用いたフィルタ処理を行うことで、画像投影装置２で表現する際に失われる鮮鋭度を算出する。一連の処理を実行することで、再現対象の画像の鮮鋭度のうち、画像形成装置３で再現でき、かつ、画像投影装置２で再現できない鮮鋭度を、上述した鮮鋭度の低下度合いとして算出することができる。
　また、上述した変形例では、ハイパスフィルタを生成し、生成したハイパスフィルタを用いてフィルタ処理を行ったが、予め複数種類のフィルタを保持しておいてもよい。この場合、予め保持しておいた複数種類のフィルタから、上述した変倍率や、変倍率に基づいて算出可能な鮮鋭度が低下する周波数帯域に応じてフィルタ処理用のフィルタを取得する。
　また、本実施例では、画像投影装置２を１台用いる構成例を示したが、画像投影装置２を２台以上用いる構成であっても良い。例えば、図１０に示すように、ｎ台の画像投影装置２ａ～２ｃと１台の画像形成装置３とを用い、ｎ台の画像投影装置２よりｎ枚の投影画像を同位置に重ねて投影する重畳画像表現システム（スタックプロジェクション）を構築しても良い。画像投影装置２を２台以上用いることで２枚以上の投影画像を形成画像の上に重畳し、重畳画像で表現可能な輝度レンジをさらに高輝度側に拡大することが可能となる。
　また、例えば、図９に示すように、４台の画像投影装置２ａ～２ｄと１台の画像形成装置３を用い、入力画像データを２×２に分割処理し、分割処理された入力画像データを基に生成した投影画像データを各画像投影装置２ａ～２ｄより投影する。以上の構成により、形成画像に対し２×２の投影画像を重畳する重畳画像表現システム（マルチプロジェクション）を構築しても良い。各画像投影装置２ａ～２ｄが入力画像データが表す画像の各領域を再現することによって、１台の画像投影装置２が投影する投影画像より高解像度な投影画像又はより大きなサイズの投影画像を重畳することが可能となる。
　また、本実施例では、投影画像データが表す画像の解像度を形成画像５０１の解像度に一致させ、解像度変換を施した投影画像データと入力画像データとに基づいて、鮮鋭度の低下度合いを算出する例を述べた。しかし、鮮鋭度の低下度合いの算出に用いる投影画像データの生成方法は上記の一例に限定されない。投影画像５０２における鮮鋭度の低下度合いを算出するための画像処理装置１の機能構成を図１７に示す。図１７に示すように、画像処理装置１は、投影画像５０２を撮像する撮像装置６と撮像装置６からデータを取得するための第３入力端子１１２とを備える。撮像装置６によって投影画像５０２を撮像して得られた画像データを、鮮鋭度の低下度合いを算出するために用いる投影画像データとしても良い。上述したように、実際の投影画像５０２を撮像して得た投影画像データを用いることで、画像投影装置２の経年劣化による投影画像データと投影画像５０２との関係の変化にも対応することが可能となる。
　また、本実施例では、投影状態として投影距離を取得し、投影距離に基づいて拡大率Ｅを算出し、鮮鋭度の低下度合いを算出する例について述べた。しかし、投影状態は上記の一例に限定されない。例えば、画像投影装置２から投影された画像の光軸と形成画像５０１とがなす角φによる投影画像５０２の台形化を抑制するために、予め投影画像５０２に公知の台形歪み補正（キーストーン補正）を施す場合がある。上記の場合には、なす角φによって台形歪み補正が施された投影画像５０２に基づいて、鮮鋭度の低下度合いを算出する必要がある。以下に、投影状態であるφを考慮した投影画像データの生成を行う例を示す。
　まず、投影状態として上述したなす角φを第１生成部１０４で取得する。さらに、入力画像データを台形画像に変形するための公知のアフィン変換パラメータ（台形歪み補正係数）をφ毎に保持し、取得したφに応じたアフィン変換パラメータを用いて入力画像データを台形の画像を表す画像データに変換する。アフィン変換パラメータは例えば、φに応じて入力画像データの画素位置毎に、水平方向の移動量、垂直方向の移動量、水平方向の変倍率、垂直方向の変倍率を備える。尚、台形の画像データに変換する際の解像度変換には公知のバイキュービック法を用いる。その後、台形の画像を表す画像データに対し、上記アフィン変換パラメータを用いて逆変換することで、入力画像データと同じ矩形に戻す。逆変換する際は、公知の最近傍法を用いる。逆変換の際に、近傍の画素を複製する最近傍法を用いることで、台形の画像を表す画像データに変換する際に失われる鮮鋭度を想定した投影画像データを生成することが可能となる。さらに、逆変換した入力画像データに基づいて、第１色変換ＬＵＴ１０５を参照し、投影画像データを生成する。投影状態であるφを考慮した投影画像データを生成後の処理は同一のため、説明を省略する。尚、上記は形成画像５０１と投影画像５０２の光軸とのなす角φに応じた入力画像データの変形を補正する例について述べたが、上記の一例に限定されない。例えば、液晶パネルと投影レンズとのなす角によって発生する歪みや、投影レンズの屈折が中央部より周辺部にかけて理想状態よりも離れることで発生する投影レンズの歪みを補正する場合もある。これらの場合もそれぞれの補正に応じたアフィン変換パラメータを保持し、上述の台形歪み補正と同様の変換処理を行っても良い。
　また、投影画像５０２の中心部に比べ、周辺部において発生する光量低下によって画像の明るさが低下することがある。例えば、上記の投影画像５０２の位置毎の光量ばらつきを補正するために、予め入力画像データに補正処理を施す場合がある。上記の場合には、補正処理が施された入力画像データに基づいて鮮鋭度の低下度合いを算出する必要がある。以下に、投影状態であるα及びβを考慮した投影画像データの生成を行う例を示す。
　まず、投影状態として投影画像５０２の画素位置毎に、光量低下量αと画像全体の光量を調整する係数βとを第１生成部１０４で取得する。取得したαｘ，ｙ及びβｘ，ｙと入力画像データのＲチャンネルの画素値Ｉ＿Ｒｘ，ｙ（ｘは水平方向の画素位置、ｙは垂直方向の画素位置）と以下の式（６）とを基に、補正後の入力画像データの画素値Ｉ＿Ｒ’ｘ，ｙを算出する。
Ｉ＿Ｒ’ｘ，ｙ＝（Ｉ＿Ｒｘ，ｙ＋αｘ，ｙ）×βｘ，ｙ・・・式（６）
　上記の投影画像５０２の画素位置毎の光量低下量αと画像全体の光量を調整する係数βとは、信号値が既知の入力画像データを基づいて画像を投影し、投影した画像を測定することで予め決定しておく。補正処理した入力画像データに基づいて、第１色変換ＬＵＴ１０５を参照し、投影画像データを生成する。投影状態であるα及びβを考慮した投影画像データを生成後の処理は同一のため、説明を省略する。
　また、本実施例では、入力画像データの鮮鋭度の強調を、入力画像データの画素値と鮮鋭度の低下度合いを表す画像データの画素値とを加算処理することによって行ったが、鮮鋭度の強調処理は上記一例には限定されない。例えば、鮮鋭度の低下度合いの値に応じた補正値を別途保持しておき、この補正値を入力画像データの画素値に加算しても良い。また、鮮鋭度の低下度合いに応じたガンマ（γ）値を予め保持しておき、保持しておいたγ値を用いた公知のγ補正処理によって入力画像データの鮮鋭度を強調してもよい。また、画像の微細部を強調する強調度合いの異なる公知のエッジ強調フィルタを複数保持しておき、鮮鋭度の低下度合いに応じてエッジ強調フィルタを使い分けてもよい。
　また、本実施例では、入力画像データに基づいて投影画像データの生成を行った後、形成画像データの生成を行ったが、本実施例の処理は上記一例には限定されない。例えば、予め入力画像データに基づいて投影画像データを生成しておき、ＨＤＤ１４１２などに記憶させておく。入力画像データと、予め生成しておいた投影画像データと、を取得し、入力画像データと投影画像データとに基づいて形成画像データを生成する。
　［実施例２］
　実施例１では、投影画像データと入力画像データとから算出した鮮鋭度の低下度合いに基づいて、入力画像データが表す画像の鮮鋭度を強調し、形成画像データを生成する例について述べた。しかし、形成画像５０１で表現可能な輝度レンジは照明４によって決定される環境光に応じて変化する。すなわち、形成画像５０１は照射される光を反射することで記録された画像を表現する画像である。そのため、照明光が少ない（暗い）場合には形成画像５０１で表現可能な輝度レンジは狭く、逆に照明光が多い（明るい）場合には形成画像５０１で表現可能な輝度レンジは広くなる傾向がある。そこで、本実施例においては、上記に示すように環境光に応じて変化する形成画像５０１の輝度レンジを考慮し、鮮鋭度を強調する処理の強調度合いを制御する。その結果、環境光によって鮮鋭度の低下を抑制する効果が変動してしまうことを低減させることが可能となる。上記の処理を実現する例について実施例１と異なる部分を主に説明する。
　＜画像処理装置１の機能構成＞
　画像処理装置１の機能構成を図８に示す。第２生成部１０７は、第４出力端子１１１を介して、環境光情報を取得する。環境光情報は、重畳画像に照射される環境光の強度を表す４ビットデータである。環境光情報は、ユーザによる入力、もしくは照明４と画像処理装置１を接続することで直接取得する。尚、環境光情報の取得は上記の一例に限定されない。例えば、予め想定される重畳画像の観察シーン（屋外晴天、屋外曇天、室内スポットライト照明、室内オフィス照明など）の光の強度情報をそれぞれ保持し、ユーザが最も近いと判断して入力した条件の光の強度情報を取得しても良い。上記以外の構成は実施例１と同様のため、説明を省略する。
　＜画像処理装置１の処理内容＞
　実施例２における処理内容として、実施例１と異なるＳ２０４について記載する。Ｓ２０４において、第４入力端子１１１より取得した環境光情報に基づいて、Ｓ２０３で算出された鮮鋭度の低下度合いを補正し、補正した鮮鋭度の低下度合いによって入力画像データが表す画像の鮮鋭度を強調する。さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、実施例１と同様に予め保持する第２色変換ＬＵＴ１０８を参照し、形成画像データを生成する。強調処理については、解像度変換が施された入力画像データの画素値に対し、環境光情報に応じた補正係数で補正した鮮鋭度の低下成分を加算処理することで実現する。上述した通り、形成画像５０１は照射される光を反射することで記録された画像を表現する画像である。そのため、環境光が少ない場合には形成画像５０１で表現可能な輝度レンジは狭く、逆に環境光が多い場合には形成画像５０１で表現可能な輝度レンジは広くなる傾向がある。よって、環境光が多い場合に比べ環境光が少ない場合は、投影画像５０２が表現しきれず形成画像５０１のみが表現している鮮鋭度成分をより強調する補正を施すことで、環境光の変化による鮮鋭度の低下を抑制する効果の変動を低減させることができる。以下に詳細な処理内容について述べる。
　まず、予め保持する環境光情報と補正係数との対応関係を保持するＬＵＴ１１３を参照し、環境光情報より補正係数Ｚを決定する。ＬＵＴ１１３の一例を図６に示す。ＬＵＴ１１３は、予め環境光を変えた観察環境毎に、形成画像５０１で表現可能な輝度レンジを測定し、輝度レンジの比率に応じて決定する。加算処理はＳ２０３３と同様に、各画像の各画素について、Ｒ、Ｇ、Ｂの各チャンネルで独立に行う。入力画像データのＲプレーンの画素値をＩ＿Ｒｘ，ｙ（ｘは水平方向の画素位置、ｙは垂直方向の画素位置）、鮮鋭度の低下度合いのＲプレーンの画素値をＱ＿Ｒｘ，ｙ、強調処理後の入力画像データのＲプレーンの画素値をＩ＿Ｒ’ｘ，ｙとする。さらに、補正係数Ｚを用い、以下の式（７）より算出する。
Ｉ＿Ｒ’ｘ，ｙ＝Ｉ＿Ｒｘ，ｙ＋（Ｑ＿Ｒｘ，ｙ）×Ｚ・・・式（７）
　以上、説明した通り、環境光に応じて入力画像データに対する強調処理の強調度合いを制御することで、環境光による鮮鋭度の低下を抑制する効果の変動を低減させることができる。
　＜変形例＞
　尚、本実施例では、環境光情報と補正係数との対応関係を保持する変換ＬＵＴ１１３を保持する例を示したが上記の一例に限定されない。例えば、環境光情報と補正係数との対応関係を予測する計算式を構築し、上記計算式を用いて入力された環境光情報に応じて補正係数を算出しても良い。
　また、本実施例では、環境光情報として１つのデータを用いる例を示したが、上記の一例に限定されない。例えば、形成画像５０１の領域毎の環境光情報を基に、入力画像データと同様の二次元の環境光情報を取得し、入力画像データの領域（画素）毎に環境光情報に応じた強調処理の強調度合いを制御しても良い。
　［実施例３］
　実施例１では、投影画像データと入力画像データとから算出した鮮鋭度の低下度合いに基づいて、入力画像データが表す画像の鮮鋭度を強調し、形成画像データを生成する例について述べた。上述した通り、投影画像の解像度Ｒｐは、画像の拡大率に応じて解像度が変化する。そのため、例えば、入力画像を縮小して表示する場合（拡大率Ｅが１を下回る場合）は、形成画像の解像度Ｒｆよりも投影画像の解像度Ｒｐが高くなる場合がある。そこで本実施例では、入力画像と拡大率Ｅとに基づいて形成画像で発生する鮮鋭度の低下度合いを予測し、予測した鮮鋭度の低下度合いに基づいて投影画像の鮮鋭度を強調する。上記の処理を実現する例について実施例１と異なる部分を主に説明する。尚、本実施例では、拡大率Ｅが１を下回るため、拡大率Ｅを縮小率Ｓと呼ぶ。ここで縮小率は、画像を縮小する際の倍率である。
　＜画像処理装置１の機能構成＞
　画像処理装置１の機能構成を図２０に示す。本実施例における画像処理装置１の構成においては、画像処理装置１は第２出力端子１１０を介して画像投影装置２と接続され、画像処理装置１は第１出力端子１０９を介して画像形成装置３と接続されている。第１生成部１０４は、入力画像データに基づいて、第１色変換ＬＵＴ１０５を参照し、画像形成装置３に入力する画像データ（形成画像データ）を生成する。算出部１０６は、入力画像データと形成画像データとを取得し、投影状態に応じて入力画像データが表す画像の解像度及び形成画像データが表す画像の解像度を変換する。さらに、解像度が変換された画像を表す入力画像データ及び形成画像データに基づいて、入力画像データが表す画像に対する形成画像データが表す画像の鮮鋭度の低下度合いを算出する。第２生成部１０７は、入力画像データと鮮鋭度の低下度合いとに基づいて、入力画像データが表す画像の鮮鋭度を強調する。さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、第２色変換ＬＵＴ１０８を参照し、画像投影装置３に入力する画像データ（投影画像データ）を生成する。第１生成部１０４で生成された形成画像データは、第１出力端子１０９を介して、画像形成装置３に出力され、第２生成部１０７で生成された投影画像データは、第２出力端子１１０を介して、画像投影装置２に出力される。
　＜画像処理装置１の処理内容＞
　次に、上述した機能構成を備えた画像処理装置１の処理内容について、図２Ｂのフローチャートを用いて説明する。Ｓ２０１は実施例１と同様のため説明を省略し、Ｓ２０２’とＳ２０３’とＳ２０４’とを説明する。
　Ｓ２０２’において、第１生成部１０５は、画像形成装置３が出力する画像の画素数に基づいて、取得部１０３で取得した入力画像データが表す画像の解像度を変換する。解像度の変換には公知のバイキュービック法を用いるが、バイリニア法など他の解像度変換方法を用いても良い。さらに、解像度を変換した画像を表す入力画像データに基づいて、予め保持する第１色変換ＬＵＴ１０５を参照し、形成画像データを生成する。参照される第１色変換ＬＵＴ１０５は実施例１における第２色変換ＬＵＴ１０８と同一のため説明を省略する。Ｓ２０３’において、算出部１０６は、Ｓ２０１で取得した入力画像データ及び投影状態と、Ｓ２０２’で生成した形成画像データとを取得する。さらに、取得した投影状態に基づいて、入力画像データが表す画像のサイズに対する画像投影装置２が投影する画像のサイズの縮小率Ｓを算出する。算出した縮小率Ｓに基づいて、形成画像データが表す画像の解像度及び入力画像データが表す画像の解像度を変換する。解像度を変換した後に、入力画像データが表す画像に対する投影画像データが表す画像の鮮鋭度の低下度合いを算出する。算出された鮮鋭度の低下度合いは第２生成部１０７に送られる。Ｓ２０４’において、第２生成部１０７は、Ｓ２０３’で算出された鮮鋭度の低下度合いに基づいて、Ｓ２０３３’において解像度変換された入力画像データが表す画像の鮮鋭度を強調する。鮮鋭度の強調は実施例１と同様に加算処理によって行う。さらに、鮮鋭度が強調された画像を表す入力画像データに基づいて、予め保持する第２色変換ＬＵＴ１０８を参照し、投影画像データを生成する。参照される第２色変換ＬＵＴ１０８は実施例１における第１色変換ＬＵＴ１０５と同一のため説明を省略する。
　以下に、Ｓ２０３’の詳細な処理について、図５Ｂに示すフローチャートを用いて説明する。Ｓ２０３１’において、算出部１０６は、実施例１と同様に、入力画像データ、投影画像データ、投影状態を取得する。Ｓ２０３２’において、算出部１０６は、取得した投影状態（Ｄ及びθ）と、入力画像データが表す画像のサイズと投影画像のサイズとが等倍となる投影状態（投影距離Ｄ０及び画角θ０）とを基に、以下に示す式（８）を用いて縮小率Ｓを算出する。
Ｓ＝Ｄ／Ｄ０＋θ／θ０・・・式（８）
　Ｓ２０３３’において、算出部１０６は、Ｓ２０３２’で算出した縮小率Ｓと、画像投影装置２で投影する画像の解像度Ｒｐとに基づいて、入力画像データが表す画像の解像度及び形成画像データが表す画像の解像度を変換する。形成画像データが表す画像の解像度変換は、縮小率Ｓと解像度Ｒｐ、画像形成装置３が形成する画像の解像度Ｒｆを基に以下の式（９）を用いて、形成画像データの変倍率Ｆｆを算出する。
Ｆｆ＝（Ｒｐ／Ｓ）／Ｒｆ・・・式（９）
　算出した変倍率Ｆｆを基に、形成画像データの各画素をＦｆ個に解像度変換する。この解像度変換には、公知の最近傍法を用いる。尚、解像度の変換には、最近傍法ではなくバイキュービック法など他の方法でも良い。同様に、入力画像データが表す画像の解像度変換は、まず、縮小率Ｓと解像度Ｒｐ、入力画像データが表す画像の解像度Ｒｉｎを基に以下の式（１０）を用いて、入力画像データの変倍率Ｆｉｎを算出する。
Ｆｉｎ＝（Ｒｉｎ／Ｅ）／Ｒｐ・・・式（１０）
　算出した変倍率Ｆｉｎを基に、入力画像データの各画素をＦｉｎ個に解像度変換する。この解像度変換には、公知のバイキュービック法を用いる。尚、上述した解像度Ｒｆ及びＲｐは、ユーザによる入力によって取得するか、もしくは画像投影装置２又は画像形成装置３と画像処理装置１とを接続することで直接取得する。解像度Ｒｆ及びＲｐはどちらも各デバイスが出力できる最高解像度であることが望ましい。
　Ｓ２０３４’において、算出部１０６は、Ｓ２０３３’で解像度変換された画像を表す入力画像データの画素値と形成画像データの画素値とを減算処理し、減算処理して得た差分を鮮鋭度の低下度合いとする。鮮鋭度の低下度合いを算出し、入力画像の鮮鋭度を強調した画像を生成する方法は実施例１と同様のため説明を省略する。
　上記に説明した処理制御を行うことによって、再現対象の画像に対する形成画像の鮮鋭度の低下（微細部のコントラストの低下）を、投影画像の鮮鋭度を強調することで補うことができる。その結果、画像形成装置３によって形成された形成画像の上に画像投影装置２によって投影された投影画像を重畳した重畳画像における鮮鋭度の低下を抑制することができる。
　＜変形例＞
　尚、本実施例では、画像投影装置２による投影画像と画像形成装置３による形成画像との重畳画像で発生する鮮鋭度の低下を抑制する例を述べた。しかしながら、重畳画像を生成するための装置の組み合わせは上記一例に限定されない。表現可能な解像度が異なる２つの画像出力装置により出力された画像を重畳した重畳画像を生成する場合に、表現可能な解像度が低い装置の出力画像で発生する鮮鋭度の低下を、より解像度が高い装置の出力画像で補えれば、どのような組み合わせであってもよい。例えば、図２１に示すように、表現可能な解像度が異なる複数の画像投影装置を用いて、表現可能な解像度が高い第２画像投影装置２ｂの投影画像によって、より解像度の低い第１画像投影装置２ａによる投影画像の鮮鋭度の低下を補ってもよい。
　また、上述した実施例では、画像を出力する装置として、画像を投影する画像投影装置と記録媒体上に画像を形成する画像形成装置とを用いる例を述べたが、画像投影装置及び画像形成装置以外の画像出力装置にも上述した処理を適用可能である。装置の組み合わせは、重畳画像を生成可能な２つ以上の画像出力装置の組み合わせであればよい。例えば、液晶ディスプレイや有機ＥＬディスプレイなどの画像表示装置を用いても良い。画像表示装置を用いた重畳画像の生成の例としては、画像形成装置によってＯＨＰシートなどの光を透過する記録媒体上に画像を形成し、画像が形成されたＯＨＰシートを画像表示装置の上に乗せる。このように、一方が画像形成装置が形成する形成画像であり、他方が画像表示装置が表示する表示画像である場合の画像の重畳についても上述した処理を適用することができる。
　［実施例４］
　上述した実施例では、重畳画像の画像サイズに応じて表現可能な解像度が低くなる画像出力装置の出力画像において発生する鮮鋭度の低下を、より表現可能な解像度が高い画像出力装置の出力画像で補う例を示した。しかし、重畳画像の鮮鋭度の低下は、重畳画像のサイズに応じた鮮鋭度の低下に限定されない。画像の鮮鋭度の低下は、画像出力装置の出力特性にも応じて生じる。例えば、画像形成装置によって形成される画像は、色材（インク）の着弾位置ずれ、色材が記録媒体に定着する際の滲み（メカニカルドットゲイン）、光学的暈け（オプティカルドットゲイン）等により、入力画像に比べての鮮鋭度が低下することが知られている。本実施例では、重畳画像のサイズに応じた鮮鋭度の低下に加えて、画像出力装置の出力特性に応じた鮮鋭度の低下も抑制する例を説明する。本実施例では、予め画像形成装置３の出力特性（形成画像の鮮鋭度の特性）を測定し、測定された特性と周波数空間上で逆特性となるフィルタ（以下、補償フィルタと呼ぶ）を作成しておく。予め作成しておいたフィルタを入力画像データに畳み込み処理を行う。畳み込み処理を行った入力画像データを基に、実施例３における処理を実行することによって、重畳画像のサイズに応じた鮮鋭度の低下に加えて、画像出力装置の出力特性に応じた鮮鋭度の低下も抑制する。上記の処理を実現する例について実施例３と異なる部分を主に説明する。
　＜画像処理装置１の機能構成と処理内容＞
　実施例４における画像処理装置１の機能構成を図２２に示す。実施例３の構成に加え、画像形成装置３の出力特性に対して逆特性となる補償フィルタ１１３を予め備える。処理フローは、Ｓ２０２’以外は実施例３と同様のため説明を省略し、実施例３と異なるＳ２０２’について説明する。Ｓ２０２’において、第１生成部１０５は、画像形成装置３の出力する画像の画素数に基づいて、取得部１０３で取得した入力画像データが表す画像の解像度を変換する。さらに、解像度を変換した入力画像データに対し、予め備える画像形成装置３の出力特性に応じた補償フィルタを畳み込み処理する。以下で予め作成しておく補償フィルタの作成方法を説明する。
　＜補償フィルタの作成方法＞
　補償フィルタは、図２３に示すような周波数が異なる複数の正弦波パターン画像と均一パターン画像とを含むチャートを記録媒体上に印字し、印字したチャートを測定することによって作成する。以下に、補償フィルタの作成方法の詳細を述べる。
　まず、公知の画像取得装置（スキャナ、カメラ、顕微鏡等）を用い、出力されたチャートの反射率分布を取得する。取得した反射率分布を用い、以下の式（１１）により画像形成装置３の出力特性である周波数応答値ｆｉ（ｕ）を算出する。ｕは正弦波の周波数であり、Ｍａｘ（ｕ）とＭｉｎ（ｕ）とは、それぞれ、周波数ｕに応じて変化する画像の最大反射率、最小反射率である。さらに、式（１１）において、ＷｈｉｔｅとＢｌａｃｋとは、それぞれ、均一パターンの反射率とする。
ｆｉ（ｕ）＝ＭＴＦ（ｕ）＝Ｃ（ｕ）／Ｃ’・・・式（１１）
Ｃ（ｕ）＝（Ｍａｘ（ｕ）－Ｍｉｎ（ｕ））／（Ｍａｘ（ｕ）＋Ｍｉｎ（ｕ））
Ｃ’＝（Ｗｈｉｔｅ－Ｂｌａｃｋ）／（Ｗｈｉｔｅ＋Ｂｌａｃｋ）
　次に、取得した周波数応答値ｆｉ（ｕ）と以下の式（１２）とを用いて、補償フィルタの周波数特性Ｒｘを算出する。
Ｒｘ（ｕ）＝１／ｆｉ（ｕ）・・・式（１２）
　上記のＲｘに対して公知の逆フーリエ変換を行い、逆フーリエ変換によって算出されたフィルタを補償フィルタとして用いる。尚、上記の補償フィルタを用いて高周波成分までを補償すると、ノイズの発生や明るさの変動が起こる。そこで、公知の視覚特性上で感度が低い４Ｃｙｃｌｅ／ｍｍ以上は、補償する強度（強調度合い）を４Ｃｙｃｌｅ／ｍｍ未満よりも下げることが望ましい。
　上記に説明した処理制御を行うことによって、形成画像を形成する際の出力特性に応じて発生する鮮鋭度の低下を補うための入力画像データを生成することが可能となる。その結果、重畳画像のサイズに応じた鮮鋭度の低下に加えて、画像出力装置の出力特性に応じた鮮鋭度の低下も抑制することができる。
　＜変形例＞
　尚、本実施例では画像形成装置３によって形成される画像の出力特性（色材の着弾位置ずれや滲み、光学的暈け等）による鮮鋭度の低下を予め予測し、入力画像を強調処理する例を示した。しかしながら、出力特性に応じた鮮鋭度低下が発生する装置は画像形成装置３に限定されない。画像投影装置２においても投影レンズの光学的暈けによって鮮鋭度が低下する。また、ディスプレイなどの画像表示装置においても、液晶パネルによって光学的暈けが発生し、鮮鋭度が低下する。これら画像出力装置の出力特性に応じた鮮鋭度低下についても本実施例の処理を適用できる。尚、本実施例では複数備える装置のうちいずれか１つの装置に対し、出力特性に応じた補償を加える例を示したが、重畳画像の生成に用いる各装置の出力特性に応じた補償処理を行う構成が望ましい。
　また、本実施例では予め画像形成装置３によって形成される画像の出力特性と逆特性となる１つのフィルタを保持し、入力画像の鮮鋭度を強調処理する例を示した。しかしながら、上記の出力特性は、画像の印字条件（記録媒体、インクの種類、パス数、キャリッジ速度、走査方向、ハーフトーン処理）によって変化する。そのため、上記の印字条件に応じた複数の逆特性フィルタを保持し、印字条件に応じて、切り替え処理するのが望ましい。また、複数の逆特性フィルタを保持せずに、１つの逆特性フィルタと印字条件ごとのフィルタ補正係数とを備え、印字条件に応じてフィルタ補正係数を切り替えることで複数の逆特性フィルタを生成しても良い。
　また、本実施例では入力画像データに対し、逆特性フィルタによる鮮鋭度の強調処理を行ったが、逆特性フィルタを含めた画像処理の手順は上記の例に限定されない。例えば、実施例１の処理によって、各画像出力装置に出力する出力画像データを生成した後に、各画像出力装置の出力特性に基づく逆特性フィルタ処理を施しても良い。
　また、本実施例では式（１１）を用いて出力特性を算出する例を述べたが、出力特性の算出方法は上記の例に限定されない。式（１１）は、正弦波の周波数ｕに応じて出力画像の平均明度が変化するような場合、明部に対して暗部での応答値が過大となる。そのため、出力画像の平均明度が変化するような場合には、以下の式（１３）を用いる。
ｆｉ（ｕ）＝ＭＴＦ（ｕ）＝（Ｍａｘ（ｕ）－Ｍｉｎ（ｕ））／（Ｗｈｉｔｅ－Ｂｌａｃｋ）・・・式（１３）
　尚、Ｍａｘ（ｕ）、Ｍｉｎ（ｕ）、Ｗｈｉｔｅ、Ｂｌａｃｋは反射率として記述したが、輝度や濃度、デバイスのＲＧＢ値を用いてもよい。また、出力画像の出力特性を取得するためのチャートは図２３の例に限定されない。周波数毎の応答性を算出可能であれば、正弦波パターンの代わりに矩形波パターンを用いてもよい。このとき、矩形波パターンに対して式（１１）を適用することにより算出されるＣＴＦ値を周波数特性ｆｉ（ｕ）として用いる。もしくは、ＣＴＦ値を周波数特性とせずに、公知のコルトマン補正式を用いてＭＴＦ値に変換してもよい。
　また、本実施例では予め逆特性フィルタを生成し、保持する例を述べたが、チャートの反射率分布をユーザが入力するための入力部を設け、入力された反射率分布に応じて逆特性フィルタを生成しても良い。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１６年１１月２８日提出の日本国特許出願特願２０１６－２２９６９６と２０１７年８月２５日提出の日本国特許出願特願２０１７－１６１７９９を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (19)

  1. 　入力画像に基づいて第１画像出力装置から出力された第１出力画像と、前記入力画像に基づいて第２画像出力装置から出力され、前記第１出力画像よりも高解像度な第２出力画像と、を重畳することによって１つの画像を生成するために、前記第２画像出力装置に出力する画像データを生成する画像処理装置であって、
    　前記入力画像を表す入力画像データを取得する第１取得手段と、
    　前記入力画像データに基づいて生成された、前記第１画像出力装置に出力する第１出力画像データを取得する第２取得手段と、
    　前記入力画像データと、前記第１出力画像データと、に基づいて、前記第２画像出力装置に出力する第２出力画像データを生成する第１生成手段と、を有し、
    　前記第２出力画像データが表す画像の鮮鋭度は、前記第１出力画像データが表す画像の鮮鋭度に応じていることを特徴とする画像処理装置。
  2. 　前記第１画像出力装置と前記第２画像出力装置との少なくともいずれかはプロジェクタであることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第１画像出力装置はプロジェクタであって、前記第２画像出力装置はプリンタであることを特徴とする請求項２に記載の画像処理装置。
  4. 　前記第１画像出力装置と前記第２画像出力装置とはどちらもプロジェクタであることを特徴とする請求項２に記載の画像処理装置。
  5. 　前記第１画像出力装置と前記第２画像出力装置とは、一方がプリンタであり、他方がディスプレイであることを特徴とする請求項１に記載の画像処理装置。
  6. 　前記入力画像データに基づいて、前記第１出力画像データを生成する第２生成手段をさらに有し、
    　前記第２取得手段は、前記第２生成手段によって生成された前記第１出力画像データを取得することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
  7. 　前記第２生成手段は、前記第１画像出力装置が出力する画像の画素数に応じて前記入力画像データの解像度を変換し、解像度が変換された前記入力画像データに基づいて、前記第１出力画像データを生成することを特徴とする請求項６に記載の画像処理装置。
  8. 　前記入力画像データと前記第１出力画像データとに基づいて、前記入力画像データが表す画像の鮮鋭度に対する前記第１出力画像データが表す画像の鮮鋭度の低下度合いを算出する算出手段をさらに有し、
    　前記第１生成手段は、前記算出手段によって算出された前記鮮鋭度の低下度合いに基づいて、前記第２出力画像データを生成することを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
  9. 　前記入力画像データが表す画像のサイズに対する前記第１出力画像のサイズの第１倍率を取得する第３取得手段をさらに有し、
    　前記算出手段は、前記第１倍率に基づいて、前記入力画像データと前記第１出力画像データとを解像度変換するための第２倍率を算出し、前記第２倍率に基づいて、前記入力画像データと前記第１出力画像データとを解像度変換し、前記解像度変換された前記入力画像データと前記第１出力画像データとに基づいて、前記鮮鋭度の低下度合いを算出することを特徴とする請求項８に記載の画像処理装置。
  10. 　前記算出手段は、前記鮮鋭度の低下度合いとして、前記入力画像データが有する画素値と前記第１出力画像データが有する画素値との差分を算出することを特徴とする請求項８又は請求項９に記載の画像処理装置。
  11. 　前記算出手段は、前記入力画像データに対して前記第２倍率に応じたハイパスフィルタを適用することによって、前記鮮鋭度の低下度合いを算出することを特徴とする請求項８又は請求項９に記載の画像処理装置。
  12. 　前記第１生成手段は、前記入力画像データと前記鮮鋭度の低下度合いとに基づいて、前記入力画像データが表す画像の鮮鋭度を強調し、鮮鋭度を強調された画像を表す前記入力画像データに基づいて、前記第２出力画像データを生成することを特徴とする請求項８乃至請求項１１のいずれか一項に記載の画像処理装置。
  13. 　前記第１生成手段は、前記入力画像データが有する画素値に前記鮮鋭度の低下度合いを表す値を加算することによって、前記入力画像データが表す画像の鮮鋭度の強調を行うことを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記第１生成手段は、前記鮮鋭度の低下度合いに応じたγ値を用いて前記入力画像データに対してγ補正を行うことによって、前記入力画像データが表す画像の鮮鋭度の強調を行うことを特徴とする請求項１２に記載の画像処理装置。
  15. 　前記第１生成手段は、前記鮮鋭度の低下度合いに応じたフィルタを用いて前記入力画像データに対してエッジ強調を行うことによって、前記入力画像データが表す画像の鮮鋭度の強調を行うことを特徴とする請求項１２に記載の画像処理装置。
  16. 　画像の重畳を行う環境における環境光の強度を取得する第４取得手段をさらに有し、
    　前記第１生成手段は、さらに前記環境光の強度に基づいて、前記第２出力画像データを生成することを特徴とする請求項１乃至請求項１５のいずれか一項に記載の画像処理装置。
  17. 　前記第１画像出力装置と前記第２画像出力装置との少なくともいずれかの、画像を出力する際の出力特性を取得する第５取得手段をさらに有し、
    　前記第１取得手段は、前記出力特性に応じたフィルタを用いて補正された前記入力画像データを取得することを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
  18. 　コンピュータを請求項１乃至請求項１７のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
  19. 　入力画像に基づいて第１画像出力装置から出力された第１出力画像と、前記入力画像に基づいて第２画像出力装置から出力され、前記第１出力画像よりも高解像度な第２出力画像と、を重畳することによって１つの画像を生成するために、前記第２画像出力装置に出力する画像データを生成する画像処理方法であって、
    　前記入力画像を表す入力画像データを取得する第１取得ステップと、
    　前記入力画像データに基づいて生成された、前記第１画像出力装置に出力する第１出力画像データを取得する第２取得ステップと、
    　前記入力画像データと、前記第１出力画像データと、に基づいて、前記第２画像出力装置に出力する第２出力画像データを生成する第１生成ステップと、を有し、
    　前記第２出力画像データが表す画像の鮮鋭度は、前記第１出力画像データが表す画像の鮮鋭度に応じていることを特徴とする画像処理方法。
PCT/JP2017/041739 2016-11-28 2017-11-21 画像処理装置、画像処理方法及びプログラム WO2018097114A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/396,039 US10868938B2 (en) 2016-11-28 2019-04-26 Image processing apparatus, image processing method for suppressing decrease in sharpness of superimpose image, and storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016229696 2016-11-28
JP2016-229696 2016-11-28
JP2017161799A JP2018093472A (ja) 2016-11-28 2017-08-25 画像処理装置、画像処理方法及びプログラム
JP2017-161799 2017-08-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/396,039 Continuation US10868938B2 (en) 2016-11-28 2019-04-26 Image processing apparatus, image processing method for suppressing decrease in sharpness of superimpose image, and storage medium

Publications (1)

Publication Number Publication Date
WO2018097114A1 true WO2018097114A1 (ja) 2018-05-31

Family

ID=62195080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041739 WO2018097114A1 (ja) 2016-11-28 2017-11-21 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2018097114A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026879A (ja) * 2006-06-19 2008-02-07 Seiko Epson Corp 表示システムおよび表示方法
JP2008122558A (ja) * 2006-11-10 2008-05-29 Seiko Epson Corp 表示装置
JP2010103863A (ja) * 2008-10-24 2010-05-06 Canon Inc 画像処理システムおよび画像処理装置、および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026879A (ja) * 2006-06-19 2008-02-07 Seiko Epson Corp 表示システムおよび表示方法
JP2008122558A (ja) * 2006-11-10 2008-05-29 Seiko Epson Corp 表示装置
JP2010103863A (ja) * 2008-10-24 2010-05-06 Canon Inc 画像処理システムおよび画像処理装置、および画像処理方法

Similar Documents

Publication Publication Date Title
US11146738B2 (en) Image processing apparatus, control method, and non-transitory computer-readable storage medium
JP7117915B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2017092872A (ja) 画像処理装置、画像処理方法
JP2005269639A (ja) カラー画像−グレースケール画像変換方法及びシステム、グレースケール画像、カラー−グレースケール変換改善方法、及び、エッジ強調方法
JP5257108B2 (ja) プロジェクタ、プロジェクションシステム、画像表示方法、及び画像表示プログラム
JP2011248479A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5451313B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019009730A (ja) 画像処理装置および画像処理方法
US8000554B2 (en) Automatic dynamic range adjustment in digital imaging
KR20200002683A (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 프로그램
JP2019029826A (ja) 画像処理装置、画像処理方法及びプログラム
US20190068832A1 (en) Image processing apparatus, method thereof, and image forming apparatus
JP6703788B2 (ja) 画像処理装置および画像処理方法
US9536183B2 (en) Image processing device and image processing method
JP5426953B2 (ja) 画像処理装置およびその方法
JP2006120030A (ja) コントラスト調整装置、コントラスト調整方法
US9218552B2 (en) Image processing apparatus and image processing method
JP7296745B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9875524B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
WO2018097114A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019205103A (ja) 画像処理装置、画像処理方法及びプログラム
JP5293923B2 (ja) 画像処理方法及び装置、画像表示装置並びにプログラム
US10868938B2 (en) Image processing apparatus, image processing method for suppressing decrease in sharpness of superimpose image, and storage medium
JP2014011505A (ja) 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、画像処理プログラム、並びに印刷物
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17874811

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17874811

Country of ref document: EP

Kind code of ref document: A1