WO2023074477A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2023074477A1
WO2023074477A1 PCT/JP2022/038831 JP2022038831W WO2023074477A1 WO 2023074477 A1 WO2023074477 A1 WO 2023074477A1 JP 2022038831 W JP2022038831 W JP 2022038831W WO 2023074477 A1 WO2023074477 A1 WO 2023074477A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
captured
rgb
conversion
Prior art date
Application number
PCT/JP2022/038831
Other languages
English (en)
French (fr)
Inventor
昌宏 武
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023074477A1 publication Critical patent/WO2023074477A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Definitions

  • the present disclosure relates to an information processing device and an information processing method.
  • the RGB values of an image that is re-shot (hereinafter also referred to as a re-shot image) and an image obtained by photographing an object (hereinafter referred to as a captured image) may have different RGB values.
  • an image of a performer is projected onto a wall, and the same performer acts in front of the wall (in real space) and is filmed.
  • the colors (RGB values) of the re-captured image of the performer in the image may differ from the colors (RGB values) of the actual captured image of the performer in front of the wall.
  • the spectral characteristics of objects in real space differ from the spectral characteristics of images projected on the screen. Therefore, for example, even if the xy color coordinates of the image and the xy color coordinates of the object in the real space are adjusted to be the same, if the image and the object are photographed with a camera, the RGB values will be the same. is not limited. Therefore, for example, even if the screen and the object in the real space are photographed at the same time, it cannot be said that a highly realistic image can be obtained.
  • the present disclosure provides a mechanism capable of acquiring a more realistic image.
  • the information processing device of the present disclosure includes a control unit.
  • the control unit converts the first image captured by the first imaging device in the first space into a display image to be displayed on the display device arranged in the second space based on the first conversion information.
  • the control unit acquires a second image captured by a second imaging device so as to include the display device displaying the display image.
  • the first conversion information is an RGB value of a first color image obtained by capturing an image of a predetermined color displayed on the display device by the second imaging device, and an object of the predetermined color arranged in the second space. and the RGB values of the second color image captured by the second imaging device.
  • FIG. 1 is a diagram for explaining an overview of an information processing system according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of a photographed image of a real object according to the embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of a display captured image according to the embodiment of the present disclosure
  • FIG. FIG. 3 is a diagram for explaining an overview of imaging processing according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of background conversion information according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of display conversion information according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of imaging conversion information according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of imaging conversion information according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining an example of each piece of conversion information according to the embodiment of the present disclosure
  • FIG. 1 is a block diagram showing a configuration example of an information processing device according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of background conversion information according to an embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram showing an example of background conversion information calculated by a background conversion information calculation unit according to the embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining an example of conversion processing by a background image conversion unit according to an embodiment of the present disclosure
  • FIG. 1 is a block diagram showing a configuration example of an information processing device according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining an example of background conversion information according to an embodiment of the present disclosure
  • FIG. 5 is a diagram showing an example of background conversion information calculated by a background conversion information calculation unit according to the embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining an example of conversion processing by a background
  • FIG. 7 is a flowchart showing an example flow of conversion information calculation processing executed by an information processing apparatus according to an embodiment of the present disclosure
  • 4 is a flowchart showing an example flow of imaging processing executed by the information processing apparatus according to the embodiment of the present disclosure
  • FIG. 11 is a diagram for explaining an overview of imaging processing according to a modification of the embodiment of the present disclosure
  • FIG. 11 is a block diagram showing a configuration example of an information processing device according to a modification of the embodiment of the present disclosure
  • FIG. 1 is a diagram for explaining an overview of an information processing system 10 according to an embodiment of the present disclosure.
  • the information processing system 10 includes an information processing device 100 , a display device 200 , an imaging device 300 and a light source 400 .
  • the display device 200 is, for example, an LED (Light Emitting Diode) display having the size of an entire wall, and is arranged in a real space such as a studio. Hereinafter, the display device 200 is also described as LEDwall200.
  • a performer 600 performs in front of a display device 200 that displays an image of a three-dimensional virtual space as a background, and an imaging device 300B captures the performance. take a picture.
  • the information processing system 10 can acquire an image as if the performer 600 performed in the three-dimensional virtual space.
  • the information processing device 100 generates a background image to be displayed on the LEDwall 200 .
  • the information processing apparatus 100 generates a background image 510 captured by the virtual imaging device 300A under the virtual light source 400A (here, sunlight, for example) in the three-dimensional virtual space.
  • the virtual light source 400A here, sunlight, for example
  • the imaging device 300A is, for example, a device that captures an image of a subject in a three-dimensional virtual space.
  • the imaging device 300A is, for example, an RGB camera that captures a background image 510 of RGB values.
  • the imaging device 300A is a virtual RGB camera that captures an image of a subject in a three-dimensional virtual space, it is not limited to this.
  • the imaging device 300A may be an RGB camera that images a subject in real space.
  • the real space in which the image capturing device 300A captures images may be a different space from the real space in which the LEDwall 200 is arranged, that is, the real space in which the image capturing device 300B captures images.
  • the information processing device 100 converts the generated background image 510 into an image for display on the LEDwall 200 (display image), and displays the display image on the LEDwall 200 .
  • the imaging device 300B is placed in the same real space as the LEDwall 200.
  • the imaging device 300B acquires a captured image 540 by capturing the display image displayed on the LEDwall 200 and the performer 600 at the same time.
  • the imaging device 300B is, for example, an RGB camera that captures an RGB value captured image 540 .
  • the imaging device 300B captures the captured image 540 under the light source 400B such as an LED.
  • the imaging device 300B outputs the captured image 540 to the information processing device 100 .
  • FIG. 1 shows the case where the display device 200 is an LED wall covering the whole wall, it is not limited to this.
  • the display device 200 may be configured with a plurality of LEDwalls.
  • the display device 200 may be a device that displays the background image 510 on the wall and ceiling (or floor).
  • the display device 200 may be a device of a predetermined size, such as the size of a person in the real space. That is, the background image displayed by the display device 200 may include an image of an object such as a person in addition to a background image such as a landscape.
  • the display device 200 is an LED display here, it is not limited to this.
  • the display device 200 may be an LCD (Liquid Crystal Display).
  • the display image displayed on the LEDwall 200 may have different colors (RGB values) between the captured image captured by the imaging device 300B and the captured image of the object in the real space. This point will be described with reference to FIGS. 2 and 3.
  • FIG. the captured image obtained by capturing the display image displayed on the LEDwall 200 with the imaging device 300B is also referred to as a display captured image.
  • a photographed image obtained by photographing an object in real space is also referred to as a real object photographed image.
  • FIG. 2 is a diagram for explaining an example of a photographed image of a real object according to the embodiment of the present disclosure.
  • the imaging device 300B captures an image of an object 610 (a car in the example of FIG. 2) arranged in real space, and generates a real object captured image 541.
  • FIG. 2 is a diagram for explaining an example of a photographed image of a real object according to the embodiment of the present disclosure.
  • the imaging device 300B captures an image of an object 610 (a car in the example of FIG. 2) arranged in real space, and generates a real object captured image 541.
  • FIG. 1 is a diagram for explaining an example of a photographed image of a real object according to the embodiment of the present disclosure.
  • the spectral characteristics of the object 610 are determined by the spectral characteristics of the light source in real space and the spectral reflectance of the object 610 . As shown in the graph of FIG. 2, the distribution of spectral characteristics of an object 610 placed in real space is, for example, a gentle distribution.
  • FIG. 3 is a diagram for explaining an example of a display captured image according to the embodiment of the present disclosure.
  • the imaging device 300B captures an image of an object 610 displayed on the LEDwall 200 arranged in real space, and generates a display captured image 542.
  • FIG. It is assumed that the object 610 displayed on the LEDwall 200 is the same object as the object 610 arranged in the real space (see FIG. 2).
  • the RGB values of the real object captured image 541 and the display captured image 542 may be different values.
  • the display image displayed on the LEDwall 200 is, for example, an image captured by the imaging device 300A. Therefore, the spectral characteristics of the object 610 displayed on the LEDwall 200 are characteristics corresponding to the spectral characteristics of the imaging device 300A and the LEDwall 200 . For example, as shown in the graph of FIG. 3, the distribution of the spectral characteristics of the object 610 displayed on the LEDwall 200 has peaks near the wavelengths of R (Red), G (Green), and B (Blue).
  • the spectral distribution of the object 610 placed in the real space and the spectral distribution of the object 610 displayed on the LEDwall 200 are different. Therefore, when the same object 610 is imaged by the imaging device 300B, the RGB values of the real object captured image 541 and the RGB values of the display captured image 542 are different values.
  • the conditional color pair is obtained, but the real object captured image 541 and the display captured image 542 are not the same value.
  • a metameric color pair means that when the colors of two objects are measured with a colorimeter, the measurement result may show the same color even if the spectral characteristics of the two objects are different.
  • the spectral characteristics of the object 610 in real space and the spectral characteristics of the object 610 displayed on the LEDwall 200 are different. Therefore, for example, by adjusting the xy color coordinates of the object 610 displayed on the LEDwall 200, the color of the object 610 in the real space and the color of the object 610 displayed on the LEDwall 200 can be changed as seen from a person in the real space. We can arrange it.
  • the spectral characteristics of the imaging device 300B are different from the spectral characteristics of the human eye. Therefore, even if the object 610 in the real space and the object 610 displayed on the LEDwall 200 have the same color as seen from a person in the real space, the real object captured image 541 captured by the imaging device 300B and the display The color tone of the captured image 542 will be different.
  • the information processing device 100 converts the background image 510 captured by the imaging device 300A into a display image to be displayed on the LEDwall 200 using display conversion information.
  • the display conversion information is information calculated based on the RGB values of the display captured image 542 obtained by capturing the display image and the RGB values of the real object captured image 541 obtained by capturing the object 610 in the real space.
  • the display conversion information is a conversion coefficient for matching the RGB values of a display captured image 542 obtained by capturing a display image and the RGB values of a real object captured image 541 obtained by capturing an object 610 in real space.
  • the information processing apparatus 100 captures the RGB values of a background image (an example of a first image) captured by an imaging device 300A (an example of a first imaging device) in a three-dimensional virtual space (an example of a first space). Based on the conversion information (an example of the second conversion information), it is converted into XYZ values.
  • the information processing apparatus 100 converts the background image of XYZ values into a display image to be displayed on the display device 200 arranged in the real space (an example of the second space) based on the display conversion information (an example of the first conversion information). do.
  • the information processing device 100 acquires a captured image 540 (an example of a second image) captured by the imaging device 300B (an example of a second imaging device) so as to include the display device 200 that displays the display image.
  • the information processing apparatus 100 converts the RGB values of the captured image 540 into XYZ values based on the imaging conversion information (an example of the third conversion information) to obtain the third image.
  • the information processing apparatus 100 generates an output image by converting the XYZ values of the third image into RGB values.
  • the display conversion information is calculated based on the RGB values of the first color image and the RGB values of the second color image.
  • the first color image is, for example, a display captured image 542 obtained by capturing a predetermined color image displayed on the display device 200 with the imaging device 300B.
  • the second color image is, for example, a real object captured image 541 obtained by capturing an object of a predetermined color arranged in real space with the imaging device 300B.
  • the information processing apparatus 100 calculates display conversion information for aligning (substantially matching) the RGB values of the first color image and the RGB values of the second color image.
  • the information processing apparatus 100 can match the color of the display captured image 542 obtained by capturing the display image with the color of the real object captured image 541 obtained by capturing the object 610 in the real space.
  • a captured image can be acquired.
  • the information processing system 10 As an application example of the information processing system 10, a case of applying it to filming a movie, a drama, etc., for example, has been described, but the application example is not limited to this.
  • the information processing system 10 according to the embodiment of the present disclosure can be applied to various systems for recapturing video displayed on the display device 200, such as capturing a television program in which a commentator appears through a liquid crystal display.
  • FIG. 4 is a diagram for explaining an overview of the imaging process according to the embodiment of the present disclosure.
  • a photographing process is, for example, a process of photographing a display image displayed on the LEDwall 200 and a subject (for example, the performer 600) placed in the real space and generating an output image.
  • the imaging process is performed by the information processing device 100 .
  • the information processing device 100 acquires, for example, a background image of RGB values (hereinafter also referred to as a background RGB image) captured by the virtual imaging device 300A under the virtual light source 400A in the virtual space (step S1).
  • a background RGB image a background image of RGB values
  • the information processing apparatus 100 performs coordinate conversion of the acquired background RGB image into XYZ values using background conversion information (an example of first conversion information), and converts the background image of the XYZ values (hereinafter also referred to as background XYZ image). is generated (step S2).
  • the information processing apparatus 100 converts the generated background XYZ image into an RGB value background display image 520 (an example of a fourth image) for display on the LEDwall 200 (step S3).
  • the information processing apparatus 100 converts the background display image 520 into an RGB value display image using the display conversion information (an example of the second conversion information) (step S4).
  • the information processing device 100 causes the display image to be displayed on the LEDwall 200 (step S5).
  • the information processing device 100 acquires a captured image of RGB values captured by the imaging device 300B (hereinafter also referred to as a captured RGB image) (step S6).
  • the captured RGB image is an image including the display image displayed on the LEDwall 200 and the performer 600 .
  • the information processing apparatus 100 performs coordinate conversion of the acquired captured RGB image into XYZ values using the imaging conversion information (an example of the third conversion information), and converts the captured image of the XYZ values (hereinafter also referred to as the captured XYZ image). is generated (step S7).
  • the information processing device 100 converts the captured XYZ image into an RGB value output image (step S8).
  • FIG. 5A is a diagram for explaining an example of background conversion information according to an embodiment of the present disclosure.
  • the background conversion information is calculated based on the background RGB image (an example of the RGB values of the third color image) and the XYZ values of the color chart 620 (color chart XYZ values).
  • the background RGB image is an image of the color chart 620 (an example of an object with a predetermined color) captured by the imaging device 300A in the three-dimensional virtual space.
  • color chart 620 includes a plurality of sample colors.
  • the information processing apparatus 100 calculates background conversion information that associates the RGB values of each sample color of the background RGB image with the XYZ values of each sample color of the color chart.
  • the information processing apparatus 100 uses the background transformation information when performing coordinate transformation of the background RGB image into the background XYZ image. Thereby, the information processing apparatus 100 can match the XYZ values of the background XYZ image with the XYZ values of the color chart 620 arranged in the three-dimensional virtual space.
  • FIG. 5B is a diagram for explaining an example of display conversion information according to the embodiment of the present disclosure.
  • the display conversion information is calculated based on the real object captured RGB image (an example of the second color image) and the display captured RGB image (an example of the first color image).
  • the real object captured RGB image is a captured RGB image obtained by capturing the color chart 620 arranged in the real space with the imaging device 300 .
  • the display-captured RGB image is a captured RGB image obtained by capturing the image of the color chart 620 displayed on the display device 200 with the imaging device 300B.
  • the color chart 620 arranged in the real space and the color chart 620 arranged in the three-dimensional virtual space described above are the same.
  • the spectral reflectance of the color chart 620 arranged in the real space and the spectral reflectance of the color chart 620 arranged in the three-dimensional virtual space are the same. The closer the spectral reflectance of the color chart 620 arranged in the real space and the spectral reflectance of the color chart 620 arranged in the three-dimensional virtual space, the more accurate the background conversion information, the display conversion information, and the imaging conversion information. improves.
  • the information processing device 100 converts the background RGB image described above into a background XYZ image using the background conversion information.
  • the information processing apparatus 100 converts the background XYZ image into a background display image of RGB values for display on the LEDwall 200 .
  • the information processing apparatus 100 obtains a display-captured RGB image by causing the imaging device 300B to capture an image of the LEDwall 200 while the background display image is displayed on the LEDwall 200 .
  • the information processing apparatus 100 calculates display conversion information that associates the RGB value of each sample color of the display-captured RGB image with the RGB value of each sample color of the real object-captured RGB image.
  • the information processing device 100 uses the display conversion information when converting the background display image into the display image, as described above. Thereby, the information processing apparatus 100 can match the RGB value of each sample color of the display-captured RGB image with the RGB value of each sample color of the real object-captured RGB image. In other words, the information processing apparatus 100 can match the XYZ values for each sample color of the display-captured XYZ image to the XYZ values for each sample color of the real-object-captured XYZ image.
  • FIG. 5C is a diagram for explaining an example of imaging conversion information according to the embodiment of the present disclosure.
  • the imaging conversion information is calculated based on the display-captured RGB image and the XYZ values of the color chart 620 arranged in the three-dimensional virtual space.
  • the display-captured RGB image here is an image captured by the imaging device 300B in a state in which a background display image is converted into a display image using display conversion information and the display image is displayed on the LEDwall 200 .
  • the information processing apparatus 100 calculates imaging conversion information that associates the RGB values of each sample color of the display-captured RGB image with the XYZ values of each sample color of the color chart arranged in the three-dimensional virtual space.
  • the information processing apparatus 100 uses the imaging conversion information when converting a display-captured RGB image into a display-captured XYZ image. Thereby, the information processing apparatus 100 can match the XYZ values of each sample color of the display-captured XYZ image with the XYZ values of the color chart 620 arranged in the three-dimensional virtual space.
  • the information processing apparatus 100 converts the background display image into the display image using the display conversion information, thereby converting the RGB values of each sample color of the display-captured RGB image into the real object-captured RGB image. RGB values for each sample color can be adjusted.
  • FIG. 5D is a diagram for explaining an example of each piece of conversion information according to the embodiment of the present disclosure.
  • the information processing apparatus 100 calculates the background conversion information so that the XYZ values of the background XYZ image approximate the XYZ values of the color chart 620 arranged in the three-dimensional virtual space.
  • the information processing apparatus 100 also calculates the display conversion information such that the XYZ values for each sample color of the display-captured XYZ image approach the XYZ values for each sample color of the real object-captured XYZ image.
  • the information processing apparatus 100 also calculates the imaging conversion information such that the XYZ values for each sample color of the display-captured XYZ image approach the XYZ values for each color of the color chart 620 .
  • the information processing apparatus 100 can match the values for each sample color of the XYZ values of the color chart 620, the background XYZ image, the display-captured XYZ image, and the real object-captured XYZ image. Therefore, the information processing apparatus 100 can match the colors when the display-captured XYZ image and the real object-captured XYZ image are coordinate-transformed into RGB values, and can acquire a realistic output image.
  • matching the XYZ values does not necessarily mean that the XYZ values match, and a certain amount of deviation (for example, a deviation that cannot be visually recognized by humans) can be allowed. This is the same when matching the RGB values or when matching the RGB values (or XYZ values) (making them substantially the same). Note that such a deviation can be expressed as an error during coordinate transformation. How much deviation (error) is allowed is determined according to the application destination of the information processing system 10 .
  • FIG. 6 is a block diagram showing a configuration example of the information processing device 100 according to the embodiment of the present disclosure.
  • the information processing apparatus 100 includes a communication section 110, a storage section 120, and a control section .
  • the communication unit 110 is a communication interface that communicates with an external device via a network by wire or wirelessly.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the storage unit 120 is a data readable/writable storage device such as a DRAM, an SRAM, a flash memory, or a hard disk.
  • the storage unit 120 functions as storage means of the information processing apparatus 100 .
  • the control unit 130 controls each unit of the information processing device 100 .
  • the control unit 130 stores a program stored inside the information processing apparatus 100 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), or the like in a RAM (Random Access Memory) or the like as a work area. It is realized by executing as Also, the control unit 130 is implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 130 includes a background image acquisition unit 131, a background image conversion unit 132, a background display image conversion unit 133, a display image conversion unit 134, a captured image acquisition unit 135, a captured image conversion unit 136, and an output image. and a generator 137 .
  • the control unit 130 also includes an XYZ calculation unit 138 , a background conversion information calculation unit 139 , a display conversion information calculation unit 140 , and an imaging conversion information calculation unit 141 .
  • Each block (background image acquisition unit 131 to image conversion information calculation unit 141) constituting the control unit 130 is a functional block indicating the function of the control unit 130. FIG. These functional blocks may be software blocks or hardware blocks.
  • each of the functional blocks described above may be one software module realized by software (including microprograms), or may be one circuit block on a semiconductor chip (die).
  • each functional block may be one processor or one integrated circuit.
  • the control unit 130 may be configured in functional units different from the functional blocks described above. The configuration method of the functional blocks is arbitrary.
  • control unit 130 may be configured in functional units different from the functional blocks described above. Also, some or all of the blocks (background image acquisition unit 131 to imaging conversion information calculation unit 141) that make up the control unit 130 may be performed by another device. For example, some or all of the blocks that make up the control unit 130 may be operated by a control device realized by cloud computing.
  • Background image acquisition unit 131 acquires a background RGB image to be displayed on LEDwall 200 .
  • the background image acquisition unit 131 generates an image captured by the virtual imaging device 300A arranged in the three-dimensional virtual space as a background RGB image.
  • the background image acquisition unit 131 may acquire the background RGB image stored in the storage unit 120.
  • the background image acquisition unit 131 can acquire a background RGB image from an external information processing device or the like instead of the storage unit 120 .
  • the background RGB image is an image captured in a real space such as a remote location
  • the background image acquisition unit 131 can acquire the background RGB image from the imaging device 300A arranged in the remote location.
  • the background image acquisition unit 131 outputs the acquired background RGB image to the background image conversion unit 132 . Also, when the background RGB image is an image of an object of a predetermined color (for example, the color chart 620), the background image acquisition unit 131 outputs the background RGB image to the background conversion information calculation unit 139.
  • the background image conversion unit 132 executes conversion processing of converting the background RGB image acquired from the background image acquisition unit 131 into a background XYZ image of absolute color coordinate XYZ values using the background conversion information.
  • the background image converter 132 outputs the background XYZ image to the background display image converter 133 . Details of the conversion process will be described later.
  • the background display image conversion unit 133 converts the background XYZ image acquired from the background image conversion unit 132 into a background display image of RGB values for display on the LEDwall 200 . It is assumed that information for converting the background XYZ image into the background display image of RGB values is stored in the storage unit 120 in advance.
  • the background display image converter 133 outputs the background display image to the display image converter 134 . Moreover, when the background display image includes an object of a predetermined color (for example, the color chart 620), the background display image conversion unit 133 causes the LEDwall 200 to display the background display image.
  • a predetermined color for example, the color chart 620
  • the display image conversion unit 134 executes conversion processing for converting the background display image acquired from the background display image conversion unit 133 into a display image using display conversion information.
  • the display image conversion unit 134 causes the LEDwall 200 to display the display image. Details of the conversion process will be described later.
  • the captured image acquisition unit 135 acquires a captured RGB image captured by the imaging device 300B arranged in the real space.
  • the captured image acquisition unit 135 acquires, for example, a captured RGB image obtained by recapturing the display image displayed on the LEDwall 200 .
  • the captured image acquisition unit 135 acquires a captured RGB image of a subject in real space.
  • the captured image acquisition unit 135 acquires a captured RGB image that simultaneously captures both the display image displayed on the LEDwall 200 and the subject in the real space.
  • the captured image acquisition unit 135 outputs the acquired captured RGB image to the captured image conversion unit 136 . Further, when the captured RGB image is a display captured RGB image obtained by capturing an object of a predetermined color displayed on the LEDwall 200 (for example, the color chart 620), the captured image acquisition unit 135 converts the captured RGB image into a display conversion information calculation unit. output to 140. Further, when the captured RGB image is a real object captured RGB image obtained by photographing an object of a predetermined color (for example, the color chart 620) placed in real space, the captured image acquisition unit 135 converts the captured RGB image into display conversion information. Output to the calculation unit 140 .
  • the captured image conversion unit 136 executes a conversion process of converting the captured RGB image acquired from the captured image acquisition unit 135 into a captured XYZ image of absolute color coordinate XYZ values using the imaging conversion information.
  • the captured image conversion unit 136 outputs the captured XYZ image to the output image generation unit 137 . Details of the conversion process will be described later.
  • the output image generation unit 137 converts the captured XYZ image acquired from the captured image conversion unit 136 into an RGB value output image. It is assumed that information for converting a captured XYZ image into an output image of RGB values is stored in the storage unit 120 in advance.
  • the XYZ calculator 138 calculates XYZ values of a predetermined color (sample color) of an object of a predetermined color (for example, the color chart 620) arranged in the three-dimensional virtual space.
  • the XYZ calculator 138 calculates the XYZ values of the sample color based on the spectral characteristics of the light source 400A in the three-dimensional virtual space and the spectral reflectance of the sample color.
  • the XYZ calculation unit 138 may obtain the XYZ values of the predetermined color by imaging an object of the predetermined color with an XYZ camera.
  • the XYZ camera is, for example, an imaging device that imitates the spectral characteristics of the human eye, and is a device that generates a captured image of XYZ values.
  • An object may contain multiple sample colors.
  • color chart 620 includes 24 sample colors (see FIG. 5A).
  • the XYZ calculator 138 acquires XYZ values for each of the plurality of sample colors.
  • the number of sample colors is not limited to 24, and may be less than 24 or may be 25 or more. As the number of sample colors increases, the information processing apparatus 100 can reduce errors in conversion processing.
  • the XYZ calculator 138 outputs the acquired XYZ values of the color chart 620 to the background conversion information calculator 139 .
  • the background conversion information calculation unit 139 calculates background conversion information using the background RGB image acquired from the background image acquisition unit 131 and the XYZ values of the color chart 620 acquired from the XYZ calculation unit 138 .
  • the background conversion information is, for example, information for associating the RGB values of the background RGB image with the XYZ values of the color chart 620 for each sample color included in the color chart 620 . Details of the background conversion information and the background conversion information calculation process will be described later.
  • the background conversion information calculation unit 139 outputs the calculated background conversion information to the background image conversion unit 132 .
  • the display conversion information calculation unit 140 calculates display conversion information using the display captured RGB image acquired from the captured image acquisition unit 135 and the real object captured RGB image acquired from the captured image acquisition unit 135 .
  • the display conversion information is, for example, information for associating the RGB values of the display-captured RGB image with the RGB values of the real object-captured RGB image for each sample color included in the color chart 620 . The details of the display conversion information and the calculation processing of the display conversion information will be described later.
  • the display conversion information calculation unit 140 outputs the calculated display conversion information to the display image conversion unit 134 .
  • the imaging conversion information calculation unit 141 calculates imaging conversion information using the display-captured RGB image acquired from the captured image acquisition unit 135 and the XYZ values of the color chart 620 acquired from the XYZ calculation unit 138 .
  • the imaging conversion information is, for example, information for associating the RGB values of the display-captured RGB image with the XYZ values of the color chart 620 for each sample color included in the color chart 620 .
  • the details of the imaging conversion information and the processing for calculating the imaging conversion information will be described later.
  • the imaging conversion information calculation unit 141 outputs the calculated imaging conversion information to the captured image conversion unit 136 .
  • conversion information an example of the background conversion information, the display conversion information, and the imaging conversion information (hereinafter collectively referred to as conversion information) will be described. Background conversion information will be described below as an example of conversion information, but the same applies to display conversion information and imaging conversion information.
  • FIG. 7 is a diagram for explaining an example of background conversion information according to the embodiment of the present disclosure. As described above, the conversion information is calculated by the background conversion information calculator 139 (see FIG. 6).
  • the background conversion information calculation unit 139 compares the background RGB image acquired from the background image acquisition unit 131 with the XYZ values of the color chart 620 acquired from the XYZ calculation unit 138, thereby calculating a mathematical , a color coordinate conversion coefficient is calculated as conversion information.
  • the background conversion information calculation unit 139 calculates a background conversion coefficient using regression analysis, for example.
  • the background RGB image includes RGB values for each sample color.
  • sample color IDs for identifying sample colors and 4-bit RGB values are associated with each other.
  • sample color IDs for identifying sample colors and 4-bit XYZ values are shown in association with each other.
  • the background conversion information calculation unit 139 compares RGB values and XYZ values having the same sample color ID, and calculates background conversion coefficients for converting RGB values into XYZ values. For example, when converting from RGB values to XYZ values by matrix operation, a conversion matrix for converting from RGB values to XYZ values is calculated.
  • the background conversion information calculation unit 139 calculates a conversion matrix x1 for converting from RGB values "2F1" whose sample color ID is "0001" to XYZ values "2D3".
  • the transform matrix x1 is, for example, a 3 ⁇ 3 matrix.
  • the background conversion information calculation unit 139 calculates conversion matrices x2 to x2000 corresponding to the sample color IDs "0002" to "2000". In this manner, the background conversion information calculation unit 139 calculates, for example, conversion matrices x corresponding to all sample colors included in color samples (color samples).
  • the conversion matrix x calculated by the background conversion information calculation unit 139 differs for each sample color. Therefore, the background conversion information calculation unit 139 calculates, as background conversion information, a representative conversion matrix X that can averagely express the conversion from RGB values to XYZ values for all sample colors using, for example, the method of least squares. Output to the image conversion unit 132 . As a result, the background image conversion unit 132 can convert the background RGB image into the background XYZ image by simple matrix calculation, thereby reducing the calculation amount of the conversion process.
  • the background image conversion unit 132 performs conversion processing using a conversion matrix x calculated for each sample color ID is conceivable. That is, the background transformation information calculation unit 139 generates background transformation information using all the transformation matrices x as the representative transformation matrix X.
  • the hardware configuration of the information processing apparatus 100 may become complicated.
  • the number of representative transformation matrices to be included in the transformation information depends on, for example, the configuration of the information processing apparatus 100, the required processing time, and the required conversion accuracy. It can be set as appropriate according to, for example.
  • the background conversion information calculation unit 139 calculates a plurality of representative conversion matrices (coefficients), it is assumed that the representative conversion matrix (coefficients) is not calculated for each pixel.
  • the background conversion information calculation unit 139 sets several points according to, for example, color, brightness, etc., and calculates a representative conversion matrix (coefficient) for each set point. That is, the background conversion information calculation unit 139 divides the sample colors into a plurality of groups according to, for example, color, brightness, etc., and calculates a representative conversion matrix for each group.
  • the background image conversion unit 132 selects a representative conversion matrix according to each pixel value of the background RGB image, and performs conversion processing for each pixel. At this time, the background image conversion unit 132 may correct the representative transformation matrix, such as weighting the representative transformation matrix selected according to the pixel value.
  • the background transform information calculated by the background transform information calculator 139 is not limited to the transform matrix (transform coefficient).
  • the background conversion information calculator 139 may calculate a conversion table as the background conversion information.
  • FIG. 8 is a diagram showing an example of background conversion information calculated by the background conversion information calculation unit 139 according to the embodiment of the present disclosure.
  • the background conversion information calculation unit 139 calculates, as background conversion information, a conversion table in which 4-bit RGB values and 4-bit XYZ values are associated with each sample color.
  • the background conversion information calculation unit 139 may calculate a conversion table that associates RGB values and XYZ values for all sample colors, or discretely converts RGB values and XYZ values for some sample colors. A corresponding conversion table may be calculated. Note that the number of sample colors to be included in the conversion table can be appropriately set according to, for example, the configuration of the background image conversion unit 132, required processing time, required conversion accuracy, and the like.
  • the RGB values of the background RGB image described above are replaced with the RGB values of the display captured RGB image acquired from the captured image acquisition unit 135 in the display conversion information.
  • the XYZ values of the color chart 620 described above are replaced with the RGB values of the captured real object RGB image acquired from the captured image acquisition unit 135 in the display conversion information.
  • the display conversion information includes information on conversion from RGB values to RGB values.
  • the RGB values of the background RGB image described above are replaced with the RGB values of the display captured RGB image acquired from the captured image acquisition unit 135 in the captured image conversion information.
  • the image conversion information includes information on conversion from RGB values to XYZ values.
  • FIG. 9 is a diagram for explaining an example of conversion processing by the background image conversion unit 132 according to the embodiment of the present disclosure. Note that the conversion process is executed by the background image conversion unit 132 . It is also assumed that the conversion table is generated by the background conversion information calculation unit 139 and stored in the storage unit 120 (see FIG. 6), for example.
  • the background image conversion unit 132 includes a read control unit 1321 and an interpolation processing unit 1322.
  • the readout control unit 1321 controls readout processing of the conversion table according to each pixel value of the background RGB image. When there is an RGB value that is the same as the pixel value, the readout control unit 1321 performs readout processing of the conversion table so as to output the XYZ values corresponding to the RGB value.
  • the readout control unit 1321 performs readout processing of the conversion table so as to output the XYZ values corresponding to the RGB values that are close to the pixel value.
  • one or more (for example, two) XYZ values may be output.
  • the interpolation processing unit 1322 performs interpolation processing using the XYZ values output by the readout control unit 1321, converts the pixel values of the RGB image into XYZ values, and generates a converted image.
  • the interpolation processing unit 1322 does not perform interpolation processing, for example, and converts the XYZ values corresponding to the RGB values as pixel values. Generate an image.
  • the read control unit 1321 performs read processing so as to output the XYZ value "005" corresponding to the RGB value "004".
  • the interpolation processing unit 1322 generates a converted image in which the read XYZ values “005” are the pixel values of predetermined pixels.
  • the interpolation processing unit 1322 performs interpolation processing on the output XYZ values to generate the background XYZ image.
  • the read control unit 1321 performs read processing so as to output, for example, the XYZ value "001" corresponding to the RGB value "000” and the XYZ value "005" corresponding to the RGB value "004".
  • the interpolation processing unit 1322 uses the XYZ values calculated by performing the interpolation processing based on the read XYZ values “001” and “005” as the pixel values of the predetermined pixels.
  • the background image conversion unit 132 refers to the conversion table for each pixel of the background RGB image and performs interpolation processing as necessary to generate a converted image in which each pixel value is converted into an XYZ value.
  • the background image conversion unit 132 converts the background RGB image into the background XYZ image using the background conversion information. are also converted in the same way.
  • the display image conversion unit 134 converts the background display image into a display image using the display conversion information.
  • the display image conversion unit 134 refers to a conversion table for each pixel of the background display image and performs interpolation processing as necessary to generate a display image in which each pixel value is converted into an RGB value.
  • the captured image conversion unit 136 converts the captured RGB image into a captured XYZ image using the captured image conversion information.
  • the captured image conversion unit 136 refers to a conversion table for each pixel of the captured RGB image and performs interpolation processing as necessary to generate a captured XYZ image in which each pixel value is converted into an XYZ value.
  • the information processing apparatus 100 executes conversion information calculation processing for calculating conversion information as information processing.
  • the information processing apparatus 100 executes conversion information calculation processing, for example, before shooting is started.
  • FIG. 10 is a flow chart showing an example flow of conversion information calculation processing executed by the information processing apparatus 100 according to the embodiment of the present disclosure.
  • the information processing apparatus 100 acquires XYZ values for each predetermined color (step S101).
  • the information processing apparatus 100 based on the spectral reflectance of an object of a predetermined color (for example, a color sample such as the color chart 620) placed in the three-dimensional virtual space and the light source 400A in the three-dimensional space, for each predetermined color Get the XYZ values of a predetermined color.
  • the information processing device 100 acquires a background RGB image of an object of a predetermined color (for example, a color sample such as the color chart 620) captured by the three-dimensional virtual space imaging device 300A (step S102).
  • a predetermined color for example, a color sample such as the color chart 620
  • the information processing apparatus 100 calculates background conversion information using the XYZ values for each predetermined color and the background RGB image (step S103).
  • the information processing apparatus 100 acquires a display-captured RGB image of the LEDwall 200 in a state where an object of a predetermined color (for example, a color sample such as the color chart 620) arranged in a three-dimensional virtual space is displayed on the LEDwall 200 (step S104).
  • a predetermined color for example, a color sample such as the color chart 620
  • the information processing apparatus 100 acquires a real space captured RGB image of an object of a predetermined color (for example, a color sample such as the color chart 620) placed in the real space (step S105).
  • a predetermined color for example, a color sample such as the color chart 620
  • the information processing apparatus 100 calculates display conversion information using the acquired display-captured RGB image and real-space captured RGB image (step S106).
  • the information processing apparatus 100 acquires a display-captured RGB image of the LEDwall 200 in a state where an object of a predetermined color (for example, a color sample such as the color chart 620) arranged in a three-dimensional virtual space is displayed on the LEDwall 200 (step S107). At this time, it is assumed that the image of the object of the predetermined color displayed on the LEDwall 200 is the image converted into the display image by the background conversion information.
  • a predetermined color for example, a color sample such as the color chart 620
  • the information processing apparatus 100 calculates imaging conversion information using the acquired display-captured RGB image and the XYZ values for each predetermined color (step S108).
  • the conversion information is desirably recalculated each time at least one of the light source 400A and the light source 400B is changed.
  • the information processing apparatus 100 executes conversion information calculation processing shown in FIG. 10 when at least one of the light source 400A and the light source 400B is changed.
  • the information processing apparatus 100 performs Conversion information may be calculated.
  • the information processing device 100 executes the conversion information calculation process shown in FIG. 10 for each combination of the light sources 400A and 400B, for example, before the imaging device 300B starts shooting.
  • Variations in the spectral characteristics of the light sources 400A and 400B and the spectral characteristics of the imaging devices 300A and 300B affect conversion errors in image coordinate conversion using conversion information.
  • which sample color is used to calculate transformation information affects the robustness of coordinate transformation.
  • FIG. 11 is a flow chart showing an example of the flow of imaging processing executed by the information processing apparatus 100 according to the embodiment of the present disclosure.
  • the information processing apparatus 100 executes a photographing process, for example, when photographing is started.
  • the information processing device 100 acquires a background RGB image of the three-dimensional virtual space captured by the imaging device 300A (step S201).
  • the information processing apparatus 100 performs coordinate transformation on the acquired background RGB image using the background transformation information to generate a background XYZ image (step S202).
  • the information processing device 100 generates a background display image to be displayed on the display device 200 based on the background XYZ image (step S203).
  • the information processing apparatus 100 converts the background display image using the display conversion information to generate a display image (step S204).
  • the information processing device 100 causes the display device 200 to display the display image (step S205).
  • the information processing device 100 acquires a captured RGB image of the real space including the display device 200 captured by the imaging device 300B (step S206).
  • the information processing apparatus 100 converts the captured RGB image using the captured image conversion information to generate a captured XYZ image (step S207).
  • the information processing apparatus 100 generates an output image by converting the captured XYZ image into an image of RGB values (step S208).
  • the information processing apparatus 100 can execute the shooting process at a predetermined cycle such as a predetermined frame rate.
  • the imaging devices 300A and 300B shoot moving images
  • the information processing device 100 performs shooting processing for each piece of moving image data (for example, moving image data shot in a predetermined period). good too.
  • the information processing apparatus 100 collectively converts background RGB images generated or captured in advance for a predetermined period into background XYZ images. Similarly, the information processing apparatus 100 collectively converts the background XYZ images for a predetermined period into a background display image, and converts them into a display image. Note that the information processing apparatus 100 may perform processing up to generation of the display image in advance before the imaging device 300B starts imaging.
  • the information processing device 100 acquires moving images captured by the imaging device 300B in a predetermined period as captured RGB images while displaying the converted display image on the display device 200 .
  • the information processing apparatus 100 collectively converts captured RGB images captured during a predetermined period into captured XYZ images, and converts them into output images. Note that the information processing apparatus 100 may execute the process after the process of generating the captured XYZ image after the image capturing by the image capturing apparatus 300B is completed.
  • the information processing device 100 of the information processing system 10 includes the control unit 130 .
  • the control unit 130 converts a background image (an example of a first image) captured by an imaging device 300A (an example of a first imaging device) in a three-dimensional virtual space (an example of a first space) into display conversion information (a first conversion an example of information), it is converted into a display image to be displayed on the display device 200 arranged in the real space (an example of the second space).
  • the control unit 130 acquires a captured image (an example of a second image) captured by the imaging device 300A (an example of a second imaging device) so as to include the display device 200 that displays the display image.
  • the display conversion information includes the RGB values of a display-captured RGB image (an example of a first-color image) obtained by capturing an image of a predetermined color (color chart image) displayed on the display device 200 by the imaging device 300A, and the RGB values of the display-captured RGB image (an example of a first-color image). and the RGB values of a real-object-captured RGB image (an example of a second-color image) captured by the imaging device 300B of an object (color chart) of a predetermined color.
  • the information processing apparatus 100 can match the color when the display device 200 is re-captured with the color when the real space is captured. Therefore, the information processing apparatus 100 can acquire a more realistic image (output image).
  • control unit 130 of the information processing apparatus 100 converts the RGB values of the background RGB image into XYZ values based on the background conversion information (an example of the second conversion information).
  • the control unit 130 converts the background XYZ image of XYZ values into a display image based on the display conversion information.
  • the background conversion information is based on the RGB values of a background RGB image (an example of a third color image) obtained by photographing an object (color chart) of a predetermined color in a three-dimensional virtual space with the imaging device 300A, and the XYZ values of the predetermined color. calculated as
  • the information processing apparatus 100 can match the color of the object placed in the three-dimensional virtual space with the color of the captured image of the object captured in the three-dimensional virtual space and displayed on the display device. can be done.
  • control unit 130 of the information processing apparatus 100 converts the RGB values of the captured RGB image (an example of the second image) into XYZ values based on the imaging conversion information (an example of the third conversion information), and converts the captured XYZ image into XYZ values. (an example of a third image) is obtained.
  • the imaging conversion information is calculated based on the XYZ values of a predetermined color in the three-dimensional virtual space and the RGB values of at least one of the display-captured RGB image and the real object-captured RGB image.
  • the information processing apparatus 100 can match the actual color in the three-dimensional virtual space with the color when the real space is captured.
  • the information processing apparatus 100 converts the background XYZ image into the background display image and then converts it into the display image using the display conversion information, but the present invention is not limited to this.
  • the information processing device 100 may convert the background XYZ image into a display RGB image (an example of a fifth image) using the display conversion information, and convert it into a display image according to the display device 200 .
  • the display conversion information is information for converting XYZ values into RGB values.
  • FIG. 12 is a diagram for explaining an overview of the imaging process according to the modified example of the embodiment of the present disclosure.
  • the same reference numerals are given to the same processing as the photographing processing shown in FIG. 4, and the description thereof is omitted.
  • the imaging process illustrated in FIG. 12 is executed by the information processing device 100A according to the modification of the embodiment of the present disclosure.
  • step S2 shown in FIG. 12 the information processing apparatus 100A that has coordinate-converted the background RGB image into the background XYZ image using the background conversion information performs coordinate conversion using the display conversion information to generate the display RGB image (step S11).
  • the information processing device 100A generates a display image corresponding to the display device 200 based on the display RGB image (step S12).
  • the information processing device 100A causes the display device 200 to display the generated display image.
  • the display conversion information is conversion information for matching the RGB values of the display captured RGB image and the RGB values of the real object captured RGB image.
  • the information processing apparatus 100 calculates display conversion information based on the background XYZ image and the captured real object RGB image.
  • FIG. 13 is a block diagram showing a configuration example of an information processing device 100A according to a modification of the embodiment of the present disclosure.
  • the control unit 130A of the information processing apparatus 100A shown in FIG. 13 has a background RGB image conversion unit 133A instead of the background display image conversion unit 133 shown in FIG. have Further, the control section 130A has a display conversion information calculation section 140A.
  • the background RGB image conversion unit 133A converts the background XYZ image acquired from the background image conversion unit 132 into a display RGB image using display conversion information.
  • the background RGB image converter 133A outputs the converted display RGB image to the display image generator 134A.
  • the display image generation unit 134A converts the display RGB image acquired from the background RGB image conversion unit 133A into an RGB value display image for display on the LEDwall 200. It is assumed that information for converting the display RGB image into the display image is stored in the storage unit 120 in advance. 134 A of display image production
  • the display conversion information calculation unit 140A uses the display captured RGB image (or background XYZ image) acquired from the captured image acquisition unit 135 and the real object captured RGB image acquired from the captured image acquisition unit 135 to obtain display conversion information.
  • the display conversion information is, for example, information for associating the XYZ values of the background XYZ image with the RGB values of the captured real object RGB image for each sample color included in the color chart 620 .
  • the display conversion information calculation unit 140 outputs the calculated display conversion information to the background RGB image conversion unit 133A.
  • control device that controls the information processing device 100 of this embodiment may be implemented by a dedicated computer system or by a general-purpose computer system.
  • a communication program for executing the above operations is distributed by storing it in a computer-readable recording medium such as an optical disk, semiconductor memory, magnetic tape, or flexible disk.
  • the control device is configured by installing the program in a computer and executing the above-described processing.
  • the control device may be a device (for example, a personal computer) external to the information processing device 100 .
  • the control device may be a device inside the information processing device 100 (for example, the control unit 130).
  • the above communication program may be stored in a disk device provided in a server device on a network such as the Internet, so that it can be downloaded to a computer.
  • the functions described above may be realized through cooperation between an OS (Operating System) and application software.
  • the parts other than the OS may be stored in a medium and distributed, or the parts other than the OS may be stored in a server device so that they can be downloaded to a computer.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured. Note that this distribution/integration configuration may be performed dynamically.
  • the present embodiment can be applied to any configuration that constitutes a device or system, such as a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a unit using a plurality of modules, etc. Furthermore, it can also be implemented as a set or the like (that is, a configuration of a part of the device) to which other functions are added.
  • a processor as a system LSI (Large Scale Integration)
  • module using a plurality of processors a unit using a plurality of modules, etc.
  • it can also be implemented as a set or the like (that is, a configuration of a part of the device) to which other functions are added.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • this embodiment can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • the present technology can also take the following configuration. (1) converting a first image captured by a first imaging device in a first space into a display image to be displayed on a display device arranged in the second space based on the first conversion information; obtaining a second image captured by a second imaging device to include the display device displaying the display image; Equipped with a control unit,
  • the first conversion information is an RGB value of a first color image obtained by capturing an image of a predetermined color displayed on the display device by the second imaging device, and an object of the predetermined color arranged in the second space. Calculated based on the RGB values of the second color image captured by the second imaging device, Information processing equipment.
  • the control unit converting the RGB values of the first image into XYZ values based on second conversion information; converting the first image of the XYZ values into the display image based on the first conversion information;
  • the second conversion information is calculated based on RGB values of a third color image obtained by photographing the object of the predetermined color in the first space with the first imaging device and the XYZ values of the predetermined color.
  • the control unit converting the RGB values of the second image into XYZ values based on third conversion information to obtain a third image;
  • the third conversion information is calculated based on the XYZ values of the predetermined color in the first space and the RGB values of at least one of the first color image and the second color image,
  • the information processing device according to (1) or (2).
  • the control unit converts the first image of XYZ values into a display RGB image for display on the display device, and converts the display RGB image into the display image based on the first conversion information, ( The information processing apparatus according to any one of 1) to (3).
  • the first conversion information is an RGB value of a first color image obtained by capturing an image of a predetermined color displayed on the display device by the second imaging device, and an object of the predetermined color arranged in the second space. Calculated based on the RGB values of the second color image captured by the second imaging device, Information processing methods.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

情報処理装置（１００）は制御部（１３０）を備える。制御部（１３０）は、第１空間において第１撮像装置（３００Ａ）によって撮影された第１画像を、第１変換情報に基づき、第２空間に配置される表示装置（２００）に表示する表示画像に変換する。制御部（１３０）は、表示画像を表示する表示装置（２００）を含むように第２撮像装置（３００Ｂ）によって撮影された第２画像を取得する。第１変換情報は、表示装置（２００）に表示された所定色の画像を第２撮像装置（３００Ｂ）で撮影した第１色画像のＲＧＢ値と、第２空間に配置された所定色の物体を第２撮像装置（３００Ｂ）で撮影した第２色画像のＲＧＢ値と、に基づいて算出される。

Description

情報処理装置及び情報処理方法
　本開示は、情報処理装置及び情報処理方法に関する。
　従来、映画の撮影等において、コンピュータグラフィックス（ＣＧ）等の画像を投影した壁面の前で演者が演技を行い、壁面と演者とを同時に撮影することで、ＣＧ画像と演者とをリアルタイムに合成して撮影する撮影システムが知られている。
米国特許出願公開第２０２０／０１４５６４４号明細書
　上述したように、画面（例えば壁面）に映した画像と、物体（例えば演者）と、を同じカメラで撮影する場合、画像を再度撮影した画像（以下、再撮画像とも記載する）のＲＧＢ値と物体を撮影した画像（以下、撮像画像）のＲＧＢ値が異なる場合がある。
　具体的には、例えば演者を撮影した画像を壁面に映し、同一人物の演者が壁面の前（実空間）で演技を行って撮影を行うとする。この場合、画像中の演者の再撮画像の色（ＲＧＢ値）と、壁面の前の実際の演者の撮影画像の色（ＲＧＢ値）が異なる場合がある。
　これは、実空間の物体の分光特性と、画面に映す画像の分光特性と、が異なるためである。そのため、例えば、画像のｘｙ色座標と、実空間の物体のｘｙ色座標と、が同じになるように調整しても、当該画像と物体とをカメラで撮影した場合のＲＧＢ値が同じになるとは限らない。そのため、例えば、画面と実空間の物体とを同時に撮影してもリアリティ（現実感）が高い画像が得られるとは言えなかった。
　そのため、再撮画像のＲＧＢ値と、実空間の撮影画像のＲＧＢ値と、を揃え、よりリアリティの高い画像を撮影することが望まれる。
　そこで、本開示では、よりリアリティの高い画像を取得することができる仕組みを提供する。
　なお、上記課題又は目的は、本明細書に開示される複数の実施形態が解決し得、又は達成し得る複数の課題又は目的の１つに過ぎない。
　本開示の情報処理装置は、制御部を備える。制御部は、第１空間において第１撮像装置によって撮影された第１画像を、第１変換情報に基づき、第２空間に配置される表示装置に表示する表示画像に変換する。制御部は、前記表示画像を表示する前記表示装置を含むように第２撮像装置によって撮影された第２画像を取得する。前記第１変換情報は、前記表示装置に表示された所定色の画像を前記第２撮像装置で撮影した第１色画像のＲＧＢ値と、前記第２空間に配置された前記所定色の物体を前記第２撮像装置で撮影した第２色画像の前記ＲＧＢ値と、に基づいて算出される。
本開示の実施形態に係る情報処理システムの概要を説明するための図である。 本開示の実施形態における実物体撮影画像の一例を説明するための図である。 本開示の実施形態におけるディスプレイ撮影画像の一例を説明するための図である。 本開示の実施形態に係る撮影処理の概要を説明するための図である。 本開示の実施形態に係る背景変換情報の一例を説明するための図である。 本開示の実施形態に係る表示変換情報の一例を説明するための図である。 本開示の実施形態に係る撮像変換情報の一例を説明するための図である。 本開示の実施形態に係る各変換情報の一例を説明するための図である。 本開示の実施形態に係る情報処理装置の構成例を示すブロック図である。 本開示の実施形態に係る背景変換情報の一例について説明するための図である。 本開示の実施形態に係る背景変換情報算出部が算出する背景変換情報の一例を示す図である。 本開示の実施形態に係る背景画像変換部による変換処理の一例について説明するための図である。 本開示の実施形態に係る情報処理装置が実行する変換情報算出処理の一例の流れを示すフローチャートである。 本開示の実施形態に係る情報処理装置が実行する撮影処理の一例の流れを示すフローチャートである。 本開示の実施形態の変形例に係る撮影処理の概要について説明するための図である。 本開示の実施形態の変形例に係る情報処理装置の構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号を付する。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　＜＜１．はじめに＞＞
　＜１．１．情報処理システムの概要構成例＞
　図１は、本開示の実施形態に係る情報処理システム１０の概要を説明するための図である。情報処理システム１０は、情報処理装置１００と、表示装置２００と、撮像装置３００と、光源４００と、を備える。
　表示装置２００は、例えば壁一面の大きさを有するＬＥＤ（Light　Emitting　Diode）ディスプレイであり、スタジオ等の実空間に配置される。以下、表示装置２００をＬＥＤｗａｌｌ２００とも記載する。図１に示すように、本開示の実施形態に係る情報処理システム１０では、３次元仮想空間の映像を背景として表示した表示装置２００の前で演者６００が演技を行い、それを撮像装置３００Ｂが撮影を行う。これにより、情報処理システム１０は、あたかも演者６００が３次元仮想空間の中で演技を行ったような映像を取得することができる。
　ここで、本開示の実施形態では、情報処理装置１００がＬＥＤｗａｌｌ２００に表示する背景画像を生成する。図１の例では、情報処理装置１００は、３次元仮想空間内において、仮想の光源４００Ａ（ここでは、例えば太陽光）の元で仮想の撮像装置３００Ａで撮影した背景画像５１０を生成する。
　撮像装置３００Ａは、例えば３次元仮想空間内の被写体を撮像する装置である。撮像装置３００Ａは、例えば、ＲＧＢ値の背景画像５１０を撮影するＲＧＢカメラである。なお、ここでは、撮像装置３００Ａが３次元仮想空間内の被写体を撮像する仮想のＲＧＢカメラであるとしたが、これに限定されない。例えば撮像装置３００Ａは、実空間内の被写体を撮像するＲＧＢカメラであってもよい。また、撮像装置３００Ａが撮影を行う実空間は、ＬＥＤｗａｌｌ２００が配置される実空間、すなわち撮像装置３００Ｂが撮影を行う実空間とは異なる空間であり得る。
　情報処理装置１００は、生成した背景画像５１０をＬＥＤｗａｌｌ２００の表示用の画像（表示画像）に変換し、表示画像をＬＥＤｗａｌｌ２００に表示する。
　撮像装置３００Ｂは、ＬＥＤｗａｌｌ２００と同じ実空間に配置される。撮像装置３００Ｂは、ＬＥＤｗａｌｌ２００に表示される表示画像と、演者６００と、を同時に撮影することで、撮像画像５４０を取得する。撮像装置３００Ｂは、例えば、ＲＧＢ値の撮像画像５４０を撮影するＲＧＢカメラである。
　なお、図１の例では、撮像装置３００Ｂは、例えばＬＥＤ等の光源４００Ｂの元、撮像画像５４０の撮影を行う。撮像装置３００Ｂは、撮像画像５４０を情報処理装置１００に出力する。
　なお、図１では、表示装置２００が、壁一面のＬＥＤｗａｌｌである場合について示しているが、これに限定されない。例えば、複数面のＬＥＤｗａｌｌで表示装置２００を構成してもよい。あるいは、表示装置２００が壁面及び天井（又は床面）に背景画像５１０を表示する装置であってもよい。あるいは、表示装置２００が実空間内の人物と同程度の大きさであるなど、所定の大きさの装置であってもよい。すなわち、表示装置２００が表示する背景画像は、風景等の背景の画像に加え、人物等の物体の画像も含み得る。
　また、ここでは、表示装置２００がＬＥＤディスプレイであるとしたが、これに限定されない。例えば表示装置２００がＬＣＤ（Liquid　Crystal　Display）であってもよい。
　＜１．２．従来技術の課題＞
　ここで、情報処理システム１０において、ＬＥＤｗａｌｌ２００に表示した表示画像を撮像装置３００Ｂで撮影した撮影画像と、実空間の物体を撮影した撮影画像の色（ＲＧＢ値）が異なる場合がある。かかる点について図２及び図３を用いて説明する。なお、以下、ＬＥＤｗａｌｌ２００に表示した表示画像を撮像装置３００Ｂで撮影した撮影画像を、ディスプレイ撮影画像とも称する。また、実空間の物体を撮影した撮影画像を実物体撮影画像とも称する。
　図２は、本開示の実施形態における実物体撮影画像の一例を説明するための図である。図２に示すように、撮像装置３００Ｂが実空間に配置された物体６１０（図２の例では自動車）を撮像し、実物体撮像画像５４１を生成する。
　ここで、物体６１０の分光特性は、実空間の光源の分光特性及び物体６１０の分光反射率によって決まる。図２のグラフに示すように、実空間に配置された物体６１０の分光特性の分布は、例えば、なだらかな分布となる。
　図３は、本開示の実施形態におけるディスプレイ撮影画像の一例を説明するための図である。図３に示すように、撮像装置３００Ｂが実空間に配置されたＬＥＤｗａｌｌ２００に表示される物体６１０を撮像し、ディスプレイ撮像画像５４２を生成する。なお、ＬＥＤｗａｌｌ２００に表示される物体６１０は、実空間に配置される物体６１０（図２参照）と同じ物体であるとする。
　このとき、撮像装置３００Ｂが同じ物体６１０を撮影したにもかかわらず、実物体撮像画像５４１のＲＧＢ値と、ディスプレイ撮像画像５４２のＲＧＢ値と、が異なる値になる場合がある。
　これは、実空間に配置された物体６１０の分光特性と、ＬＥＤｗａｌｌ２００に表示された物体６１０の分光特性が異なるためである。
　ここで、ＬＥＤｗａｌｌ２００に表示される表示画像は、例えば、撮像装置３００Ａで撮像された画像である。そのため、ＬＥＤｗａｌｌ２００に表示される物体６１０の分光特性は、撮像装置３００Ａ及びＬＥＤｗａｌｌ２００の分光特性に応じた特性となる。例えば、図３のグラフに示すように、ＬＥＤｗａｌｌ２００に表示される物体６１０の分光特性の分布は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の波長付近でピークを有する分布となる。
　このように、実空間に配置される物体６１０の分光分布と、ＬＥＤｗａｌｌ２００に表示される物体６１０の分光分布と、は異なる。そのため、同じ物体６１０を撮像装置３００Ｂで撮像した場合に、実物体撮像画像５４１のＲＧＢ値と、ディスプレイ撮像画像５４２のＲＧＢ値と、が異なる値になってしまう。
　また、例えば、実物体撮像画像５４１及びディスプレイ撮像画像５４２のＸＹＺ値が同じになるようｘｙ色座標を調整したとしても、条件等色対にはなるが、実物体撮像画像５４１及びディスプレイ撮像画像５４２のＲＧＢ値は同じ値にはならない。
　ここで、条件等色対とは、２つの物体の色を測色計で計測した場合、２つの物体の分光特性が異なっていても、計測結果が同じ色を示す場合があることを意味する。上述したように、実空間内の物体６１０の分光特性と、ＬＥＤｗａｌｌ２００に表示される物体６１０の分光特性は異なる。そこで、例えば、ＬＥＤｗａｌｌ２００に表示される物体６１０のｘｙ色座標を調整することで、実空間にいる人間から見て実空間内の物体６１０と、ＬＥＤｗａｌｌ２００に表示される物体６１０と、の色味を揃えることはできる。
　しかしながら、撮像装置３００Ｂの分光特性は、人間の目の分光特性と異なる。そのため、実空間にいる人間から見て実空間内の物体６１０と、ＬＥＤｗａｌｌ２００に表示される物体６１０と、の色味が同じであっても、撮像装置３００Ｂが撮影した実物体撮像画像５４１及びディスプレイ撮像画像５４２の色味が異なってしまう。
　このように、表示装置２００に表示した表示画像を撮像装置３００Ｂで再撮影する場合、表示画像を撮影したディスプレイ撮像画像５４２の色味と、実空間の物体６１０を撮像した実物体撮像画像５４１の色味が異なってしまうという問題があった。
　そのため、表示画像と実空間の物体６１０とを同時に撮影しても、表示画像の色味と実空間の物体６１０の色味が異なり、リアリティのある撮影画像が得られない恐れがある。
　＜１．３．情報処理の概要＞
　そこで、本開示の提案技術では、情報処理装置１００が、撮像装置３００Ａで撮像した背景画像５１０を、表示変換情報を用いて、ＬＥＤｗａｌｌ２００で表示するための表示画像に変換する。ここで、表示変換情報は、表示画像を撮影したディスプレイ撮像画像５４２のＲＧＢ値と、実空間の物体６１０を撮像した実物体撮像画像５４１のＲＧＢ値と、に基づいて算出される情報である。例えば、表示変換情報は、表示画像を撮影したディスプレイ撮像画像５４２のＲＧＢ値と、実空間の物体６１０を撮像した実物体撮像画像５４１のＲＧＢ値と、を揃えるための変換係数である。
　例えば、情報処理装置１００は、３次元仮想空間（第１空間の一例）において撮像装置３００Ａ（第１撮像装置の一例）によって撮影された背景画像（第１画像の一例）のＲＧＢ値を、撮像変換情報（第２変換情報の一例）に基づき、ＸＹＺ値に変換する。
　情報処理装置１００は、ＸＹＺ値の背景画像を、表示変換情報（第１変換情報の一例）に基づき、実空間（第２空間の一例）に配置される表示装置２００に表示する表示画像に変換する。
　情報処理装置１００は、表示画像を表示する表示装置２００を含むように撮像装置３００Ｂ（第２撮像装置の一例）によって撮影された撮像画像５４０（第２画像の一例）を取得する。
　情報処理装置１００は、撮像画像５４０のＲＧＢ値を、撮像変換情報（第３変換情報の一例）に基づき、ＸＹＺ値に変換し、第３画像を取得する。情報処理装置１００は、第３画像のＸＹＺ値をＲＧＢ値に変換することで、出力画像を生成する。
　ここで、表示変換情報は、第１色画像のＲＧＢ値と第２色画像のＲＧＢ値とに基づいて算出される。第１色画像は、例えば、表示装置２００に表示された所定色の画像を撮像装置３００Ｂで撮影したディスプレイ撮像画像５４２である。また、第２色画像は、例えば、実空間に配置された所定色の物体を撮像装置３００Ｂで撮影した実物体撮像画像５４１である。
　情報処理装置１００は、例えば、第１色画像のＲＧＢ値と、第２色画像のＲＧＢ値とを揃える（略同一にする）ための表示変換情報を算出する。
　これにより、情報処理装置１００は、表示画像を撮影したディスプレイ撮像画像５４２の色味と、実空間の物体６１０を撮像した実物体撮像画像５４１の色味とを揃えることができ、よりリアリティのある撮像画像を取得することができる。
　なお、ここでは、情報処理システム１０の適用例として、例えば映画やドラマ等の撮影に適用する場合について説明したが、適用例はこれに限定されない。例えば、本開示の実施形態に係る情報処理システム１０は、コメンテーターが液晶ディスプレイ越しに出演するテレビ番組の撮影等、表示装置２００に表示された映像を再撮影する種々のシステムに適用され得る。
　図４は、本開示の実施形態に係る撮影処理の概要を説明するための図である。かかる撮影処理は、例えば、ＬＥＤｗａｌｌ２００に表示される表示画像と、実空間に配置される被写体（例えば演者６００）と、を撮影し、出力画像を生成する処理である。撮像処理は、情報処理装置１００で行われる。
　情報処理装置１００は、例えば、仮想空間において、仮想の光源４００Ａの元で仮想の撮像装置３００Ａで撮影されたＲＧＢ値の背景画像（以下、背景ＲＧＢ画像とも称する）を取得する（ステップＳ１）。
　情報処理装置１００は、取得した背景ＲＧＢ画像を、背景変換情報（第１変換情報の一例）を用いてＸＹＺ値への座標変換を行い、ＸＹＺ値の背景画像（以下、背景ＸＹＺ画像とも称する）を生成する（ステップＳ２）。
　情報処理装置１００は、生成した背景ＸＹＺ画像を、ＬＥＤｗａｌｌ２００に表示するためにＲＧＢ値の背景表示画像５２０（第４画像の一例）に変換する（ステップＳ３）。情報処理装置１００は、背景表示画像５２０を、表示変換情報（第２変換情報の一例）を用いて、ＲＧＢ値の表示画像に変換する（ステップＳ４）。情報処理装置１００は、表示画像をＬＥＤｗａｌｌ２００に表示させる（ステップＳ５）。
　情報処理装置１００は、撮像装置３００Ｂが撮影したＲＧＢ値の撮像画像（以下、撮像ＲＧＢ画像とも称する）を取得する（ステップＳ６）。撮像ＲＧＢ画像は、ＬＥＤｗａｌｌ２００に表示された表示画像及び演者６００を含む画像である。
　情報処理装置１００は、取得した撮像ＲＧＢ画像を、撮像変換情報（第３変換情報の一例）を用いてＸＹＺ値への座標変換を行い、ＸＹＺ値の撮像画像（以下、撮像ＸＹＺ画像とも称する）を生成する（ステップＳ７）。
　情報処理装置１００は、撮像ＸＹＺ画像を、ＲＧＢ値の出力画像に変換する（ステップＳ８）。
　ここで、図５Ａ～図５Ｄを用いて、背景変換情報、表示変換情報及び撮像変換情報について説明する。図５Ａは、本開示の実施形態に係る背景変換情報の一例を説明するための図である。
　図５Ａに示すように、背景変換情報は、背景ＲＧＢ画像（第３色画像のＲＧＢ値の一例）と、カラーチャート６２０のＸＹＺ値（カラーチャートＸＹＺ値）と、に基づいて算出される。背景ＲＧＢ画像は、３次元仮想空間においてカラーチャート６２０（所定色の物体の一例）を撮像装置３００Ａによって撮影した画像である。図５Ａに示すようにカラーチャート６２０には複数のサンプル色が含まれる。
　情報処理装置１００は、例えば、背景ＲＧＢ画像のサンプル色ごとのＲＧＢ値を、カラーチャートのサンプル色ごとのＸＹＺ値に対応付ける背景変換情報を算出する。
　情報処理装置１００は、上述したように、背景変換情報を、背景ＲＧＢ画像を背景ＸＹＺ画像に座標変換する際に使用する。これにより、情報処理装置１００は、背景ＸＹＺ画像のＸＹＺ値を、３次元仮想空間に配置されるカラーチャート６２０のＸＹＺ値に合わせることができる。
　図５Ｂは、本開示の実施形態に係る表示変換情報の一例を説明するための図である。
　図５Ｂに示すように、表示変換情報は、実物体撮像ＲＧＢ画像（第２色画像の一例）と、ディスプレイ撮像ＲＧＢ画像（第１色画像の一例）と、に基づいて算出される。
　なお、実物体撮像ＲＧＢ画像は、実空間に配置されるカラーチャート６２０を撮像装置３００で撮像した撮像ＲＧＢ画像である。ディスプレイ撮像ＲＧＢ画像は、表示装置２００に表示されたカラーチャート６２０の画像を撮像装置３００Ｂで撮像した撮像ＲＧＢ画像である。
　ここで、実空間に配置されるカラーチャート６２０と、上述した３次元仮想空間に配置されるカラーチャート６２０は同じものであることが望ましい。換言すると、実空間に配置されるカラーチャート６２０の分光反射率と、上述した３次元仮想空間に配置されるカラーチャート６２０の分光反射率とが同じであることが望ましい。実空間に配置されるカラーチャート６２０の分光反射率と、上述した３次元仮想空間に配置されるカラーチャート６２０の分光反射率とが近い程、背景変換情報、表示変換情報及び撮像変換情報の精度が向上する。
　情報処理装置１００は、上述した背景ＲＧＢ画像を、背景変換情報を用いて背景ＸＹＺ画像に変換する。情報処理装置１００は、背景ＸＹＺ画像をＬＥＤｗａｌｌ２００に表示するためにＲＧＢ値の背景表示画像に変換する。情報処理装置１００は、背景表示画像をＬＥＤｗａｌｌ２００に表示させた状態で撮像装置３００ＢにＬＥＤｗａｌｌ２００を撮影させることで、ディスプレイ撮像ＲＧＢ画像を取得する。
　情報処理装置１００は、例えば、ディスプレイ撮像ＲＧＢ画像のサンプル色ごとのＲＧＢ値を、実物体撮像ＲＧＢ画像のサンプル色ごとのＲＧＢ値に対応付ける表示変換情報を算出する。
　情報処理装置１００は、上述したように、表示変換情報を、背景表示画像を表示画像に変換する際に使用する。これにより、情報処理装置１００は、ディスプレイ撮像ＲＧＢ画像のサンプル色ごとのＲＧＢ値を、実物体撮像ＲＧＢ画像のサンプル色ごとのＲＧＢ値に合わせることができる。換言すると、情報処理装置１００は、ディスプレイ撮像ＸＹＺ画像のサンプル色ごとのＸＹＺ値を、実物体撮像ＸＹＺ画像のサンプル色ごとのＸＹＺ値に合わせることができる。
　図５Ｃは、本開示の実施形態に係る撮像変換情報の一例を説明するための図である。
　図５Ｃに示すように、撮像変換情報は、ディスプレイ撮像ＲＧＢ画像と、３次元仮想空間に配置されるカラーチャート６２０のＸＹＺ値に基づいて算出される。なお、ここでのディスプレイ撮像ＲＧＢ画像は、背景表示画像を、表示変換情報を用いて表示画像に変換し、当該表示画像をＬＥＤｗａｌｌ２００に表示した状態で撮像装置３００Ｂが撮像した画像である。
　情報処理装置１００は、例えば、ディスプレイ撮像ＲＧＢ画像のサンプル色ごとのＲＧＢ値を、３次元仮想空間に配置されるカラーチャートのサンプル色ごとのＸＹＺ値に対応付ける撮像変換情報を算出する。
　情報処理装置１００は、上述したように、撮像変換情報を、ディスプレイ撮像ＲＧＢ画像をディスプレイ撮像ＸＹＺ画像に変換する際に使用する。これにより、情報処理装置１００は、ディスプレイ撮像ＸＹＺ画像のサンプル色ごとのＸＹＺ値を、３次元仮想空間に配置されるカラーチャート６２０のＸＹＺ値に合わせることができる。
　また、上述したように、情報処理装置１００は、表示変換情報を用いて背景表示画像を表示画像に変換することで、ディスプレイ撮像ＲＧＢ画像のサンプル色ごとのＲＧＢ値を、実物体撮像ＲＧＢ画像のサンプル色ごとのＲＧＢ値に合わせることができる。
　図５Ｄは、本開示の実施形態に係る各変換情報の一例を説明するための図である。図５Ｄに示すように、情報処理装置１００は、背景ＸＹＺ画像のＸＹＺ値が、３次元仮想空間に配置されるカラーチャート６２０のＸＹＺ値に近づくように背景変換情報を算出する。また、情報処理装置１００は、ディスプレイ撮像ＸＹＺ画像のサンプル色ごとのＸＹＺ値が、実物体撮像ＸＹＺ画像のサンプル色ごとのＸＹＺ値に近づくように表示変換情報を算出する。また、情報処理装置１００は、ディスプレイ撮像ＸＹＺ画像のサンプル色ごとのＸＹＺ値が、カラーチャート６２０の色ごとのＸＹＺ値に近づくように撮像変換情報を算出する。
　これにより、情報処理装置１００は、カラーチャート６２０のＸＹＺ値、背景ＸＹＺ画像、ディスプレイ撮像ＸＹＺ画像、及び、実物体撮像ＸＹＺ画像のサンプル色ごとの値を合わせることができる。そのため、情報処理装置１００は、ディスプレイ撮像ＸＹＺ画像、及び、実物体撮像ＸＹＺ画像をＲＧＢ値に座標変換した場合の色味を合わせることができ、リアリティのある出力画像を取得することができる。
　なお、ここで、ＸＹＺ値を合わせるとは、各ＸＹＺ値が必ずしも一致している必要はなく、ある程度のずれ（例えば人間が視認できない程度のずれ）を許容し得る。これは、ＲＧＢ値を合わせる場合や、ＲＧＢ値（又はＸＹＺ値）を揃える（略同一にする）場合も同様である。なお、かかるずれは、座標変換時の誤差として表現され得る。どのくらいのずれ（誤差）が許容されるかは、当該情報処理システム１０の適用先等に応じて決定される。
　＜＜２．情報処理装置の構成例＞＞
　続いて、本開示の第１実施形態に係る情報処理装置１００の構成例について説明する。図６は、本開示の実施形態に係る情報処理装置１００の構成例を示すブロック図である。図６に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、を備える。
　［通信部１１０］
　通信部１１０は、有線または無線により、ネットワークを介して外部装置と通信する通信インターフェイスである。通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。
　［記憶部１２０］
　記憶部１２０は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部１２０は、情報処理装置１００の記憶手段として機能する。
　［制御部１３０］
　制御部１３０は、情報処理装置１００の各部を制御する。制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等によって情報処理装置１００内部に記憶されたプログラムがＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。
　制御部１３０は、背景画像取得部１３１と、背景画像変換部１３２と、背景表示画像変換部１３３と、表示画像変換部１３４と、撮像画像取得部１３５と、撮像画像変換部１３６と、出力画像生成部１３７と、を備える。また、制御部１３０は、ＸＹＺ算出部１３８と、背景変換情報算出部１３９と、表示変換情報算出部１４０と、撮像変換情報算出部１４１と、を備える。制御部１３０を構成する各ブロック（背景画像取得部１３１～撮像変換情報算出部１４１）はそれぞれ制御部１３０の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア（マイクロプログラムを含む。）で実現される１つのソフトウェアモジュールであってもよいし、半導体チップ（ダイ）上の１つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ１つのプロセッサ又は１つの集積回路であってもよい。制御部１３０は上述の機能ブロックとは異なる機能単位で構成されていてもよい。機能ブロックの構成方法は任意である。
　なお、制御部１３０は上述の機能ブロックとは異なる機能単位で構成されていてもよい。また、制御部１３０を構成する各ブロック（背景画像取得部１３１～撮像変換情報算出部１４１）の一部又は全部の動作を、他の装置が行ってもよい。例えば、制御部１３０を構成する各ブロックの一部又は全部の動作を、クラウドコンピューティングにより実現される制御装置が行ってもよい。
（背景画像取得部１３１）
　背景画像取得部１３１は、ＬＥＤｗａｌｌ２００に表示する背景ＲＧＢ画像を取得する。背景画像取得部１３１は、３次元仮想空間内に配置される仮想の撮像装置３００Ａが撮影した画像を背景ＲＧＢ画像として生成する。
　あるいは、背景画像取得部１３１は、記憶部１２０に記憶される背景ＲＧＢ画像を取得するようにしてもよい。背景画像取得部１３１は、記憶部１２０にかえて、外部の情報処理装置等から背景ＲＧＢ画像を取得し得る。また、背景ＲＧＢ画像が、例えば遠隔地等の実空間で撮影された画像である場合、背景画像取得部１３１は、遠隔地に配置される撮像装置３００Ａから背景ＲＧＢ画像を取得し得る。
　背景画像取得部１３１は、取得した背景ＲＧＢ画像を背景画像変換部１３２に出力する。また、背景ＲＧＢ画像が、所定色の物体（例えばカラーチャート６２０）を撮影した画像である場合、背景画像取得部１３１は、当該背景ＲＧＢ画像を背景変換情報算出部１３９に出力する。
（背景画像変換部１３２）
　背景画像変換部１３２は、背景画像取得部１３１から取得した背景ＲＧＢ画像を、背景変換情報を用いて色絶対座標ＸＹＺ値の背景ＸＹＺ画像に変換する変換処理を実行する。背景画像変換部１３２は、背景ＸＹＺ画像を背景表示画像変換部１３３に出力する。なお、変換処理の詳細は後述する。
（背景表示画像変換部１３３）
　背景表示画像変換部１３３は、背景画像変換部１３２から取得した背景ＸＹＺ画像を、ＬＥＤｗａｌｌ２００に表示するために、ＲＧＢ値の背景表示画像に変換する。なお、背景ＸＹＺ画像をＲＧＢ値の背景表示画像に変換するための情報は、予め記憶部１２０に記憶されているものとする。
　背景表示画像変換部１３３は、背景表示画像を表示画像変換部１３４に出力する。また、背景表示画像に所定色の物体（例えばカラーチャート６２０）が含まれる場合、背景表示画像変換部１３３は、当該背景表示画像をＬＥＤｗａｌｌ２００に表示させる。
（表示画像変換部１３４）
　表示画像変換部１３４は、背景表示画像変換部１３３から取得した背景表示画像を、表示変換情報を用いて表示画像に変換する変換処理を実行する。表示画像変換部１３４は、表示画像をＬＥＤｗａｌｌ２００に表示させる。なお、変換処理の詳細は後述する。
（撮像画像取得部１３５）
　撮像画像取得部１３５は、実空間に配置される撮像装置３００Ｂが撮影した撮像ＲＧＢ画像を取得する。撮像画像取得部１３５は、例えば、ＬＥＤｗａｌｌ２００に表示される表示画像を再撮影した撮像ＲＧＢ画像を取得する。また、撮像画像取得部１３５は、実空間の被写体を撮影した撮像ＲＧＢ画像を取得する。撮像画像取得部１３５は、ＬＥＤｗａｌｌ２００に表示される表示画像、及び、実空間の被写体の両方を同時に撮影した撮像ＲＧＢ画像を取得する。
　撮像画像取得部１３５は、取得した撮像ＲＧＢ画像を撮像画像変換部１３６に出力する。また、撮像ＲＧＢ画像が、ＬＥＤｗａｌｌ２００に表示された所定色の物体（例えばカラーチャート６２０）を撮影したディスプレイ撮像ＲＧＢ画像である場合、撮像画像取得部１３５は、当該撮像ＲＧＢ画像を表示変換情報算出部１４０に出力する。また、撮像ＲＧＢ画像が、実空間に配置された所定色の物体（例えばカラーチャート６２０）を撮影した実物体撮像ＲＧＢ画像である場合、撮像画像取得部１３５は、当該撮像ＲＧＢ画像を表示変換情報算出部１４０に出力する。
（撮像画像変換部１３６）
　撮像画像変換部１３６は、撮像画像取得部１３５から取得した撮像ＲＧＢ画像を、撮像変換情報を用いて色絶対座標ＸＹＺ値の撮像ＸＹＺ画像に変換する変換処理を実行する。撮像画像変換部１３６は、撮像ＸＹＺ画像を出力画像生成部１３７に出力する。なお、変換処理の詳細は後述する。
（出力画像生成部１３７）
　出力画像生成部１３７は、撮像画像変換部１３６から取得した撮像ＸＹＺ画像を、ＲＧＢ値の出力画像に変換する。なお、撮像ＸＹＺ画像をＲＧＢ値の出力画像に変換するための情報は、予め記憶部１２０に記憶されているものとする。
（ＸＹＺ算出部１３８）
　ＸＹＺ算出部１３８は、３次元仮想空間に配置される所定色の物体（例えば、カラーチャート６２０）の所定色（サンプル色）のＸＹＺ値を算出する。ＸＹＺ算出部１３８は、３次元仮想空間内の光源４００Ａの分光特性、及び、サンプル色の分光反射率に基づき、サンプル色のＸＹＺ値を算出する。あるいは、ＸＹＺ算出部１３８は、所定色の物体を、ＸＹＺカメラで撮像することで、所定色のＸＹＺ値を取得してもよい。なお、ＸＹＺカメラは、例えば、人間の目の分光特性を模した撮像装置であって、ＸＹＺ値の撮像画像を生成する装置である。
　物体に複数のサンプル色が含まれる場合がある。例えばカラーチャート６２０には２４色のサンプル色が含まれる（図５Ａ参照）。この場合、ＸＹＺ算出部１３８は、複数のサンプル色ごとのＸＹＺ値を取得する。なお、サンプル色の数は２４色に限定されず、２４色未満であってもよく、２５色以上であってもよい。サンプル色の数が多いほど、情報処理装置１００は、変換処理での誤差を小さくすることができる。
　ＸＹＺ算出部１３８は、取得したカラーチャート６２０のＸＹＺ値を背景変換情報算出部１３９に出力する。
（背景変換情報算出部１３９）
　背景変換情報算出部１３９は、背景画像取得部１３１から取得した背景ＲＧＢ画像と、ＸＹＺ算出部１３８から取得したカラーチャート６２０のＸＹＺ値と、を用いて背景変換情報を算出する。背景変換情報は、例えば、カラーチャート６２０に含まれるサンプル色ごとに、背景ＲＧＢ画像のＲＧＢ値とカラーチャート６２０のＸＹＺ値とを対応付けるための情報である。背景変換情報及び背景変換情報の算出処理の詳細については後述する。
　背景変換情報算出部１３９は、算出した背景変換情報を背景画像変換部１３２に出力する。
（表示変換情報算出部１４０）
　表示変換情報算出部１４０は、撮像画像取得部１３５から取得したディスプレイ撮像ＲＧＢ画像と、撮像画像取得部１３５から取得した実物体撮像ＲＧＢ画像と、を用いて表示変換情報を算出する。表示変換情報は、例えば、カラーチャート６２０に含まれるサンプル色ごとに、ディスプレイ撮像ＲＧＢ画像のＲＧＢ値と実物体撮像ＲＧＢ画像のＲＧＢ値とを対応付けるための情報である。表示変換情報及び表示変換情報の算出処理の詳細については後述する。
　表示変換情報算出部１４０は、算出した表示変換情報を表示画像変換部１３４に出力する。
（撮像変換情報算出部１４１）
　撮像変換情報算出部１４１は、撮像画像取得部１３５から取得したディスプレイ撮像ＲＧＢ画像と、ＸＹＺ算出部１３８から取得したカラーチャート６２０のＸＹＺ値と、を用いて撮像変換情報を算出する。撮像変換情報は、例えば、カラーチャート６２０に含まれるサンプル色ごとに、ディスプレイ撮像ＲＧＢ画像のＲＧＢ値とカラーチャート６２０のＸＹＺ値とを対応付けるための情報である。撮像変換情報及び撮像変換情報の算出処理の詳細については後述する。
　撮像変換情報算出部１４１は、算出した撮像変換情報を撮像画像変換部１３６に出力する。
　［変換情報の例］
　ここで、上述した背景変換情報、表示変換情報、及び、撮像変換情報（以下、まとめて変換情報とも称する）の一例について説明する。以下では、変換情報の一例として、背景変換情報について説明するが、表示変換情報、及び、撮像変換情報も同様である。
　（背景変換係数）
　図７は、本開示の実施形態に係る背景変換情報の一例について説明するための図である。上述したように、変換情報は、背景変換情報算出部１３９（図６参照）において算出される。
　図７に示す例では、背景変換情報算出部１３９は、背景画像取得部１３１から取得した背景ＲＧＢ画像と、ＸＹＺ算出部１３８から取得したカラーチャート６２０のＸＹＺ値とを比較することで、数学的に色座標変換係数を変換情報として算出する。背景変換情報算出部１３９は、例えば回帰分析を用いて背景変換係数を算出する。
　上述したように、背景ＲＧＢ画像には、サンプル色ごとのＲＧＢ値が含まれる。図７では、サンプル色を識別するためのサンプル色ＩＤと４ビットのＲＧＢ値とを対応付けて示している。図７では、サンプル色を識別するためのサンプル色ＩＤと４ビットのＸＹＺ値とを対応付けて示している。
　背景変換情報算出部１３９は、サンプル色ＩＤが同じであるＲＧＢ値とＸＹＺ値とを比較し、ＲＧＢ値からＸＹＺ値に変換する背景変換係数を算出する。例えば、ＲＧＢ値からＸＹＺ値への変換を行列演算で行う場合、ＲＧＢ値からＸＹＺ値へ変換するための変換行列を算出する。
　例えば、図７の例では、背景変換情報算出部１３９は、サンプル色ＩＤが「０００１」であるＲＧＢ値「２Ｆ１」からＸＹＺ値「２Ｄ３」へ変換する変換行列ｘ１を算出する。変換行列ｘ１は、例えば３×３の行列である。
　同様にして、背景変換情報算出部１３９は、サンプル色ＩＤ「０００２」～「２０００」に対応する変換行列ｘ２～ｘ２０００を算出する。このように背景変換情報算出部１３９は、例えば、色サンプル（色標本）に含まれる全てのサンプル色に対応する変換行列ｘを算出する。
　背景変換情報算出部１３９が算出した変換行列ｘは、サンプル色ごとに異なる。そのため、背景変換情報算出部１３９は、例えば最小二乗法等を用いて全てのサンプル色においてＲＧＢ値からＸＹＺ値への変換を平均的に表現できる代表変換行列Ｘを背景変換情報として算出し、背景画像変換部１３２に出力する。これにより、背景画像変換部１３２は、単純な行列演算で背景ＲＧＢ画像から背景ＸＹＺ画像の変換を行うことができ、変換処理の演算量を低減することができる。
　一方、１つの代表変換行列Ｘで全ての色を変換する場合、色によって変換精度にばらつきが発生する。かかるばらつきを抑制する方法として、背景画像変換部１３２が、サンプル色ＩＤごとに算出した変換行列ｘを用いて変換処理を行う方法が考えられる。すなわち、背景変換情報算出部１３９が、全ての変換行列ｘを代表変換行列Ｘとして背景変換情報を生成する。しかしながら、この方法の場合、情報処理装置１００のハードウェア構成が複雑になる恐れがある。
　このように、代表変換行列の数が増加すると変換処理の処理量が増加するため、変換情報に含める代表変換行列の数は、例えば情報処理装置１００の構成や求められる処理時間、求められる変換精度等に応じて適宜設定され得る。
　なお、背景変換情報算出部１３９は、複数の代表変換行列（係数）を算出する場合であっても、画素ごとに代表変換行列（係数）を算出するのではないものとする。背景変換情報算出部１３９は、例えば、色や輝度等に応じていくつかのポイントを設定し、設定したポイントごとに代表変換行列（係数）を算出する。すなわち、背景変換情報算出部１３９は、例えば、色や輝度等に応じてサンプル色を複数のグループに分け、グループごとに代表変換行列を算出する。
　この場合、背景画像変換部１３２は、背景ＲＧＢ画像の各画素値に応じて代表変換行列を選択し、画素ごとに変換処理を行う。このとき、背景画像変換部１３２は、画素値に応じて選択した代表変換行列に重み付けを行う等、代表変換行列に対して補正を行ってもよい。
　（変換テーブル）
　なお、背景変換情報算出部１３９が算出する背景変換情報は、変換行列（変換係数）に限定されない。例えば、背景変換情報算出部１３９が、背景変換情報として変換テーブルを算出してもよい。
　図８は、本開示の実施形態に係る背景変換情報算出部１３９が算出する背景変換情報の一例を示す図である。図８に示すように、背景変換情報算出部１３９は、サンプル色ごとに４ビットのＲＧＢ値と４ビットのＸＹＺ値とを対応付けた変換テーブルを背景変換情報として算出する。
　なお、背景変換情報算出部１３９は、全てのサンプル色においてＲＧＢ値とＸＹＺ値とを対応付けた変換テーブルを算出してもよく、一部のサンプル色において離散的にＲＧＢ値とＸＹＺ値とを対応付けた変換テーブルを算出してもよい。なお、変換テーブルに含めるサンプル色の数は、例えば背景画像変換部１３２の構成や求められる処理時間、求められる変換精度等に応じて適宜設定され得る。
　なお、ここでは、変換情報として背景変換情報の一例について説明したが、表示変換情報、及び、撮像変換情報も同様である。上述した背景ＲＧＢ画像のＲＧＢ値が、表示変換情報では撮像画像取得部１３５から取得したディスプレイ撮像ＲＧＢ画像のＲＧＢ値に置き換えられる。また、上述したカラーチャート６２０のＸＹＺ値が、表示変換情報では、撮像画像取得部１３５から取得した実物体撮像ＲＧＢ画像のＲＧＢ値に置き換えられる。表示変換情報は、ＲＧＢ値からＲＧＢ値への変換に関する情報が含まれる。
　上述した背景ＲＧＢ画像のＲＧＢ値が、撮像変換情報では撮像画像取得部１３５から取得したディスプレイ撮像ＲＧＢ画像のＲＧＢ値に置き換えられる。撮像変換情報は、ＲＧＢ値からＸＹＺ値への変換に関する情報が含まれる。
　［変換処理の例］
　ここで、図９を用いて、背景変換情報が上述した変換テーブルである場合に、背景画像変換部１３２が実行する変換処理の一例について説明する。図９は、本開示の実施形態に係る背景画像変換部１３２による変換処理の一例について説明するための図である。なお、変換処理は、背景画像変換部１３２によって実行される。また、変換テーブルは、背景変換情報算出部１３９によって生成され、例えば記憶部１２０（図６参照）に記憶されているものとする。
　図９に示すように、背景画像変換部１３２は、読み出し制御部１３２１と、補間処理部１３２２と、を備える。
　読み出し制御部１３２１は、背景ＲＧＢ画像の各画素値に応じて変換テーブルの読み出し処理を制御する。読み出し制御部１３２１は、画素値と同じＲＧＢ値がある場合は、当該ＲＧＢ値に対応するＸＹＺ値を出力するよう変換テーブルの読み出し処理を行う。
　一方、画素値と同じＲＧＢ値がない場合、読み出し制御部１３２１は、画素値に近いＲＧＢ値に対応するＸＹＺ値を出力するよう変換テーブルの読み出し処理を行う。この場合、出力するＸＹＺ値は１つであっても複数（例えば２つ）であってもよい。
　補間処理部１３２２は、読み出し制御部１３２１によって出力されたＸＹＺ値を用いて補間処理を行い、ＲＧＢ画像の画素値をＸＹＺ値に変換し、変換画像を生成する。
　なお、補間処理が必要ない場合、すなわち、画素値と同じＲＧＢ値が変換テーブルにある場合、補間処理部１３２２は、例えば補間処理を行わず、当該ＲＧＢ値に対応するＸＹＺ値を画素値として変換画像を生成する。
　例えば、背景ＲＧＢ画像の所定の画素の画素値が「００４」であったとする。この場合、図９に示すように、同じＲＧＢ値が変換テーブルに含まれる。そのため、読み出し制御部１３２１は、ＲＧＢ値「００４」に対応するＸＹＺ値「００５」を出力するよう読み出し処理を行う。補間処理部１３２２は、読み出したＸＹＺ値「００５」を所定の画素の画素値とする変換画像を生成する。
　一方、背景ＲＧＢ画像の画素値に対応するＲＧＢ値がない場合、補間処理部１３２２は、出力されたＸＹＺ値に対して補間処理を行い、背景ＸＹＺ画像を生成する。
　例えば、背景ＲＧＢ画像の所定の画素の画素値が「００２」であったとする。図９に示すように、同じＲＧＢ値が変換テーブルには含まれない。この場合、読み出し制御部１３２１は、例えば、ＲＧＢ値「０００」に対応するＸＹＺ値「００１」と、ＲＧＢ値「００４」に対応するＸＹＺ値「００５」と、を出力するよう読み出し処理を行う。補間処理部１３２２は、読み出したＸＹＺ値「００１」、「００５」に基づき、補間処理を行って算出したＸＹＺ値を、所定の画素の画素値とする。
　このように、背景画像変換部１３２は、背景ＲＧＢ画像の画素ごとに変換テーブルを参照し、必要に応じて補間処理を行うことで、各画素値をＸＹＺ値に変換した変換画像を生成する。
　なお、ここでは、変換処理として背景画像変換部１３２が背景ＲＧＢ画像を、背景変換情報を用いて背景ＸＹＺ画像に変換する例について説明したが、表示画像変換部１３４、及び、撮像画像変換部１３６も同様に変換処理を行う。
　表示画像変換部１３４は、背景表示画像を、表示変換情報を用いて表示画像に変換する。表示画像変換部１３４は、例えば、背景表示画像の画素ごとに変換テーブルを参照し、必要に応じて補間処理を行うことで、各画素値をＲＧＢ値に変換した表示画像を生成する。
　撮像画像変換部１３６は、撮像ＲＧＢ画像を、撮像変換情報を用いて撮像ＸＹＺ画像に変換する。撮像画像変換部１３６は、例えば、撮像ＲＧＢ画像の画素ごとに変換テーブルを参照し、必要に応じて補間処理を行うことで、各画素値をＸＹＺ値に変換した撮像ＸＹＺ画像を生成する。
　＜＜３．情報処理＞＞
　＜３．１．変換情報算出処理＞
　続いて、本開示の実施形態に係る情報処理装置１００が実行する情報処理について説明する。
　情報処理装置１００は、情報処理として変換情報を算出する変換情報算出処理を実行する。情報処理装置１００は、例えば撮影が開始される前に変換情報算出処理を実行する。図１０は、本開示の実施形態に係る情報処理装置１００が実行する変換情報算出処理の一例の流れを示すフローチャートである。
　図１０に示すように、情報処理装置１００は、所定色ごとのＸＹＺ値を取得する（ステップＳ１０１）。情報処理装置１００は、３次元仮想空間に配置される所定色の物体（例えば、カラーチャート６２０のような色見本）の分光反射率、及び、３次元空間内の光源４００Ａに基づき、所定色ごとのＸＹＺ値を取得する。
　情報処理装置１００は、３次元仮想空間の撮像装置３００Ａが所定色の物体（例えば、カラーチャート６２０のような色見本）を撮像した背景ＲＧＢ画像を取得する（ステップＳ１０２）。
　情報処理装置１００は、所定色ごとのＸＹＺ値及び背景ＲＧＢ画像を用いて背景変換情報を算出する（ステップＳ１０３）。
　情報処理装置１００は、３次元仮想空間に配置される所定色の物体（例えば、カラーチャート６２０のような色見本）をＬＥＤｗａｌｌ２００に表示した状態で、ＬＥＤｗａｌｌ２００を撮像したディスプレイ撮像ＲＧＢ画像を取得する（ステップＳ１０４）。
　情報処理装置１００は、実空間に配置される所定色の物体（例えば、カラーチャート６２０のような色見本）を撮像した実空間撮像ＲＧＢ画像を取得する（ステップＳ１０５）。
　情報処理装置１００は、取得したディスプレイ撮像ＲＧＢ画像及び実空間撮像ＲＧＢ画像を用いて表示変換情報を算出する（ステップＳ１０６）。
　情報処理装置１００は、３次元仮想空間に配置される所定色の物体（例えば、カラーチャート６２０のような色見本）をＬＥＤｗａｌｌ２００に表示した状態で、ＬＥＤｗａｌｌ２００を撮像したディスプレイ撮像ＲＧＢ画像を取得する（ステップＳ１０７）。なお、このとき、ＬＥＤｗａｌｌ２００に表示される所定色の物体の画像は、背景変換情報によって表示画像に変換された画像であるものとする。
　情報処理装置１００は、取得したディスプレイ撮像ＲＧＢ画像及び所定色ごとのＸＹＺ値を用いて撮像変換情報を算出する（ステップＳ１０８）。
　なお、変換情報は、光源４００Ａ及び光源４００Ｂの少なくとも一方が変更されるごとに再算出されることが望ましい。この場合、情報処理装置１００は、光源４００Ａ及び光源４００Ｂの少なくとも一方が変更されると図１０に示す変換情報算出処理を実行する。
　あるいは、３次元仮想空間内で使用される光源４００Ａの種類、及び、実空間で使用される光源４００Ｂの種類が予めわかっている場合、情報処理装置１００が、光源４００Ａ及び光源４００Ｂの組み合わせごとに変換情報を算出してもよい。この場合、情報処理装置１００は、例えば、撮像装置３００Ｂによる撮影開始前に、光源４００Ａ、４００Ｂの組み合わせごとに図１０に示す変換情報算出処理を実行する。
　なお、光源４００Ａ、４００Ｂの分光特性、及び、撮像装置３００Ａ、３００Ｂの分光特性のばらつきが、変換情報を用いた画像の座標変換の変換誤差に影響を与える。また、どのサンプル色を用いて変換情報を算出するか（サンプル色の選択）が、座標変換のロバスト性に影響する。
　＜３．２．撮影処理＞
　情報処理装置１００は、情報処理として撮影処理を実行する。図１１は、本開示の実施形態に係る情報処理装置１００が実行する撮影処理の一例の流れを示すフローチャートである。情報処理装置１００は、例えば撮影が開始されると、撮影処理を実行する。
　情報処理装置１００は、３次元仮想空間を撮像装置３００Ａで撮影した背景ＲＧＢ画像を取得する（ステップＳ２０１）。情報処理装置１００は、取得した背景ＲＧＢ画像を、背景変換情報を用いて座標変換し、背景ＸＹＺ画像を生成する（ステップＳ２０２）。
　情報処理装置１００は、背景ＸＹＺ画像に基づき、表示装置２００に表示するための背景表示画像を生成する（ステップＳ２０３）。情報処理装置１００は、背景表示画像を、表示変換情報を用いて変換し、表示画像を生成する（ステップＳ２０４）。情報処理装置１００は、表示画像を表示装置２００に表示させる（ステップＳ２０５）。
　情報処理装置１００は、撮像装置３００Ｂが表示装置２００を含む実空間を撮像した撮像ＲＧＢ画像を取得する（ステップＳ２０６）。情報処理装置１００は、撮像ＲＧＢ画像を、撮像変換情報を用いて変換し、撮像ＸＹＺ画像を生成する（ステップＳ２０７）。情報処理装置１００は、撮像ＸＹＺ画像をＲＧＢ値の画像に変換することで、出力画像を生成する（ステップＳ２０８）。
　なお、情報処理装置１００は、例えば所定のフレームレート等、所定の周期で撮影処理を実行し得る。あるいは、撮像装置３００Ａ、３００Ｂが動画像の撮影を行う場合、情報処理装置１００が、１つの動画像データ（例えば、所定期間で撮影を行った動画像データ）ごとに撮影処理を行うようにしてもよい。
　例えば、情報処理装置１００は、予め生成又は撮影された所定期間の背景ＲＧＢ画像をまとめて背景ＸＹＺ画像に変換する。同様に、情報処理装置１００は、所定期間の背景ＸＹＺ画像をまとめて背景表示画像に変換し、表示画像に変換する。なお、情報処理装置１００は、撮像装置３００Ｂによる撮像が開始される前に、表示画像の生成までの処理を予め実行しておいてもよい。
　情報処理装置１００は、変換後の表示画像を表示装置２００に表示させている間に、所定の期間で撮像装置３００Ｂが撮影した動画像を、撮像ＲＧＢ画像として取得する。情報処理装置１００は、撮影された所定期間の撮像ＲＧＢ画像をまとめて撮像ＸＹＺ画像に変換し、出力画像に変換する。なお、情報処理装置１００は、撮像装置３００Ｂによる撮像の終了後に、撮像ＸＹＺ画像を生成する処理以降の処理を実行するようにしてもよい。
　以上のように、本実施形態に係る情報処理システム１０の情報処理装置１００は、制御部１３０を備える。制御部１３０は、３次元仮想空間（第１空間の一例）において撮像装置３００Ａ（第１撮像装置の一例）によって撮影された背景画像（第１画像の一例）を、表示変換情報（第１変換情報の一例）に基づき、実空間（第２空間の一例）に配置される表示装置２００に表示する表示画像に変換する。制御部１３０は、表示画像を表示する表示装置２００を含むように撮像装置３００Ａ（第２撮像装置の一例）によって撮影された撮像画像（第２画像の一例）を取得する。
　表示変換情報は、表示装置２００に表示された所定色の画像（カラーチャート画像）を撮像装置３００Ａで撮影したディスプレイ撮像ＲＧＢ画像（第１色画像の一例）のＲＧＢ値と、実空間に配置された所定色の物体（カラーチャート）を撮像装置３００Ｂで撮影した実物体撮像ＲＧＢ画像（第２色画像の一例）のＲＧＢ値と、に基づいて算出される。
　これにより、情報処理装置１００は、表示装置２００を再撮影した時の色味と、実空間を撮影した時の色味と、を揃えることができる。そのため、情報処理装置１００は、よりリアリティの高い画像（出力画像）を取得することができる。
　また、情報処理装置１００の制御部１３０は、背景ＲＧＢ画像のＲＧＢ値を、背景変換情報（第２変換情報の一例）に基づき、ＸＹＺ値に変換する。制御部１３０は、ＸＹＺ値の背景ＸＹＺ画像を表示変換情報に基づいて表示画像に変換する。
　背景変換情報は、３次元仮想空間において所定色の物体（カラーチャート）を撮像装置３００Ａによって撮影した背景ＲＧＢ画像（第３色画像の一例）のＲＧＢ値と、所定色のＸＹＺ値と、に基づいて算出される。
　これにより、情報処理装置１００は、３次元仮想空間に配置される物体の色味と、当該物体を３次元仮想空間で撮影した撮影画像を表示装置に表示したときの色味と、を揃えることができる。
　また、情報処理装置１００の制御部１３０は、撮像ＲＧＢ画像（第２画像の一例）のＲＧＢ値を、撮像変換情報（第３変換情報の一例）に基づき、ＸＹＺ値に変換し、撮像ＸＹＺ画像（第３画像の一例）を取得する。
　撮像変換情報は、３次元仮想空間における所定色のＸＹＺ値と、ディスプレイ撮像ＲＧＢ画像及び実物体撮像ＲＧＢ画像の少なくとも一方のＲＧＢ値と、に基づいて算出される。
　これにより、情報処理装置１００は、３次元仮想空間での実際の色味と、実空間を撮影した時の色味と、を揃えることができる。
　＜＜４．変形例＞＞
　上述した実施形態では、情報処理装置１００が、背景ＸＹＺ画像を背景表示画像に変換してから、表示変換情報を用いて表示画像に変換するとしたが、これに限定されない。例えば、情報処理装置１００が、背景ＸＹＺ画像を、表示変換情報を用いて表示ＲＧＢ画像（第５画像の一例）に変換し、表示装置２００に応じた表示画像に変換するようにしてもよい。この場合、表示変換情報は、ＸＹＺ値をＲＧＢ値に変換するための情報となる。
　図１２は、本開示の実施形態の変形例に係る撮影処理の概要について説明するための図である。なお、図４に示す撮影処理と同じ処理については同一符号を付し説明を省略する。図１２に示す撮影処理は、本開示の実施形態の変形例に係る情報処理装置１００Ａによって実行される。
　図１２に示すステップＳ２において、背景ＲＧＢ画像を、背景変換情報を用いて背景ＸＹＺ画像に座標変換した情報処理装置１００Ａは、表示変換情報を用いて座標変換を行い、表示ＲＧＢ画像を生成する（ステップＳ１１）。
　情報処理装置１００Ａは、表示ＲＧＢ画像に基づき、表示装置２００に応じた表示画像を生成する（ステップＳ１２）。情報処理装置１００Ａは、生成した表示画像を表示装置２００に表示させる。
　なお、表示変換情報は、ディスプレイ撮像ＲＧＢ画像のＲＧＢ値と、実物体撮像ＲＧＢ画像のＲＧＢ値を合わせるための変換情報である。情報処理装置１００は、背景ＸＹＺ画像と、実物体撮像ＲＧＢ画像と、に基づき、表示変換情報を算出する。
　図１３は、本開示の実施形態の変形例に係る情報処理装置１００Ａの構成例を示すブロック図である。図１３に示す情報処理装置１００Ａの制御部１３０Ａは、図６に示す背景表示画像変換部１３３のかわりに背景ＲＧＢ画像変換部１３３Ａを有し、表示画像変換部１３４のかわりに表示画像生成部１３４Ａを有する。また、制御部１３０Ａは、表示変換情報算出部１４０Ａを有する。
　背景ＲＧＢ画像変換部１３３Ａは、背景画像変換部１３２から取得した背景ＸＹＺ画像を、表示変換情報を用いて表示ＲＧＢ画像に変換する。背景ＲＧＢ画像変換部１３３Ａは、変換した表示ＲＧＢ画像を表示画像生成部１３４Ａに出力する。
　表示画像生成部１３４Ａは、背景ＲＧＢ画像変換部１３３Ａから取得した表示ＲＧＢ画像を、ＬＥＤｗａｌｌ２００に表示するために、ＲＧＢ値の表示画像に変換する。なお、表示ＲＧＢ画像を表示画像に変換するための情報は、予め記憶部１２０に記憶されているものとする。表示画像生成部１３４Ａは、表示画像をＬＥＤｗａｌｌ２００に表示させる。
　表示変換情報算出部１４０Ａは、撮像画像取得部１３５から取得したディスプレイ撮像ＲＧＢ画像（あるいは、背景ＸＹＺ画像）と、撮像画像取得部１３５から取得した実物体撮像ＲＧＢ画像と、を用いて表示変換情報を算出する。表示変換情報は、例えば、カラーチャート６２０に含まれるサンプル色ごとに、背景ＸＹＺ画像のＸＹＺ値と実物体撮像ＲＧＢ画像のＲＧＢ値とを対応付けるための情報である。
　表示変換情報算出部１４０は、算出した表示変換情報を背景ＲＧＢ画像変換部１３３Ａに出力する。
　＜＜５．その他の実施形態＞＞
　上述の実施形態及び各変形例は一例を示したものであり、種々の変更及び応用が可能である。
　例えば、本実施形態の情報処理装置１００を制御する制御装置は、専用のコンピュータシステムにより実現してもよいし、汎用のコンピュータシステムによって実現してもよい。
　例えば、上述の動作を実行するための通信プログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。このとき、制御装置は、情報処理装置１００の外部の装置（例えば、パーソナルコンピュータ）であってもよい。また、制御装置は、情報処理装置１００の内部の装置（例えば、制御部１３０）であってもよい。
　また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating　System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。なお、この分散・統合による構成は動的に行われてもよい。
　また、上述の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上述の実施形態のフローチャート等に示された各ステップは、適宜順序を変更することが可能である。
　また、例えば、本実施形態は、装置又はシステムを構成するあらゆる構成、例えば、システムＬＳＩ（Large　Scale　Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本実施形態において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、本実施形態は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　＜＜６．むすび＞＞
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１空間において第１撮像装置によって撮影された第１画像を、第１変換情報に基づき、第２空間に配置される表示装置に表示する表示画像に変換し、
　前記表示画像を表示する前記表示装置を含むように第２撮像装置によって撮影された第２画像を取得する、
　制御部を備え、
　前記第１変換情報は、前記表示装置に表示された所定色の画像を前記第２撮像装置で撮影した第１色画像のＲＧＢ値と、前記第２空間に配置された前記所定色の物体を前記第２撮像装置で撮影した第２色画像の前記ＲＧＢ値と、に基づいて算出される、
　情報処理装置。
（２）
　前記制御部は、
　前記第１画像の前記ＲＧＢ値を、第２変換情報に基づき、ＸＹＺ値に変換し、
　前記ＸＹＺ値の第１画像を前記第１変換情報に基づいて前記表示画像に変換し、
　前記第２変換情報は、前記第１空間において前記所定色の前記物体を前記第１撮像装置によって撮影した第３色画像のＲＧＢ値と、前記所定色の前記ＸＹＺ値と、に基づいて算出される、（１）に記載の情報処理装置。
（３）
　前記制御部は、
　前記第２画像の前記ＲＧＢ値を、第３変換情報に基づき、ＸＹＺ値に変換し、第３画像を取得し、
　前記第３変換情報は、前記第１空間における前記所定色のＸＹＺ値と、前記第１色画像及び前記第２色画像の少なくとも一方の前記ＲＧＢ値と、に基づいて算出される、
　（１）又は（２）に記載の情報処理装置。
（４）
　前記制御部は、ＸＹＺ値の前記第１画像を、前記表示装置に表示するための表示ＲＧＢ画像に変換し、前記表示ＲＧＢ画像を前記第１変換情報に基づいて前記表示画像に変換する、（１）～（３）のいずれか１つに記載の情報処理装置。
（５）
　前記制御部は、ＸＹＺ値の前記第１画像を前記第１変換情報に基づいて前記ＲＧＢ値の第４画像に変換し、前記第４画像を前記表示画像に変換する、（１）～（３）のいずれか１つに記載の情報処理装置。
（６）
　前記第１空間は仮想空間であり、前記第１画像は、前記仮想空間を撮影した撮像画像である、（１）～（５）のいずれか１つに記載の情報処理装置。
（７）
　前記第１空間は実空間であり、前記第１画像は前記実空間を撮影した撮像画像である、（１）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記第２空間は実空間であり、前記第２画像は前記表示装置に表示された前記表示画像及び前記実空間に配置された実物体を含んで撮影された画像である、（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記第１空間は、前記第２空間とは異なる場所の空間である、（１）～（８）のいずれか１つに記載の情報処理装置。
（１０）
　第１空間において第１撮像装置によって撮影された第１画像を、第１変換情報に基づき、第２空間に配置される表示装置に表示する表示画像に変換することと、
　前記表示画像を表示する前記表示装置を含むように第２撮像装置によって撮影された第２画像を取得することと、
　を含み、
　前記第１変換情報は、前記表示装置に表示された所定色の画像を前記第２撮像装置で撮影した第１色画像のＲＧＢ値と、前記第２空間に配置された前記所定色の物体を前記第２撮像装置で撮影した第２色画像の前記ＲＧＢ値と、に基づいて算出される、
　情報処理方法。
　１０　情報処理システム
　１００　情報処理装置
　１１０　通信部
　１２０　記憶部
　１３０　制御部
　２００　表示装置
　３００　撮像装置
　４００　光源

Claims (11)

  1. 　第１空間において第１撮像装置によって撮影された第１画像を、第１変換情報に基づき、第２空間に配置される表示装置に表示する表示画像に変換し、
    　前記表示画像を表示する前記表示装置を含むように第２撮像装置によって撮影された第２画像を取得する、
    　制御部を備え、
    　前記第１変換情報は、前記表示装置に表示された所定色の画像を前記第２撮像装置で撮影した第１色画像のＲＧＢ値と、前記第２空間に配置された前記所定色の物体を前記第２撮像装置で撮影した第２色画像の前記ＲＧＢ値と、に基づいて算出される、
    　情報処理装置。
  2. 　前記制御部は、
    　前記第１画像の前記ＲＧＢ値を、第２変換情報に基づき、ＸＹＺ値に変換し、
    　前記ＸＹＺ値の第１画像を前記第１変換情報に基づいて前記表示画像に変換し、
    　前記第２変換情報は、前記第１空間において前記所定色の前記物体を前記第１撮像装置によって撮影した第３色画像のＲＧＢ値と、前記所定色の前記ＸＹＺ値と、に基づいて算出される、請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　前記第２画像の前記ＲＧＢ値を、第３変換情報に基づき、ＸＹＺ値に変換し、第３画像を取得し、
    　前記第３変換情報は、前記第１空間における前記所定色の前記ＸＹＺ値と、前記第１色画像及び前記第２色画像の少なくとも一方の前記ＲＧＢ値と、に基づいて算出される、
    　請求項１に記載の情報処理装置。
  4. 　前記制御部は、
    　前記第１画像の前記ＲＧＢ値を、第２変換情報に基づき、ＸＹＺ値に変換し、
    　前記ＸＹＺ値の第１画像を前記第１変換情報に基づいて前記表示画像に変換し、
    　前記第２画像の前記ＲＧＢ値を、第３変換情報に基づき、前記ＸＹＺ値に変換し、第３画像を取得し、
    　前記第２変換情報は、前記第１空間において前記所定色の前記物体を前記第１撮像装置によって撮影した第３色画像のＲＧＢ値と、前記所定色の前記ＸＹＺ値と、に基づいて算出され、
    　前記第３変換情報は、前記第１空間における前記所定色の前記ＸＹＺ値と、前記第１色画像及び前記第２色画像の少なくとも一方の前記ＲＧＢ値と、に基づいて算出される、
    　請求項１に記載の情報処理装置。
  5. 　前記制御部は、ＸＹＺ値の前記第１画像を、前記表示装置に表示するための第４画像に変換し、前記第４画像を前記第１変換情報に基づいて前記表示画像に変換する、請求項１に記載の情報処理装置。
  6. 　前記制御部は、ＸＹＺ値の前記第１画像を前記第１変換情報に基づいて前記ＲＧＢ値の第５画像に変換し、前記第５画像を前記表示画像に変換する、請求項１に記載の情報処理装置。
  7. 　前記第１空間は仮想空間であり、前記第１画像は、前記仮想空間を撮影した撮像画像である、請求項１に記載の情報処理装置。
  8. 　前記第１空間は実空間であり、前記第１画像は前記実空間を撮影した撮像画像である、請求項１に記載の情報処理装置。
  9. 　前記第２空間は実空間であり、前記第２画像は前記表示装置に表示された前記表示画像及び前記実空間に配置された実物体を含んで撮影された画像である、請求項１に記載の情報処理装置。
  10. 　前記第１空間は、前記第２空間とは異なる場所の空間である、請求項１に記載の情報処理装置。
  11. 　第１空間において第１撮像装置によって撮影された第１画像を、第１変換情報に基づき、第２空間に配置される表示装置に表示する表示画像に変換することと、
    　前記表示画像を表示する前記表示装置を含むように第２撮像装置によって撮影された第２画像を取得することと、
    　を含み、
    　前記第１変換情報は、前記表示装置に表示された所定色の画像を前記第２撮像装置で撮影した第１色画像のＲＧＢ値と、前記第２空間に配置された前記所定色の物体を前記第２撮像装置で撮影した第２色画像の前記ＲＧＢ値と、に基づいて算出される、
    　情報処理方法。
PCT/JP2022/038831 2021-11-01 2022-10-18 情報処理装置及び情報処理方法 WO2023074477A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-178915 2021-11-01
JP2021178915 2021-11-01

Publications (1)

Publication Number Publication Date
WO2023074477A1 true WO2023074477A1 (ja) 2023-05-04

Family

ID=86157767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038831 WO2023074477A1 (ja) 2021-11-01 2022-10-18 情報処理装置及び情報処理方法

Country Status (1)

Country Link
WO (1) WO2023074477A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185952A (ja) * 1997-09-09 1999-03-30 Olympus Optical Co Ltd 色再現装置
JP2000341715A (ja) * 1999-05-25 2000-12-08 Olympus Optical Co Ltd 色再現システム
JP2001060082A (ja) * 1999-08-24 2001-03-06 Matsushita Electric Ind Co Ltd 色再現端末装置およびネットワーク色再現システム
JP2003134526A (ja) * 2001-10-19 2003-05-09 Univ Waseda 色再現装置及び色再現方法
JP2010521098A (ja) * 2007-03-08 2010-06-17 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． トゥルーカラー通信
JP2011259047A (ja) * 2010-06-07 2011-12-22 For-A Co Ltd 色補正装置と色補正方法とビデオカメラシステム
JP2020167680A (ja) * 2019-03-29 2020-10-08 株式会社サンヨー・シーワィピー 調整画像データ生成装置、色差調整画像表示システム、調整画像データ生成方法、調整画像データ生成プログラムおよび色差調整画像表示方法
JP2021056963A (ja) * 2019-10-02 2021-04-08 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185952A (ja) * 1997-09-09 1999-03-30 Olympus Optical Co Ltd 色再現装置
JP2000341715A (ja) * 1999-05-25 2000-12-08 Olympus Optical Co Ltd 色再現システム
JP2001060082A (ja) * 1999-08-24 2001-03-06 Matsushita Electric Ind Co Ltd 色再現端末装置およびネットワーク色再現システム
JP2003134526A (ja) * 2001-10-19 2003-05-09 Univ Waseda 色再現装置及び色再現方法
JP2010521098A (ja) * 2007-03-08 2010-06-17 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． トゥルーカラー通信
JP2011259047A (ja) * 2010-06-07 2011-12-22 For-A Co Ltd 色補正装置と色補正方法とビデオカメラシステム
JP2020167680A (ja) * 2019-03-29 2020-10-08 株式会社サンヨー・シーワィピー 調整画像データ生成装置、色差調整画像表示システム、調整画像データ生成方法、調整画像データ生成プログラムおよび色差調整画像表示方法
JP2021056963A (ja) * 2019-10-02 2021-04-08 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US8947519B2 (en) Image processing apparatus, image processing system, image processing method, and image processing program
KR20010030121A (ko) 색 재현 단말 장치, 네트워크 색 재현 시스템 및 색 재현방법
JP2016020891A (ja) 形状計測システムおよび撮像装置
CN105827897A (zh) 调整卡制作方法、***、调试色彩校正矩阵方法及设备
Klein et al. Simulating low-cost cameras for augmented reality compositing
CN115100082A (zh) 一种基于高光谱相机的高精度颜色显示***
JP2011223221A (ja) 撮影装置および画像統合プログラム
JP2005189542A5 (ja)
US8994848B2 (en) Method and system for handling mixed illumination in video and photography
US7782367B2 (en) Direct calibration of color imaging devices
US10621769B2 (en) Simplified lighting compositing
JP6538176B2 (ja) カラーバランスをとるための画像処理装置および方法
WO2023074477A1 (ja) 情報処理装置及び情報処理方法
KR20170128739A (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
JP2008206163A (ja) カラー画像処理装置
US20170374239A1 (en) Image processing device and image processing method
WO2022250146A1 (ja) 情報処理装置及び情報処理方法
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
JP2006323139A (ja) プロジェクタ・カメラサーバ、及び画像投影方法
JP4615430B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
WO2023074897A1 (ja) 情報処理装置、プログラム及び情報処理システム
JP6770442B2 (ja) 画像処理装置及びそのプログラム
US20240240985A1 (en) Information Processing Apparatus And Information Processing Method
JP2012249009A (ja) 光学投影制御装置、光学投影制御方法、及びプログラム
US20230031464A1 (en) Image processing apparatus and virtual illumination system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886805

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE