WO2020162478A1 - 色変換情報生成方法、色変換情報生成システム及びプログラム - Google Patents

色変換情報生成方法、色変換情報生成システム及びプログラム Download PDF

Info

Publication number
WO2020162478A1
WO2020162478A1 PCT/JP2020/004248 JP2020004248W WO2020162478A1 WO 2020162478 A1 WO2020162478 A1 WO 2020162478A1 JP 2020004248 W JP2020004248 W JP 2020004248W WO 2020162478 A1 WO2020162478 A1 WO 2020162478A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
color
user
chart
color conversion
Prior art date
Application number
PCT/JP2020/004248
Other languages
English (en)
French (fr)
Inventor
紘一 高瀬
稲村 崇
田中 貴也
Original Assignee
凸版印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 凸版印刷株式会社 filed Critical 凸版印刷株式会社
Priority to CN202080012481.1A priority Critical patent/CN113396319B/zh
Priority to JP2020571227A priority patent/JPWO2020162478A1/ja
Priority to EP20752815.9A priority patent/EP3922967A4/en
Publication of WO2020162478A1 publication Critical patent/WO2020162478A1/ja
Priority to US17/394,911 priority patent/US20210366164A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462Computing operations in or between colour spaces; Colour management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing

Definitions

  • the present invention relates to a color conversion information generation method, a color conversion information generation system and a program.
  • This application gives priority to Japanese Patent Application No. 2019-019028 filed in Japan on February 5, 2019 and Japanese Patent Application No. 2019-153871 filed in Japan on August 26, 2019. Insist, and the contents of these are incorporated herein.
  • the standard or the size is described for the size of the product. Therefore, the customer can easily determine whether or not the product observed on the display screen of the terminal has the size desired by the customer.
  • the color of the product the color of the product when selected on the display screen and the color when actually observing are often different, and the customer may dislike the product and may return the product. ..
  • the cause of this is that the characteristics of the light source in the imaging environment where an image is captured at the EC site and the light source in the observation environment where the customer actually observes the product are different.
  • the taste of the subtle color tone of other clothing items is judged by the customer's sensitivity, so if the color of the purchased product is different from the intended color, it is judged that it does not match the taste. Will end up.
  • the color of the product confirmed on the display screen is different from the actual color, it is difficult for the customer to purchase the product of the desired color on the EC site.
  • an image capturing environment for capturing an image of an article and a camera parameter of an image capturing apparatus that captures the image are acquired in advance. Then, in the observation environment, color management is performed so that the customer can visually recognize the color of the object as if it were a real object.
  • color management is performed so that the customer can visually recognize the color of the object as if it were a real object.
  • general customers observe the color of the product image selected on the display screen and the actual color of the delivered product in a wide variety of their own viewing environments.
  • the customer of the EC site who is a general user, the person in charge of operating the EC site, and the like do not have the knowledge of the color management and the dedicated device, and therefore, the color of the product image and the color of the actual product may be different from each other. Similarly, visual color management cannot be performed.
  • Each of the imaging environment and the observation environment is an illumination environment which is mainly a light source environment when visually recognizing a color. Therefore, in the initial stage, even if the color of the object can be visually recognized like the real thing, if the imaging environment or the observation environment is changed, the user can provide the color of the object as an image that can be visually recognized like the real thing, Alternatively, it may not be possible to visually recognize it as a color similar to the real thing under the user's observation environment.
  • the present invention has been made in view of such a situation, and is viewed by a general user who does not have knowledge of color management in an image of an object imaged in the imaging environment of this user or in an observation environment.
  • the object image which is the image of the object
  • the real color of the object corresponding to each of the imaging environment and the observation environment (illumination environment) and the illumination of each of the users.
  • a color conversion information generation method a color conversion information generation system
  • a program for generating color conversion information for mutually converting colors visually recognized in an environment are provided.
  • a first aspect of the present invention is information corresponding to a lighting environment, and is information for mutually converting color information indicating a color of an object in the lighting environment and color characteristic information indicating a color characteristic of the object.
  • a color conversion information generation method for generating a certain color conversion information, the color sample information providing process for providing the user with color sample information for determining the color sample for which the color characteristic information is known, and in the illumination environment,
  • a color conversion information generating step of generating the color conversion information corresponding to the lighting environment in association with the user.
  • the color conversion information is generated corresponding to the color characteristic corresponding to the attribute of the object.
  • a color sample generation process of generating the color sample determined by the color sample information provided to the user is further performed. May be included.
  • the color sample is determined by the color sample information, the characters, graphics, and characters printed in a color in which the color characteristic information is known.
  • the printed matter may include any one or a combination of the color charts.
  • a fifth aspect of the present invention is the color conversion information generating method according to the fourth aspect, wherein the printed matter is printed with the color sample that the user receives together with the object when the object is delivered to the user. It may be another object.
  • the printed matter is printed with the color sample that the user receives from the group when the user registers as a user in a predetermined group. It may be another object.
  • a seventh aspect of the present invention is the color conversion information generating method according to the fourth aspect, wherein the printed matter indicates a URL for the user to access the registration system of the group when the user registers as a user in a predetermined group.
  • the printed matter indicates a URL for the user to access the registration system of the group when the user registers as a user in a predetermined group.
  • Either the figure or the character may be another object printed as the color sample.
  • An eighth aspect of the present invention is the color conversion information generating method according to the first aspect or the second aspect, wherein the color sample is provided to the user, and the color characteristic information of the applied color is known. It may be the object.
  • the color sample in the color conversion information generating method according to the first aspect or the second aspect, may be a general-purpose product in which the color characteristic information of the applied color is known. ..
  • a tenth aspect of the present invention is the color conversion information generating method according to the first aspect or the second aspect, wherein the color sample is printed with a color chart on which the color characteristic information of the printed color is known. May be
  • An eleventh aspect of the present invention is, in the color conversion information generating method according to any one of the first to tenth aspects, determined by the first color sample information which is the color sample in the illumination environment of the user. Generating the color conversion information in the illumination environment of the user by the process of receiving the first captured image in which the one-color sample is captured, the first captured image, and the color characteristic information of the first color sample And a timing after the step of generating the color conversion information, the second color sample which is the color sample information for determining the second color sample having the color characteristic information different from that of the first color sample.
  • the method may include a step of updating the color conversion information in the lighting environment of the user with the captured image and the color characteristic information of the second color sample.
  • the twelfth aspect of the present invention may include the step of generating the second color sample corresponding to the first captured image in the color conversion information generating method of the eleventh aspect.
  • the second captured image is an image obtained by capturing the object delivered to the user, or the object and the object.
  • the second color sample may be an imaged image.
  • the color characteristic information when it is detected that the lighting environment of the user has changed, the color characteristic information may be updated.
  • a fifteenth aspect of the present invention is the method for generating color conversion information according to the fourteenth aspect, wherein the color information corresponding to the color characteristic information of the second color sample in the illumination environment is the second color sample of the second captured image.
  • the color information is different from the color information by a predetermined threshold value or more, it may be detected that the illumination environment has changed.
  • the lighting environment of the user has changed when the information indicating that the lighting environment of the user has changed is received from the user, the lighting environment has changed. You may detect.
  • a seventeenth aspect of the present invention is the method for generating color conversion information according to any one of the eleventh to sixteenth aspects, wherein the timing of providing the second color sample information to the user is based on attribute information of the user. May be determined.
  • information of a predetermined incentive to be given when the captured image in which the color sample is captured is received, It may be provided to the user.
  • a nineteenth aspect of the present invention is the method for generating color conversion information according to any one of the first to eighteenth aspects, wherein the color characteristic information of the object is converted into color information by the color conversion information, and based on the color information. It may include a step of generating an object display image which is an image and a step of transmitting the object display image to a terminal owned by the user.
  • a twentieth aspect of the present invention is the color conversion information generating method according to the nineteenth aspect, wherein the color conversion information of the user is updated with evaluation information obtained as a result of the user comparing the object display image with the object.
  • the process may be included.
  • a twenty-first aspect of the present invention is, in the color conversion information generation method of the nineteenth aspect, estimating color information of the color sample in the observation environment of the user from the color characteristic information of the color sample by the color conversion information, The result of comparing the color sample display image and the color sample by the user, the process of generating a color sample display image that is an estimated image of the color sample, the process of transmitting the color sample display image to the user's terminal And updating the color conversion information of the user according to the evaluation information of 1.
  • a twenty-second aspect of the present invention is the method for generating color conversion information according to the eleventh aspect or the twelfth aspect, wherein the second color sample is obtained by at least the color characteristic information of the object and the first color sample.
  • the color conversion information of the illumination environment and the similar color conversion information that is the color conversion information in the similar illumination environment similar to the illumination environment in which the first color sample is imaged, selected by the information of the illumination environment Alternatively, it may be generated by a combination or a combination of colors corresponding to all.
  • a twenty-third aspect of the present invention is the method of generating color conversion information according to the eleventh aspect or the twelfth aspect, wherein the second color sample is generated corresponding to a color combination corresponding to an environment attribute which is an attribute of the illumination environment. You may.
  • the environment attribute may include a characteristic of lighting.
  • a 25th aspect of the present invention is the group in which the user is classified based on the user attribute information which is the attribute of the user in the color conversion information generating method according to any one of the third aspect, the 11th aspect and the 12th aspect. And a step of generating the group information indicating the user attribute information, and a step of generating the color sample by the combination of the color characteristics corresponding to the user attribute information indicated by the group information.
  • a twenty-sixth aspect of the present invention is the color conversion information generating method according to the twenty-fifth aspect, wherein the user attribute information is the location attribute of the lighting environment of the user, the gender of the user, the age of the user, and the user. It may include an address, any or all or a combination of the occupations of the user.
  • a twenty-seventh aspect of the present invention is the color conversion information generating method according to any one of the third aspect, the eleventh aspect, and the twelfth aspect, wherein the object is a body observed by a doctor and corresponds to the attribute of the body.
  • the color sample may be generated by combining the generated color characteristics.
  • a twenty-eighth aspect of the present invention is the color conversion information generating method according to the twenty-seventh aspect, wherein the body is an affected part of a patient, and the attribute of the body is similar to the part of the affected part in the body and the symptom of the affected part. Any or a combination of cases or all may be included.
  • a twenty-ninth aspect of the invention is the color conversion information generating method according to any one of the third aspect, the eleventh aspect, and the twelfth aspect, wherein the object is an article provided to the user and corresponds to an attribute of the article.
  • the color sample may be generated by a combination of the color characteristics generated as described above.
  • a thirtieth aspect of the invention is the method of generating color conversion information according to the twenty-ninth aspect, wherein the attribute of the article includes any or a combination of the type of the article, the material forming the article, and the shape of the article. But it's okay.
  • a thirty-first aspect of the invention is the color conversion information generating method according to any one of the third aspect, the eleventh aspect, and the twelfth aspect, which corresponds to the attribute information of the object in the history information of the object browsed by the user,
  • the color sample may be generated based on any one or a combination of color characteristics and the color characteristics corresponding to the attribute information of the object in the history information of the object ordered by the user.
  • a thirty-second aspect of the invention is, in the color conversion information generating method according to any one of the third aspect, the eleventh aspect, and the twelfth aspect, providing a URL of a web page for browsing the object to the user, and the user. Generate the color sample by a process of acquiring history information of browsing the web page, and by any or a combination of the color characteristics corresponding to the attribute information of the object in the history information of the object browsed by the user. May be.
  • a thirty-third aspect of the invention is the method for generating color conversion information according to any one of the third aspect, the eleventh aspect, and the twelfth aspect, wherein the color sample corresponds to a sensitivity of an imaging device that images the object and the color sample. May be generated by a combination of the color characteristics.
  • a thirty-fourth aspect of the invention is determined by the color sample information providing unit that provides the user with the color sample information that is the information of the color sample whose color characteristic information is known, and the color sample information in the illumination environment of the user.
  • the color information of the article in the illumination environment and the color characteristic information of the article are converted by the captured image acquisition unit that acquires the captured image of the color sample from the user, and the captured image and the color characteristic information.
  • the color conversion information generation system includes a color conversion information calculation unit that obtains color conversion information for each user.
  • a thirty-fifth aspect of the invention is a color sample information providing means for providing a user with color sample information, which is information for determining a color sample whose color characteristic information is known, in the illumination environment of the user.
  • a captured image acquisition unit that acquires a captured image obtained by capturing the color sample determined by sample information from the user, the color information of the article in the illumination environment and the color of the article by the captured image and the color characteristic information. It is a program that operates as color conversion information calculation means for obtaining color conversion information for converting characteristic information for each user.
  • an image of an object imaged in the imaging environment of this user or an object visually recognized in the observation environment is provided to a general user who does not have knowledge of color management.
  • the object image that is the image of the object visible in the same way as the color of the real object, the real color of the object corresponding to each of the imaging environment and the observation environment (lighting environment) and each lighting environment of the user. It is possible to provide a color conversion information generation method, a color conversion information generation system, and a program that generate color conversion information for mutually converting a color visually recognized below.
  • FIG. 1 It is a block diagram showing an example of composition of an EC site sales system using a goods sales support system (color conversion information generation system) by this embodiment. It is a conceptual diagram explaining the outline
  • FIG. 6 is a diagram showing a configuration example of a chart information table in the chart information database 13.
  • FIG. 6 is a diagram showing a configuration example of a device information table in the device information database 14.
  • FIG. 6 is a sequence diagram showing a flow of a process of generating color conversion information for product sales support using the product sales support system 1. It is a sequence diagram which shows the flow of a user environment information registration process of the product sales support using the product sales support system 1.
  • FIG. 6 is a sequence diagram showing a flow of processing of color conversion and display of a product image of product sales support using the product sales support system 1.
  • FIG. 9 is a sequence diagram showing a flow of information addition processing for updating color conversion information using the product sales support system 1.
  • FIG. 9 is a sequence diagram showing a flow of information addition processing for updating color conversion information using the product sales support system 1.
  • FIG. 9 is a sequence diagram showing a flow of information addition processing for updating color conversion information using the product sales support system 1.
  • FIG. 9 is a sequence diagram showing a flow of information addition processing for updating color conversion information using the product sales support system 1.
  • It is a block diagram which shows the structural example of the color management system using the color sample issuing system (color conversion information generation system) by the 2nd Embodiment of this invention. It is a conceptual diagram explaining the outline
  • FIG. 8 is a sequence diagram which shows the flow of a process of customer environment information registration using the color sample issuing system 1A.
  • FIG. 8 is a sequence diagram showing a flow of processing of color conversion and display of a product image using the color sample issuing system 1A.
  • FIG. 8 is a sequence diagram showing a flow of processing of color conversion and display of a product image using the color sample issuing system 1A. It is a sequence diagram which shows the flow of a process of issuing an additional chart for site color conversion information update using the color sample issuing system 1A. It is a block diagram which shows the structural example of the color management system using the color sample issuing system by the 3rd Embodiment of this invention. It is a figure showing the example of composition of the patient data table in patient database 12B.
  • FIG. 12B It is a figure which shows the structural example of the captured image evaluation table in patient database 12B. It is a figure which shows the structural example of the hospital data table in hospital database 13B. It is a figure which shows the structural example of the affected part color data table in hospital database 13B. It is a figure which shows the structural example of the hospital color conversion information list table in hospital database 13B. It is a sequence diagram which shows the flow of a process of the example of a patient's color conversion information generation using the color sample issuing system 1B. It is a sequence diagram which shows the flow of the process of color conversion and display of a patient image using the color sample issuing system 1B.
  • FIG. 1 is a block diagram showing a configuration example of an EC site sales system using a product sales support system (color conversion information system, hereinafter simply referred to as a product sales support system) according to the present embodiment.
  • the EC site sales system is configured by connecting a product sales support system 1, an EC site server 2 and a user terminal 3 to each other by a network 500 including the Internet.
  • the storage unit 2_1 stores a product image (described later) of a product sold by the EC site server 2.
  • the product sales support system 1 is provided, for example, in a company A that operates a product sales support site, and displays product images of products (for example, clothing items in this embodiment) sold by each EC site on the user terminal 3. For each display screen, when the user observes the product in the observation environment (for example, under the light source of the place where the user observes), the display color is displayed in the same visible color as the actual product color, and the Support the sales of products by providing the product form.
  • product images of products for example, clothing items in this embodiment
  • the product (object) in the present embodiment is an item to be sold, and is an accessory, a decorative item, furniture, an antique item, a painting, or the like.
  • the user's color preference, color combination with others, and the like are important selection conditions for the user. Therefore, when the display color visually recognized on the display screen of the user terminal 3 and the actual color visually recognized in the user's observation environment (especially the characteristics of the light source, for example, the spectral radiance characteristic) are different, the user is in control of his or her own color. Since it does not meet the user's preference and is a major cause of product returns, it is important to adjust the display color of the image of the product (product display image described later) displayed on the display screen of the user terminal 3.
  • FIG. 2 is a conceptual diagram for explaining the outline of the process of presenting the product image to the user, which is performed by the product sales support system 1 including the color conversion information system according to the present embodiment.
  • FIG. 2A is a flowchart showing a flow of processing in the product sales support system 1 for presenting a product image to a user.
  • FIG. 2B is a conceptual diagram showing whether the subject performing each of the processes in the flowchart shown in FIG. 2A is the user or the product sales support system 1.
  • the process F1 is a process of generating color conversion information.
  • a process of acquiring environment information of the user registered on the EC site and a process of obtaining color conversion information from the acquired environment information are performed. That is, in the process F1, the merchandise sales support site provides the chart registered to the user registered in the EC site, and acquires the chart imaged image of the chart and the shooting information.
  • the chart (first color sample) is a color sample in which a plurality of color chips of colors having different predetermined color characteristics are arranged and printed on a predetermined medium. The color characteristic information of these colors is known, and the product sales support system 1 has it.
  • the shooting information is information such as a camera model (or device model) for acquiring the camera characteristics of the camera that has taken the image, setting information of the camera when the image was taken, and positional information indicating the shooting location at which the image was taken (in the camera). It is GPS information acquired by the device provided, or user designation (address, room name, etc.), date and time information, and the like.
  • This photography information may be acquired by the product sales support site via the EC site at the time of registration on the EC site.
  • the spectral characteristic of the chart or the color characteristic information that is the colorimetric value that defines one or more environments (light source and observation sensitivity) and the chart imaged image and the camera characteristic are used to obtain the color characteristic information from the chart.
  • Color conversion information to be converted into color information that is a colorimetric value in the captured imaging environment is generated.
  • the color sample used as the chart is the product purchased by the user. Any one of them, or a combination thereof, or all of them may be used, and the captured image of this article may be transmitted as a chart captured image to the commodity sales support system 1 together with the captured information.
  • the product sales support system 1 uses the color conversion information to make the color of the image of the product sold by the EC site correspond to the light source of the environment in which the user observes the product, that is, when the user observes the product in his or her environment.
  • the product image data converted into the color visually recognized is generated.
  • the product sales support system 1 supplies the product display image to the user terminal 3. The user observes the product display image on the display screen of the user terminal 3 and, when he/she likes the product, performs the purchase process.
  • the merchandise sales support system 1 notifies the EC site of the user and the sales information of the merchandise purchased by the user, in accordance with the purchase process from the user.
  • the EC site operating company B ships the product purchased by the user to the user and delivers the product to the user.
  • the product sales support site operating company A provides the user who purchased the product with additional chart information (additional chart information).
  • the user receives the product and the additional chart information, captures the additional chart according to the additional chart information (images in the same environment as when capturing the chart), and displays the additional chart captured image and the captured information in the user terminal. 3 to the product sales support system 1.
  • the product sales support system 1 acquires a captured image and shooting information of a new additional chart that updates the already acquired color conversion information.
  • the merchandise sales support system 1 changes the color conversion information of this user, which has already been acquired, with each of the additional chart captured image and the captured information supplied from the user. After that, every time the processes F2 to F4 are repeated, the color conversion information of the user is changed, and a product display image in which a color closer to the actual product can be visually recognized is generated.
  • all of the additional chart captured image and the shooting information may be added, or a part of the information of the chart (first color sample) and the additional chart (second color sample) information based on a predetermined standard.
  • the color conversion information may be updated and changed according to the combination.
  • part of the captured image of the chart and captured information of this chart may be used to generate the color conversion information.
  • the user may explicitly indicate or update by, for example, notifying whether or not the captured image capturing environment (the illumination environment in which the user captures the chart) is different from the previous environment.
  • the color conversion information is newly acquired (changed) only by the additional chart captured image and the captured information. May be.
  • the merchandise sales support system 1 is, for example, a merchandise imaged image of the merchandise delivered to the user transmitted from the user's terminal, or an additional chart of the additional chart (second color sample) provided to the user. Receive a captured image.
  • the product sales support system 1 converts the color information of the received product captured image or the additional chart captured image into the color information in the standard lighting environment by the color conversion information generated by the chart (first color sample). Then, the product sales support system 1 detects that the imaging environment of the user has changed when the color characteristic information of the conversion result by the color conversion information is different from the known color characteristic information of the delivered article or the provided additional chart. To do. Further, the threshold value is a numerical value to be compared with the difference between the color characteristic information of the conversion result by the color conversion information and the known color characteristic information of the delivered goods or the provided additional chart, and the difference in different lighting environments is tested. It is measured and calculated by.
  • the product sales support system 1 includes a product sales support server 10, a user database 11, a product color database 12, a chart information database 13, and a device information database 14.
  • the merchandise sales support system 1 converts the image of the merchandise provided by the EC site into a merchandise display image that the user can visually recognize as the actual color of the merchandise in his/her own observation environment based on the color conversion information already described, and the user terminal Provide to 3.
  • FIG. 3 is a diagram showing a configuration example of the product sales support server 10 according to the present embodiment.
  • the product sales support server 10 includes a data input/output unit 101, a chart supply unit 102, a captured image acquisition unit 103, a device information acquisition unit 104, a color conversion information calculation unit 105, an estimated image generation unit 106, and product sales.
  • the processing unit 107 is provided.
  • the data input/output unit 101 transmits/receives data to/from an external device or system via the network 500.
  • the chart supply unit 102 determines a chart (and additional chart information) to be provided to the user, and outputs the chart information including the chart itself or manufacturing information (for example, print information).
  • the captured image acquisition unit 103 determines whether or not the captured images acquired by the data input/output unit 101 are the chart captured image and the additional chart captured image, and the chart captured image together with the determination result is converted into the color conversion information calculation unit. Output to 105.
  • the device information acquisition unit 104 extracts camera characteristic acquisition information such as a camera model and a device model from the shooting information acquired by the data input/output unit 101. Then, the device information acquisition unit 104 acquires the camera characteristic corresponding to this camera characteristic acquisition information from the device information database 14 (described later) through a search using the extracted camera characteristic acquisition information, and causes the color conversion information calculation unit 105 to perform the acquisition. Output to.
  • the color conversion information calculation unit 105 uses the spectral reflectance of the chart or the color characteristic information that is the colorimetric value that defines one or more environments (light source and observation sensitivity), the chart captured image, and the camera characteristic to determine the article. Conversion information for converting the color characteristic information of the above into the colorimetric value acquired in the environment of the user (for example, the spectral radiance of the light source or the spectral sensitivity of the observer, or the colorimetric conversion matrix between different environments, the processing procedure). , Function), and writes and stores them in the user database 11 (described later). In addition, the color conversion information calculation unit 105 recalculates and updates the color conversion information that has already been generated by the additional chart captured image supplied at a predetermined timing.
  • the estimated image generation unit 106 converts the color characteristic information of each pixel into color information based on the color conversion information, thereby generating a product image (a product display image) in the user's observation environment. ..
  • the product sale processing unit 107 notifies the EC site of the user information and the purchased product information.
  • the EC site server 2 includes a storage unit 2_1.
  • a product image of a product color data table in the product color database 12 described later and a chart imaged image used when generating the site color conversion information are stored in association with the product identification information. ..
  • the color conversion information calculation unit 105 generates site color conversion information similarly to the color conversion information for each user, and as a result, acquires product color information and product information.
  • FIG. 4 is a diagram showing a configuration example of a user data table in the user database 11.
  • the user data table is provided for each EC site, and, for example, for each record, corresponding to the user identification information, the user information, the color conversion information list index, the product evaluation index, the printer characteristic, the display characteristic, and the camera characteristic are displayed.
  • Each column is provided.
  • the user identification information is information that individually identifies each user.
  • the user information is user information indicated by the user identification information, and is information such as name, sex, age, address, telephone number, mail address, hobby, favorite color and the like.
  • the color conversion information list index is a list of color conversion information that is available to the user, such as a plurality of different color conversion information in the user's observation environment indicated by the user identification information and preset color conversion information. It is an index such as an address indicating the area in which the list table is stored.
  • the product evaluation index is an index such as an address indicating an area in which a product evaluation table indicating the user's evaluation of the product purchased by the user indicated by the user identification information is stored.
  • the printer characteristics are printer output color information such as ICC (International Color Consortium) profile of the printer used by the user to print the product image and spectral information (ink information) of the ink, and medium information of the paper on which the product image is printed. It is information including such as.
  • the display characteristic is, for example, light emission information such as an ICC profile, spectral radiance, or tristimulus value.
  • the camera characteristic is, for example, spectral sensitivity information of the camera (imaging device). Each of the printer characteristic, display characteristic, and camera characteristic is written in the corresponding column in the user data table by the above-mentioned device information acquisition unit (described later).
  • FIG. 5 is a diagram showing a configuration example of a color conversion information list table in the user database 11.
  • a color conversion information list table is written and stored in the user database 11. This color conversion information list table is provided for each user, and for each record, corresponding to the color conversion information identification information, the chart captured image index, the additional chart captured image index, the chart identification information, the color conversion information, and the specifications. Each column of data is provided.
  • the color conversion information identification information is information for individually identifying each of the color conversion information.
  • the chart captured image index is an index such as an address indicating a region in which captured image data of the chart, which is determined by the chart information (first color sample information) in the database, is written and stored.
  • the data of the chart captured image a data table of the pixel position of the pixel extracted from the chart captured image and the pixel value of the pixel indicated by the pixel position may be used.
  • the additional chart captured image index is an index such as an address indicating a region where the captured image data of the additional chart determined by the additional chart information (second color sample information) in the database is written.
  • the data of the additional chart captured image may be a data table of the pixel position of the pixel extracted from the additional chart captured image and the pixel value of the pixel indicated by this pixel position.
  • each of the first color sample information and the second color sample information is an example of color sample information.
  • the color sample information is information for determining the color sample, and is either the color sample specifying information or the color sample embodying information.
  • the color sample designation information specifies what is used as a color sample (first color sample or second color sample) to be used, for example, a color sample, a chart, an additional chart, or a sample object such as an article to be delivered or a combination thereof. It is the information to do.
  • the user images the sample object specified by the color sample specification information and transmits it to the color conversion information generation system.
  • the color sample embodying information is information for embodying the color sample on the user side (for example, information such as a chart image for printing a chart by the printing means owned by the user).
  • the color conversion information is the spectral radiance of the light source in the environment where the user captured the chart or the additional chart, or the tristimulus value conversion matrix.
  • the tristimulus value conversion matrix is a colorimetric value of a specified observation environment (for example, a combination of CIE (International Commission on Illumination)_D50 and a 2-degree standard observer, or a combination of CIE_D65 and a 10-degree standard observer). Is a matrix for performing conversion (color conversion) into device values according to the spectral radiance of the light source in the environment imaged by the user and the camera characteristics of the camera used for imaging.
  • this color conversion is performed from a device value based on the spectral radiance of the light source in the environment imaged by the user and the camera characteristics of the camera used for imaging to a colorimetric value that defines the spectral reflectance of the article or the environment.
  • Inverse conversion is also possible. That is, the color conversion information is conversion information between the spectral reflectance of the article, color characteristic information that is a colorimetric value that defines observation, and the colorimetric value that is observed in the environment of the user.
  • the chart identification information is identification information of the chart provided to the user and the additional chart.
  • the specification data is information indicating the specifications of the color conversion information.
  • the specification data there are types such as a morning time range, a daytime range, and a nighttime range indicating the applicable time range of the corresponding color conversion information.
  • the morning time range indicates, for example, the time range from sunrise time to 12:00 noon.
  • the daytime range indicates, for example, the time range from past 12:00 pm to the sunset time.
  • the night time range indicates the time range from sunset time to sunrise time.
  • the specification data may include location information or location information, and can specify color conversion information in an office, a restaurant, a theater, a home, or the like.
  • the preset color conversion information is common to each user, and it is possible to determine from the spectral radiance of sunlight or the light source in a general office, or the color characteristic information in which the environment is specified, from the sunny outdoors or It is a conversion matrix for converting colorimetric values visually recognized in the office. Further, regarding the additional chart, colors performed on the second additional chart from the second additional chart (second color sample) to the third additional chart (third color sample) to the nth additional chart (nth color sample) A process similar to the process related to conversion information acquisition is performed.
  • FIG. 6 is a diagram showing a configuration example of a product evaluation table in the user database 11.
  • a product evaluation table is written and stored in the user database 11.
  • the product evaluation table is provided for each user, and for each record, a column of product evaluation (product evaluation) corresponding to the product identification information is provided corresponding to the product identification information.
  • the product identification information is information for individually identifying each product.
  • the product evaluation describes the evaluation (for example, questionnaire evaluation) of the purchased product (the product indicated by the product identification information). For example, “satisfaction”, “normal”, “lack of redness”, or by a user as described later As a result of the color adjustment, the response to the product received by the user such as “returned due to different color” is shown.
  • FIG. 7 is a diagram showing a configuration example of a product color table in the product color database 12.
  • a product color table is written and stored in the product color database 12. This product color table is provided for each EC site.
  • the product color table has columns of a product image index, site color conversion information, a product color information index, and a product information index corresponding to product identification information for each record.
  • the product identification information is information for individually identifying each product.
  • the product image index is an index such as an address indicating an area in the product color database in which captured image data captured in the environment of the light source of each EC site is stored.
  • the site color conversion information is a tristimulus value conversion matrix that converts the spectral radiance of the light source of the environment where the EC site product was imaged, or the colorimetric value of the light source in the environment where it was imaged, into a colorimetric value where the environment was specified.
  • the product color information index is an index such as an address indicating a region in a product color database in which a spectral image of a product, a product reflectance image showing the spectral reflectance of each pixel, or product image data in a specified observation environment is stored. ..
  • the product information index is an index such as an address indicating an area in the product color database in which information indicating the spectral reflectance of the product and the type of material is stored.
  • the material is, for example, the type of material of the cloth for clothing in the case of clothing, such as rayon, nylon, polyester, acrylic, polyurethane, linen, cotton, wool, denim. Accordingly, depending on the type of material, it may be used for designing the material of the chart or color characteristic information, or color conversion may be performed using different color conversion information for each material.
  • FIG. 8 is a diagram showing a configuration example of a chart information table in the chart information database 13.
  • a chart information table is written and stored in the chart information database 13.
  • the chart information table has a column for the chart design information index corresponding to the chart identification information for each record.
  • the chart identification information is information for individually identifying each chart that is a chromatic or achromatic object.
  • the chart design information index is color characteristic information of each of a picture pattern of a chart (for example, an array pattern of color chips) and a pattern (color chip) in this pattern.
  • FIG. 9 is a diagram showing a configuration example of a device information table in the device information database 14.
  • a device information table is written and stored in the device information database 14.
  • the device information table has columns for each record of device identification information and device characteristic information indicated by the device identification information.
  • the device identification information is model information of a camera, a printer, and a display device, device information, or the like.
  • the device information is, for example, if the camera is a digital camera, the model number of a digital camera or a CCD (Charged Coupled Device) element used, and if the printer is an inkjet printer, the model number of the printer or the inkjet head used.
  • the display device is a liquid crystal display, it is the model number of the display or the liquid crystal panel used.
  • the characteristic information is, for example, when the device is a camera, the spectral sensitivity information in image pickup as the camera characteristic. Further, the characteristic information is, for example, when the device is a printer, print color information output by the printer such as an ICC profile and ink spectral information as printer characteristics, medium information of a sheet on which a product sales image is printed, and the like. .. When the device is a display device, the characteristic information is light emission information such as an ICC profile, spectral radiance or tristimulus value as a display characteristic.
  • FIG. 10 is a sequence diagram showing the flow of processing for generating color conversion information for product sales support using the product sales support system 1.
  • each of the user database 11, the product color database 12, the chart information database 13, and the device information database 14 is described as each database (11, 12, 13, 14) for description.
  • Step FF101 The user accesses the product sales support site (that is, the product sales support server 10) with the user terminal 3, logs in, for example, with user identification information, and registers user environment information and user attribute information that is user attribute information. Request processing.
  • the user attribute information includes sex, address, telephone number, birthday, wedding anniversary, school graduation date, qualification date, occupation, favorite color, favorite item, favorite user of each user. In addition to food and hobbies, the date and time of registration is also included. Accordingly, the data input/output unit 101 searches the user data table of the user database 11 based on the user identification information at the time of access, and confirms which EC site the user is registered with.
  • Step FF102 Then, the chart supply unit 102 extracts, for example, a chart preset in the EC site from the chart information table of the chart information database 13 as a chart corresponding to the product image of the product group sold by the EC site.
  • the operating company A delivers (or mails) the chart (or chart information) of the chart identification information extracted from the chart information table to the address of the user.
  • Step FF103 The user takes an image of the chart supplied from the operating company in an observation environment in which the user himself/herself will observe the product, for example, in a predetermined position such as a room equipped with the user terminal 3.
  • Step FF104 Then, the user transmits the chart imaged image of the chart, the shooting information in the image pickup, and the user identification information of the user to the product sales support site by the user terminal 3.
  • Step FF105 The data input/output unit 101 outputs the captured chart image supplied from the user terminal 3 to the captured image acquisition unit 103. Further, the data input/output unit 101 outputs the shooting information supplied from the user terminal 3 to the device information acquisition unit 104 and the color conversion information calculation unit 105. Then, the captured image acquisition unit 103 writes and stores the data of the chart captured image in the color conversion information list table of the user database 11 in association with the user identification information.
  • the device information acquisition unit 104 searches the device information table of the device information database 14 for camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104 writes and stores the read camera characteristics in the camera characteristics column of the color conversion information list table.
  • Step FF106 The color conversion information calculation unit 105 reads each of the captured chart image and the chart identification information from the color conversion information list table corresponding to the user identification information. Then, the color conversion information calculation unit 105 reads the chart design information index sent to the user from the chart information table of the chart information database 13 based on the read chart identification information. The color conversion information calculation unit 105 reads out the color characteristic information of the chart from the storage area indicated by the chart design information index. Further, the color conversion information calculation unit 105 reads out the camera characteristics from the color conversion information list table corresponding to the user identification information.
  • Step FF107 The color conversion information calculation unit 105 calculates and obtains the color conversion information based on the chart imaged image, the camera characteristics, and the color characteristic information of the chart. This color conversion information is information for converting the color characteristic information into a colorimetric value acquired in the registered user's viewing environment.
  • Step FF108 The color conversion information calculation unit 105 writes the obtained color conversion information in the color conversion information list table and stores it in association with the user identification information.
  • the color conversion information calculation unit 105 extracts the time when the chart imaged image was taken from the date and time information included in the shooting information, and corresponds to the obtained color conversion information.
  • the specified time range (morning time range, daytime range, nighttime range) is written and stored in the specification data field. Furthermore, information included in the shooting information such as position information based on GPS information or user-specified information may be recorded.
  • the chart identification information and the user identification information may be printed in advance, and when the user captures the chart, the chart identification information and the user identification information may be captured simultaneously with the chart.
  • a barcode, a two-dimensional barcode (graphic information), or the like can be used as the chart identification information. This makes it possible to easily associate the chart with the user.
  • the chart identification information itself is colored, and by imaging the chart identification information, not only the association with the user using the user identification information but also the acquisition of the color conversion information may be performed at the same time.
  • the operating company A that operates the product sales support system 1 delivers the explanation about the purchase of the product on the EC site, etc.
  • it encloses a chart or gives an explanation.
  • the chart identification information and the user identification information (character information or graphic information) described above may be directly printed on the envelope, delivery note, address, packing material, etc. to be delivered. Further, the chart identification information and the user identification information (character information or graphic information) are colored, and may be used for acquiring color conversion information by capturing an image.
  • the chart designed in advance by the chart design information is used for estimating the color conversion information in the user's observation environment.
  • the chart information an instruction to image a package of generally distributed products may be provided. The user captures an image of the package and transmits it from the user terminal 3 to the product sales support site in the same manner as the process of step FF104 described above.
  • the chart is different from the user who registers and sends the chart based on the user's observation environment (time range for observing the article, information on the observation place, etc.), and the observation environment is similar.
  • a chart to be sent to the user may be created using the color conversion information of another user.
  • the chart information is the chart (combination of color chips) itself, that is, the color sample designation information that designates the use of the chart provided as the color sample.
  • the chart information not the chart itself but the information that allows the user to specify the chart, for example, the maker name, product name, product number of the chart, or a photograph of the chart can be used.
  • the chart by using the chart, it is possible to set many types of included color characteristics (colors of the color chart), the included colors become rich, and the generation of color conversion information at the time of registration and the color It can be applied to any situation such as when the conversion information is updated. Further, by creating a chart corresponding to each user, it is possible to improve the accuracy of estimating the lighting environment of each user.
  • the chart information may be not the chart (combination of color charts) itself, but color sample designation information for designating a usage certificate of a service acquired by registration as a color sample.
  • the usage certificate used as the chart is a membership card, a medical examination ticket, or the like.
  • the chart information is information that can specify the usage certificate to be used as a sample as the color sample designation information. For example, the name of the service corresponding to the usage certificate, the name of the business entity that provides this service, and the usage certificate. Is the image data of the name ( ⁇ card, ⁇ service card) and the usage certificate.
  • the usage certificate As an effect of using the usage certificate as a color sample, since the user obtains it at the start of use of the service, it is possible to save the user the trouble of obtaining a new color sample. In addition, as an effect of using the usage certificate as a color sample, the user is less likely to lose it because it is an article necessary for receiving a predetermined service.
  • the chart information may be not the chart (combination of color chips) itself, but color sample designation information for designating the structure as a chart which is a color sample.
  • the structures used as charts are works and constructions (whole or specific places) installed in places accessible to the general public, as well as post boxes, traffic signs, exteriors of chain stores, signs, interiors of stores. And so on.
  • the chart information is information that can specify the structure used as a sample as the color sample designation information, for example, in the case of the name of the structure, the address or position of the structure, the specific location of the structure, It is information indicating the location, and image data obtained by imaging the structure.
  • the user is prompted to go to the store, which is a merit for the store.
  • the store which is a merit for the store.
  • the color of the clothes that the user intends to wear at a restaurant or cafe can be confirmed on the spot by visually recognizing the product image on the display screen provided by the EC site.
  • the product image on the display screen provided by the EC site can be visually confirmed by using the signboard, exterior, interior, etc. of a predetermined store as a chart.
  • FIG. 11 is a sequence diagram showing a flow of processing for registering user environment information of product sales support using the product sales support system 1.
  • each of the user database 11, the product color database 12, the chart information database 13, and the device information database 14 is described as each database (11, 12, 13, 14) for description.
  • Step FF101A The user uses the user terminal 3 to access the merchandise sales support site, logs in, for example, with the user identification information, and requests the user environment information registration process. At the time of this request, the user designates an available printer such as a printer owned by the user or a printer installed in a store to obtain a device obtained from user designation and information of a printer information recording device (not shown). The specific information (printer information) is also registered at the same timing. Thus, the data input/output unit 101 searches the user data table of the user database 11 based on the user identification information at the time of access, and confirms which EC site the user is registered with.
  • an available printer such as a printer owned by the user or a printer installed in a store to obtain a device obtained from user designation and information of a printer information recording device (not shown).
  • the specific information (printer information) is also registered at the same timing.
  • the data input/output unit 101 searches the user data table of the user database 11 based on the user identification information at the time of access,
  • Step FF101B The data input/output unit 101 outputs each of the user identification information and the printer information input by the user to the device information acquisition unit 104. Then, the device information acquisition unit 104 reads the characteristic information (printer characteristic) from the device information table of the device information database 14 based on the printer information. The device information acquisition unit 104 writes and stores the read printer characteristics in the printer characteristics column of the user data table in association with the user identification information.
  • Step FF102A The chart supply unit 102 extracts, for example, a chart preset in the EC site from the chart information table of the chart information database 13 as a chart corresponding to the product image of the product group sold by the EC site. Then, the chart supply unit 102 reads the color characteristic information of this chart from the area indicated by the chart design information index of the extracted chart. Further, the chart supply unit 102 reads the printer characteristics of the printer used by the user from the user data table in association with the user identification information.
  • Step FF102B The chart supply unit 102 uses each of the color characteristic information and the printer characteristic of the chart and the spectral radiance of the light source (CIE_D50, CIE_D65, etc.) in the specified observation environment to generate a printer chart image to be provided to the user as a chart. To do.
  • Step FF102C The chart supply unit 102 transmits the generated printer chart image data to the user terminal 3 of the user who is accessing for registration.
  • Step FF103A The user prints the printer chart image supplied from the merchandise sales support system 1 to the user terminal 3 as a chart from a printer for which printer information is registered.
  • the user takes an image of the chart printed by the printer in an observation environment in which the user himself/herself will observe the product, for example, in a predetermined position such as a room in which the user terminal 3 is provided. Since steps FF104 to FF108 are the same as the processing described in the first example of user environment information registration, description thereof will be omitted.
  • the chart information (first color sample information) is the color sample implementation information necessary to print (embody) the chart (combination of color charts) on the printer or printing machine owned by the user.
  • the printer used for printing may be a 2D (Dimension) printer, a 2.5D printer, a 3D printer, or the like.
  • the chart information for example, image data of the chart, parameters used for printing the chart (when the model of the printer used by the user is specified), printer model (the model of the printer used by the user is unknown). In case of) etc.
  • the following effects can be obtained. That is, in the second example, since it is not necessary to directly deliver the chart, it is possible to reduce the cost for delivering the chart.
  • the chart it is possible to acquire the chart at the time of registration, reduce the period until the delivered chart arrives, and obtain the color sample.
  • the chart even when the chart is lost or the chart is damaged or contaminated, the chart can be easily reacquired from the color sample information that is the color sample embodying information.
  • the color characteristics of the color charts that form the chart there are many variations in the color characteristics of the color charts that form the chart, and it can be expected that a lot of information about the illumination environment of the user (such as the characteristics of the light source) can be obtained (for example, the spectral radiation intensity It can improve the wavelength resolution for acquisition).
  • the user can adapt to the lighting environment of the user. Further, it is possible to easily create a color sample having color characteristic information for improving the accuracy of estimating the information of the illumination environment.
  • the above-described configuration is assumed to be a printer or printing machine owned by the user, a printer or printing machine installed in a specific facility (for example, a place included in the color sample implementation information such as a convenience store). May be used.
  • the color sample embodying information is the specific information (for example, the address of the facility, the name of the facility, the building of the facility, which is the information that identifies the specific facility in which the printer or the printing machine for printing the chart is installed. The number of floors, names that specify rooms, etc.) and the print numbers of convenience store printers.
  • the printer or printing machine of this specific facility is used for printing the chart
  • the following effects can be obtained in addition to the same effects as those of the printer or printing machine owned by the user.
  • the printer of a specific facility it is not as diverse as the type of printer or printing machine owned by the user, and the model is limited, so the time and effort to create the color sample embodying information should be reduced. You can Further, when the printer of a specific facility is used, maintenance of the printer is frequently performed, so that it is possible to improve the accuracy of the color characteristics of the chart to be printed. Further, when the printer of a specific facility is used, since it is a high-performance printer or printing machine depending on the model, it is possible to improve the accuracy of the color characteristics of the chart to be printed.
  • the above-described configuration assumes a printer or printing machine owned by the user, it may be configured to display a color sample on a display device.
  • a predetermined chart (first color sample) may be displayed on a display device having a configuration in which the color characteristics of the image displayed on the display screen are affected by the illumination environment, such as electronic paper and a reflective liquid crystal display.
  • the image of the additional chart (second color sample) used for updating the color conversion information is displayed.
  • the color sample embodying information which is the color sample information, includes information that prompts the user to display a color sample on the display screen of the display device and a color that is displayed on the display screen of this display device. This is the information of the sample image.
  • the color sample to be displayed on the display screen of the display device is a chart that is a first color sample as a plurality of different color samples.
  • FIG. 12 is a sequence diagram showing a flow of processing of color conversion and display of a product image of product sales support using the product sales support system 1.
  • each of the user database 11, the product color database 12, the chart information database 13, and the device information database 14 is described as each database (11, 12, 13, 14) for description.
  • Step FF201 The user uses the user terminal 3 to access the product sales support site, logs in, for example, with the user identification information, and requests to browse the product image of the product on the EC site registered by the user. Accordingly, the data input/output unit 101 searches the user data table of the user database 11 based on the user identification information at the time of access, and confirms which EC site the user is registered with.
  • Step FF202 The estimated image generation unit 106 searches the user data table of the user database 11 with the user identification information and extracts the color conversion information list table of the accessed user in order to obtain the color conversion information used when generating the product display image. ..
  • Step FF203 the estimated image generation unit 106 displays a list of specification data of the color conversion information list table on the display screen of the user terminal 3 as a display for allowing the user to select the color conversion information. Characters that indicate the state of observation in the observation environment such as "morning time range”, “daytime range”, “nighttime range”, and “preset color conversion information (general office, sunny outdoors)" are displayed. Rows are used.
  • Step FF204 The user selects from the list of specification data on the display screen of the user terminal 3 a state corresponding to the environment in which the user observes the actual product. At this time, for example, when the time designation of the product is 10:00 am, the time to observe in the observation environment is included in the morning time range. Therefore, the user selects the morning time range from the list of the specification data on the display screen of the user terminal 3. Select. Further, if the user always returns home around 8:00 pm, the time to observe in the observation environment is included in the nighttime range, and therefore the user selects the nighttime range from the list of specification data on the display screen of the user terminal 3. On the other hand, when the delivery destination is not the observation environment but the office of the company, the user selects the preset color conversion information from the list of the specification data on the display screen of the user terminal 3.
  • Step FF205 The user terminal 3 selects the observation state selected by the user, for example, “morning time range”, “daytime range”, “nighttime range”, “office”, “restaurant”, “preset color conversion information”.
  • the selected character string is transmitted as information to the product sales support system 1.
  • the user terminal 3 transmits the device identification information (device information) that identifies the display that displays the display screen to the product sales support system 1 together with the information of the character string.
  • Step FF206 The data input/output unit 101 outputs the device identification information supplied from the user terminal 3 to the device information acquisition unit 104.
  • the device information acquisition unit 104 searches the device information table of the device information database 14 for the display characteristics corresponding to the device information, which is the device identification information, and reads it. Further, the device information acquisition unit 104 writes and stores the read display characteristic in the display characteristic column of the color conversion information list table.
  • Step FF207 Next, the estimated image generation unit 106 reads out the color conversion information and the display characteristics from the color conversion information list table. The estimated image generation unit 106 reads the product color characteristic information of each product that the user observes from the product color data table of the product color database 12.
  • Step FF208 Then, the estimated image generation unit 106 converts the colorimetric value in the specified observation environment of the product color information into the colorimetric value in the user's observation environment based on the color conversion information, and the product display image data corresponding to the display characteristics. To generate.
  • Step FF209 The estimated image generation unit 106 transmits the generated product display image data to the user terminal 3 via the data input/output unit 101.
  • the user can visually recognize the product image on the display screen of the user terminal 3 in the same color as when observing the actual product in his/her own observation environment.
  • FIG. 13 is a sequence diagram showing a flow of information addition processing for updating color conversion information using the product sales support system 1.
  • each of the user database 11, the product color database 12, the chart information database 13, and the device information database 14 is described as each database (11, 12, 13, 14) for description.
  • Step FF301 The user uses the product display image displayed on the display screen of his/her user terminal 3 in the process F2 to perform the purchase process of the product of this product image on the product sales support system 1.
  • the product sales processing unit 107 sends the product identification information (such as product identification information) supplied from the user terminal 3 to the EC site handling this product together with the user identification information. And send it as product purchase information.
  • Step FF302 At this time, the color conversion information calculation unit 105 in the product sales support system 1 is accompanied by the shipment of the product on the EC site, and the additional chart (second color sample), the additional chart information (second color sample information), or both of them.
  • the information for instructing the EC site to deliver the product to the user together with the product is transmitted via the data input/output unit 101. Then, the EC site attaches the additional chart, the additional chart information, or both to the product designated by the user in response to the product purchase information supplied from the product sales support system 1, We will deliver to the registered address of.
  • Step FF303 When the product is delivered, the user refers to the additional chart information, and in response to the instruction of the additional chart information, the imaging device captures an image of the product in the observation environment and acquires the product captured image.
  • Step FF304 Then, the user accesses the product sales support site (the product sales support system 1), and sends the data of the product imaged image of the delivered product and the shooting information at the time of the shooting to the product sales support site. To send.
  • the product sales support site the product sales support system 1
  • Step FF305 The data input/output unit 101 outputs the product captured image (an example of the additional chart captured image) to the captured image acquisition unit 103 when the data of the captured product image and the shooting information are supplied from the user terminal 3. Further, the data input/output unit 101 outputs the shooting information supplied from the user terminal 3 to the device information acquisition unit 104 and the color conversion information calculation unit 105. Then, the captured image acquisition unit 103 writes and stores the data of the product captured image (an example of the additional chart captured image) in the color conversion information list table of the user database 11 in association with the user identification information.
  • the device information acquisition unit 104 searches the device information table of the device information database 14 for camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104 writes and stores the read camera characteristics in the camera characteristics column of the color conversion information list table.
  • the color conversion information calculation unit 105 uses the product captured image (an example of the chart captured image), the color characteristic information of the product, and the shooting information to perform the color conversion information. Is recalculated, and the existing color conversion information is updated with the newly obtained color conversion information. This calculation is performed similarly to the generation of the color conversion information in the process F1 already described.
  • the update in the color conversion information may be performed by a numerical calculation by a polynomial, an update process based on an algorithm adjustment such as a coefficient adjustment of a model function using a multidimensional function, or a model update by AI (for example, machine learning).
  • a method may be used.
  • the color conversion information calculation unit 105 overwrites the existing color conversion information in the color conversion information list table in the user database 11 with the color conversion information newly obtained by the above-described method, and stores the color conversion information.
  • the product purchased from the EC site is used as an additional chart (second color sample).
  • the additional chart as the second color sample is, for example, a bag, shoes, a hat, accessories, cosmetics, or the like.
  • the additional chart information is color sample specifying information that can specify the product purchased by the user. For example, the manufacturer name of the product, the product name, the product number (or the manufacturing number), and the product image are captured. It is image data, the date and time when the user purchased it, or a character or code (for example, a two-dimensional barcode) indicating a URL for browsing the product.
  • the color conversion information can be updated so as to be optimized to the user's favorite color (the color of the purchased product). It is possible to improve the estimation accuracy of the color characteristics in the lighting environment.
  • the effect of using the purchased product as a color sample is to use color conversion information to improve the color reproduction accuracy of those products by using a material other than printed matter such as textiles and leather products as the second color sample. Can be changed.
  • the additional chart is an accessory of the product purchased on the EC site.
  • a wrapping paper for the product, a box in which the product is enclosed, a delivery note, or an envelope in which the delivery note is enclosed is used.
  • the additional chart information is information that allows the user to specify the accessory to be used as the sample as the color sample designation information, and for example, the product name of the product, the product number, or the product such as image data obtained by imaging the product. In addition to the above data, it is information indicating the name of the accessory and a predetermined location used as a color sample of the accessory.
  • the effect of using the accessory of the product as the color sample is that the product is delivered to the user together with the product, so that the user can save the trouble of newly acquiring the additional chart as the second color sample.
  • additional chart information not the color sample designating information for designating one article, but a configuration for designating a plurality of types of articles, for example, a delivered product and an accessory of this product as a second color sample May be
  • the additional chart information (second color sample information as the color sample designation information) is an additional chart (color sample, ie, second color)
  • the configuration may be such that it is used as a sample.
  • the additional chart (second color sample) is an industrial product in which articles as consumer products are generally distributed, and stationery, plastic toys, tableware, etc. may be used, for example.
  • the additional chart information is information that can specify the industrial product used as a sample as the color sample designation information, and is, for example, the product name of the industrial product, the product number, or image data obtained by imaging the industrial product. ..
  • the effect of using an industrial product as a color sample is that the color characteristics of an article are often managed with high accuracy in the manufacturing process, and there is little deviation in color characteristics between articles manufactured as the same color, and a highly accurate color. It can be used as a sample. Further, as the effect of using the industrial product as the color sample, the more general it is, the higher the possibility that the user owns the color sample, and therefore the user can save the trouble of obtaining the color sample.
  • the additional chart is a package in which commercial products are generally distributed and in which the products are sealed or enclosed.
  • a package of detergent, cosmetics, pharmaceuticals, or the like may be used.
  • the additional chart information is information that can specify the article that uses the package used as the sample as the color sample designation information, and is, for example, the product name of the article, the product number, or image data obtained by imaging the article. ..
  • the color characteristics in the color arrangement of the package are often managed with high accuracy in the manufacturing process, the deviation of the color characteristics is small, and the package can be used as a highly accurate color sample.
  • the package can be used as a color sample for generating color conversion information with high accuracy.
  • the effect of using the package as a color sample the more general it is, the higher the possibility that the user owns the package, and the more easily the user can obtain the package.
  • the color sample designation information may be information corresponding to the category of the article, the industrial product or the package, instead of the specific article (including the product), the industrial product, or the package as described above.
  • the designated category is, for example, a candy box, a plastic bottle, a product purchased at a specific EC site, or the like.
  • the color conversion information generation system identifies the color sample (the first color sample or the second color sample) captured by the user from the RGB values in the chart captured image.
  • the category of the corresponding article can be provided as the color sample designation information to designate the category of the corresponding article as a color sample in order to compensate for this lack of color. ..
  • the color sample used for imaging is not specified, but by recognizing the color sample using the chart information database 13, it is possible to acquire color characteristic information corresponding to the captured color information.
  • FIG. 14 is a sequence diagram showing a flow of information addition processing for updating color conversion information using the product sales support system 1.
  • each of the user database 11, the product color database 12, the chart information database 13, and the device information database 14 is described as each database (11, 12, 13, 14) for description.
  • the step FF301 is the same as in the first example.
  • Step FF301A At this time, along with the shipment of the product on the EC site, the color conversion information calculation unit 105 in the product sales support system 1 stores the information for instructing the EC site to deliver the additional chart information to the user together with the data. It is transmitted via the output unit 101.
  • This additional chart information indicates that, in the case of the second example, the additional chart captured image obtained by capturing the new additional chart is transmitted together with the shooting information.
  • the chart supply unit 102 reads the color conversion information of the user who purchased the product from the color conversion information list table in the user database 11.
  • the chart supply unit 102 also reads the product information of the product purchased by the user from the product color data table of the product color database 12.
  • the chart supply unit 102 reads the chart design information of the chart sent to the user from the chart information database 13.
  • Step FF301B the chart supply unit 102 corresponds to a combination of the light source metalism in the user's imaging environment in the color conversion information, the observer metalism, the product information of the product purchased by the user, the chart design information of the chart already sent, and the like.
  • a color is extracted by a predetermined algorithm, and chart design information of an additional chart configured by a color chart of the extracted color is generated.
  • the additional chart may be created by reflecting the type of light source (white light source, fluorescent lamp, LED (Light Emitting Diode), etc.) in the observation environment estimated from the existing color conversion information.
  • the above algorithm acquires a chart captured image by receiving it from the user's terminal, and from the color distribution of this chart captured image, determines the colors necessary to improve the accuracy of the color conversion information generated from the chart image. Extract. Then, the color to be added to the additional chart may be obtained based on the color characteristic information of the extracted color, and the additional chart may be designed. Further, the additional chart information delivered together with the product may have a configuration indicated by information for transmitting a product imaged image of the product purchased by the user together with the provided additional chart to the product sales support system 1.
  • the product sales support system 1 is necessary to improve the accuracy of the color conversion information generated from the chart image based on the color distribution of the product captured image and the additional chart captured image acquired by receiving from the user's terminal (color conversion Extract the color (as information that is missing to generate the information). Then, the color to be added to the additional chart may be obtained based on the color characteristic information of the extracted color, and the additional chart may be designed. Then, the operating company A manufactures the additional chart (for example, prints on a paper medium or the like) in accordance with the chart design information of the additional chart.
  • Step FF301C Then, the chart supply unit 102 adds the chart design information of the generated additional chart to the chart identification information, and writes and stores the chart design information in the chart information table of the chart information database 13.
  • Step FF302A Then, the operating company A bundles the manufactured additional chart with the product shipped by the EC site or directly delivers it to the user. Further, the EC site attaches the additional chart information to the product designated by the user in correspondence with the product purchase information supplied from the product sales support system 1 and delivers the product to the address registered by the user. ..
  • Step FF303A When the additional chart is delivered together with the product, the user refers to the additional chart information attached to the product, and in response to the instruction of the additional chart information, the imaging device captures the image of the additional chart in the observation environment. The additional chart captured image is acquired.
  • Step FF304A Then, the user accesses the product sales site (product sales support system 1) and sends the data of the additional chart imaged image of the delivered additional chart and the shooting information at the time of shooting to the product sales site. To send.
  • Step FF305A The data input/output unit 101 outputs the data of the additional chart captured image to the captured image acquisition unit 103 when the data of the additional chart captured image and the shooting information are supplied from the user terminal 3. Further, the data input/output unit 101 outputs the shooting information supplied from the user terminal 3 to the device information acquisition unit 104 and the color conversion information calculation unit 105. Then, the captured image acquisition unit 103 writes and stores the data of the additional chart captured image in the color conversion information list table of the user database 11 in association with the user identification information.
  • the device information acquisition unit 104 searches the device information table of the device information database 14 for camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104 writes and stores the read camera characteristics in the camera characteristics column of the color conversion information list table.
  • the color conversion information calculation unit 105 uses the chart captured image and the additional chart captured image, the color characteristic information of the chart, the color characteristic information of the additional chart, and the shooting information. Then, the recalculation of the color conversion information is performed, and the existing color conversion information is updated with the newly obtained color conversion information. This calculation is performed similarly to the generation of the color conversion information in the process F1 already described. Further, the method of updating the color conversion information is the same as the method described in the first example of this process F3.
  • the additional chart is manufactured by the operating company A and the completed additional chart is delivered to the user.
  • the printer image of the additional chart is generated and transmitted to the user terminal 3. Also good.
  • the printer that can be used by the user outputs the additional chart, and the captured image of the output additional chart and the shooting information are transmitted to the product sales support system 1.
  • the product and the additional chart are imaged at the same time, and the captured image in which the product and the additional chart are imaged together is transmitted to the product sales support system 1. It may be configured.
  • FIG. 15 is a sequence diagram showing a flow of information addition processing for updating color conversion information using the product sales support system 1.
  • each of the user database 11, the product color database 12, the chart information database 13, and the device information database 14 is described as each database (11, 12, 13, 14) for description.
  • the step FF301 is the same as in the first example.
  • Step FF302B The EC site attaches the additional chart information notified from the operating company A to the product specified by the user in correspondence with the product purchase information supplied from the product sales support system 1 and registers the address registered by the user. To ship to.
  • this additional chart information is the color of the product image transmitted to the user terminal 3 (the product image of the product purchased by the user) and the color of the product in which the actual product is observed in the observation environment. It indicates that the evaluation data such as the adjustment data and the comment of the product image are transmitted by comparing with.
  • Step FF302C Similar to step FF205, step FF206, step FF207, and step FF208 in the process F2 described above, the estimated image generation unit 106 generates a product display image to be displayed on the display screen of the user terminal 3.
  • Step FF302D The estimated image generation unit 106 transmits the generated product display image data to the user terminal 3 via the data input/output unit 101.
  • the user visually recognizes on the display screen of the user terminal 3 the product image observed when purchasing the product, that is, the product image estimated as the same color as when observing the actual product in his or her own observation environment. To do.
  • Step FF303B The user observes each of the delivered product and the product image displayed on the display screen of the user terminal 3 and compares the visually recognized colors. Then, by sequentially adjusting the color component RGB (red: red, green: green, blue: blue) adjustment bars displayed on the display screen of the user terminal 3, the color of the product actually viewed is displayed. Evaluate the color difference by matching the colors of the product images on the screen.
  • RGB red: red, green: green, blue: blue
  • Step FF304B When the user recognizes that the product image on the display screen is the same as the color of the product that is actually observed, the color adjustment of the display image is performed by inputting the adjustment amount of the color component RGB adjustment bar or the like. To end. As a result, the user terminal 3 transmits the data of the product image whose color has been adjusted by the user to the product sales support system 1 as evaluation information. Alternatively, information such as “lack of redness” may be transmitted to the product sales support system 1 as evaluation information.
  • Step FF305B When the evaluation information, which is the comparison result between the product display image and the actual product, is supplied from the user terminal 3, the data input/output unit 101 outputs the product display image of the evaluation information to the captured image acquisition unit 103. Then, the captured image acquisition unit 103 writes and stores the data of the product display image as the additional chart information in the color conversion information list table of the user database 11 in association with the user identification information.
  • the color conversion information calculation unit 105 causes the chart captured image that has already been acquired, shooting information when the chart captured image is captured, a product display image as evaluation information, or The color conversion information is recalculated based on the evaluation such as a comment, the product information of the product in the product display image, and the display characteristics of the user terminal 3, and the existing color conversion information is obtained based on the newly obtained color conversion information. Update. This calculation is performed similarly to the generation of the color conversion information in the process F1 already described. Further, the method of updating the color conversion information is the same as the method described in the first example of this process F3.
  • the product display image is used as the evaluation information, but the chart (color sample) display image is generated and provided to the user, and the user displays the chart display image and the actual chart. And the display image of the color-adjusted chart may be transmitted as evaluation information to the product sales support system 1.
  • the timing of transmitting the additional chart has been described as when the user purchased the product.
  • the additional chart information is supplied to the user, the additional chart captured image (including the product captured image and the evaluation information) is acquired, and the color conversion information is updated. Is also good.
  • FIG. 16 is a sequence diagram showing the flow of information addition processing for updating color conversion information using the product sales support system 1.
  • each of the user database 11, the product color database 12, the chart information database 13, and the device information database 14 is described as each database (11, 12, 13, 14) for description.
  • the additional chart information is not supplied to the user at the time of purchasing the product as in the first to third examples, but is supplied to the user at a predetermined time.
  • Step FF301D The chart supply unit 102 refers to the user data table in the user database 11 at a predetermined cycle (for example, every day) based on the date of the day.
  • Step FF301E The chart supply unit 102 uses the user's anniversary (birthday, wedding anniversary, admission, graduation, employment, etc. in the user attribute information), predetermined regular update (every 3 months, for example), and rank up by continuous use (for example, registration. Depending on the number of years that have passed since the start (the number of years elapsed), it is detected whether or not it is at various timings, such as when the service received as a user ranks up.
  • the timing is arbitrarily set for each user, such as any of the anniversary, the periodic update, the rank up, and the number of years elapsed, a plurality of combinations, and the like. Then, if the chart supply unit 102 detects that the timing is the above timing, it processes the subsequent steps. On the other hand, if it detects that it is not the timing, the chart supply unit 102 ends the flow of FIG. Then, the process is executed again from step FF301D.
  • Step FF302E The chart supply unit 102 reads the color conversion information of the user who purchased the product from the color conversion information list table in the user database 11. In addition, the chart supply unit 102 reads each piece of product information of the product purchased by the user by that timing (one piece of product information if the number is single) from the product color data table of the product color database 12. The chart supply unit 102 reads from the chart information database 13 the chart design information of the chart sent to the user at the time of registration.
  • Step FF302F The chart supply unit 102 uses the light source metalism in the user's environment in the color conversion information or the observer metalism, the color characteristic information of the product as the subject of the image browsed by the user on the product sales support site by the above timing, and the image purchase.
  • Design chart composed of color characteristics information of the selected products, chart design information of already sent charts, etc., or a color corresponding to the combination is extracted by a predetermined algorithm, and the color chart of the extracted colors is extracted. Is generated (designed) as an additional chart.
  • the operating company A manufactures the additional chart (for example, prints on a paper medium or the like) in accordance with the chart design information of the additional chart.
  • the chart provided by the operating company A is not limited to printed matter, and any chart may be used as long as it is an article for which color characteristic information is known.
  • Step FF302G Then, the chart supply unit 102 adds the chart design information of the generated additional chart to the chart identification information, and writes and stores the chart design information in the chart information table of the chart information database 13.
  • Step FF302H The operating company A manufactures an additional chart (for example, prints on a paper medium or the like) corresponding to the chart design information of the above-mentioned additional chart, and delivers the manufactured additional chart to the user. Further, the chart supply unit 102 attaches the additional chart information for the additional chart to the user terminal 3 of the user at the above timing, and transmits the additional chart information attached to the email. For example, when the timing is anniversary, this email adds additional chart information to the corresponding celebration message.
  • an additional chart for example, prints on a paper medium or the like
  • the chart supply unit 102 attaches the additional chart information for the additional chart to the user terminal 3 of the user at the above timing, and transmits the additional chart information attached to the email. For example, when the timing is anniversary, this email adds additional chart information to the corresponding celebration message.
  • Step FF303C When the additional chart information and the additional chart are delivered, the user refers to the additional chart information, and in response to the instruction of the additional chart information, images the additional chart by the imaging device in the observation environment, An additional chart captured image is acquired.
  • Step FF304B Then, the user accesses the product sales support site (product sales support system 1), and provides the data of the additional chart captured image of the delivered additional chart and the shooting information at the time of shooting the product sales support. Send to the site.
  • product sales support system 1 product sales support system 1
  • Step FF305B When the data of the additional chart captured image and the shooting information are supplied from the user terminal 3, the data input/output unit 101 outputs the data of the additional chart captured image to the captured image acquisition unit 103. Further, the data input/output unit 101 outputs the shooting information supplied from the user terminal 3 to the device information acquisition unit 104 and the color conversion information calculation unit 105. Then, the captured image acquisition unit 103 writes and stores the data of the additional chart captured image in the color conversion information list table of the user database 11 in association with the user identification information.
  • the device information acquisition unit 104 searches the device information table of the device information database 14 for camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104 writes and stores the read camera characteristics in the camera characteristics column of the color conversion information list table.
  • the color conversion information calculation unit 105 uses the chart captured image and the additional chart captured image, the color characteristic information of the chart, the color characteristic information of the additional chart, and the shooting information, The color conversion information is recalculated, and the existing color conversion information is updated with the newly obtained color conversion information. This calculation is performed similarly to the generation of the color conversion information in the process F1 already described. Further, the method of updating the color conversion information is the same as the method described in the first example of this process F3.
  • the printer image of the additional chart is generated and transmitted to the user terminal 3. Also good.
  • the printer used by the user outputs the additional chart, and the captured image of the additional chart and the captured image are transmitted to the product sales support system 1.
  • the additional chart is described as a configuration in which the color conversion information is updated in accordance with the user's observation environment and the purchased product.
  • the configuration may be such that an additional chart created in advance for general use is sent.
  • a predetermined general-purpose additional chart is made to correspond to the type of light source (type of white light source, fluorescent lamp, LED (Light Emitting Diode) light source, etc.) in each observation environment of the user estimated from the color conversion information. It may be configured to be created and supplied according to the type of light source estimated from the color conversion information of the user.
  • mail is exemplified as the means for transmitting the additional chart information
  • the information of the additional chart received by this application may be presented to the user based on the information transmission to the application in the user terminal 3.
  • a bar code normal bar code or two-dimensional bar code
  • a form may be used in which an additional chart is requested for delivery by selection.
  • a URL Uniform Resource Locator
  • a bar code including information on the URL for requesting the additional chart may be printed on the membership card or the delivery note.
  • the membership card or the delivery note may be colored, and the color conversion information may be updated using the captured image and the color characteristic information.
  • the color conversion information corresponds to the user's observation environment and favorite color
  • the color of the product image observed by the user terminal 3 and the actual color of the product observed by the user in his/her own observation environment become closer, the color of the product is observed on the display screen.
  • the processing relating to the returns of each of the user and the EC site can be reduced. That is, according to the present embodiment, the color of the actual product is reproduced as the product display image only by imaging the additional chart and transmitting the data of the additional chart captured image from the user terminal 3 to the product sales support system 1. Therefore, it is possible to easily select and purchase a product of a desired color without looking at the actual product.
  • the user updates the color conversion information with the additional chart, so that the color conversion information corresponds to the user's observation environment and favorite color, and the user observes on the user terminal 3. Since the color of the product image to be displayed and the actual color of the product that the user observes in his/her own observation environment are visually recognized as closer colors, an incentive to eliminate the difference in color of the user is drawn out, It is possible to guide the user to perform an image pickup process of the additional chart.
  • each time the color conversion information is updated by the additional chart points corresponding to the number of updates or monetary feedback such as processing for increasing the discount rate of the price of the product are given to the user.
  • An incentive is drawn out that the product can be purchased at a lower price from the EC site, and it is possible to guide the user to perform the image processing of the additional chart.
  • the EC site may be provided with the product sales support system 1, and in this case, the EC site updates the color conversion information for each user due to continuous use, so that the color of the product display image is changed. The reproducibility is improved, and the chances of the EC site contacting the user increases due to the sending of the additional chart or the user sending the captured image of the additional chart, etc. Increase the probability of buying.
  • each of the user database 11, the product color database 12, the chart information database 13, and the device information database 14 is described as being provided inside the product sales support system 1, but each of them sells the product. It may be configured to be connected to another site of the network 500 other than the support system 1.
  • the user is a doctor or a patient
  • the EC site server (a server provided on the article browsing site) is a medical institution such as a hospital
  • the product sales support server is a browsing server for medical images and the like.
  • the target is not limited to a product, and may be an object for browsing an article including a natural object or an artificial object.
  • FIG. 17 is a block diagram showing a configuration example of a color management system using a color sample issuing system (color conversion information generating system, hereinafter simply referred to as color sample issuing system) according to the second embodiment of the present invention.
  • color sample issuing system color conversion information generating system
  • the color management system is configured by connecting a color sample issuing system (color conversion information generating system) 1A, an EC site server 2 and a customer terminal (user terminal) 3 to each other by a network 500 including the Internet. ing.
  • the storage unit 2_1 stores a product image (described later) of a product sold by an EC site including the EC site server 2.
  • the color sample issuing system 1A is installed in, for example, a color management management center.
  • the color management management center is configured to mutually convert the color characteristic information of the article acquired from the color information of the article visually recognized in the illumination environment of the user and the color information and the color characteristic information of the article in the illumination environment. And manage.
  • the color characteristic information is, for example, a spectral reflectance of an article or a colorimetric value that defines one or more environments (light source and observation sensitivity).
  • the color conversion information is, for example, the spectral radiance of illumination that is a light source, the spectral sensitivity of an observer, or a colorimetric conversion matrix, a processing procedure, and a function between different environments.
  • the user is, for example, each of the EC site and the customer of the EC site.
  • the color management management center is provided, for example, in the operating company A of the product sales support site, and stores the products (an example of articles, such as clothing in the present embodiment) sold by each EC site.
  • the product image is observed on each display screen of the customer terminal 3 in an observation environment in which the customer observes the product (a lighting environment, for example, under the light source of the place where the user observes)
  • the color of the actual product Similarly to the above, the product is displayed in a visible display color, and the product form is accurately provided to the customer, thereby supporting the sales of the product.
  • the product (object) in the present embodiment is an item to be sold, and is an accessory, a decorative item, furniture, an antique item, a painting, or the like.
  • the user's color preference, color combination with others, and the like are important selection conditions for the user. For this reason, the display color visually recognized on the display screen of the customer terminal 3 and the actual color visually recognized in the characteristics of the user's observation environment (the characteristics of the light source that is the illumination of the illumination environment, for example, the spectral radiance characteristic). If they are different, the customer does not match his or her own color preference, which is a major cause of product returns. Therefore, it is not possible to adjust the display color of the product image (product display image described later) displayed on the display screen of the customer terminal 3. is important.
  • FIG. 18 is a conceptual diagram for explaining the outline of the process of issuing the color sample to the customer, which is performed by the color sample issuing system 1A according to the present embodiment.
  • FIG. 18A is a flowchart showing a flow of processing in issuing a color sample to a customer, which is performed by the color sample issuing system 1A.
  • FIG. 18B is a conceptual diagram showing whether the main body that performs each of the processes in the flowchart shown in FIG. 18A is the customer or the color sample issuing system 1A.
  • the lighting environment becomes the actual observation environment of the product.
  • the process F11 is a process of generating color conversion information in the observation environment of the customer.
  • a process of acquiring illumination environment information in the observation environment of the customer registered in the EC site and a process of obtaining color conversion information from the acquired illumination environment information are performed. That is, in the process F11, the color management center provides the chart (first color sample) as a color sample to the customer registered on the EC site, and the chart imaged image of this chart and the shooting information are displayed. get.
  • the chart is a color sample in which a plurality of color patches (color patches) of different predetermined colors are arranged and printed on a predetermined medium. The color characteristic information of these colors is known, and the color sample issuing system 1A has it.
  • This chart is a combination of color charts that are generally used for any of the light sources that can be used by the customer who is the user.
  • the chart can obtain spectral radiance characteristics that can classify the types of light sources that can be used by customers (for example, fluorescent lamps, incandescent lamps, LED (light emitting diode) lighting, natural light emitted by the sun, etc.). It may be a combination of color charts.
  • the chart is, for example, generated and set in advance for each of a plurality of groups classified by the user's attribute information (user attribute information), corresponding to user characteristics estimated corresponding to the group. May be.
  • the user attribute information in the present embodiment includes customer attribute information and EC site attribute information.
  • the customer attribute information corresponds to the attribute information of the user who performs registration in the first embodiment, and at least the attribute information indicating the type of place of the observation environment (space size, presence/absence of window, room wall, (Color of ceiling, floor, etc.) and any or a combination or all of attribute information of the user himself such as sex, age, address, occupation, time at home, birthday, wedding anniversary, registered date and time.
  • the EC site attribute information is at least the EC site name, the type of the location of the imaging environment (the size of the space, the presence/absence of windows, the colors of the walls of the room, the ceiling, the floor, etc.), the type of product to be sold, and the product to be sold.
  • the type of the location of the observation environment/imaging environment, each of the at-home time zone, the imaging time zone, and the like serve as information (environmental attribute) indicating the characteristics of illumination (characteristics indicating the state of the light source) in the illumination environment.
  • the shooting information is information such as a camera model (or device model) for acquiring the camera characteristics of the imaged camera, camera setting information at the time of shooting, position information indicating a shooting location at which the image was taken (provided on the camera).
  • the information includes GPS (global positioning system) information acquired by the device, customer designation (address, room name, etc.), date and time information, and the like.
  • This photographing information may be acquired by the color management management center via the EC site at the time of registration on the EC site. Then, the spectral characteristic of the chart or the color characteristic information that is the colorimetric value that defines one or more environments (light source and observation sensitivity) and the chart imaged image and the camera characteristic are used to obtain the color characteristic information from the chart. Color conversion information to be converted into color information that is a colorimetric value in the captured imaging environment is generated.
  • the color sample used as the chart is the article purchased by the customer. Any one of them, or a combination thereof, or all of them may be used, and the captured image of the article may be transmitted as a chart captured image to the color sample issuing system 1A together with the captured information.
  • the color sample issuing system 1A allows the color of the image of the product sold by the EC site to correspond to the light source of the environment in which the customer observes the product, that is, the customer observes the product in his or her own observation environment.
  • the product image data converted into the color visually recognized at that time is generated.
  • the color sample issuing system 1A supplies the product display image to the customer terminal 3.
  • the customer observes the product display image on the display screen of the customer terminal 3 and, when he/she likes the product, performs a purchase process.
  • the color sample issuing system 1A notifies the EC site of the sales information of the customer and the product purchased by the customer in accordance with the processing of the purchase from the customer.
  • the EC site operating company B ships the product purchased by the customer to the customer and delivers it to the customer.
  • the color management management center provides the customer who has purchased the product with information on the additional chart (second color sample) (additional chart information).
  • additional chart information is given to the customer who browses from the operating company B based on that the customer browses the product on the EC site operated by the operating company B at a predetermined timing even if the customer does not purchase the product. Alternatively, it may be provided.
  • the customer receives the product and the additional chart information, captures the additional chart according to the additional chart information (imaging in the same environment as when capturing the chart), and obtains the additional chart captured image and the capturing information from the customer terminal. 3 to the color sample issuing system 1A.
  • the color sample issuing system 1A acquires a captured image and shooting information of a new additional chart that updates the already acquired color conversion information.
  • This additional chart is, for example, at least color conversion information obtained in the chart, color characteristic information of a product purchased or browsed by the customer, and color conversion information in a lighting environment similar to the lighting environment corresponding to the lighting environment information. Is generated as a combination of color charts of colors corresponding to any or all of the indication information (comparison result) indicating the difference in color by the customer (generation of the color chart will be described later).
  • the color sample issuing system 1A changes the color conversion information of this user that has already been acquired (processing for complementing the lacking information) with each of the additional chart captured image and the shooting information supplied by the customer. After that, every time the processes F12 to F14 are repeated, the color conversion information of the customer is changed, and the product display image in which the color closer to the actual product can be visually recognized is generated.
  • the additional chart captured image and the shooting information may be all added, or the color conversion information may be changed based on a predetermined standard, a part of the chart or the additional chart information, or a combination thereof. Is also good.
  • part of the captured image of the chart and captured information of this chart may be used to generate the color conversion information.
  • the user can explicitly indicate whether or not the shooting environment in which the image was taken is different from the previous environment, or the environment can be detected by using a predetermined threshold value in the update process. If it is estimated that the color conversion information is different, the color conversion information may be newly acquired (changed) only by the additional chart captured image and the captured information.
  • FIG. 19 is a conceptual diagram for explaining the outline of the process of issuing the color sample to the EC site, which is performed by the color sample issuing system 1A according to the present embodiment.
  • FIG. 19A is a flowchart showing the flow of processing in issuing a color sample to an EC site, which is performed by the color sample issuing system 1A.
  • FIG. 19B is a conceptual diagram showing whether the entity performing each of the processes in the flowchart shown in FIG. 19A is the EC site or the color sample issuing system.
  • the EC site images the product sold at the EC site in its own lighting environment, the lighting environment becomes the actual imaging environment of the product.
  • the process F21 is a process of generating site color conversion information in the imaging environment of the EC site (color conversion information in the illumination environment of the EC site).
  • a process of acquiring the environmental information of the EC site registered in the operating company A and a process of obtaining the site color conversion information from the acquired environmental information are performed. That is, in process F21, the color management center provides the chart (first color sample) to the registered EC site, and acquires the chart imaged image of the chart and the shooting information.
  • the chart is a color sample in which a plurality of color chips of different predetermined colors are arranged and printed on a predetermined medium.
  • the color characteristic information of these colors is known as already described, and is held by the color sample issuing system 1A.
  • the chart issued to the EC site may be the same as the chart issued to the customer, or for each group classified by the type of product sold by the EC site, the material, etc., corresponding to the characteristics of each classification. It may be selected from the charts provided.
  • the shooting information is information such as a camera model (or device model) for acquiring the camera characteristics of the camera that has taken the image, setting information of the camera when the image was taken, and positional information indicating the shooting location at which the image was taken (in the camera). It is GPS information acquired by the device provided, EC site designation (address, room name, etc.), date and time information, and the like. This photographing information may be acquired by the color management center when the EC site is registered with the operating company A. Then, similar to the process F11, the color characteristic is calculated by the spectral reflectance of the chart or the color characteristic information that is the colorimetric value that defines one or more environments (light source and observation sensitivity) and the chart captured image and the camera characteristic. Site color conversion information that converts information into color information that is a colorimetric value in an imaging environment in which the chart is imaged is generated.
  • the color sample issuing system 1A uses the site color conversion information to correspond the color of the image of the product sold by the EC site to the light source when observing the product in the imaging environment of the EC site, that is, the EC site has its own environment.
  • the product image data converted into the color visually recognized when the product is observed is generated.
  • the color sample issuing system 1A supplies the product display image to the EC site server 2.
  • the person in charge of the EC site observes the product display image on the display screen of the EC site server 2, compares the color of the product with the actual color in the imaging environment, and notifies the color sample issuing system 1A of the comparison result. ..
  • This process is to improve the conversion accuracy of the site color conversion information so that the product display image viewed by the customer on the customer terminal 3 is visually recognized as the same color as the actual product observed in the observation environment. This is one of the targeted processes.
  • the color sample issuing system 1A executes a process of issuing an additional chart (second color sample) to the EC site along with the process of providing (supplying) the comparison result between the product display image from the EC site and the actual product. To do. That is, when the comparison result is provided from the EC site, the color management management center provides the additional chart information (additional chart information) to the EC site that provided the comparison result.
  • the person in charge of the EC site receives the product and the additional chart information, captures the additional chart according to the additional chart information (captures in the same environment as when capturing the chart), and captures the additional chart captured image and the captured information.
  • the color sample issuing system 1A acquires a captured image and shooting information of a new additional chart that updates the already acquired site color conversion information.
  • This additional chart is, for example, at least the site color conversion information obtained from the chart, the color characteristic information of the product sold by the EC site obtained from this site color conversion information, the product information such as the material of the product (the product which is the object Attribute information), site color conversion information in a lighting environment similar to the lighting environment corresponding to the lighting environment, and pointing information (comparison result) indicating the color difference of the EC site, or a combination thereof,
  • the color charts are generated as a combination of color charts corresponding to all colors (generation of color charts will be described later).
  • the color sample issuing system 1A changes the site color conversion information of this EC site, which has already been acquired, by the information including the attribute of the product, by each of the additional chart captured image and the shooting information supplied from the EC site. After that, every time the processes F22 to F24 are repeated, the site color conversion information of the EC site is changed, and a product display image in which a color closer to the actual product can be visually recognized is generated.
  • the additional chart captured image and the shooting information may all be added, or the site color conversion information may be changed by a part of the chart or the additional chart information or a combination thereof based on a predetermined standard. May be.
  • the site color conversion information may be generated by using, in addition to the additional chart captured image and the shooting information of the additional chart captured image, part of the chart captured image and the shooting information of the chart captured. .. Further, in updating the site color conversion information, the user explicitly indicates whether or not the captured shooting environment is different from the previous environment, or by detecting using a predetermined threshold in the update process, When it is estimated that the environment is different, the site color conversion information may be newly acquired (changed) only by the additional chart captured image and the captured information.
  • the EC site server 2 is provided for each EC site product management and sales management, and includes a storage unit 2_1.
  • the storage unit 2_1 stores a product imaged image of a product color data table in an EC site database 13A, which will be described later, and a chart imaged image used when generating the site color conversion information, corresponding to the product identification information. There is.
  • the color sample issuing system 1A includes a color sample issuing server 10A, an estimated image generation server 11A, a customer database 12A, an EC site database 13A, a chart information database 14A, a device information database 15A, and a product sales server 16A.
  • the color sample issuing system 1A allows each customer to visually recognize the image of the product provided by the EC site in each imaging environment as the actual color of the product in his/her own observation environment.
  • a chart and an additional chart for obtaining site color conversion information to be converted into a display image or color characteristic information for accurately propagating a product color are generated and issued to an EC site or a user.
  • FIG. 20 is a diagram showing a configuration example of the color sample issuing server 10A according to the present embodiment.
  • the color sample issuing server 10A includes a data input/output unit 101A, a chart issuing unit 102A, a captured image acquisition unit 103A, a device information acquisition unit 104A, a color conversion information calculation unit 105A, an illumination environment estimation unit 106A, and an additional chart.
  • the issuing unit 107A is provided.
  • the data input/output unit 101A transmits/receives data to/from an external device or system via the network 500.
  • the chart issuing unit 102A generates or determines a chart to be provided to the user (each of the EC site and the customer), prints this chart on a print medium, and issues it to the user as a color sample (first color sample). To do.
  • a print medium when the user registers with the operating company A, a membership card (including a registration certificate, etc.) supplied from the color management center, documents related to enrollment, or an envelope or packing in which the membership card or documents are inserted. It is a material (packaging material) or a cushioning material. That is, the color sample is the chart printed on the membership card, documents, envelopes, packing materials or cushioning materials, or the color that is provided to the user from the color management center by registering, and the color sample is registered. Provided to users.
  • the chart is printed as characters or figures (bar code, two-dimensional code, etc.) on this print medium.
  • the two-dimensional code has a configuration in which a plurality of barcodes are arranged in parallel, or a configuration in which square dots are arranged in a grid like a QR code (registered trademark). That is, each color of a plurality of arranged character figures is made different and each character is printed as a color chart, or one character is divided into a plurality of areas and each of the areas is printed in a different color.
  • a color chart, and a graphic of a character string (or a character) is configured as a chart.
  • each bar figure indicating the code is printed in a different color, or the bar figure is divided into a plurality of areas, and each of the areas is printed in a different color and has a color chart.
  • the barcode graphic is configured as a chart.
  • each dot or bar figure indicating the code is printed in a different color, or the dot or bar figure is divided into a plurality of areas, and each of the areas has a different color. It is printed as a color chart, and a figure of a two-dimensional code is configured as a chart.
  • the chart is a letter or figure (bar code or 2D) printed on magazine advertisements, posters, leaflets, etc. showing the URL (uniform resource locator) for accessing the site of the operating company A or the EC site. Code).
  • URL uniform resource locator
  • an incentive such as giving points that can be redeemed for cash or redeemed for goods may be given.
  • the color management management center can obtain information on the illumination environment such as the observation environment and the imaging environment at the time of accessing the site and applying.
  • the captured image acquisition unit 103A determines whether the captured images acquired by the data input/output unit 101A are the chart captured image and the additional chart captured image. Then, the captured image acquisition unit 103A outputs the captured image of the chart to the color conversion information calculation unit 105A together with the determination result of the above determination.
  • the device information acquisition unit 104A extracts camera characteristic acquisition information such as a camera model and a device model from the shooting information acquired by the data input/output unit 101A. Then, the device information acquisition unit 104A acquires a camera characteristic corresponding to this camera characteristic acquisition information from the device information database 15A (described later) by a search using the extracted camera characteristic acquisition information, and causes the color conversion information calculation unit 105A to acquire it. Output to.
  • the color conversion information calculation unit 105A uses the spectral reflectance of each known color chart of a known chart, or color characteristic information that is a colorimetric value that defines one or more environments (light source and observation sensitivity), and chart imaging. Color conversion information for converting the color characteristic information of a product, which is an article, into a colorimetric value acquired in the user's environment from each of the image and the camera characteristic (for the site color conversion information that is the color conversion information of the EC site, Similarly, for example, the spectral radiance of a light source, the spectral sensitivity of an observer, or a colorimetric conversion matrix, a processing procedure, or a function between different environments is generated, and the customer database 12A (described later) or the EC site database 13A is generated.
  • the color conversion information calculation unit 105A may create color conversion information for each product according to the material, color, etc. stored as the product information. Thereby, in the color conversion process, it is possible to obtain the product information to be reproduced from the product identification information and use the optimum color conversion information for the product indicated by the product information. In addition, the color conversion information calculation unit 105A recalculates each of the already generated color conversion information or site color conversion information by the additional chart captured image supplied at a predetermined timing, and updates each information. To do.
  • the illumination environment estimation unit 106A reads the illumination type similar to the color conversion information obtained from the chart from the device information database 15A.
  • the illumination environment estimation unit 106A compares, for example, the intensity pattern for each wavelength of the spectral radiance of the light source with the intensity pattern for each wavelength of the spectral radiance of the illumination type stored in the device information database 15A, The illumination type of the intensity pattern with the highest similarity is selected and set as the type of light source in the illumination environment of the user.
  • the additional chart issuing unit 107A responds to the user's lighting environment according to the color conversion information obtained from the already-explained chart, the additional chart issued immediately before, or the color evaluation information (color evaluation information), and the above illumination type. Issue an additional chart of the combination of color charts of the colors to be used as the color conversion information.
  • the color conversion information obtained by the chart is the color conversion information of the obtained illumination environment calculated by this chart, and the color conversion information in the illumination environment similar to the intensity pattern for each wavelength of the spectral radiance obtained by this chart. And each of.
  • the color evaluation information is, for example, the color characteristic information of the product purchased by the customer, the captured image of the product purchased by the customer, the evaluation information indicating the color difference between the product in the observation environment and the product display image (described later).
  • Product evaluation ), color characteristic information of products viewed by the customer on the customer terminal 3, and the like.
  • the color evaluation information is, for example, the color characteristic information of the product obtained from the product imaged image captured by the person in charge of the EC site, the product display image on the display screen of the EC site server 2, and the color of the product. , Comparison results of comparison with the actual color in the imaging environment.
  • the additional chart issuing unit 107A, at least, the color conversion information (color conversion information of the illumination environment of the user, color conversion information of similar illumination environment) obtained by the chart, information of the additional chart issued up to the present time, and the color evaluation.
  • the additional chart is generated using any one or a combination (information combination) of the information and the information of the illumination type, or a combination of additional colors corresponding to all of them (additional color combination).
  • the additional color extraction table in which the additional color combination is described corresponding to each of the above information combinations is written and stored in advance in the chart information database 14A.
  • the additional chart issuing unit 107A searches the additional color extraction table for an information combination similar to the information combination obtained for each user (EC site, customer), and reads the additional color combination corresponding to the searched information combination. ..
  • the additional chart issuing unit 107A may be configured to generate a new additional chart by replacing the color indicated by the read additional color combination with the color chart and the color chart in the chart or the additional chart issued immediately before.
  • the additional chart issuing unit 107A sets the color gamut in which the color conversion information generated from the chart can be converted into the color measurement value in the color characteristic information of the product browsed by the customer or the color characteristic information of the product sold by the EC site. It is determined whether a colorimetric value is included. At this time, the additional chart issuing unit 107A selects the chart from the additional color extraction table in which the color characteristic information of the product not included in the color gamut and the color characteristic information of the chart and the additional color combination of the color to be added are associated with each other. The additional color combination to be added may be read and a new additional chart may be generated.
  • FIG. 21 is a diagram showing a configuration example of a customer data table in the customer database 12A.
  • the customer data table is provided for each EC site, and for example, for each record, corresponding to customer identification information, customer attribute information, color conversion information list index, product evaluation index, printer characteristic, display characteristic, camera characteristic. Each of the columns is provided.
  • the customer identification information is information for individually identifying each customer.
  • the customer attribute information is the attribute information of the customer indicated by the customer identification information. Name, location type of lighting environment, gender, age, address, telephone number, email address, hobby, occupation, favorite color, stay in the environment Information such as time zone.
  • the type of the place of the lighting environment is the size of the space, the presence or absence of the window, the color of the wall, ceiling, floor, etc. of the room.
  • the color conversion information list index is a list of color conversion information that is available to the customer such as a plurality of different color conversion information in the customer's observation environment indicated by the customer identification information and preset color conversion information. It is an index such as an address indicating the area in which the list table is stored.
  • the product evaluation index is an index such as an address indicating an area in which a product evaluation table indicating the evaluation of this user for the product purchased by the customer indicated by the customer identification information is stored.
  • the printer characteristics are printer output color information such as ICC (International Color Consortium) profile and ink spectral information (ink information) of the printer used by the customer to print the product image, and the paper on which the product image and color sample are printed. This is information including medium information and the like.
  • the display characteristic is, for example, light emission information such as an ICC profile, spectral radiance, or tristimulus value.
  • the camera characteristic is, for example, spectral sensitivity information of the camera (imaging device). Each of the printer characteristic, display characteristic, and camera characteristic is written in the corresponding column in the customer data table by the above-described device information acquisition unit 104A (described later).
  • FIG. 22 is a diagram showing a configuration example of a color conversion information list table in the customer database 12A.
  • a color conversion information list table is written and stored in the customer database 12A. This color conversion information list table is provided for each customer. For each record, corresponding to the color conversion information identification information, the chart captured image index, additional chart captured image index, chart identification information, algorithm identification information, color Each column of conversion information and specification data is provided.
  • the color conversion information identification information is information for individually identifying each of the color conversion information.
  • the chart picked-up image index is an index such as an address indicating a region where the picked-up image data of the chart (first color sample) is written and stored in the database.
  • a data table of the pixel position of the pixel extracted from the chart captured image and the pixel value of the pixel indicated by the pixel position may be used as the data of the chart captured image.
  • the additional chart captured image index is an index such as an address indicating a region in which the captured image data of the additional chart (second color sample) is written and stored in the database.
  • the data of the additional chart captured image may be a data table of the pixel position of the pixel extracted from the additional chart captured image and the pixel value of the pixel indicated by this pixel position.
  • the chart identification information is the identification information of the chart provided to the customer and the additional chart.
  • the color conversion information is the spectral radiance of the light source or the tristimulus value conversion matrix in the environment where the customer images the chart or the additional chart.
  • the tristimulus value conversion matrix is a colorimetric value of a specified observation environment (for example, a combination of CIE (International Commission on Illumination)_D50 and a 2-degree standard observer, or a combination of CIE_D65 and a 10-degree standard observer). Is a matrix for performing conversion (color conversion) into a device value based on the spectral radiance of the light source in the environment imaged by the customer and the camera characteristics of the camera used for imaging.
  • the color conversion information is conversion information between the spectral reflectance of an article, color characteristic information that is a colorimetric value that defines observation, and the colorimetric value that is observed in the environment of the customer.
  • the specification data is information indicating the specifications of the color conversion information.
  • the specification data there are types such as a morning time range, a daytime range, and a nighttime range indicating the applicable time range of the corresponding color conversion information.
  • the morning time range indicates, for example, the time range from sunrise time to 12:00 noon.
  • the daytime range indicates, for example, the time range from past 12:00 pm to the sunset time.
  • the specification data may include place information or place information where the customer observes the product, and can specify color conversion information in an office, a restaurant, a theater, a home, or the like.
  • the night time range indicates from sunset time to sunrise time.
  • the preset color conversion information is color conversion information common to each customer, and it can be used from sunlight or the spectral radiance of a light source in a general office, or color characteristic information that defines the environment to It is a conversion matrix for converting colorimetric values visually recognized in the office. Further, regarding the additional chart, colors performed on the second additional chart from the second additional chart (second color sample) to the third additional chart (third color sample) to the nth additional chart (nth color sample) A process similar to the process related to acquisition of conversion information is performed.
  • FIG. 23 is a diagram showing a configuration example of a product evaluation table in the customer database 12A.
  • a product evaluation table is written and stored in the customer database 12A.
  • This product evaluation table is provided for each customer, and for each record, a column of product evaluation (product evaluation) corresponding to this product identification information is provided corresponding to the product identification information.
  • the product identification information is information for individually identifying each product.
  • the product evaluation describes the evaluation of the purchased product (the product indicated by the product identification information) (for example, evaluation by questionnaire). For example, "satisfaction”, “normal”, “lack of redness", or by a customer as described below. As a result of the color adjustment, it shows how to respond to products that have arrived at the customer, such as "returned due to different colors”.
  • FIG. 24 is a diagram showing a configuration example of an EC site table in the EC site database 13A.
  • the EC site table for example, for each record, columns for EC site attribute information, site color conversion information list index, comparison result index, printer characteristic, display characteristic, and camera characteristic are provided corresponding to the EC site identification information.
  • the EC site identification information is information that individually identifies each EC site.
  • the EC site attribute information is the attribute information of the EC site indicated by the EC site identification information, and is the EC site name, location type of lighting environment, product type, main color, main material, product target age, telephone number, mail address, It is information such as an imaging time zone in the lighting environment.
  • the site color conversion information list index is a list of each color conversion information usable by the EC site, such as a plurality of different site color conversion information in the imaging environment of the EC site indicated by the EC site identification information and preset site color conversion information. It is an index such as an address indicating an area in which a site color conversion information list table that is information is stored.
  • the comparison result index is a color visually recognized by the person in charge of the EC site indicated by the EC site identification information by observing the actual product imaged in the imaging environment, and a product display image observed on the display screen of the EC site server 2. It is an index such as an address indicating the area of the EC site database 13A, in which a file indicating the information of the result of comparison with the color visually recognized in (color evaluation information) is stored.
  • information indicating a visible color difference between the actual product and the product display image such as a weak blue color or a strong red color, or the color adjustment of the product display image by the application of the EC site server 2 is performed.
  • the printer characteristics are information including printer output color information such as the ICC profile of the printer used for printing the product image and the color sample and the spectral information of the ink used by the EC site, and the medium information of the paper on which the product image is printed. is there.
  • the display characteristic is, for example, light emission information such as an ICC profile, spectral radiance, or tristimulus value.
  • the camera characteristic is, for example, the spectral sensitivity information of the camera.
  • FIG. 25 is a diagram showing a configuration example of a product color data table in the EC site database 13A.
  • a product color data table is written and stored in the EC site database 13A. This product color data table is provided for each EC site.
  • the product color data table has columns for each product record image index, product color information index, and product information index corresponding to product identification information for each record.
  • the product identification information is information for individually identifying each product.
  • the product image index is an index such as an address indicating an area in the EC site database 13A in which captured image data captured in the environment of the light source of each EC site is stored.
  • the product color characteristic information index indicates an area in the EC site database 13A in which color characteristic information data such as a spectral image of a product, a product reflectance image showing the spectral reflectance of each pixel, or a product image in a specified observation environment is stored. It is an index such as the indicated address.
  • the product information index is an index such as an address indicating an area in the EC site database 13A in which information indicating the spectral reflectance of a product and the type of material is stored.
  • the material is, for example, the type of material of the cloth for clothing in the case of clothing, such as rayon, nylon, polyester, acrylic, polyurethane, linen, cotton, wool, denim.
  • FIG. 26 is a diagram showing a configuration example of a site color conversion information list table in the EC site database 13A.
  • a site color conversion information list table is written and stored in the EC site database 13A.
  • This site color conversion information list table is provided for each EC site, and corresponds to the site color conversion information identification information for each record, chart captured image index, additional chart captured image index, chart identification information, site color.
  • Each column of conversion information, algorithm identification information, and specification data is provided.
  • the site color conversion information identification information is information for individually identifying each of the site color conversion information.
  • the chart picked-up image index is an index such as an address indicating a region where the picked-up image data of the chart (first color sample) is written and stored in the database.
  • a data table of the pixel position of the pixel extracted from the chart captured image and the pixel value of the pixel indicated by the pixel position may be used as the data of the chart captured image.
  • the additional chart captured image index is an index such as an address indicating a region in which the captured image data of the additional chart (second color sample) in the EC site database 13A is written and stored.
  • the data of the additional chart captured image may be a data table of the pixel position of the pixel extracted from the additional chart captured image and the pixel value of the pixel indicated by this pixel position.
  • the chart identification information is identification information of the chart, and the additional chart identification information is identification information of the additional chart.
  • the algorithm identification information is information for identifying the algorithm used when the color conversion information calculation unit 105A calculates the color conversion information, and includes material information of products, color characteristic information, color information such as chromatic color/achromatic color, The color conversion information calculation algorithm selected according to conditions such as indoor and outdoor lighting information is identified.
  • the site color conversion information is the spectral radiance of the light source in the environment where the EC site images the chart or the additional chart, or the tristimulus value conversion matrix.
  • the tristimulus value conversion matrix is a colorimetric value of a specified observation environment (for example, a combination of CIE (International Commission on Illumination)_D50 and a 2-degree standard observer, or a combination of CIE_D65 and a 10-degree standard observer). Is a matrix for performing conversion (color conversion) into a device value according to the spectral radiance of the light source in the environment imaged by the EC site and the camera characteristics of the camera used for imaging.
  • CIE International Commission on Illumination
  • the site color conversion information is conversion information between the spectral reflectance of the article, color characteristic information that is a colorimetric value that defines observation, and the colorimetric value that is observed in the EC site environment.
  • the specification data is information indicating the specifications of the site color conversion information.
  • the specification data there are types such as a morning time range, a daytime range, and a nighttime range indicating the applicable time range of the corresponding site color conversion information.
  • the morning time range indicates, for example, the time range from sunrise time to 12:00 noon.
  • the daytime range indicates, for example, the time range from past 12:00 pm to the sunset time.
  • the specification data may include location information where the person in charge of the EC site images the product or location information, and site color conversion information in an office or studio where the person in charge of the EC site images the product. Can be specified.
  • the night time range indicates from sunset time to sunrise time.
  • the preset site color conversion information is the color conversion information common to each EC site, and the spectral radiance of the sunlight or the light source in a general office or the environment is specified. It is a conversion matrix for converting the color characteristic information into a colorimetric value that is visually recognized outdoors in fine weather or in an office.
  • the site for performing the second additional charts from the second additional chart (second color sample) to the third additional chart (third color sample) to the nth additional chart (nth color sample) The same process as the process related to acquisition of color conversion information is performed.
  • FIG. 27 is a diagram showing a configuration example of a chart table in the chart information database 14A.
  • a chart table is written and stored in the chart information database 14A.
  • the chart table for each record, has columns for chart search information, chart image index, and chart design information, corresponding to the chart identification information.
  • this chart table is commonly provided for the EC site and the customer, but it may be provided separately for the EC site and the customer.
  • the chart identification information is information for individually identifying each chart that is a chromatic or achromatic object.
  • the chart search information is key information for searching charts issued to users (EC sites, customers).
  • the chart search information includes at least user attribute information (customer attribute information, EC site attribute information).
  • the chart image index is an index such as an address indicating a region where a chart image that is a chart image is written and stored.
  • the chart design information is the color characteristic information of each of the chart pattern pattern (for example, the color chart array pattern) in the chart image and the pattern (color chart) in the pattern pattern.
  • the chart design information is information indicating the coordinates of each color chart in the pattern pattern (including the shape of the character image) of the chart image, and the correspondence relationship between the area indicated by the coordinates and the color characteristic information of the color of the color chart. Contains information.
  • FIG. 28 is a diagram showing a configuration example of an additional chart design table in the chart information database 14A.
  • An additional chart design table is written and stored in the chart information database 14A.
  • the additional chart design table has columns for additional color search information and additional chart design information corresponding to the additional chart design identification information for each record.
  • this additional chart design table is commonly provided for the EC site and the customer, but it may be provided separately for the EC site and the customer.
  • the additional chart design identification information is information that individually identifies each piece of color information (single color or a combination of multiple colors) to be added to the chart.
  • the additional color search information includes color conversion information (and site color conversion information) obtained from the chart, color characteristic information of colors already used as color charts, color evaluation information, and information of the type of illumination light source estimated by the chart. At least any of the above, or a combination thereof or all of them are included.
  • additional color information color characteristic information
  • corresponding to the additional color search information is shown.
  • FIG. 29 is a diagram showing a configuration example of an additional chart table in the chart information database 14A.
  • An additional chart table is written and stored in the chart information database 14A.
  • the additional chart table has columns for each of the additional chart image index and the additional chart information corresponding to the additional chart identification information for each record.
  • this additional chart table is commonly provided for the EC site and the customer, but it may be provided separately for the EC site and the customer.
  • the additional chart identification information is information that individually identifies each additional chart.
  • the additional chart image index is an index such as an address indicating an area in which the additional chart image that is the image of the additional chart is written and stored.
  • the additional chart information is information indicating the coordinates of each color chart in the pattern pattern (including the shape of the character image) of the additional chart image, and information on the correspondence relationship between the area indicated by the coordinates and the color characteristic information of the color of the color chart. Is included.
  • FIG. 30 is a diagram showing a configuration example of a device information table in the device information database 15A.
  • a device information table is written and stored in the device information database 15A.
  • the device information table has columns for each record of device identification information and device characteristic information indicated by the device identification information.
  • the device identification information is model information of a camera, a printer, and a display device, device information, or the like.
  • the device information is, for example, if the camera is a digital camera, the model number of a digital camera or a CCD (Charged Coupled Device) element used, and if the printer is an inkjet printer, the model number of the printer or the inkjet head used.
  • the display device is a liquid crystal display, it is the model number of the display or the liquid crystal panel used.
  • the characteristic information is, for example, when the device is a camera, the spectral sensitivity information in image pickup as the camera characteristic. Further, the characteristic information is, for example, when the device is a printer, print color information output by the printer such as an ICC profile and ink spectral information as printer characteristics, and medium information of a sheet on which a product sales image or a color sample is printed. And so on.
  • the characteristic information is light emission information such as an ICC profile, spectral radiance or tristimulus value as a display characteristic.
  • FIG. 31 is a sequence diagram showing the flow of processing for customer environment information registration using the color sample issuing system 1A.
  • each of the customer database 12A, the EC site database 13A, the chart information database 14A, and the device information database 15A is described as each database (12A, 13A, 14A, 15A).
  • Step F101 The customer accesses the color sample issuing site (that is, the color sample issuing server 10A) using the customer terminal 3, logs in, for example, with the customer identification information, and requests registration processing of environmental information of the customer's observation environment.
  • the data input/output unit 101A searches the customer table of the customer database 12A based on the customer identification information at the time of access, and confirms which EC site the customer is registered with.
  • Step F102 The chart issuing unit 102A reads out the customer attribute information of this customer and searches the chart table of the chart information database 14A based on the read customer attribute information. Then, the chart issuing unit 102A extracts the chart search information most similar to the customer attribute information, and reads the chart image index corresponding to the extracted chart search information. The chart issuing unit 102A reads the chart image from the chart information database 14A using the chart image index and issues it as a chart. The chart issuing unit 102A extracts, for example, a chart preset in the EC site as a chart corresponding to the product image of the product group sold by the EC site from the chart information table of the chart information database 14A and issues the chart. It may be configured. The operating company A delivers (or mails) the chart issued by the chart issuing unit 102A from the chart table to the customer's address.
  • Step F103 The customer takes an image of the chart supplied from the operating company A in an observation environment in which the customer himself/herself will observe the product, for example, in a predetermined position such as a room equipped with the customer terminal 3.
  • Step F104 Then, the customer uses the customer terminal 3 to transmit the chart imaged image of the chart, the shooting information in the shooting, and the customer identification information of the customer to the color management center (color sample issuing system 1A).
  • Step F105 The data input/output unit 101A outputs the captured chart image supplied from the customer terminal 3 to the captured image acquisition unit 103A.
  • the data input/output unit 101A also outputs the shooting information supplied from the customer terminal 3 to the device information acquisition unit 104A and the color conversion information calculation unit 105A.
  • the captured image acquisition unit 103A writes the data of the captured image of the chart in the customer database 12A. Further, the captured image acquisition unit 103A writes and stores the address of the written writing area in the chart captured image index of the color conversion information list table indicated by the color conversion information list index corresponding to the customer identification information.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104A writes and stores the read camera characteristics in the camera characteristics column of the color conversion information list table.
  • Step F106 The color conversion information calculation unit 105A reads each of the captured image of the chart and the chart identification information from the color conversion information list table corresponding to the customer identification information. Then, the color conversion information calculation unit 105A reads the chart design information index sent to the customer from the chart table of the chart information database 14A based on the read chart identification information. The color conversion information calculation unit 105A reads the color characteristic information of the chart from the storage area indicated by the chart design information index. Further, the color conversion information calculation unit 105A reads the camera characteristics from the customer data table in correspondence with the customer identification information.
  • Step F107 The color conversion information calculation unit 105A calculates the color conversion information based on the chart imaged image, the camera characteristics, and the color characteristic information of the chart.
  • the color conversion information is information for converting the color characteristic information into the colorimetric value acquired in the registered customer's observation environment. Further, the illumination environment estimation unit 106A estimates the type of the light source in the observation environment from the color conversion information obtained from the chart.
  • Step F108 The color conversion information calculation unit 105A writes the obtained color conversion information in the color conversion information list table and stores it in association with the customer identification information.
  • the color conversion information calculation unit 105A extracts the time when the chart captured image was captured from the date and time information included in the captured information, and for the obtained color conversion information.
  • the corresponding time range (morning time range, daytime range, nighttime range) is written and stored in the specification data field. Further, information included in the shooting information such as position information based on GPS information or customer designation information may be recorded.
  • the chart identification information and the customer identification information may be printed in advance, and when the customer images the chart, the chart identification information and the customer identification information may be imaged at the same time as the chart.
  • a bar code, a two-dimensional code (graphic information), or the like can be used as the chart identification information. This makes it possible to easily associate the chart with the customer.
  • the chart identification information itself is colored, and by imaging the chart identification information, not only the customer identification information can be used to associate with the customer, but also the color conversion information may be acquired at the same time.
  • the operating company A which operates the color management center, delivers the explanation about the product purchase on the EC site, encloses the chart, and delivers the explanation.
  • the chart identification information and the customer identification information (character information or graphic information) described above may be directly printed on a sealed letter, delivery note, address, packing material, or the like. Further, the chart identification information and the customer identification information (character information or graphic information) are colored, and may be used for acquiring color conversion information by capturing an image.
  • the chart designed in advance by the chart design information is used for estimating the color conversion information in the customer's observation environment.
  • an instruction to image a package of generally distributed products may be provided.
  • the customer takes an image of the package and transmits it from the customer terminal 3 to the color management management center (color sample issuing system 1A) in the same manner as the processing in step F104 described above.
  • the color management management center color sample issuing system 1A
  • the color characteristic information of the printed predetermined area can be easily obtained, and thus the color conversion information can be calculated.
  • the chart is based on the customer's observation environment (time range for observing the article, information on the observation place, etc.), and is different from the customer who sends the chart, and the other customers who have similar observation environments
  • a chart to be sent to the customer may be created using the color conversion information.
  • the color conversion information may be created corresponding to any of the attributes such as materials and colors stored as the product information, or a combination or all of them. In this case, in color conversion, the product information to be reproduced is acquired from the product identification information, and the optimum color conversion information is used for the material and color of the product.
  • FIG. 32 is a sequence diagram showing a flow of processing of color conversion and display of a product image using the color sample issuing system 1A.
  • each of the customer database 12A, the EC site database 13A, the chart information database 14A, and the device information database 15A is described as each database (12A, 13A, 14A, 15A).
  • Step F201 The user accesses the color management management center (color sample issuing system 1A) with the customer terminal 3, logs in, for example, with the customer identification information, and requests to browse the product image of the product on the EC site registered by the user. To do.
  • the data input/output unit 101A searches the customer table of the customer database 12A based on the customer identification information at the time of access, and confirms which EC site the customer is registered with.
  • Step F202 The estimated image generation server 11A searches the customer table of the customer database 12A by the customer identification information and extracts the color conversion information list table of the accessed customer in order to obtain the color conversion information used when generating the product display image.
  • Step F203 the estimated image generation server 11A displays a list of specification data of the color conversion information list table on the display screen of the customer terminal 3 as a display for allowing the user to select the color conversion information. Characters that indicate the state of observation in the observation environment such as "morning time range”, “daytime range”, “nighttime range”, and “preset color conversion information (general office, sunny outdoors)" are displayed. Rows are used.
  • Step F204 The customer selects from the list of specification data on the display screen of the customer terminal 3 the state corresponding to the environment in which the customer observes the actual product. At this time, for example, when the time designation of the product is 10:00 am, the time to observe in the observation environment is included in the morning time range. Therefore, the customer selects from the list of the specification data on the display screen of the customer terminal 3 in the morning time range. Select. If the user always returns home around 8:00 pm, the time to observe in the observation environment is included in the nighttime range, so the customer selects the nighttime range from the list of specification data on the display screen of the customer terminal 3. On the other hand, when the delivery destination is not the observation environment but the office of the company, the customer selects the preset color conversion information from the list of the specification data on the display screen of the customer terminal 3.
  • Step F205 The customer terminal 3 selects one of the observation states selected by the customer, for example, “morning time range”, “daytime range”, “nighttime range”, “office”, “restaurant”, and “preset color conversion information”.
  • the selected character string is transmitted as information to the color sample issuing system 1A.
  • the customer terminal 3 transmits, to the color sample issuing system 1A, the device identification information (device information) that identifies the display for displaying the display screen together with the information of the character string.
  • Step F206 The data input/output unit 101A outputs the device identification information supplied from the customer terminal 3 to the device information acquisition unit 104A.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the display characteristic corresponding to the device information, which is the device identification information, and reads it.
  • the device information acquisition unit 104A stores the read display characteristic by writing it in the display characteristic column of the color conversion information list table.
  • Step F207 Next, the estimated image generation server 11A reads the display characteristics from the color conversion information list table corresponding to the customer identification information. Further, the estimated image generation server 11A reads out the color conversion information (color conversion information corresponding to the observation state of the product, the material of the product, etc.) selected by the customer from the color conversion information list table. The estimated image generation server 11A reads the product color information of each product observed by the customer from the product color data table of the EC site database 13A.
  • the color conversion information color conversion information corresponding to the observation state of the product, the material of the product, etc.
  • Step F208 Then, the estimated image generation server 11A converts the colorimetric value in the specified observation environment of the product color information into the colorimetric value in the customer's observation environment by the color conversion information, and the product display image data corresponding to the display characteristics. To generate.
  • Step F209 The estimated image generation server 11A transmits the generated product display image data to the customer terminal 3 via the data input/output unit 101A.
  • the customer can visually recognize the product image on the display screen of the customer terminal 3 in the same color as when observing the actual product in his/her own observation environment.
  • the customer observes each of the delivered products and the product image displayed on the display screen of the customer terminal 3 and compares the visually recognized colors with each other, and the comparison result is sent to the color management center. It may be configured to transmit. That is, the customer sequentially adjusts the color component RGB (red: red, green: green, blue: blue) adjustment bars displayed on the display screen of the customer terminal 3 to sequentially obtain the color of the product actually viewed. Then, the color of the product image on the display screen is matched, and the color difference is evaluated. Then, when the customer recognizes that the product image on the display screen and the color of the product actually observed are the same, the color of the display image displayed by inputting the adjustment amount of the color component RGB adjustment bar or the like. Finish the adjustment of.
  • RGB red: red, green: green, blue: blue
  • the customer terminal 3 transmits the data of the product image whose color has been adjusted by the customer to the color sample issuing system 1A as evaluation information (comparison result).
  • evaluation information such as "lack of redness" may be transmitted as evaluation information to the color sample issuing system 1A.
  • the color sample issuing system 1A uses the evaluation information in addition to the additional color search information in the additional chart design table.
  • FIG. 33 is a sequence diagram showing the flow of processing for issuing an additional chart for updating color conversion information using the color sample issuing system 1A.
  • each of the customer database 12A, the EC site database 13A, the chart information database 14A, and the device information database 15A is described as each database (12A, 13A, 14A, 15A).
  • Step F301 The user performs the purchase processing of the product of this product image on the EC site of the operating company B by the product display image displayed on the display screen of his/her customer terminal 3 in the process F12.
  • the product sales server 16A sends the product identification information (such as product identification information) supplied from the customer terminal 3 together with the customer identification information to the EC site handling this product. , Send as product purchase information.
  • Step F302 At this time, along with the shipment of the product on the EC site, the color conversion information calculation unit 105A in the color sample issuing system 1A stores the information for instructing the EC site to deliver the additional chart information to the customer together with the data. It is transmitted via the output unit 101A.
  • This additional chart information indicates that, in the case of the present example, the additional chart imaged image of the new additional chart is transmitted together with the shooting information.
  • the additional chart issuing unit 107A reads the color conversion information of the customer who purchased the product from the color conversion information list table in the customer database 12A.
  • the additional chart issuing unit 107A reads the product information (product color characteristic information) of the product purchased by the customer from the product color data table of the EC site database 13A.
  • the additional chart issuing unit 107A reads the chart design information of the chart sent to the customer from the chart information database 14A.
  • Step F303 the additional chart issuing unit 107A extracts the color to be added to the chart from the additional chart design table of the chart information database 14A. That is, the additional chart issuing unit 107A, in the additional chart design table, the color conversion information, the color characteristic information used as a color chart in the chart, the type (type) of the light source of the illumination environment, and the product attribute including the color characteristic information of the commodity. The additional color search information that is most similar to the search condition such as information is searched. Then, the additional chart issuing unit 107A reads the additional chart design information corresponding to the searched additional color search information.
  • the additional chart issuing unit 107A replaces the color charts in the chart and designs a combination of color charts in the additional chart in accordance with the read additional chart design information.
  • the comparison result of the customer, the light source metamerism in the customer's imaging environment, or the observer metamerism in the customer or the camera (imaging apparatus) may be reflected in the design of the additional chart.
  • the color chart of the part may be designed by reflecting the difference in the transmittance of the filter or the camera sensitivity.
  • the operating company A manufactures the additional chart (for example, prints it on a paper medium) in accordance with the information on the design of the color chart combination in the issued additional chart, and manufactures and issues the additional chart. ..
  • Step F304 Then, the additional chart issuing unit 107A writes the information of the generated additional chart to the additional chart table of the chart information database 14A by adding the chart identification information and stores the information.
  • Step F305 the operating company A prints the manufactured additional chart on a product sent by the EC site and bundles it with a document related to the sale of the product, or prints a packing material as a print medium, or directly. Deliver to customer. Further, the EC site attaches the additional chart information to the product designated by the customer in correspondence with the product purchase information supplied from the color sample issuing system 1A, and delivers it to the address registered by the customer. ..
  • Step F306 The customer refers to the additional chart information attached to the product when the additional chart is delivered together with the product. Then, in response to the instruction of the additional chart information, the customer captures the additional chart captured image by capturing an image of the additional chart with the image capturing device in the observation environment for observing the product.
  • Step F307 Then, the customer accesses the color management management center (color sample issuing system 1A) and manages the data of the captured additional chart imaged image of the delivered additional chart and the photographing information at the time of the color management management. Send to the center.
  • the color management management center color sample issuing system 1A
  • Step F308 When the data of the additional chart captured image and the shooting information are supplied from the customer terminal 3, the data input/output unit 101A outputs the data of the additional chart captured image to the captured image acquisition unit 103A.
  • the data input/output unit 101A also outputs the shooting information supplied from the customer terminal 3 to the device information acquisition unit 104A and the color conversion information calculation unit 105A.
  • the captured image acquisition unit 103A writes the data of the additional chart captured image in the customer database 12A in association with the user identification information, and writes the address of the written area in the color conversion information list table of the customer database 12A. Memorize with.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104A writes and stores the read camera characteristics in the camera characteristics column of the color conversion information list table.
  • the color conversion information calculation unit 105A recalculates the color conversion information using the chart captured image and the additional chart captured image, the color characteristic information of the chart, the color characteristic information of the additional chart, and the shooting information.
  • the existing color conversion information is updated with the newly obtained color conversion information.
  • the update in the color conversion information may be performed by a numerical calculation by a polynomial, an update process based on an algorithm adjustment such as a coefficient adjustment of a model function using a multidimensional function, or a model update by AI (for example, machine learning). A method may be used.
  • the color conversion information calculation unit 105A overwrites the existing color conversion information of the color conversion information list table in the customer database 12A with the color conversion information newly obtained by the above-mentioned method, and stores the color conversion information. Further, the color conversion information calculation unit 105A writes and stores the information such as the obtained method and coefficient in the site color conversion information list table together with the algorithm identification information corresponding to this information.
  • the color conversion information calculation unit 105A adds the product captured image (an example of the chart captured image), the color characteristic information of the product, and the shooting information to the information obtained from the additional chart, and the color conversion information It may be configured to perform recalculation.
  • the product sales server 16A may be provided in the EC site server 2.
  • the product sales server 16A transmits the product identification information (product identification information and the like) supplied from the customer terminal 3 together with the customer identification information to the color sample issuing system 1A as product browsing information and product purchase information.
  • FIG. 34 is a sequence diagram showing the flow of processing for generating site color conversion information using the color sample issuing system 1A.
  • each of the customer database 12A, the EC site database 13A, the chart information database 14A, and the device information database 15A is described as each database (12A, 13A, 14A, 15A).
  • Step F401 The person in charge of the EC site accesses the color sample issuing site (that is, the color sample issuing server 10A) by the EC site server 2 and, for example, logs in using the EC site identification information to check the environmental information of the observation environment of the EC site. Request the registration process.
  • the data input/output unit 101A searches the EC site table of the EC site database 13A based on the EC site identification information at the time of access, and confirms which of the registered EC sites.
  • Step F402 The chart issuing unit 102A reads the EC site attribute information of this EC site, and searches the chart table of the chart information database 14A based on the read EC site attribute information. Then, the chart issuing unit 102A extracts the chart search information that is most similar to the EC site attribute information, and reads the chart image index corresponding to the extracted chart search information. The chart issuing unit 102A reads the chart image from the chart information database 14A using the chart image index and issues it as a chart. The chart issuing unit 102A extracts, for example, a chart preset in the EC site as a chart corresponding to the product image of the product group sold by the EC site from the chart information table of the chart information database 14A and issues the chart. It may be configured. The operating company A delivers (or mails) the chart issued by the chart issuing unit 102A from the chart table to the address of the operating company B on the EC site.
  • Step F403 In order to create a product display image for the customer to browse on the EC site, the person in charge of the EC site receives from the operating company A in a predetermined position such as an imaging environment where the product will be imaged, for example, the studio of the operating company B. The supplied chart is imaged.
  • Step F404 Then, the person in charge of the EC site receives the chart imaged image of the chart, the shooting information in the shooting, and the EC site identification information of the EC site from the color management management center (color sample issuing system 1A) by the EC site server 2. ) To.
  • Step F405 The data input/output unit 101A outputs the chart captured image supplied from the EC site server 2 to the captured image acquisition unit 103A. Further, the data input/output unit 101A outputs the photographing information supplied from the EC site server 2 to the device information acquisition unit 104A and the color conversion information calculation unit 105A.
  • the captured image acquisition unit 103A writes the data of the captured image of the chart in the EC site database 13A. Further, the captured image acquisition unit 103A writes and stores the address of the written writing area in the chart captured image index of the site color conversion information list table indicated by the site color conversion information list index corresponding to the site identification information.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104A writes and stores the read camera characteristics in the camera characteristics column of the site color conversion information list table.
  • Step F406 The color conversion information calculation unit 105A reads each of the captured image and the chart identification information from the site color conversion information list table corresponding to the EC site identification information. Then, the color conversion information calculation unit 105A reads the chart design information index sent to the EC site from the chart table of the chart information database 14A based on the read chart identification information. The color conversion information calculation unit 105A reads the color characteristic information of the chart from the storage area indicated by the chart design information index. Further, the color conversion information calculation unit 105A reads the camera characteristics from the site color conversion information list table in correspondence with the EC site identification information.
  • Step F407 The color conversion information calculation unit 105A calculates and obtains the site color conversion information based on the chart captured image, the camera characteristics, and the color characteristic information of the chart.
  • the site color conversion information is information for converting the color characteristic information into the colorimetric value acquired in the imaging environment of the registered EC site. Further, the illumination environment estimation unit 106A estimates the type of light source in the imaging environment from the site color conversion information obtained from the chart.
  • Step F408 The color conversion information calculation unit 105A writes the obtained site color conversion information in the site color conversion information list table in association with the EC site identification information and stores it.
  • the color conversion information calculation unit 105A extracts the time when the chart captured image was captured from the date and time information included in the captured information, and uses it as the obtained color conversion information.
  • the corresponding time range (morning time range, daytime range, nighttime range) is written and stored in the specification data field. Further, information included in the shooting information such as position information based on GPS information or EC site designation information may be recorded.
  • the chart identification information and the EC site identification information (character information or graphic information) described above may be directly printed on a letter, a delivery note, an address, a packing material for delivering the description. Further, the chart identification information and the EC site identification information (character information or graphic information) are colored, and may be used for acquiring color conversion information by capturing an image.
  • the chart is different from the EC site that sends the chart based on the imaging environment of the product on the EC site (time range for imaging the product, information on the imaging location, etc.), and the imaging environment is similar.
  • the chart to be sent to the EC site may be created using the site color conversion information of the other EC site.
  • FIG. 35 is a sequence diagram showing the flow of processing for color conversion and display of a product image using the color sample issuing system 1A.
  • each of the customer database 12A, the EC site database 13A, the chart information database 14A, and the device information database 15A is described as each database (12A, 13A, 14A, 15A).
  • Step F501 The person in charge of the EC site accesses the color management center by the EC site server 2, logs in, for example, with the EC site identification information, and requests the product image of the product registered by himself/herself.
  • the data input/output unit 101A searches the EC site table of the EC site database 13A based on the EC site identification information at the time of access, and confirms which EC site is logged in.
  • Step F502 The estimated image generation server 11A searches the EC site table of the EC site database 13A based on the EC site identification information to obtain the site color conversion information used when generating the product display image, and the site color conversion information of the accessed EC site. Extract the list table.
  • Step F503 the estimated image generation server 11A displays a list of specification data of the site color conversion information list table on the display screen of the EC site server 2 as a display for allowing the person in charge of the EC site to select the site color conversion information.
  • the display shows the observation status in the observation environment such as "morning time range”, “daytime range”, “nighttime range”, and "preset site color conversion information (general office, sunny outdoors, etc.)". A string is used.
  • Step F504 The person in charge of the EC site selects from the list of specification data on the display screen of the EC site server 2 a state corresponding to the observation environment in which he/she observes the actual product. At this time, for example, when the product is observed at 10 am, the morning time range is included in the morning time range. Therefore, the person in charge of the EC site selects the morning time range from the list of specification data on the display screen of the EC site server 2. Further, when the observation is performed at about 8:00 pm, the nighttime range includes the time of observation in the observation environment. Therefore, the person in charge of the EC site selects the nighttime range from the list of specification data on the display screen of the EC site server 2.
  • the person in charge of the EC site selects the preset site color conversion information from the list of specification data on the display screen of the EC site server 2. To do.
  • Step F505 The EC site server 2 selects the observation state selected by the person in charge of the EC site, for example, “morning time range”, “daytime range”, “nighttime range”, “office”, “restaurant”, “preset color conversion”.
  • the selected character string in "information” is transmitted as information to the color sample issuing system 1A.
  • the EC site server 2 transmits, to the color sample issuing system 1A, the device identification information (device information) that identifies the display that displays the display screen together with the information of the character string.
  • Step F506 The data input/output unit 101A outputs the device identification information supplied from the EC site server 2 to the device information acquisition unit 104A.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the display characteristic corresponding to the device information, which is the device identification information, and reads it.
  • the device information acquisition unit 104A stores the read display characteristics by writing them in the display characteristics column of the site color conversion information list table.
  • Step F507 the estimated image generation server 11A reads the display characteristics from the EC site data table of the EC site database 13A corresponding to the EC site identification information. Further, the estimated image generation server 11A uses the site color conversion information selected by the person in charge of the EC site (the site color conversion information generated corresponding to the observation state of the product or the attribute of the product) as the site color conversion information. Read from the list table. The estimated image generation server 11A reads the product color information of each product observed by the person in charge of the EC site from the product color data table of the EC site database 13A.
  • Step F508 Then, the estimated image generation server 11A converts the colorimetric value in the specified observation environment of the product color information into the colorimetric value in the observation environment of the person in charge of the EC site by using the site color conversion information, and makes it correspond to the display characteristic. To generate product display image data.
  • Step F509 The estimated image generation server 11A transmits the generated product display image data to the EC site server 2 via the data input/output unit 101A. Thereby, the person in charge of the EC site can visually recognize the product image on the display screen of the EC site server 2 in the same color as when observing the actual product in his/her own observation environment. At this time, similarly to the processing in step F209, the person in charge of the EC site observes each of the actual product of the product being observed and the product image displayed on the display screen of the EC site server 2 and visually confirms each. The colors may be compared and the comparison result may be transmitted to the color management management center.
  • FIG. 36 is a sequence diagram showing a flow of processing for issuing an additional chart for updating site color conversion information using the color sample issuing system 1A.
  • each of the customer database 12A, the EC site database 13A, the chart information database 14A, and the device information database 15A is described as each database (12A, 13A, 14A, 15A).
  • Step F601 If the color visually recognized in the displayed product image in step F509 and the color visually observed in the imaging environment are different from each other, the person in charge of the EC site accesses the color management management center through the EC site server 2 to perform site color conversion. Request processing for updating information. Then, the EC site server 2 transmits request information for requesting the update of the site color conversion information added with the EC site identification information to the color sample issuing system 1A. As a result, in the color sample issuing system 1A, the additional chart issuing unit 107A extracts the EC site identification information from the request information from the EC site server 2 and changes the site color conversion information of this EC site.
  • Step F602 When the data input/output unit 101A receives the request for changing the site color conversion information of the EC site, the data input/output unit 101A outputs a request for creating an additional chart to the additional chart issuing unit 107A together with the EC site identification information of the EC site. Thereby, the additional chart issuing unit 107A reads the site color conversion information corresponding to the supplied EC site identification information from the site color conversion information list table in the EC site database 13A. In addition, the additional chart issuing unit 107A reads out the product information (product color characteristic information) of the product indicated by the EC site from the product color data table of the EC site database 13A. The additional chart issuing unit 107A reads the chart design information of the chart sent to the EC site from the chart information database 14A.
  • Step F603 the additional chart issuing unit 107A extracts the color to be added to the chart from the additional chart design table of the chart information database 14A. That is, the additional chart issuing unit 107A searches the additional chart design table for site color conversion information, color characteristic information used as a color chart in the chart, type (type) of the light source of the lighting environment, and color characteristic information of the product. Search for additional color search information that is most similar to. Then, the additional chart issuing unit 107A reads the additional chart design information corresponding to the searched additional color search information.
  • the additional chart issuing unit 107A replaces the color charts in the chart and designs a combination of color charts in the additional chart in accordance with the read additional chart design information.
  • the comparison result of the person in charge of the EC site, the light source metamerism in the imaging environment at the EC site, or the person in charge of the EC site or the observer metamerism of the camera may be reflected in the design of the additional chart.
  • the operating company A manufactures the additional chart (for example, prints it on a paper medium) in accordance with the information on the design of the color chart combination in the issued additional chart, and manufactures and issues the additional chart. ..
  • the color chart of the part may be designed by reflecting the difference in the transmittance of the filter or the camera sensitivity.
  • Step F604 Then, the additional chart issuing unit 107A writes the information of the generated additional chart to the additional chart table of the chart information database 14A by adding the chart identification information and stores the information.
  • Step F605 Then, the operating company A delivers the manufactured additional chart to the address registered by the person in charge of the EC site.
  • Step F606 The person in charge of the EC site refers to the additional chart information when the additional chart is delivered. Then, in response to the instruction of the additional chart information, the person in charge of the EC site captures the additional chart captured image by capturing an image of the additional chart with the image capturing device in the observation environment in which the product is captured.
  • Step F607 Then, the person in charge of the EC site accesses the color management management center (color sample issuing system 1A) and displays the data of the additional chart imaged image of the delivered additional chart and the shooting information at the time of image pickup. , Send to Color Management Center.
  • the color management management center color sample issuing system 1A
  • Step F608 When the data of the additional chart captured image and the shooting information are supplied from the EC site server 2, the data input/output unit 101A outputs the data of the additional chart captured image to the captured image acquisition unit 103A. Further, the data input/output unit 101A outputs the photographing information supplied from the EC site server 2 to the device information acquisition unit 104A and the color conversion information calculation unit 105A. Then, the captured image acquisition unit 103A writes the data of the additional chart captured image in the EC site database 13A in association with the EC site identification information, and writes the address of the written area in the site color conversion information list table of the EC site database 13A. Write to and memorize.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104A writes and stores the read camera characteristics in the camera characteristics column of the EC site table.
  • the color conversion information calculation unit 105A uses the chart captured image and the additional chart captured image, the color characteristic information of the chart and the color characteristic information of the additional chart, the comparison result, and the shooting information to re-create the site color conversion information.
  • the calculation is performed, and the existing site color conversion information is updated with the newly obtained site color conversion information.
  • the update in the site color conversion information is performed by a numerical calculation by a polynomial, an update process based on adjustment of an algorithm such as a coefficient adjustment of a model function using a multidimensional function, or a model update by AI (for example, machine learning). You may use the method of.
  • the color conversion information calculation unit 105A overwrites the existing site color conversion information of the site color conversion information list table in the EC site database 13A with the site color conversion information newly obtained by the above-mentioned method, and stores it. Update.
  • the color conversion information calculation unit 105A adds the site captured color conversion information to the product captured image (an example of the chart captured image), the color characteristic information of the product, and the shooting information in addition to the information obtained from the additional chart.
  • the configuration may be such that the recalculation is performed.
  • the color conversion information (including the site color conversion information), the comparison result, and the like obtained from the chart, a more lighting environment (imaging environment and observation) can be obtained. Since it is possible to generate an additional chart that can acquire (environment) information, it is possible to acquire information on the light source in each of the imaging environment in which the product is captured on the EC site and the observation environment in which the customer observes the product. It is possible to acquire with high accuracy the site color conversion information for acquiring the color characteristic information from the captured image of and the color conversion information for converting the color characteristic information into the color image of the observation environment for observing the product.
  • the acquired site color conversion information makes it possible to obtain color characteristic information with high accuracy from a captured image obtained by capturing an image of a product at an EC site.
  • the product display image can be generated using the corresponding color conversion information, and the colors of the product display image and the product visually recognized in the observation environment of the customer can be visually recognized in the same manner.
  • FIG. 37 is a block diagram showing a configuration example of a color management system using a color sample issuing system (color conversion information system, hereinafter simply referred to as color sample issuing system) according to the third embodiment of the present invention.
  • color sample issuing system color conversion information system
  • the color management system is configured by connecting a color sample issuing system (color conversion information generation system) 1B, a hospital server 4 and a patient terminal 5 to each other by a network 500 including the Internet.
  • the storage unit 4_1 stores an electronic medical chart of a patient who is to be diagnosed and treated by telemedicine in a hospital equipped with the hospital server 4 (a captured image of an affected part of a patient, a diagnosis result, and the like).
  • the user is, for example, a doctor of a hospital performing telemedicine (including a person related to the hospital other than the doctor) and a patient who receives treatment and diagnosis in the telemedicine of this hospital (including a person other than the patient). And each).
  • the object to be imaged is an affected area (for example, a part such as eczema, bruise, or bruise on the skin) of a patient who uses remote medicine.
  • the color management center is provided, for example, in the operating company A that performs telemedicine management, and the doctor observes the affected part image of the affected part of each patient on each display screen of the hospital server 4.
  • an observation environment a lighting environment, for example, under the light source of the place where the doctor observes
  • it is displayed in a display color that is visible like the color of the actual diseased part, and the pathology of the affected part is accurately provided to the doctor.
  • the object to be imaged in the present embodiment is a part or the whole of the body of a patient who is diagnosed by a doctor of a hospital performing telemedicine.
  • the color of the skin of the patient differs depending on the pathological condition, and the difference from the color of the surrounding skin is an important judgment condition in the examination and diagnosis by the doctor. Therefore, the display color visually recognized on the display screen of the hospital server 4 and the actual color visually recognized in the characteristics of the doctor's observation environment (the characteristics of the light source that is the illumination of the illumination environment, for example, the spectral radiance characteristic). If they are different, it will hinder the doctor from making an accurate diagnosis, so it is important to adjust the display color of the image of the affected part of the patient (the affected part display image described below) displayed on the display screen of the hospital server 4.
  • the color sample issuing system 1B includes a color sample issuing server 10A, an estimated image generation server 11A, a patient database 12B, a hospital database 13B, a chart information database 14A, and a device information database 15A.
  • the color sample issuing system 1B is a color conversion that converts an image of an affected area imaged and provided by each patient in each imaging environment into an affected area display image that a doctor can visually recognize as an actual color of the affected area in his/her own observation environment.
  • a chart and additional chart for obtaining information (including hospital color conversion information) or color characteristic information for accurately propagating the color of the affected area are generated and issued to the user (patient or doctor).
  • the user attribute information includes patient attribute information and hospital attribute information.
  • FIG. 38 is a diagram showing a configuration example of a patient data table in the patient database 12B.
  • the patient data table is provided for each hospital, and for example, for each record, patient attribute information, color conversion information list index, picked-up image evaluation index, printer characteristics, display characteristics, camera characteristics are associated with patient identification information.
  • Each of the columns is provided.
  • the patient identification information is information that individually identifies each patient.
  • the patient attribute information is the attribute information of the patient indicated by the patient identification information.
  • the color conversion information list index corresponds to a plurality of different color conversion information in the imaging environment of the patient indicated by the patient identification information, preset color conversion information, and other illumination environments that may be imaged by the patient. It is an index such as an address indicating an area in which a color conversion information list table that is list information of each color conversion information is stored.
  • the captured image evaluation index is an index such as an address indicating a region in which an affected part color evaluation table indicating the evaluation of the affected part display image color of the patient with respect to the affected part indicated by the patient identification information is stored.
  • the printer characteristics include the printer output color information such as the ICC profile of the printer and the spectral information (ink information) of the ink used by the patient to print the affected area image and the color sample, and the medium information of the paper on which the affected area image is printed. It is the information to include.
  • the display characteristic is, for example, light emission information such as an ICC profile, spectral radiance, or tristimulus value.
  • the camera characteristic is, for example, spectral sensitivity information of the camera (imaging device).
  • the color conversion information list table stored in the area indicated by the color conversion information list index has the same configuration as that of the first embodiment.
  • FIG. 39 is a diagram showing a configuration example of a captured image evaluation table in the patient database 12B.
  • a captured image evaluation table is written and stored in the patient database 12B.
  • This captured image evaluation table is provided for each patient, and for each record, a column for evaluating the color of the affected part of the captured image corresponding to the affected part identification information (affected part color evaluation) is provided. It is provided.
  • the affected part identification information is information for individually identifying each affected part of the patient.
  • the color information evaluation describes the evaluation of the color of the affected area that has been imaged. For example, “appropriate”, “lack of redness”, color adjustment result by the patient as described below, “reimaging due to different color”, etc. Correspondence to the captured image of is shown.
  • FIG. 40 is a diagram showing a configuration example of a hospital data table in the hospital database 13B.
  • the hospital data table for example, for each record, columns of hospital attribute information, hospital color conversion information list index, comparison result index, printer characteristic, display characteristic, and camera characteristic are provided corresponding to the hospital identification information.
  • the hospital identification information is information that individually identifies each hospital.
  • the hospital attribute information is the attribute information of the hospital indicated by the hospital identification information, such as the hospital name, the location type of the lighting environment, the medical treatment type, the patient age zone, the telephone number, the e-mail address, and the examination/medical hours during the lighting environment. Information.
  • the hospital color conversion information list index is a list of color conversion information that can be used by a hospital doctor, such as a plurality of different hospital color conversion information in the hospital observation (diagnosis/diagnosis) environment indicated by the hospital identification information and preset color conversion information. It is an index such as an address indicating an area in which a hospital color conversion information list table that is each list information is stored.
  • the comparison result index is visually recognized by observing the color visually recognized in the affected part display image of the affected part of another patient imaged in the observation environment by the doctor of the hospital indicated by the hospital identification information and the actual part of the affected part of this other patient. It is an index such as an address indicating an area of the hospital database 13B, in which a file indicating the information of the comparison result with the color (color evaluation information) is stored.
  • information indicating a visible color difference between the actual part of the affected part and the displayed image of the affected part such as weak blue or strong red, or the color of the affected part display image by the application of the hospital server 4 is used.
  • the printer characteristics are information including printer output color information such as an ICC profile of a printer used by a hospital to print an affected part image and a color sample and spectral information of ink, and medium information of a paper on which the affected part image is printed. ..
  • the display characteristic is, for example, light emission information such as an ICC profile, spectral radiance, or tristimulus value.
  • the camera characteristic is, for example, the spectral sensitivity information of the camera.
  • FIG. 41 is a diagram showing a configuration example of an affected part color data table in the hospital database 13B.
  • An affected area color data table is written and stored in the hospital database 13B. This affected part color is provided for each hospital.
  • the affected part color data table has columns of an affected part picked-up image index, an affected part color information index, and an affected part information index corresponding to the affected part identification information for each record.
  • the affected part identification information is information for individually identifying each affected part of the patient.
  • the affected part captured image index is an index such as an address indicating a region in the hospital database 13B in which captured image data captured under the light source of the imaging environment of each patient is stored.
  • the affected part color information index is a region in the hospital database 13B in which color characteristic information data such as a spectral image of a patient's affected part, an affected part reflectance image showing the spectral reflectance of each pixel, or an affected part image in a prescribed observation environment is stored. It is an index such as the indicated address.
  • the affected part information index is an index such as an address indicating a region in the hospital database 13B in which information indicating the spectral reflectance of the affected part and the type of the affected part is stored.
  • the part is attribute information indicating the type of the position of the body, and for example, if it is skin, it is the type of arm, leg, abdomen, head, etc.
  • the doctor observes to make a diagnosis it may be used to design the material of the print medium and color characteristic information of the chart or additional chart, or color conversion may be performed using different color conversion information for each part. You may do it.
  • FIG. 42 is a diagram showing a configuration example of a hospital color conversion information list table in the hospital database 13B.
  • a hospital color conversion information list table is written and stored in the hospital database 13B.
  • This hospital color conversion information list table is provided for each hospital, and corresponds to the hospital color conversion information identification information for each record, corresponding to the chart captured image index, additional chart captured image index, chart identification information, hospital color conversion.
  • Each column of information, algorithm identification information, and specification data is provided.
  • the hospital color conversion information identification information is information for individually identifying each piece of hospital color conversion information.
  • the chart picked-up image index is an index such as an address indicating a region where the picked-up image data of the chart (first color sample) is written and stored in the database.
  • a data table of the pixel position of the pixel extracted from the chart captured image and the pixel value of the pixel indicated by the pixel position may be used as the data of the chart captured image.
  • the additional chart captured image index is an index such as an address indicating a region in which the captured image data of the additional chart (second color sample) in the hospital database 13B is written and stored.
  • the data of the additional chart captured image may be a data table of the pixel position of the pixel extracted from the additional chart captured image and the pixel value of the pixel indicated by this pixel position.
  • the chart identification information is identification information of the chart, and the additional chart identification information is identification information of the additional chart.
  • the hospital color conversion information is the spectral radiance of the light source in the environment where the hospital images the chart or the additional chart, or the tristimulus value conversion matrix.
  • the tristimulus value conversion matrix is a colorimetric value of a specified observation environment (for example, a combination of CIE (International Commission on Illumination)_D50 and a 2-degree standard observer, or a combination of CIE_D65 and a 10-degree standard observer). Is a matrix for performing conversion (color conversion) into device values according to the spectral radiance of the light source in the environment imaged by the hospital and the camera characteristics of the camera used for imaging.
  • the hospital color conversion information is conversion information between the spectral reflectance of the affected area, color characteristic information that is a colorimetric value that defines observation, and the colorimetric value that is observed in the hospital environment.
  • the algorithm identification information is information that identifies the algorithm used when the color conversion information calculation unit 105A calculates the color conversion information, and includes the color characteristic information of the body observed by the doctor, the attribute of the disease state of the affected area, and past similarity.
  • the color conversion information calculation algorithm selected according to conditions such as the case and indoor/outdoor lighting information is identified.
  • the specification data is information indicating the specifications of the hospital color conversion information.
  • the specification data there are types such as a morning time range, a daytime range, and a nighttime range indicating the applicable time range of the corresponding hospital color conversion information.
  • the morning time range indicates, for example, the time range from sunrise time to 12:00 noon.
  • the daytime range indicates, for example, the time range from past 12:00 pm to the sunset time.
  • the specification data may include location information where the doctor of the hospital observes the affected area, and the hospital color conversion information in the consultation room where the doctor of the hospital examines the affected area of the patient can be specified.
  • the night time range indicates from sunset time to sunrise time.
  • the preset hospital color conversion information is common hospital color conversion information, and specifies the spectral radiance of sunlight or the light source in a general examination room, or the environment. It is a conversion matrix for converting the color characteristic information into a colorimetric value that is visually recognized outdoors in a sunny day or in an examination room.
  • hospitals that perform the second additional charts from the second additional chart (second color sample) to the third additional chart (third color sample) to the nth additional chart (nth color sample) The same process as the process related to acquisition of color conversion information is performed.
  • FIG. 43 is a sequence diagram showing a processing flow of an example of patient color conversion information generation using the color sample issuing system 1B.
  • each of the patient database 12B, the hospital database 13B, the chart information database 14A, and the device information database 15A is described as each database (12B, 13B, 14A, 15A) for description.
  • the patient performs the processing, but the family of the patient or another person who is nursing may perform the processing including the imaging of the affected area of the patient as a substitute.
  • Step F101A The patient accesses the color management center (color sample issuing system 1B) with the patient terminal 5, logs in, for example, with the patient identification information, and requests registration processing of environmental information of the imaging environment of the patient.
  • the data input/output unit 101A searches the patient table of the patient database 12B based on the patient identification information at the time of access, and confirms which hospital is registered in the telemedicine program of the hospital.
  • Step F102A The chart issuing unit 102A reads the patient attribute information of this patient, and searches the chart table of the chart information database 14A based on the read patient attribute information. Then, the chart issuing unit 102A extracts the chart search information most similar to this patient attribute information, and reads the chart image index corresponding to the extracted chart search information. The chart issuing unit 102A reads the chart image from the chart information database 14A using the chart image index and issues it as a chart.
  • the chart issuing unit 102A as a chart corresponding to the affected part image of the affected part of the patient group in the medical examination/diagnosis of the hospital, for example, is set in advance in the hospital, and the attribute of the medical condition estimated by the report of the medical condition from the patient ( A chart of similar cases corresponding to the affected part, the diseased condition, etc.) may be extracted from the chart information table of the chart information database 14A and issued.
  • the operating company A delivers (or mails) the chart issued by the chart issuing unit 102A from the chart table to the patient's address.
  • Step F103A The patient images the chart supplied from the operating company A in an imaging environment where he/she will image the affected area, for example, in a predetermined position such as a room in which the patient terminal 5 is provided.
  • Step F104A Then, the patient transmits the chart imaged image of the chart, the shooting information in the imaging, and the patient identification information of the patient to the color management management center (color sample issuing system 1B) using the patient terminal 5.
  • the color management management center color sample issuing system 1B
  • Step F105A The data input/output unit 101A outputs the captured chart image supplied from the patient terminal 5 to the captured image acquisition unit 103A. Further, the data input/output unit 101A outputs the imaging information supplied from the patient terminal 5 to the device information acquisition unit 104A and the color conversion information calculation unit 105A.
  • the captured image acquisition unit 103A writes the data of the chart captured image in the patient database 12B. Further, the captured image acquisition unit 103A writes and stores the address of the written writing area in the chart captured image index of the color conversion information list table indicated by the color conversion information list index corresponding to the patient identification information.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104A writes and stores the read camera characteristics in the camera characteristics column of the color conversion information list table.
  • Step F106A The color conversion information calculation unit 105A reads each of the chart captured image and the chart identification information from the color conversion information list table in correspondence with the patient identification information. Then, the color conversion information calculation unit 105A reads the chart design information index sent to the patient from the chart table of the chart information database 14A based on the read chart identification information. The color conversion information calculation unit 105A reads the color characteristic information of the chart from the storage area indicated by the chart design information index. Further, the color conversion information calculation unit 105A reads the camera characteristics from the color conversion information list table in correspondence with the patient identification information.
  • Step F107A The color conversion information calculation unit 105A calculates the color conversion information based on the chart imaged image, the camera characteristics, and the color characteristic information of the chart.
  • the color conversion information is information for converting the color characteristic information into the colorimetric value acquired in the imaging environment in which the registered patient images the affected area. Further, the illumination environment estimation unit 106A estimates the type of light source in the imaging environment from the color conversion information obtained from the chart.
  • Step F108A The color conversion information calculation unit 105A writes and stores the obtained color conversion information in the color conversion information list table in association with the patient identification information.
  • the color conversion information calculation unit 105A extracts the time when the chart captured image was captured from the date and time information included in the captured information, and for the obtained color conversion information.
  • the corresponding time range (morning time range, daytime range, nighttime range) is written and stored in the specification data field. Further, information included in imaging information such as position information based on GPS information or patient designation information may be recorded.
  • the chart and the chart identification information and the patient identification information adjacent to the chart are printed in advance, and when the chart is imaged on the patient, the chart identification information and the patient identification information are imaged at the same time as the chart. May be.
  • the chart identification information a bar code, a two-dimensional code or the like can be used as in the first embodiment. This makes it possible to easily associate the chart with the patient.
  • the chart identification information itself is colored, and by imaging the chart identification information, not only the association with the patient using the patient identification information but also the color conversion information may be acquired at the same time.
  • operating company A which operates the color management center, prints charts on telemedicine instructions and delivers telemedicine instructions, etc.
  • chart identification information and patient identification information textual information or graphic information
  • print the chart identification information and patient identification information directly on the enclosed letter, delivery note, mailing address, packing material, etc. that deliver the instruction manual, or in a predetermined color It may be colored with a color having a color characteristic to be used as a vote.
  • the chart identification information and the patient identification information are colored and may be used for acquiring color conversion information by imaging.
  • the chart designed in advance by the chart design information is used for estimating the color conversion information in the imaging environment of the patient.
  • the chart information an instruction to image a package of generally distributed products may be provided.
  • the patient takes an image of the package and transmits it from the patient terminal 5 to the color management management center in the same manner as the processing of step F104A described above.
  • the color characteristic information of the printed predetermined area can be easily obtained, and thus the color conversion information can be calculated.
  • color conversion of another patient having a similar imaging environment different from the patient sending the chart is performed. The information may be used to create a chart to send to the patient.
  • FIG. 44 is a sequence diagram showing the flow of processing for color conversion and display of a patient image using the color sample issuing system 1B.
  • each of the patient database 12B, the hospital database 13B, the chart information database 14A, and the device information database 15A is described as each database (12B, 13B, 14A, 15A) for description.
  • the patient performs the processing, but the family of the patient or another person who is nursing may perform the processing including the imaging of the affected area of the patient as a substitute.
  • Step F201A The patient accesses the color management center through the patient terminal 5, logs in, for example, with the patient identification information, and requests the affected part image of the affected part registered by himself/herself.
  • the data input/output unit 101A searches the patient table of the patient database 12B based on the patient identification information at the time of access, and confirms which patient has logged in.
  • Step F202A The estimated image generation server 11A searches the patient table of the patient database 12B based on the patient identification information and extracts the color conversion information list table of the accessed patient in order to obtain the color conversion information used when generating the affected part display image.
  • Step F203A the estimated image generation server 11A displays a list of specification data of the color conversion information list table on the display screen of the patient terminal 5 as a display for allowing the patient to select the color conversion information. Characters that indicate the state of observation in the observation environment such as "morning time range”, “daytime range”, “nighttime range”, and “preset color conversion information (general office, sunny outdoors)" are displayed. Rows are used.
  • Step F204A From the list of specification data on the display screen of the patient terminal 5, the patient selects a state corresponding to the imaging environment in which he/she images the affected area. At this time, for example, when the affected area is observed at 10:00 am, the morning time range is included in the morning time range. Therefore, the patient selects the morning time range from the list of specification data on the display screen of the patient terminal 5. Further, when the image capturing is performed around 8:00 pm, the night time range includes the time of capturing the image in the image capturing environment. Therefore, the patient selects the nighttime range from the list of specification data on the display screen of the patient terminal 5. On the other hand, when the place to be observed is different from the imaging environment of the affected area and is not the room but the living room, the patient selects the preset color conversion information from the list of specification data on the display screen of the patient terminal 5.
  • Step F205A The patient terminal 5 selects the imaging state selected by the patient, such as “morning time range”, “daytime range”, “nighttime range”, “office”, “restaurant”, and “preset color conversion information”.
  • the selected character string is transmitted as information to the color sample issuing system 1B.
  • the patient terminal 5 transmits, to the color sample issuing system 1B, the device identification information (device information) that identifies the display that displays the display screen together with the information of the character string.
  • Step F206A The data input/output unit 101A outputs the device identification information supplied from the patient terminal 5 to the device information acquisition unit 104A.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the display characteristic corresponding to the device information, which is the device identification information, and reads it.
  • the device information acquisition unit 104A stores the read display characteristic by writing it in the display characteristic column of the color conversion information list table.
  • Step F207A Next, the estimated image generation server 11A reads the display characteristics from the patient data table of the patient database 12B corresponding to the patient identification information. The estimated image generation server 11A also reads the color conversion information selected by the patient (color conversion information corresponding to the imaging state of the affected area or the affected area) from the color conversion information list table. The estimated image generation server 11A reads the affected part color characteristic information of each affected part observed by the patient from the affected part color data table of the hospital database 13B.
  • Step F208A Then, the estimated image generation server 11A converts the colorimetric value in the prescribed observation environment of the affected part color information into the colorimetric value in the imaging environment of the patient by the color conversion information, and displays the affected part display image corresponding to the display characteristics. Generate data.
  • Step F209A The estimated image generation server 11A transmits the data of the generated affected part display image to the patient terminal 5 via the data input/output unit 101A.
  • the patient can visually recognize the affected part image on the display screen of the patient terminal 5 in the same color as when observing the affected part of the real patient in the imaging environment of the patient.
  • FIG. 45 is a sequence diagram showing a flow of processing for issuing an additional chart for updating color conversion information using the color sample issuing system 1B.
  • each of the patient database 12B, the hospital database 13B, the chart information database 14A, and the device information database 15A is described as each database (12B, 13B, 14A, 15A) for description.
  • the patient performs the processing, but the family of the patient or another person who is nursing may perform the processing including the imaging of the affected area of the patient as a substitute.
  • Step F301A When the color visually recognized in the affected area display image in step F209A is different from the color visually recognized in the actual affected area in the imaging environment, the patient accesses the color management management center through the patient terminal 5 to update the color conversion information. Perform request processing. Then, the patient terminal 5 transmits request information requesting an update of the color conversion information added with the patient identification information to the color sample issuing system 1B. As a result, in the color sample issuing system 1B, the additional chart issuing unit 107A extracts the patient identification information from the request information from the patient terminal 5 and performs the process of changing the color conversion information of this patient. The request processing for updating the color conversion information may be performed by a doctor who performs remote diagnosis.
  • Step F302A When the data input/output unit 101A receives the request for changing the patient's color conversion information, the data input/output unit 101A outputs the request for creating the additional chart to the additional chart issuing unit 107A together with the patient identification information of the patient.
  • the additional chart issuing unit 107A reads the color conversion information corresponding to the supplied patient identification information from the color conversion information list table in the patient database 12B. Further, the additional chart issuing unit 107A reads the affected part color information (color characteristic information of the affected part) of the affected part indicated by the patient from the affected part color data table of the hospital database 13B.
  • the additional chart issuing unit 107A reads the chart design information of the chart sent to the patient from the chart information database 14A.
  • Step F303A the additional chart issuing unit 107A extracts the color to be added to the chart from the additional chart design table of the chart information database 14A. That is, the additional chart issuing unit 107A, in the additional chart design table, the color conversion information of the body of the patient observed by the doctor, the hospital color conversion information, the color characteristic information used as the color chart in the chart, the type of the light source of the illumination environment (Type), the color characteristic information of the affected area of the patient, the diagnosis result of the doctor, and the additional color search information most similar to the search conditions such as the similar cases in the past. Then, the additional chart issuing unit 107A reads the additional chart design information corresponding to the searched additional color search information.
  • the additional chart issuing unit 107A replaces the color charts in the chart and designs a combination of color charts in the additional chart in accordance with the read additional chart design information.
  • the result of patient comparison, the light source metamerism in the imaging environment of the patient, or the observer metamerism of the patient or the camera may be reflected in the design of the additional chart.
  • the color chart of the part may be designed by reflecting the difference in the transmittance of the filter or the camera sensitivity.
  • the operating company A manufactures the additional chart (for example, prints it on a paper medium) in accordance with the information on the design of the color chart combination in the issued additional chart, and manufactures and issues the additional chart. ..
  • Step F304A Then, the additional chart issuing unit 107A writes the information of the generated additional chart to the additional chart table of the chart information database 14A by adding the chart identification information and stores the information.
  • Step F305A Then, the operating company A delivers the manufactured additional chart information to the address registered by the patient.
  • Step F306A The patient refers to the additional chart information when the additional chart is delivered. Then, in response to the instruction of the additional chart information, the patient captures the additional chart captured image by capturing an image of the additional chart by the imaging device in the imaging environment in which the affected area of the patient is captured.
  • the imaging of the additional chart itself may be performed by a person other than the patient as long as it is an imaging environment.
  • Step F307A Then, the patient accesses the color management management center (color sample issuing system 1B) and manages the data of the additional chart imaged image of the delivered additional chart and the imaging information at the time of the image management. Send to the center.
  • the color management management center color sample issuing system 1B
  • Step F308A When the data of the additional chart captured image and the imaging information are supplied from the patient terminal 5, the data input/output unit 101A outputs the data of the additional chart captured image to the captured image acquisition unit 103A. Further, the data input/output unit 101A outputs the imaging information supplied from the patient terminal 5 to the device information acquisition unit 104A and the color conversion information calculation unit 105A. Then, the captured image acquisition unit 103A writes the data of the additional chart captured image in the patient database 12B in association with the patient identification information, and writes the address of the written area in the color conversion information list table of the patient database 12B. Memorize with.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104A writes and stores the read camera characteristics in the camera characteristics column of the color conversion information list table.
  • the color conversion information calculation unit 105A recalculates the color conversion information using the chart captured image and the additional chart captured image, the color characteristic information of the chart and the color characteristic information of the additional chart, the comparison result, and the shooting information. Then, the existing color conversion information is updated with the newly obtained color conversion information.
  • the update in the color conversion information may be performed by a numerical calculation by a polynomial, an update process based on an algorithm adjustment such as a coefficient adjustment of a model function using a multidimensional function, or a model update by AI (for example, machine learning). A method may be used.
  • the color conversion information calculation unit 105A overwrites the existing color conversion information in the color conversion information list table in the patient database 12B with the color conversion information newly obtained by the above-described method, and stores the updated color conversion information.
  • the affected area and the additional chart to be observed by the patient may be imaged at the same time, and the captured image in which the affected area and the additional chart are imaged together may be transmitted to the color sample issuing system 1B.
  • the color conversion information calculation unit 105A adds the captured image of the affected area (an example of the captured image of the chart), the color characteristic information of the affected area of the patient, and the imaging information to the information obtained from the additional chart and performs the color conversion.
  • the information may be recalculated.
  • the additional chart may be provided to the patient by being printed on a postcard showing the doctor's diagnosis result, a medical certificate showing the medical examination result, an envelope used for delivering the medical certificate, or the like.
  • FIG. 46 is a sequence diagram showing a flow of processing of generating color conversion information of a hospital using the color sample issuing system 1B.
  • each of the patient database 12B, the hospital database 13B, the chart information database 14A, and the device information database 15A is described as each database (12B, 13B, 14A, 15A) for description.
  • the process is described as a process performed by a doctor in the hospital, but may be any person who is a staff member of the hospital or a person who requests the process.
  • Step F401A The doctor of the hospital accesses the color management management center (color sample issuing system 1B) through the hospital server 4, logs in, for example, with the hospital identification information, and requests registration processing of environmental information of the observation environment of the hospital.
  • the data input/output unit 101A searches the hospital data table of the hospital database 13B based on the hospital identification information at the time of access, and confirms which hospital is registered.
  • Step F402A The chart issuing unit 102A reads out the hospital attribute information of this hospital and searches the chart table of the chart information database 14A based on the read hospital attribute information. Then, the chart issuing unit 102A extracts the chart search information that is most similar to this hospital attribute information, and reads the chart image index corresponding to the extracted chart search information. The chart issuing unit 102A reads the chart image from the chart information database 14A using the chart image index and issues it as a chart. Further, the chart issuing unit 102A extracts, as a chart corresponding to the affected part image of the medical examination subject of the hospital, for example, a chart preset for the affected part to be imaged from the chart information table of the chart information database 14A and issues the chart. It may be configured to. The operating company A delivers (or mails) the chart issued by the chart issuing unit 102A from the chart table to the registered hospital address.
  • Step F403A The doctor at the hospital performs diagnosis/diagnosis, for example, in the consultation room of the hospital, in order to obtain color conversion information for observing the display image of the affected area in accordance with the observation environment (lighting environment) for diagnosing/diagnosing the affected area of the patient.
  • the chart supplied from the operating company A is imaged at a predetermined position.
  • Step F404A Then, the doctor of the hospital transmits the chart imaged image of the chart, the photographing information in the photographing, and the hospital identification information of the hospital to the color management management center (color sample issuing system 1B) by the hospital server 4. To do.
  • Step F405A The data input/output unit 101A outputs the chart captured image supplied from the hospital server 4 to the captured image acquisition unit 103A. Further, the data input/output unit 101A outputs the imaging information supplied from the hospital server 4 to the device information acquisition unit 104A and the color conversion information calculation unit 105A.
  • the captured image acquisition unit 103A writes the data of the chart captured image in the hospital database 13B. Further, the captured image acquisition unit 103A writes and stores the address of the written writing area in the chart captured image index of the hospital color conversion information list table indicated by the hospital color conversion information list index corresponding to the hospital identification information.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104A writes and stores the read camera characteristics in the camera characteristics column of the hospital color conversion information list table.
  • Step F406A The color conversion information calculation unit 105A reads each of the chart captured image and the chart identification information from the hospital color conversion information list table of the hospital database 13B corresponding to the hospital identification information. Then, the color conversion information calculation unit 105A reads the chart design information index sent to the hospital from the chart table of the chart information database 14A based on the read chart identification information. The color conversion information calculation unit 105A reads the color characteristic information of the chart from the storage area indicated by the chart design information index. In addition, the color conversion information calculation unit 105A reads the camera characteristics from the hospital color conversion information list table corresponding to the hospital identification information.
  • Step F407A The color conversion information calculation unit 105A calculates and obtains hospital color conversion information based on the chart imaged image, the camera characteristics, and the color characteristic information of the chart.
  • the hospital color conversion information is information for converting the color characteristic information into a colorimetric value visually recognized in an observation environment in which a diseased part in a registered hospital is examined and diagnosed.
  • color conversion information suitable for each patient and each observed case may be generated.
  • a color conversion algorithm or color chart used to calculate hospital color conversion information is selected and used.
  • optimum color conversion information can be used for the patient indicated by the patient identification information or a similar case.
  • the illumination environment estimation unit 106A estimates the type of the light source in the observation environment for the examination/diagnosis from the hospital color conversion information obtained from the chart.
  • Step F408A The color conversion information calculation unit 105A writes the obtained hospital color conversion information in the hospital color conversion information list table in association with the hospital identification information and stores it.
  • the color conversion information calculation unit 105A extracts the time when the chart captured image was captured from the date and time information included in the captured information and uses it as the obtained color conversion information.
  • the corresponding time range (morning time range, daytime range, nighttime range) is written and stored in the specification data field. Further, information included in the shooting information such as position information based on GPS information or hospital designation information may be recorded.
  • the chart is delivered and provided to the hospital.
  • the hospital color conversion information is displayed on the front or back of the membership card (including registration card and registration card) of the color management center.
  • the chart to be sought and the chart identification information and the hospital identification information adjacent to the chart are printed in advance, and when the hospital captures the chart, the chart identification information and the hospital identification information are captured at the same time as the chart. You may do it.
  • the operating company A which operates the color management management center, encloses the charts and explains when delivering the explanation about the management method of the color management.
  • the chart identification information and the hospital identification information (character information or graphic information) described above may be directly printed on the envelope, delivery note, address, packing material, etc. for delivering the. Further, the chart identification information and the hospital identification information (character information or graphic information) are colored, and may be used for acquiring color conversion information by imaging.
  • the chart is different from the hospital to which the chart is sent, based on the observation environment for examining and diagnosing the affected part of the patient in the hospital (time range for observing the affected part of the patient, information on the observed place, etc.).
  • a chart to be sent to the hospital may be created using the hospital color conversion information of another hospital having a similar imaging environment.
  • FIG. 47 is a sequence diagram showing the flow of processing for color conversion and display of an affected area image using the color sample issuing system 1B.
  • each of the patient database 12B, the hospital database 13B, the chart information database 14A, and the device information database 15A is described as each database (12B, 13B, 14A, 15A) for description.
  • the process is described as a process performed by a doctor in the hospital, but may be any person who is the staff of the hospital or a person who requests the process.
  • Step F501A The doctor of the hospital accesses the color management center (color sample issuing system 1B) by the hospital server 4, logs in, for example, with the hospital identification information, and displays the affected part image of the affected part of the patient of the hospital registered by himself/herself. Request to browse.
  • the data input/output unit 101A searches the hospital data table of the hospital database 13B based on the hospital identification information at the time of access, and confirms which hospital is registered.
  • Step F502A The estimated image generation server 11A searches the hospital data table of the hospital database 13B by the hospital identification information in order to obtain the hospital color conversion information used when generating the affected part display image, and obtains the hospital color conversion information list table of the accessed hospital. Extract.
  • Step F503A the estimated image generation server 11A displays a list of specification data of the hospital color conversion information list table on the display screen of the hospital server 4 as a display for allowing the doctor of the hospital to select the hospital color conversion information.
  • a display "morning time range”, “daytime range”, “nighttime range” and “preset color conversion information (general hospital consultation room, sunny outdoors, etc.)" observations for diagnosis and diagnosis
  • a character string indicating the state of observation in the environment is used.
  • Step F504A From the list of specification data on the display screen of the hospital server 4, the doctor of the hospital selects a state corresponding to the environment in which he/she observes the affected part of the actual patient. At this time, for example, when the time designation for the examination/diagnosis of the affected part of the patient is 10:00 am, the doctor of the hospital includes the hospital server 4 because the time for observing the affected part of the patient in the observation environment is included in the morning time range. Select the morning time range from the list of specification data on the display screen. If the patient's affected part is examined and diagnosed around 8:00 pm, the time for observing the affected part of the patient in the observation environment is included in the nighttime range. Select the night time range from the list. On the other hand, when the observation environment for observing the affected part of the patient is not the room but the gymnasium of the school, the hospital doctor selects the preset hospital color conversion information from the list of the specification data on the display screen of the hospital server 4.
  • Step F505A The hospital server 4 selects the observation state selected by the doctor of the hospital, for example, “morning time range”, “daytime range”, “nighttime range”, “office”, “restaurant”, “preset hospital color conversion information”.
  • the selected character string in is transmitted to the color sample issuing system 1B as information.
  • the hospital server 4 transmits, to the color sample issuing system 1B, the device identification information (device information) that identifies the display that displays the display screen together with the information of the character string.
  • Step F506A The data input/output unit 101A outputs the device identification information supplied from the customer terminal 3 to the device information acquisition unit 104A.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the display characteristic corresponding to the device information, which is the device identification information, and reads it.
  • the device information acquisition unit 104A stores the read display characteristics by writing them in the display characteristics column of the hospital color conversion information list table.
  • Step F507A Next, the estimated image generation server 11A reads the display characteristics from the hospital data table of the hospital database 13B corresponding to the hospital identification information. Further, the estimated image generation server 11A uses the hospital color conversion information selected by the doctor of the hospital (the observation environment for examining and diagnosing the affected part of the patient, the hospital color conversion information corresponding to the affected part and the expected case of the patient). From the hospital color conversion information list table. The estimated image generation server 11A reads the affected part color characteristic information of each affected part of the patient to be observed for the examination/diagnosis of the doctor of the hospital from the affected part color data table of the hospital database 13B.
  • the hospital color conversion information selected by the doctor of the hospital the observation environment for examining and diagnosing the affected part of the patient, the hospital color conversion information corresponding to the affected part and the expected case of the patient. From the hospital color conversion information list table.
  • the estimated image generation server 11A reads the affected part color characteristic information of each affected part of the patient to be observed for the examination/diagnosis of the doctor of the
  • Step F508A Then, the estimated image generation server 11A converts the colorimetric value in the prescribed observation environment of the affected part color characteristic information of the affected part of the patient into the colorimetric value in the observation environment in which the doctor's examination/diagnosis is performed by the hospital color conversion information, and Data of the affected area display image is generated in correspondence with the display characteristics.
  • Step F509A The estimated image generation server 11A transmits the generated data of the affected part display image to the hospital server 4 via the data input/output unit 101A.
  • the doctor in the hospital visually recognizes the affected area image on the display screen of the hospital server 4 in the same color as when actually observing the affected area of the patient in the observation environment where he/she examines/diagnoses the affected area of the patient. be able to.
  • the estimated image generation server 11A also includes, for example, the chart display image obtained by converting the color characteristic information of the chart by the hospital color conversion information in the affected area display image.
  • the doctor of the hospital observes each of the delivered chart and the chart image in the affected part image displayed on the display screen of the hospital server 4, compares the visually recognized colors, and compares the comparison result, It may be configured to send to the color management management center. That is, the doctor at the hospital actually sees the chart by sequentially adjusting the color component RGB (red: red, green: green, blue: blue) adjustment bars displayed on the display screen of the hospital server 4.
  • RGB red: red, green: green, blue: blue
  • the doctor of the hospital recognizes that the chart image in the affected part image on the display screen and the color of the chart actually observed are the same, a display for inputting the adjustment amount of the color component RGB adjustment bar or the like.
  • the adjustment of the color of the display image by is finished.
  • the doctor in the hospital may adjust the color of the display image by comparing the affected area of the patient who has come to the hospital with the captured image of the affected area.
  • the hospital server 4 transmits the data of the affected part image whose color has been adjusted by the doctor of the hospital to the color sample issuing system 1B as evaluation information (comparison result).
  • information such as “lack of redness” may be transmitted to the color sample issuing system 1B as evaluation information.
  • the color sample issuing system 1B uses the evaluation information in addition to the additional color search information in the additional chart design table.
  • FIG. 48 is a sequence diagram showing a flow of processing for issuing an additional chart for updating hospital color conversion information using the color sample issuing system 1B.
  • each of the patient database 12B, the hospital database 13B, the chart information database 14A, and the device information database 15A is described as each database (12B, 13B, 14A, 15A) for description.
  • the process is described as a process performed by a doctor in the hospital, but may be any person who is a staff member of the hospital or a person who requests the process.
  • Step F601A If the color of the chart image visually recognized in the affected part display image in step F509A and the color visually recognized in the actual chart in the observation environment are different, the hospital doctor uses the hospital server 4 to execute the color management management center (color sample issuing system). 1B), and request processing for updating the hospital color conversion information is performed. Then, the hospital server 4 transmits request information for requesting the update of the hospital color conversion information added with the hospital identification information to the color sample issuing system 1B. Thereby, in the color sample issuing system 1B, the additional chart issuing unit 107A extracts the hospital identification information from the request information from the hospital server 4 and performs the process of changing the hospital color conversion information of this hospital.
  • the color management management center color sample issuing system
  • Step F602A When the data input/output unit 101A receives the request for changing the hospital color conversion information of the hospital, the data input/output unit 101A outputs the request for creating the additional chart to the additional chart issuing unit 107A together with the hospital identification information of the hospital. Thereby, the additional chart issuing unit 107A reads the hospital color conversion information corresponding to the supplied hospital identification information from the color conversion information list table in the patient database 12B. Further, the additional chart issuing unit 107A reads out the affected part color information (color characteristic information of the affected part) indicated by the doctor of the hospital from the affected part color data table of the hospital database 13B. The additional chart issuing unit 107A reads the chart design information of the chart sent to the hospital from the chart information database 14A.
  • Step F603A the additional chart issuing unit 107A extracts the color to be added to the chart from the additional chart design table of the chart information database 14A. That is, the additional chart issuing unit 107A searches the additional chart design table for the hospital color conversion information, the color characteristic information used as the color chart in the chart, the type (type) of the light source of the illumination environment, and the color characteristic information of the affected area. Search for additional color search information that is most similar to. Then, the additional chart issuing unit 107A reads the additional chart design information corresponding to the searched additional color search information.
  • the additional chart issuing unit 107A replaces the color charts in the chart and designs a combination of color charts in the additional chart in accordance with the read additional chart design information.
  • the comparison result of the hospital doctor, the light source metamerism in the observation environment of the hospital doctor, or the observer metamerism of the hospital doctor or the camera may be reflected in the design of the additional chart.
  • the color chart of the part may be designed by reflecting the difference in the transmittance of the filter or the camera sensitivity.
  • the operating company A manufactures the additional chart (for example, prints it on a paper medium) in accordance with the information on the design of the color chart combination in the issued additional chart, and manufactures and issues the additional chart. ..
  • Step F604A Then, the additional chart issuing unit 107A writes the information of the generated additional chart to the additional chart table of the chart information database 14A by adding the chart identification information and stores the information.
  • Step F605A Then, the operating company A delivers the manufactured additional chart information to the address (hospital, medical examination section) registered by the doctor of the hospital.
  • Step F606A The doctor at the hospital refers to the additional chart information when the additional chart is delivered. Then, in response to the instruction of the additional chart information, the doctor of the hospital takes an image of the additional chart by the imaging device in the observation environment for observing the affected part of the patient, and acquires the additional chart captured image.
  • the imaging of the additional chart itself may be performed by a person other than the doctor in the hospital as long as it is an observation environment.
  • Step F607A Then, the doctor at the hospital accesses the color management management center, and obtains the data of the additional chart imaged image of the delivered additional chart and the shooting information at the time of shooting the color management management center (issue a color sample). Send to system 1B).
  • Step F608A When the data of the additional chart captured image and the imaging information are supplied from the hospital server 4, the data input/output unit 101A outputs the data of the additional chart captured image to the captured image acquisition unit 103A. Further, the data input/output unit 101A outputs the imaging information supplied from the hospital server 4 to the device information acquisition unit 104A and the color conversion information calculation unit 105A. Then, the captured image acquisition unit 103A writes the data of the additional chart captured image in the hospital database 13B in association with the hospital identification information, and writes the address of the written area to the hospital color conversion information list table in the hospital database 13B. Write and memorize.
  • the device information acquisition unit 104A searches the device information table of the device information database 15A for the camera characteristics corresponding to the device identification information included in the shooting information, and reads the camera characteristics. Then, the device information acquisition unit 104A writes and stores the read camera characteristics in the camera characteristics column of the hospital color conversion information list table.
  • the color conversion information calculation unit 105A uses the chart captured image and the additional chart captured image, the color characteristic information of the chart and the color characteristic information of the additional chart, the comparison result, and the photographing information to re-create the hospital color conversion information.
  • the calculation is performed, and the existing hospital color conversion information is updated with the newly obtained hospital color conversion information.
  • the update in the hospital color conversion information includes a numerical calculation by a polynomial, an update process based on algorithm adjustment such as a coefficient adjustment of a model function using a multidimensional function, or a model update by AI (for example, machine learning). You may use the method of.
  • the color conversion information calculation unit 105A updates the hospital color conversion information newly obtained by the method described above by overwriting the existing hospital color conversion information in the hospital color conversion information list table in the hospital database 13B and storing it. Do.
  • the color conversion information (including the hospital color conversion information), the comparison result, and the like obtained from the chart, a more illumination environment (imaging environment and observation) can be obtained. Since it is possible to generate an additional chart that can acquire information on the (environment), it is possible to acquire information on the light source in each of the imaging environment for imaging the affected part of the patient and the observation environment for the doctor in the hospital to observe the affected part of the patient With high accuracy, color conversion information that acquires color characteristic information from a captured image of an affected area in the environment and hospital color conversion information that converts this color characteristic information into a color image of an observation environment in which a doctor of a hospital observes the affected area. Can be obtained.
  • the acquired color conversion information for each patient can be used to obtain the color characteristic information with high accuracy from the captured image of the affected area of the patient at the patient's home.
  • the affected area display image can be generated using the hospital color conversion information corresponding to the doctor's observation environment, and the color of the affected area display image and the affected area visually recognized in the observation environment in which the doctor's examination and diagnosis are performed can be visually recognized in the same manner. can do.
  • the product sales support system 1 color conversion information generation system in FIG. 1
  • the color sample issuing system 1A color conversion information generation system
  • the color sample issuing system 1B color conversion in FIG. 37.
  • Information generation system a program for realizing each function of the information recording system is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed, so that the user can obtain a color sample. It is also possible to perform a process of estimating the imaging environment for capturing the image or the illumination environment of the observation environment for observing the object and generating the color conversion information.
  • the “computer system” mentioned here includes an OS and hardware such as peripheral devices.
  • the “computer system” also includes a WWW system having a homepage providing environment (or display environment).
  • the “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • the "computer-readable recording medium” is a volatile memory (RAM) inside a computer system that serves as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.
  • RAM volatile memory
  • the above program may be transmitted from a computer system that stores the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the "transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be a program for realizing some of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本発明は、照明環境に対応する情報であり、照明環境における物体の色を示す色情報と、当該物体の色特性を示す色特性情報との各々を相互に変換させる情報である色情報変換情報を生成する色変換情報生成方法であり、色特性情報が既知である色見本を決定するための色見本情報をユーザに提供する色見本情報提供過程と、照明環境において、色見本情報によって決定される色見本が撮像された画像である撮像画像をユーザから受信する撮像画像受信過程と、撮像画像と、色見本情報によって決定される色見本の色特性情報とから、ユーザに対応付けて照明環境に対応する色変換情報を生成する色変換情報生成過程とを含むことを特徴とする色変換情報生成方法である。

Description

色変換情報生成方法、色変換情報生成システム及びプログラム
 本発明は、色変換情報生成方法、色変換情報生成システム及びプログラムに関する。
 本願は、2019年2月5日に、日本に出願された特願2019-019028号と、2019年8月26日に、日本に出願された特願2019-153871号とに基づき、優先権を主張し、これらの内容をここに援用する。
 近年、ユーザが物品(商品などの物体)を購入する際、EC(electronic commerce)サイトにアクセスして、ユーザが端末の表示画面において商品、例えば服飾品等を観察して、実物を実際に観察せずに、商品を購入することが行なわれている(例えば、特許文献1参照)。
 ユーザは、端末の表示画面上において、商品のサイズや色を確認して、自身に合うサイズと、欲しい色とに基づいて、ECサイトによる商品の購入を行なう。
 上述したように、ユーザが実際の物体を観察することなく、この物体の色の評価を行なうことが行なわれている。
日本国特開2009-288928号公報
 上述したように、ECサイトにおける商品の購入において、商品のサイズについては、規格が示されていたり、あるいは寸法が記載されている。
 このため、顧客は、端末の表示画面で観察している商品が、自身の欲しいサイズであるか否かを容易に判断することができる。
 しかしながら、商品の色に関しては、表示画面で選択した際の商品の色と、実際に観察する際の色とが異なる場合が多くあり、顧客が気にいらないとして、商品の返品処理を行なう場合がある。この原因としては、ECサイトにおいて画像を撮像する撮像環境の光源と、顧客が実際に商品を観察する観察環境の光源の特性が異なることが挙げられる。
 特に、服飾品などは、他の服飾品との微妙な色合いの好みが、顧客の感性により判定されるため、購入した商品の色が考えていた色と異なる場合、好みに合わないと判定されてしまう。
 結果として、表示画面で確認した商品の色が実物の色と異なるため、ECサイトでは顧客が所望の色の商品を購入することが困難である。
 また、物品の色の忠実な色再現が要求される文化財やカタログなどの印刷再現においては、物品を撮像する撮像環境と、撮像した撮像装置のカメラパラメータとを事前に取得している。そして、観察環境において、顧客に対して物体の色を実物と同様に視認させるためのカラーマネージメントを行なっている。
 しかし、一般の顧客は、多種多様な自身の観察環境において、表示画面において選択した商品画像の色と、届いた商品の実物の色との観察を行なう。このとき、一般のユーザであるECサイトの顧客やECサイトを運営する担当者などは、カラーマネージメントの知識及び専用の機器を有していないため、商品画像の色と実物の商品の色とを同様に視認するカラーマネージメントを行なうことができない。
 また、一般のユーザは、上述したカラーマネージメントの意識がないため、一旦撮像環境や観察環境の情報が取得された後、これら撮像環境や観察環境が変更された場合に、この変更に対応して、カラーマネージメントの調整の処理を行うことができない。撮像環境及び観察環境の各々は、色を視認する際において、主として光源の環境である照明環境である。
 このため、初期の段階では物体の色を実物と同様に視認できても、撮像環境や観察環境が変更されてしまうと、ユーザが物体の色を実物と同様に視認できる画像として提供したり、あるいはユーザの観察環境下において実物と同様の色として視認することができなくなる場合がある。
 本発明は、このような状況に鑑みてなされたもので、カラーマネージメントの知識を持たない一般のユーザに対して、このユーザの撮像環境で撮像された物体の画像、または観察環境で視認される物体の画像である物体画像が実物の物体の色と同様と視認できるようにするため、撮像環境及び観察環境(照明環境)の各々に対応した、物体の実物の色と、ユーザの各々の照明環境下で視認される色とを相互に変換する色変換情報を生成する色変換情報生成方法、色変換情報生成システム及びプログラムを提供する。
 本発明の第1態様は、照明環境に対応する情報であり、前記照明環境における物体の色を示す色情報と、当該物体の色特性を示す色特性情報との各々を相互に変換させる情報である色変換情報を生成する色変換情報生成方法であり、前記色特性情報が既知である色見本を決定するための色見本情報をユーザに提供する色見本情報提供過程と、前記照明環境において、前記色見本情報によって決定される色見本が撮像された画像である撮像画像を前記ユーザから受信する撮像画像受信過程と、前記撮像画像と、前記色見本情報によって決定される色見本の色特性情報とから、前記ユーザに対応付けて前記照明環境に対応する前記色変換情報を生成する色変換情報生成過程とを含むことを特徴とする色変換情報生成方法である。
 本発明の第2態様は、上記第1態様の色変換情報生成方法において、前記色変換情報が、前記物体の属性に対応する前記色特性に対応して生成されている。
 本発明の第3態様は、上記第1態様または上記第2態様の色変換情報生成方法において、前記ユーザに提供する前記色見本情報によって決定される前記色見本を生成する色見本生成過程をさらに含んでもよい。
 本発明の第4態様は、上記第3態様の色変換情報生成方法において、前記色見本が前記色見本情報によって決定される、前記色特性情報が既知である色で印刷された文字、図形及びカラーチャートのいずれかあるいは組み合わせを含む印刷物であってもよい。
 本発明の第5態様は、上記第4態様の色変換情報生成方法において、前記印刷物が、前記ユーザに前記物体が配送される際、当該ユーザが前記物体とともに受領する、前記色見本が印刷された他の物体であってもよい。
 本発明の第6態様は、上記第4態様の色変換情報生成方法において、前記印刷物が、前記ユーザが所定の団体へのユーザ登録において、当該ユーザが前記団体から受領する、前記色見本が印刷された他の物体であってもよい。
 本発明の第7態様は、上記第4態様の色変換情報生成方法において、前記印刷物が、前記ユーザが所定の団体にユーザ登録する際、当該ユーザが前記団体の登録システムにアクセスするURLを示す図形及び文字のいずれかが、前記色見本として印刷された他の物体であってもよい。
 本発明の第8態様は、上記第1態様または上記第2態様の色変換情報生成方法において、前記色見本が、前記ユーザに提供される、施された色の前記色特性情報が既知である前記物体であってもよい。
 本発明の第9態様は、上記第1態様または上記第2態様の色変換情報生成方法において、前記色見本が、施された色の前記色特性情報が既知である汎用品であってもよい。
 本発明の第10態様は、上記第1態様または上記第2態様の色変換情報生成方法において、前記色見本が、印刷された色の前記色特性情報が既知である色票が印刷された印刷物であってもよい。
 本発明の第11態様は、上記第1態様から第10態様のいずれかの色変換情報生成方法において、前記ユーザの前記照明環境において、前記色見本である第1色見本情報によって決定される第1色見本が撮像された第1撮像画像を受信する過程と、前記第1撮像画像と、前記第1色見本の前記色特性情報とにより、前記ユーザの前記照明環境における前記色変換情報を生成する過程と、前記色変換情報を生成する過程より後のタイミングにおいて、前記第1色見本とは前記色特性情報が異なる第2色見本を決定するための前記色見本情報である第2色見本情報を前記ユーザに提供する過程と、前記ユーザの前記照明環境において、前記第2色見本情報によって決定される前記第2色見本が撮像された第2撮像画像を受信する過程と、前記第2撮像画像と、前記第2色見本の前記色特性情報とにより、前記ユーザの前記照明環境における前記色変換情報を更新する過程とを含んでもよい。
 本発明の第12態様は、上記第11態様の色変換情報生成方法において、前記第1撮像画像に対応した前記第2色見本を生成する過程を含んでもよい。
 本発明の第13態様は、上記第11態様または第12態様の色変換情報生成方法において、前記第2撮像画像が、前記ユーザに配送された前記物体が撮像された画像、あるいは当該物体及び前記第2色見本が撮像された画像であってもよい。
 本発明の第14態様は、上記第12態様または第13態様の色変換情報生成方法において、前記ユーザの前記照明環境が変化したことを検出した場合、前記色特性情報を更新してもよい。
 本発明の第15態様は、上記第14態様の色変換情報生成方法において、前記照明環境における第2色見本の色特性情報に対応する色情報が、前記第2撮像画像の前記第2色見本の色情報と、予め定められた所定の閾値以上に異なる場合、前記照明環境が変化したことを検知してもよい。
 本発明の第16態様は、上記第14態様の色変換情報生成方法において、前記ユーザから、当該ユーザの前記照明環境が変化したことを示す情報を受信した場合、前記照明環境が変化したことを検知してもよい。
 本発明の第17態様は、上記第11態様から第16態様のいずれかの色変換情報生成方法において、前記ユーザに前記第2色見本情報を提供するタイミングが、当該ユーザの属性情報に基づいて決定されてもよい。
 本発明の第18態様は、上記第1態様から第17態様のいずれかの色変換情報生成方法において、前記色見本が撮像された前記撮像画像を受信した際に与える所定のインセンティブの情報を、前記ユーザに対して提供してもよい。
 本発明の第19態様は、上記第1態様から第18態様のいずれかの色変換情報生成方法において、前記色変換情報により前記物体の色特性情報を色情報に変換し、当該色情報に基づく画像である物体表示画像を生成する過程と、前記物体表示画像を前記ユーザの所有する端末に送信する過程とを含んでもよい。
 本発明の第20態様は、上記第19態様の色変換情報生成方法において、前記ユーザが前記物体表示画像と前記物体とを比較した結果の評価情報により、前記ユーザの前記色変換情報を更新する過程とを含んでもよい。
 本発明の第21態様は、上記第19態様の色変換情報生成方法において、色見本の色特性情報から、前記色変換情報により前記ユーザの観察環境における当該色見本の色情報を推定し、前記色見本の推定画像である色見本表示画像を生成する過程と、前記色見本表示画像を前記ユーザの端末に送信する過程と、前記ユーザが前記色見本表示画像と前記色見本とを比較した結果の評価情報により、前記ユーザの前記色変換情報を更新する過程とをさらに含んでもよい。
 本発明の第22態様は、上記第11態様または第12態様の色変換情報生成方法において、前記第2色見本が、少なくとも、前記物体の前記色特性情報、前記第1色見本により得られた前記照明環境の前記色変換情報、及び前記照明環境の情報により選択された、前記第1色見本を撮像した前記照明環境と類似した類似照明環境における色変換情報である類似色変換情報のいずれかあるいは組合せまたは全てに対応させた色の組合せで生成されてもよい。
 本発明の第23態様は、上記第11態様または第12態様の色変換情報生成方法において、前記照明環境の属性である環境属性に対応した色の組合せに対応して前記第2色見本を生成してもよい。
 本発明の第24態様は、上記第23態様の色変換情報生成方法において、前記環境属性が照明の特性を含んでもよい。
 本発明の第25態様は、上記第3様態、第11態様、第12態様のいずれかの色変換情報生成方法において、前記ユーザの属性であるユーザ属性情報に基づき、前記ユーザが分類されるグループのユーザ属性情報を示すグループ情報を生成する過程と、前記グループ情報の示す前記ユーザ属性情報に対応した前記色特性の組合せによる前記色見本を生成する過程とを含んでもよい。
 本発明の第26態様は、上記第25態様の色変換情報生成方法において、前記ユーザ属性情報が、前記ユーザの前記照明環境の場所の属性、前記ユーザの性別、前記ユーザの年齢、前記ユーザの住所、前記ユーザの職業のいずれか又は組合せあるいは全てを含んでもよい。
 本発明の第27態様は、上記第3様態、第11態様、第12態様のいずれかの色変換情報生成方法において、前記物体が医師が観察する身体であり、前記身体の属性に対応して生成された色特性の組合せにより、前記色見本を生成してもよい。
 本発明の第28態様は、上記第27態様の色変換情報生成方法において、前記身体が患者の患部であり、前記身体の属性が、前記患部の身体における部位、及び当該患部の症状に類似した症例のいずれか又は組合せ、あるいは全てを含んでもよい。
 発明の第29態様は、上記第3様態、第11態様、第12態様のいずれかの色変換情報生成方法において、前記物体が前記ユーザに提供される物品であり、前記物品の属性に対応して生成された前記色特性の組合せにより、前記色見本を生成してもよい。
 発明の第30態様は、上記第29態様の色変換情報生成方法において、前記物品の属性が、当該物品の種類、前記物品を形成する素材及び前記物品の形状のいずれか又は組合せあるいは全てを含んでもよい。
 発明の第31態様は、上記第3様態、第11態様、第12態様のいずれかの色変換情報生成方法において、前記ユーザが閲覧した前記物体の履歴情報における前記物体の属性情報に対応する前記色特性、及び前記ユーザが注文した前記物体の履歴情報における前記物体の属性情報に対応する前記色特性のいずれか又は組合せにより、前記色見本を生成してもよい。
 発明の第32態様は、上記第3様態、第11態様、第12態様のいずれかの色変換情報生成方法において、前記物体を閲覧するウェブページのURLを前記ユーザに提供する過程と、前記ユーザが前記ウェブページを閲覧した履歴情報を取得する過程と、前記ユーザが閲覧した前記物体の履歴情報における前記物体の属性情報に対応する前記色特性のいずれか又は組合せにより、前記色見本を生成してもよい。
 発明の第33態様は、上記第3態様、第11態様、第12態様のいずれかの色変換情報生成方法において、前記色見本が、前記物体、前記色見本を撮像する撮像装置の感度に対応する前記色特性の組合せで生成されてもよい。
 発明の第34態様は、色特性情報が既知である色見本の情報である色見本情報をユーザに提供する色見本情報提供部と、前記ユーザの照明環境において、前記色見本情報によって決定される前記色見本を撮像した撮像画像を前記ユーザから取得する撮像画像取得部と、前記撮像画像と前記色特性情報とにより、前記照明環境における物品の色情報と、前記物品の色特性情報を変換する色変換情報を前記ユーザ毎に求める色変換情報演算部とを備える色変換情報生成システムである。
 発明の第35態様は、コンピュータを、色特性情報が既知である色見本を決定するための情報である色見本情報をユーザに提供する色見本情報提供手段、前記ユーザの照明環境において、前記色見本情報によって決定される前記色見本を撮像した撮像画像を前記ユーザから取得する撮像画像取得手段、前記撮像画像と前記色特性情報とにより、前記照明環境における物品の色情報と、前記物品の色特性情報を変換する色変換情報を前記ユーザ毎に求める色変換情報演算手段として動作させるプログラムである。
 以上説明したように、本発明の上記態様によれば、カラーマネージメントの知識を持たない一般のユーザに対して、このユーザの撮像環境で撮像された物体の画像、または観察環境で視認される物体の画像である物体画像が実物の物体の色と同様と視認できるようにするため、撮像環境及び観察環境(照明環境)の各々に対応した、物体の実物の色と、ユーザの各々の照明環境下で視認される色とを相互に変換する色変換情報を生成する色変換情報生成方法、色変換情報生成システム及びプログラムを提供することが可能となる。
本実施形態による商品販売支援システム(色変換情報生成システム)を用いたECサイト販売システムの構成例を示すブロック図である。 本実施形態による商品販売支援システム1の行なう、ユーザへの商品画像の提示における処理の概要について説明する概念図である。 本実施形態による商品販売支援サーバ10の構成例を示す図である。 ユーザデータベース11におけるユーザデータテーブルの構成例を示す図である。 ユーザデータベース11における色変換情報一覧テーブルの構成例を示す図である。 ユーザデータベース11における商品評価テーブルの構成例を示す図である。 商品色データベース12における商品色テーブルの構成例を示す図である。 チャート情報データベース13におけるチャート情報テーブルの構成例を示す図である。 機器情報データベース14における機器情報テーブルの構成例を示す図である。 商品販売支援システム1を用いた商品販売支援の色変換情報生成の処理の流れを示すシーケンス図である。 商品販売支援システム1を用いた商品販売支援のユーザ環境情報登録の処理の流れを示すシーケンス図である。 商品販売支援システム1を用いた商品販売支援の商品画像の色変換と表示の処理の流れを示すシーケンス図である。 商品販売支援システム1を用いた色変換情報更新のための情報追加の処理の流れを示すシーケンス図である。 商品販売支援システム1を用いた色変換情報更新のための情報追加の処理の流れを示すシーケンス図である。 商品販売支援システム1を用いた色変換情報更新のための情報追加の処理の流れを示すシーケンス図である。 商品販売支援システム1を用いた色変換情報更新のための情報追加の処理の流れを示すシーケンス図である。 本発明の第2の実施形態による色見本発行システム(色変換情報生成システム)を用いたカラーマネージメントシステムの構成例を示すブロック図である。 第1の実施形態による色見本発行システム1Aの行なう、顧客への色見本の発行における処理の概要について説明する概念図である。 本実施形態による色見本発行システム1Aの行なう、ECサイトへの色見本の発行における処理の概要について説明する概念図である。 本実施形態による色見本発行サーバ10Aの構成例を示す図である。 顧客データベース12Aにおける顧客データテーブルの構成例を示す図である。 顧客データベース12Aにおける色変換情報一覧テーブルの構成例を示す図である。 顧客データベース12Aにおける商品評価テーブルの構成例を示す図である。 ECサイトデータベース13AにおけるECサイトテーブルの構成例を示す図である。 ECサイトデータベース13Aにおける商品色データテーブルの構成例を示す図である。 ECサイトデータベース13Aにおけるサイト色変換情報一覧テーブルの構成例を示す図である。 チャート情報データベース14Aにおけるチャートテーブルの構成例を示す図である。 チャート情報データベース14Aにおける追加チャート設計テーブルの構成例を示す図である。 チャート情報データベース14Aにおける追加チャートテーブルの構成例を示す図である。 機器情報データベース15Aにおける機器情報テーブルの構成例を示す図である。 色見本発行システム1Aを用いた顧客環境情報登録の処理の流れを示すシーケンス図である。 色見本発行システム1Aを用いた商品画像の色変換と表示の処理の流れを示すシーケンス図である。 色見本発行システム1Aを用いた色変換情報更新のための追加チャートの処理の流れを示すシーケンス図である。 色見本発行システム1Aを用いたサイト色変換情報生成の処理の流れを示すシーケンス図である。 色見本発行システム1Aを用いた商品画像の色変換と表示の処理の流れを示すシーケンス図である。 色見本発行システム1Aを用いたサイト色変換情報更新のための追加チャート発行の処理の流れを示すシーケンス図である。 本発明の第3の実施形態による色見本発行システムを用いたカラーマネージメントシステムの構成例を示すブロック図である。 患者データベース12Bにおける患者データテーブルの構成例を示す図である。 患者データベース12Bにおける撮像画像評価テーブルの構成例を示す図である。 病院データベース13Bにおける病院データテーブルの構成例を示す図である。 病院データベース13Bにおける患部色データテーブルの構成例を示す図である。 病院データベース13Bにおける病院色変換情報一覧テーブルの構成例を示す図である。 色見本発行システム1Bを用いた患者の色変換情報生成の例の処理の流れを示すシーケンス図である。 色見本発行システム1Bを用いた患者画像の色変換と表示の処理の流れを示すシーケンス図である。 色見本発行システム1Bを用いた色変換情報更新のための追加チャート発行の処理の流れを示すシーケンス図である。 色見本発行システム1Bを用いた病院の色変換情報生成の処理の流れを示すシーケンス図である。 色見本発行システム1Bを用いた患部画像の色変換と表示の処理の流れを示すシーケンス図である。 色見本発行システム1Bを用いた病院色変換情報更新のための追加チャート発行の処理の流れを示すシーケンス図である。
<第1の実施形態>
 以下、本発明の第1の実施形態について、図面を参照して説明する。
 図1は、本実施形態による商品販売支援システム(色変換情報システム、以下、単に商品販売支援システムと示す)を用いたECサイト販売システムの構成例を示すブロック図である。図1において、ECサイト販売システムは、商品販売支援システム1、ECサイトサーバ2及びユーザ端末3の各々がインターネットを含むネットワーク500により相互に接続されて構成されている。記憶部2_1には、ECサイトサーバ2が販売する商品の商品画像(後述)が記憶されている。
 商品販売支援システム1は、例えば、商品販売支援サイトの運営会社Aに設けられており、各ECサイトが販売する商品(例えば、本実施形態においては服飾品)の商品画像を、ユーザ端末3の各々の表示画面に対し、ユーザが商品を観察する観察環境(例えば、ユーザの観察する場所の光源下)で観察した際、実物の商品の色と同様に視認できる表示色により表示させ、正確に商品の形態を提供することで商品の販売支援を行なう。
 本実施形態における商品(物体)は、販売される品物であり、服飾品、装飾品、家具、骨董品、絵画などである。特に、服飾品は、ユーザの色の好みや他との色の組合せなどが重要なユーザの選択条件となる。このため、ユーザ端末3の表示画面において視認される表示色と、ユーザの観察環境(特に光源の特性、例えば分光放射輝度特性)において視認される実物の色とが異なる場合、ユーザが自身の色の好みに合わず、商品の返品の大きな原因となるため、ユーザ端末3の表示画面に表示される商品の画像(後述する商品表示画像)の表示色の調整は重要である。
 図2は、本実施形態による色変換情報システムを含む商品販売支援システム1の行なう、ユーザへの商品画像の提示における処理の概要について説明する概念図である。
 図2(a)は、商品販売支援システム1の行なう、ユーザへの商品画像の提示における処理の流れを示すフローチャートである。
 図2(b)は、図2(a)に示すフローチャートにおける処理の各々を行なう主体が、ユーザであるか商品販売支援システム1であるかを示す概念図である。
 ・処理F1
 処理F1は、色変換情報の生成が行なわれる処理である。この処理F1は、ECサイトに登録したユーザの環境情報を取得する処理と、取得した環境情報から色変換情報を求める処理とが行なわれる。
 すなわち、処理F1は、商品販売支援サイトが、ECサイトに登録したユーザに対してチャートの提供を行い、このチャートを撮像したチャート撮像画像と、撮影情報とを取得する。上記チャート(第1色見本)は、所定の異なる色特性の色の複数の色票が配列されて、所定の媒体に印刷された色見本である。これらの色の色特性情報は既知であり、商品販売支援システム1が有している。
 ここで、撮影情報とは、撮像したカメラのカメラ特性を取得するためのカメラ機種(あるいはデバイス機種)などの情報、撮影した際のカメラの設定情報、撮影した撮影場所を示す位置情報(カメラに設けられた装置が取得したGPS情報、あるいはユーザ指定(住所、部屋名)など)、日時情報などである。この撮影情報は、ECサイトに登録した時点に、ECサイトを介して商品販売支援サイトが取得しておいても良い。
 そして、チャートの分光反射率、または1つ以上の環境(光源や観察感度)を規定した測色値である色特性情報と、チャート撮像画像及びカメラ特性とにより、色特性情報を、上記チャートを撮像した撮像環境における測色値である色情報に変換する色変換情報を生成する。
 また、ユーザが色変換情報を用いて商品表示画像を提供するサービスに登録しておらず、ECサイトからユーザがすでに物品を購入している場合、チャートとして用いる色見本をこのユーザが購入した物品のいずれか、あるいは組合せ、または全てを用いても良く、この物品の撮像画像をチャート撮像画像として、撮影情報とともに商品販売支援システム1に送信する構成としてもよい。
 ・処理F2
 商品販売支援システム1は、上記色変換情報により、ECサイトが販売する商品の画像の色を、ユーザが商品を観察する環境の光源に対応した、すなわちユーザが自身の環境で商品を観察した際に視認する色に変換した商品画像データを生成する。
 そして、商品販売支援システム1は、ユーザ端末3に対して上記商品表示画像を供給する。
 ユーザは、ユーザ端末3の表示画面において商品表示画像を観察し、当該商品を気にいった場合に購入の処理を行なう。
 ・処理F3
 商品販売支援システム1は、ユーザからの購入の処理に伴い、ECサイトに対してユーザとこのユーザが購入した商品の販売情報を通知する。
 これにより、ECサイトの運営会社Bは、ユーザに対して、当該ユーザが購入した商品を出荷して、ユーザに配送する。
 また、商品販売支援サイトの運営会社Aは、上記商品が運営会社Bから出荷された際、商品を購入したユーザに対して追加チャートの情報(追加チャート情報)を提供する。
 そして、ユーザは、商品及び追加チャート情報を受領し、追加チャート情報に従い、追加チャートを撮像(チャートを撮像した際と同様の環境における撮像)して、追加チャート撮像画像及び撮影情報を、ユーザ端末3により商品販売支援システム1に送信する。
 商品販売支援システム1は、既に取得している色変換情報を更新する新たな追加チャートの撮像画像及び撮影情報を取得する。
 ・処理F4
 商品販売支援システム1は、ユーザから供給された追加チャート撮像画像及び撮影情報の各々により、すでに取得しているこのユーザの色変換情報を変更する。
 その後、処理F2から処理F4が繰り返される毎に、ユーザの色変換情報の変更が行なわれ、より実物の商品に近い色を視認できる商品表示画像が生成されるようになる。
 また、更新においては、追加チャート撮像画像及び撮影情報をすべて加えても良いし、所定の基準に基づいて、チャート(第1色見本)や追加チャート(第2色見本)情報の一部の情報、またその組合せにより色変換情報を更新して変更する構成としてもよい。
 また、追加チャート撮像画像及び追加チャート撮像画像を撮像した撮影情報に加えて、チャート撮像画像及びこのチャートを撮像した撮影情報の一部の情報を用いて、色変換情報を生成しても良い。
 また、色変換情報の更新においては、撮影した撮像環境(ユーザがチャートを撮像する照明環境)がこれまでの環境と異なるか否かをユーザが通知を行なうなどして明示的に示したり、更新処理において所定の閾値を用いて環境の変化を検知したりすることにより、環境が異なったと推定される場合には、追加チャート撮像画像及び撮影情報のみにより新規に色変換情報を取得(変更)しても良い。
 商品販売支援システム1は、例えば、ユーザの端末から送信される、このユーザに配送された商品を撮像した商品撮像画像、またはユーザに提供された追加チャート(第2色見本)を撮像した追加チャート撮像画像を受信する。そして、商品販売支援システム1は、受信した商品撮像画像または追加チャート撮像画像の色情報を、チャート(第1色見本)により生成した色変換情報により、標準の照明環境における色情報に変換する。そして、商品販売支援システム1は、上記色変換情報による変換結果の色特性情報が、配送した物品や提供した追加チャートの既知の色特性情報と異なる場合、ユーザの撮像環境が変化したことを検知する。また、上記閾値は、色変換情報による変換結果の色特性情報と、配送した物品や提供した追加チャートの既知の色特性情報との差分と比較する数値であり、異なる照明環境における差分を実験などにより測定して求められている。
 図1に戻り、商品販売支援システム1は、商品販売支援サーバ10、ユーザデータベース11、商品色データベース12、チャート情報データベース13及び機器情報データベース14を備えている。
 商品販売支援システム1は、すでに述べた色変換情報により、ECサイトが提供する商品の画像を、ユーザが自身の観察環境において当該商品の実物の色として視認できる商品表示画像に変換し、ユーザ端末3に対して提供する。
 図3は、本実施形態による商品販売支援サーバ10の構成例を示す図である。この図3において、商品販売支援サーバ10は、データ入出力部101、チャート供給部102、撮像画像取得部103、機器情報取得部104、色変換情報演算部105、推定画像生成部106及び商品販売処理部107を備えている。
 データ入出力部101は、外部装置あるいは外部システムとのデータの送受信をネットワーク500を介して行なう。
 チャート供給部102は、ユーザに対して提供するチャート(及び追加チャート情報)を決定し、このチャート自身、または製造情報(例えば、印刷情報)などを含むチャート情報を出力する。
 撮像画像取得部103は、データ入出力部101により取得された撮像画像が、チャート撮像画像及び追加チャート撮像画像であるか否かの判定を行ない、判定結果とともにチャート撮像画像を色変換情報演算部105に対して出力する。
 機器情報取得部104は、データ入出力部101により取得された撮影情報から、カメラ機種及びデバイス機種などのカメラ特性取得情報を抽出する。そして、機器情報取得部104は、抽出したカメラ特性取得情報を用いた検索により、このカメラ特性取得情報に対応するカメラ特性を機器情報データベース14(後述)から取得し、色変換情報演算部105に対して出力する。
 色変換情報演算部105は、チャートの分光反射率、または1つ以上の環境(光源や観察感度)を規定した測色値である色特性情報と、チャート撮像画像及びカメラ特性の各々から、物品の色特性情報を、ユーザの環境において取得される測色値に変換する色変換情報(例えば、光源の分光放射輝度や観察者の分光感度、または異なる環境間の測色値変換行列、処理手順、関数)を生成し、ユーザデータベース11(後述)に書き込んで記憶させる。また、色変換情報演算部105は、所定のタイミングで供給される追加チャート撮像画像により、すでに生成されている色変換情報の再演算を行ない更新を行なう。
 推定画像生成部106は、色変換情報により画素毎の色特性情報から色情報への変換を行なうことにより、商品画像を、ユーザの観察環境における商品表示画像を生成(商品表示画像に変換)する。
 商品販売処理部107は、ユーザの商品の購入通知がユーザ端末3から供給された場合、ECサイトに対してユーザ情報及び購入した商品の情報を通知する。
 図1に戻り、ECサイトサーバ2は、記憶部2_1を備えている。この記憶部2_1には、後述する商品色データベース12における商品色データテーブルの商品画像と、サイト色変換情報を生成する際に用いるチャート撮像画像とが、商品識別情報に対応して記憶されている。
 上記色変換情報演算部105は、ユーザ毎の色変換情報と同様にサイト色変換情報を生成し、この結果として商品色情報及び商品情報を取得する。
 図4は、ユーザデータベース11におけるユーザデータテーブルの構成例を示す図である。ユーザデータテーブルは、ECサイト毎に設けられており、例えば、レコード毎に、ユーザ識別情報に対応して、ユーザ情報、色変換情報一覧インデックス、商品評価インデックス、プリンタ特性、ディスプレイ特性、カメラ特性の各々の欄が設けられている。ユーザ識別情報は、ユーザの各々を個々に識別する情報である。ユーザ情報は、ユーザ識別情報が示すユーザの情報であり、名前、性別、年齢、住所、電話番号、メールアドレス、趣味、好きな色などの情報である。色変換情報一覧インデックスは、ユーザ識別情報の示すユーザの観察環境における複数の異なる色変換情報と、プリセット色変換情報となどのユーザが利用可能な色変換情報の各々の一覧情報である色変換情報一覧テーブルが記憶された領域を示すアドレスなどのインデックスである。
 商品評価インデックスは、ユーザ識別情報の示すユーザの購入した商品に対する、このユーザの評価を示す商品評価テーブルが記憶された領域を示すアドレスなどのインデックスである。プリンタ特性は、ユーザが商品画像を印刷するために用いるプリンタのICC(International Color Consortium)プロファイル及びインクの分光情報(インク情報)などのプリンタ出力色情報と、商品画像を印刷する用紙の媒体情報となどを含む情報である。ディスプレイ特性は、例えば、ICCプロファイルや分光放射輝度あるいは三刺激値などの発光情報である。カメラ特性は、例えばカメラ(撮像装置)の分光感度情報である。このプリンタ特性、ディスプレイ特性及びカメラ特性の各々は、上述した機器情報取得部により、ユーザデータテーブルにおける対応する欄に書き込まれる(後述)。
 図5は、ユーザデータベース11における色変換情報一覧テーブルの構成例を示す図である。ユーザデータベース11には、色変換情報一覧テーブルが書き込まれて記憶されている。この色変換情報一覧テーブルは、ユーザ毎に設けられており、レコード毎に、色変換情報識別情報に対応して、チャート撮像画像インデックス、追加チャート撮像画像インデックス、チャート識別情報、色変換情報及び仕様データの各々の欄が設けられている。
 色変換情報識別情報は、色変換情報の各々を個々に識別する情報である。チャート撮像画像インデックスは、データベースにおけるチャート情報(第1色見本情報)によって決定されるチャートの撮像画像データが書き込まれて記憶されている領域を示すアドレスなどのインデックスである。ここで、チャート撮像画像のデータとして、このチャート撮像画像から抽出した画素の画素位置とこの画素位置の示す画素の画素値とのデータテーブルでも良い。
 追加チャート撮像画像インデックスは、データベースにおける追加チャート情報(第2色見本情報)によって決定される追加チャートの撮像画像データが書き込まれて記憶されている領域を示すアドレスなどのインデックスである。ここで、追加チャート撮像画像のデータとして、この追加チャート撮像画像から抽出した画素の画素位置とこの画素位置の示す画素の画素値とのデータテーブルでも良い。
 本実施形態においては、上記第1色見本情報及び第2色見本情報の各々は、色見本情報の一例である。色見本情報は、色見本を決定するための情報であり、色見本指定情報及び色見本具現化情報の各々のいずれかである。
 色見本指定情報は、使用する色見本(第1色見本または第2色見本)として何を用いるか、例えば色見本としてチャート、追加チャート、配送する物品などの見本物体のいずれかあるいは組合せを指定する情報である。ユーザは、色見本指定情報が指定する見本物体を撮像して、色変換情報生成システムに対して送信する。
 また、色見本具現化情報は、色見本をユーザ側で具現化するための情報(例えば、チャートをユーザの所有する印刷手段で印刷するためのチャート画像などの情報)である。
 色変換情報は、ユーザがチャートあるいは追加チャートを撮像した環境における光源の分光放射輝度、あるいは三刺激値変換行列である。ここで、三刺激値変換行列は、規定観察環境(例えば、CIE(国際照明委員会)_D50と2度視野標準観測者の組み合わせ、あるいはCIE_D65と10度視野標準観測者の組み合わせ)の測色値から、ユーザが撮像した環境における光源の分光放射輝度と、撮像に用いたカメラのカメラ特性とによるデバイス値への変換(色変換)を行なう行列である。なお、この色変換は、ユーザが撮像した環境における光源の分光放射輝度と、撮像に用いたカメラのカメラ特性とによるデバイス値から、物品の分光反射率や環境が規定された測色値への逆変換も可能である。すなわち、色変換情報は、物品の分光反射率や、観察が規定された測色値である色特性情報と、ユーザの環境で観察される測色値との間の変換情報である。
 チャート識別情報は、ユーザに提供したチャート及び追加チャートの識別情報である。
 仕様データは、色変換情報の仕様を示す情報である。仕様データとしては、対応する色変換情報の適用時間範囲を示す、朝時間範囲、昼時間範囲、夜時間範囲などの種別がある。朝時間範囲は、例えば、日の出の時刻から昼の12時の時間範囲を示している。昼時間範囲は、例えば、昼の12時過ぎから日の入りの時刻までの時間範囲を示している。また、夜時間範囲は、日の入りの時刻から日の出の時刻までの時間範囲を示している。また、仕様データは、場所情報、もしくは場所情報を含んでいてもよく、オフィスやレストラン、劇場、自宅などにおける色変換情報を特定できる。プリセットされた色変換情報は、各ユーザに対して共通の色変換情報であり、太陽光や一般的なオフィスにおける光源の分光放射輝度、または環境が規定された色特性情報から、晴天の屋外やオフィスにおいて視認される測色値に変換する変換行列である。
 また、追加チャートに関しては、第2追加チャート(第2色見本)以降の、第3追加チャート(第3色見本)から第n追加チャート(第n色見本)まで、第2追加チャートに関して行なう色変換情報取得に関する処理と同様な処理が行なわれる。
 図6は、ユーザデータベース11における商品評価テーブルの構成例を示す図である。
ユーザデータベース11には、商品評価テーブルが書き込まれて記憶されている。この商品評価テーブルは、ユーザ毎に設けられており、レコード毎に、商品識別情報に対応して、この商品識別情報に対応する商品の評価(商品評価)の欄が設けられている。商品識別情報は、商品の各々を個々に識別する情報である。商品評価は、購入した商品(商品識別情報が示す商品)に対する評価(例えば、アンケートによる評価)が記載され、例えば「満足」、「普通」、「赤みが足りない」、後述のようなユーザによる色調整結果、「色が異なるため返品」などのユーザの届いた商品への対応などが示されている。
 図7は、商品色データベース12における商品色テーブルの構成例を示す図である。商品色データベース12には、商品色テーブルが書き込まれて記憶されている。この商品色テーブルは、ECサイト毎に設けられている。商品色テーブルは、レコード毎において、商品識別情報に対応して、商品画像インデックス、サイト色変換情報、商品色情報インデックス及び商品情報インデックスの欄を備えている。商品識別情報は、商品の各々を個々に識別する情報である。商品画像インデックスは、各ECサイトの光源の環境において撮像した撮像画像データが記憶されている、商品色データベースにおける領域を示すアドレスなどのインデックスである。
 サイト色変換情報は、ECサイトの商品を撮像した環境の光源の分光放射輝度、あるいは撮像した環境における光源における測色値から、環境が規定された測色値に変換する三刺激値変換行列である。商品色情報インデックスは、商品の分光画像、各画素の分光反射率を示す商品反射率画像あるいは規定観察環境における商品画像データが記憶されている、商品色データベースにおける領域を示すアドレスなどのインデックスである。商品情報インデックスは、商品の分光反射率や素材の種類を示す情報が記憶されている、商品色データベースにおける領域を示すアドレスなどのインデックスである。ここで、素材は、例えば、服飾であれば服の生地の材料の種類であり、レーヨン、ナイロン、ポリエステル、アクリル、ポリウレタン、リネン、コットン、ウール、デニムなどである。これにより、素材の種類によって、チャートの素材や色特性情報の設計に用いたり、素材ごとに異なる色変換情報を用いて色変換を行なってもよい。
 図8は、チャート情報データベース13におけるチャート情報テーブルの構成例を示す図である。このチャート情報データベース13には、チャート情報テーブルが書き込まれて記憶されている。チャート情報テーブルは、レコード毎において、チャート識別情報に対応して、チャート設計情報インデックスとの欄を備えている。チャート識別情報は、有彩色や無彩色の物体であるチャートの各々を個々に識別する情報である。チャート設計情報インデックスは、チャートの絵柄パターン(例えば、色票の配列パターン)、この絵柄パターンにおける絵柄(色票)の各々の色特性情報である。
 図9は、機器情報データベース14における機器情報テーブルの構成例を示す図である。 機器情報データベース14には、機器情報テーブルが書き込まれて記憶されている。
機器情報テーブルは、レコード毎において、機器特定情報と、この機器特定情報の示す機器の特性情報との欄を備えている。
 ここで、機器特定情報は、カメラ、プリンタ及び表示装置の機種情報、あるいはデバイス情報などである。デバイス情報は、例えば、カメラがデジタルカメラであれば、デジタルカメラあるいは使用されているCCD(Charged Coupled Device)素子の型番、プリンタがインクジェットプリンタであれば、プリンタあるいは使用されているインクジェットヘッドの型番、表示装置が液晶ディスプレイであれば、ディスプレイあるいは使用されている液晶パネルの型番である。
 特性情報は、例えば、機器がカメラの場合には、カメラ特性として撮像における分光感度情報である。また、特性情報は、例えば、機器がプリンタの場合には、プリンタ特性としてICCプロファイルやインクの分光情報などのプリンタが出力する印刷色の情報、商品販売画像を印刷する用紙の媒体情報などである。特性情報は、例えば、機器が表示装置の場合には、ディスプレイ特性としてICCプロファイルや分光放射輝度あるいは三刺激値などの発光情報である。
 以下、図面を参照して、処理F1、処理F2、処理F3及び処理F4の各々の処理の流れにおける商品販売支援システム1の動作を含む、本実施形態における商品販売支援方法を順次説明する。
<処理F1の色変換情報生成の第1例>
 図10は、商品販売支援システム1を用いた商品販売支援の色変換情報生成の処理の流れを示すシーケンス図である。図においては、ユーザデータベース11,商品色データベース12、チャート情報データベース13及び機器情報データベース14の各々を、各データベース(11、12、13、14)として記述して説明する。
 ステップFF101:
 ユーザは、ユーザ端末3により、商品販売支援サイト(すなわち、商品販売支援サーバ10)にアクセスし、例えば、ユーザ識別情報によりログインして、ユーザ環境情報及びユーザの属性情報であるユーザ属性情報の登録処理を依頼する。ここで、ユーザ属性情報は、ユーザの各々の性別、住所、電話番号、誕生日、結婚記念日、学校を卒業した日、資格を取得した日、職業、好きな色、好きな物品、好きな食べ物、趣味などに加えて、登録した日時も含まれている。
 これにより、データ入出力部101は、アクセスした際のユーザ識別情報により、ユーザデータベース11のユーザデータテーブルを検索して、いずれのECサイトに登録しているユーザかの確認を行なう。
 ステップFF102:
 そして、チャート供給部102は、ECサイトの販売する商品群の商品画像に対応したチャートとして、例えばECサイトに予め設定されているチャートを、チャート情報データベース13のチャート情報テーブルから抽出する。
 運営会社Aは、チャート情報テーブルから抽出されたチャート識別情報のチャート(あるいはチャート情報)を、ユーザの住所に対して配送(あるいは郵送)する。
 ステップFF103:
 ユーザは、自身が商品を観察するであろう観察環境、例えばユーザ端末3が備えられた部屋などの所定の位置において、運営会社から供給されたチャートの撮像を行なう。
 ステップFF104:
 そして、ユーザは、チャートを撮像したチャート撮像画像と、撮像における撮影情報と、自身のユーザ識別情報とを、ユーザ端末3により商品販売支援サイトに対して送信する。
 ステップFF105:
 データ入出力部101は、ユーザ端末3から供給されたチャート撮像画像を撮像画像取得部103に対して出力する。
 また、データ入出力部101は、ユーザ端末3から供給された撮影情報を、機器情報取得部104及び色変換情報演算部105に対して出力する。
 そして、撮像画像取得部103は、ユーザ識別情報に対応させて、チャート撮像画像のデータを、ユーザデータベース11の色変換情報一覧テーブルに対して書き込んで記憶させる。
 機器情報取得部104は、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース14の機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104は、読み出したカメラ特性を、上記色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 ステップFF106:
 色変換情報演算部105は、ユーザ識別情報に対応して、チャート撮像画像とチャート識別情報との各々を色変換情報一覧テーブルから読み出す。
 そして、色変換情報演算部105は、読み出したチャート識別情報により、チャート情報データベース13のチャート情報テーブルから、ユーザに送付したチャート設計情報インデックスを読み出す。色変換情報演算部105は、このチャート設計情報インデックスの示す記憶領域から、チャートの色特性情報を読み出す。
 また、色変換情報演算部105は、ユーザ識別情報に対応して、色変換情報一覧テーブルからカメラ特性を読み出す。
 ステップFF107:
 色変換情報演算部105は、上記チャート撮像画像と、カメラ特性と、チャートの色特性情報とにより、色変換情報を演算して求める。
 この色変換情報は、色特性情報を、登録したユーザの観察環境において取得される測色値に変換する情報である。
 ステップFF108:
 色変換情報演算部105は、求めた色変換情報を、ユーザ識別情報に対応させて、色変換情報一覧テーブルに書き込んで記憶させる。
 この色変換情報を色変換一覧テーブルに書き込む際に、色変換情報演算部105は、チャート撮像画像を撮像した時刻を撮影情報に含まれる日時情報から抽出し、求めた色変換情報に対して対応する時間範囲(朝時間範囲、昼時間範囲、夜時間範囲)を仕様データの欄に書き込んで記憶させる。さらに、GPS情報やユーザ指定情報等に基づく位置情報などの撮影情報に含まれる情報を記録させてもよい。
 また、上記説明において、チャートを配送してユーザに提供する場合に説明しているが、ECサイトの登録証(登録カード)の表あるいは裏に、色変換情報を求めるチャートと、このチャートに隣接してチャート識別情報及びユーザ識別情報とを予め印刷しておき、ユーザにチャートを撮像する際に、チャート識別情報及びユーザ識別情報をチャートと同時に撮像させるように構成しても良い。このチャート識別情報は、バーコード、2次元バーコード(図形情報)などを用いることができる。これにより、容易にチャートとユーザとを関連付けることができる。さらに、チャート識別情報自体が着色されており、このチャート識別情報を撮像することにより、ユーザ識別情報を用いてのユーザとの関連付けだけでなく、同時に色変換情報の取得に利用してもよい。
 また、ECサイトに登録した際(ユーザ登録の時点において)、商品販売支援システム1を運営する運営会社Aが、ECサイトの商品購入に対する説明などを配送する際、チャートを同封したり、説明を配送する封書や納品書、宛名、梱包材などに直接に上述したチャート識別情報及びユーザ識別情報(文字情報あるいは図形情報)を印刷しておいても良い。さらに、それらチャート識別情報及びユーザ識別情報(文字情報あるいは図形情報)が着色されており、撮像することで色変換情報の取得に利用してもよい。
 また、本実施形態においては、チャート設計情報により予め設計されたチャートを、ユーザの観察環境における色変換情報の推定に用いている。しかしながら、このチャート以外に、チャート情報として、一般的に流通している商品のパッケージを撮像する指示を提供しても良い。ユーザはパッケージを撮像して、上述したステップFF104の処理と同様に、ユーザ端末3から商品販売支援サイトに送信する。汎用的なパッケージであれば、印刷された所定の領域の色特性情報が容易に得られるため、色変換情報を演算することが可能である。
 また、本実施形態においては、チャートがユーザの観察環境(物品を観察する時間範囲や、観察する場所の情報など)に基づいて、チャートを送付する登録を行なうユーザと異なる、観察環境が類似した他のユーザの色変換情報を用いて、当該ユーザに送付するチャートを作成しても良い。
 また、第1例において、チャート情報(第1色見本情報)は、チャート(色票の組合せ)そのもの、すなわち、色見本として提供するチャートを用いることを指定する色見本指定情報となっている。
 ここで、チャート情報としては、チャートそのものでなく、チャートをユーザが特定可能な情報として、例えば、チャートのメーカ名、商品名、製品番号、あるいはチャートを撮像した写真などを用いることもできる。
 第1例においては、チャートを用いることにより、含まれる色特性(色票の色)の種類を多く設定することができ、含まれる色が豊富となり、登録時における色変換情報の生成や、色変換情報の更新時などのあらゆる場面に適応させることができる。
 また、各ユーザに対応したチャートを作成することにより、ユーザそれぞれの照明環境を推定する精度を向上させることができる。
 また、チャート情報(第1色見本情報)は、チャート(色票の組合せ)そのもの、ではなく、登録することで取得するサービスの利用証を色見本として指定する色見本指定情報としてもよい。
 この場合、チャートとして用いる利用証は、会員証や診察券などである。
 この場合、チャート情報は、色見本指定情報として見本として用いる利用証を特定することができる情報であり、例えば、利用証に対応するサービスの名称、このサービスを提供する事業体の名称、利用証の名称(○○カード、△△サービスカード)などや、利用証を撮像した画像データである。
 利用証を色見本として用いる効果としては、当該サービスの利用開始時にユーザが取得するため、ユーザが新たに色見本を入手する手間を省くことができる。
 また、利用証を色見本として用いる効果としては、所定のサービスを受けるために必要な物品であるため、ユーザが紛失する可能性が低い。
 また、チャート情報(第1色見本情報)は、チャート(色票の組合せ)そのもの、ではなく、構造物を色見本であるチャートとして指定する色見本指定情報としてもよい。
 この場合、チャートとして用いる構造物は、一般人が進入可能な場所に設置された工作物や建設物(全体あるいは特定の箇所)、また郵便ポスト、交通標識、チェーン店の外装、看板、店舗の内装などである。
 この場合、チャート情報は、色見本指定情報として見本として用いる構造物を特定することができる情報であり、例えば、構造物の名称、構造物の住所あるいは位置、構造物の特定の箇所の場合、その箇所を示す情報、構造物を撮像した画像データである。
 構造物を色見本として用いる効果としては、例えば店舗の看板、外装、内装等の場合、ユーザがその店舗に行くきっかけになり、店舗にとってメリットになる。
 例えば、ユーザが服飾店舗内において直接に観察する商品と、ECサイトの提供する表示画面における商品画像とを比較したり、商品の組合せをコーディネートすることができる。
 また、ユーザが飲食店やカフェなどにおいて着用しようとする服の色を、その場で、ECサイトの提供する表示画面における商品画像を視認して確認することができる。
 また、旅行先において、所定の店舗の看板、外装、内装等をチャートとして、ECサイトの提供する表示画面における商品画像を視認して確認することができる。
<処理F1の色変換情報生成の第2例>
 図11は、商品販売支援システム1を用いた商品販売支援のユーザ環境情報登録の処理の流れを示すシーケンス図である。図においては、ユーザデータベース11,商品色データベース12、チャート情報データベース13及び機器情報データベース14の各々を、各データベース(11、12、13、14)として記述して説明する。
 ステップFF101A:
 ユーザは、ユーザ端末3により、商品販売支援サイトにアクセスし、例えば、ユーザ識別情報によりログインして、ユーザ環境情報の登録処理を依頼する。この依頼の際、ユーザは、自身の所有するプリンタや店舗に設置されているプリンタなどの利用可能なプリンタを指定することで、ユーザ指定やプリンタ情報記録装置(不図示)の情報から得られる機器特定情報(プリンタ情報)も同一タイミングで登録する。
 これにより、データ入出力部101は、アクセスした際のユーザ識別情報により、ユーザデータベース11のユーザデータテーブルを検索して、いずれのECサイトに登録しているユーザかの確認を行なう。
 ステップFF101B:
 データ入出力部101は、ユーザから入力されたユーザ識別情報及びプリンタ情報の各々を、機器情報取得部104に対して出力する。
 そして、機器情報取得部104は、プリンタ情報に基づき、機器情報データベース14の機器情報テーブルから、特性情報(プリンタ特性)を読み出す。
 機器情報取得部104は、読み出したプリンタ特性を、ユーザ識別情報に対応させて、ユーザデータテーブルのプリンタ特性の欄に書き込んで記憶させる。
 ステップFF102A:
 チャート供給部102は、ECサイトの販売する商品群の商品画像に対応したチャートとして、例えばECサイトに予め設定されているチャートを、チャート情報データベース13のチャート情報テーブルから抽出する。
 そして、チャート供給部102は、抽出したチャートのチャート設計情報インデックスの示す領域から、このチャートの色特性情報を読み出す。
 また、チャート供給部102は、ユーザ識別情報に対応させて、ユーザが利用するプリンタのプリンタ特性を、ユーザデータテーブルから読み出す。
 ステップFF102B:
 チャート供給部102は、チャートの色特性情報及びプリンタ特性の各々と、規定観察環境における光源(CIE_D50やCIE_D65など)の分光放射輝度とを用いて、チャートとしてユーザに提供するプリンタ用チャート画像を生成する。
 ステップFF102C:
 チャート供給部102は、生成したプリンタ用チャート画像のデータを、登録のためにアクセスしているユーザのユーザ端末3に送信する。
 ステップFF103A:
 ユーザは、商品販売支援システム1からユーザ端末3に供給されたプリンタ用チャート画像を、プリンタ情報が登録済みのプリンタから、チャートとして印刷する。
 ユーザは、自身が商品を観察するであろう観察環境、例えばユーザ端末3が備えられた部屋などの所定の位置において、プリンタから印刷したチャートの撮像を行なう。
 ステップFF104からステップFF108は、ユーザ環境情報登録の第1例で説明した処理と同様のため、説明を省略する。
 また、第2例において、チャート情報(第1色見本情報)は、チャート(色票の組合せ)をユーザの所有するプリンタあるいは印刷機で印刷(具現化)するために必要な色見本具現化情報となっている。印刷に用いるプリンタとしては、2D(Dimension)プリンタ、2.5Dプリンタ、3Dプリンタなどのいずれでもよい。
 ここで、チャート情報としては、例えば、チャートの画像データ、チャートの印刷に用いるパラメータ(ユーザの使用するプリンタの機種が特定されている場合)、プリンタの機種(ユーザの使用するプリンタの機種が不明の場合)などである。
 第2例においては、以下に示す効果を得ることができる。
 すなわち、第2例においては、チャートを直接に配送する必要がないため、チャートの配送によるコストを削減することができる。
 また、第2例においては、登録時においてチャートを取得することが可能となり、配送されたチャートが届くまでの期間を削減して、色見本を入手することができる。
 また、第2例においては、チャートを紛失した場合や、チャートが破損・汚染された場合にも、色見本具現化情報である色見本情報から容易に再取得することができる。
 また、第2例においては、チャートを構成する色票の色特性のバリエーションが多く、ユーザの照明環境の多くの情報(光源の特性など)を取得することが期待できる(例えば、分光放射強度を取得するための波長分解能を向上させることができるなど)。
 また、第2例においては、例えば、ユーザが撮像あるいは観察する照明環境の情報(光源が蛍光灯、白熱電球などのいずれの種類かを示す情報)を入力することにより、ユーザの照明環境に対応した、当該照明環境の情報を推定する精度を向上させるための色特性情報を有する色見本を容易に作成することができる。
 また、上述した構成は、ユーザが所有するプリンタや印刷機を想定していたが、特定の施設(例えば、コンビニエンスストアなどの色見本具現化情報に含まれる場所)に設置されたプリンタや印刷機を用いる構成としてもよい。
 この構成の場合、色見本具現化情報としては、チャートを印刷するプリンタや印刷機の設置された特定の施設を特定する情報である特定情報(例えば、施設の住所、施設の名称、施設の建物における階数、部屋を特定する名称など)や、コンビニエンスストアのプリンタにおけるプリント番号などである。
 この特定の施設のプリンタや印刷機をチャートの印刷に用いる構成の場合、ユーザの所有するプリンタや印刷機の場合と同様の効果に加えて、以下の効果を得ることができる。
 特定の施設のプリンタを利用した場合には、ユーザの所有するプリンタや印刷機の種類のように多様ではなく、機種が限定されているため、色見本具現化情報を作成する手間を低減することができる。
 また、特定の施設のプリンタを利用した場合には、プリンタのメンテナンスが頻繁に行なわれるため、印刷されるチャートの色特性の精度を向上させることができる。
 また、特定の施設のプリンタを利用した場合には、機種によって高機能なプリンタや印刷機であるため、印刷されるチャートの色特性の精度を向上させることができる。
 また、上述した構成は、ユーザが所有するプリンタや印刷機を想定していたが、色見本を表示デバイスに表示させる構成としてもよい。
 例えば、表示画面に表示された画像の色特性が照明環境の影響を受ける構成の表示デバイス、例えば電子ペーパー、反射型液晶ディスプレイなどの表示画面に、所定のチャート(第1色見本)また、後述する色変換情報の更新に用いる追加チャート(第2色見本)の画像を表示する。
 この構成の場合、色見本情報である色見本具現化情報としては、ユーザに提供する上記表示デバイスの表示画面に色見本を表示させることを促す情報と、この表示デバイスの表示画面に表示させる色見本の画像の情報である。
  電子ペーパーや反射型液晶ディスプレイの表示画面に色見本を表示させる場合には、チャートあるいは追加チャートを構成する色票の色特性のバリエーションが多く、ユーザの照明環境の多くの情報(光源の特性など)を取得することが期待できる(例えば、分光放射強度を取得するための波長分解能を向上させることができるなど)。
 また、 電子ペーパーや反射型液晶ディスプレイの表示画面に色見本を表示させる場合には、当該表示デバイスの表示画面に表示させる色見本を、複数の相異なる色見本として第1色見本であるチャートや第2色見本である追加チャートなどとして任意に変更して使用することができ、色変換情報の生成や更新に対応して、第1色見本及び第2色見本を毎回生成してユーザに提供する場合に比較して、色見本を提供するためのコストを削減することができる。
<処理F2の商品画像の色変換と表示の例>
 図12は、商品販売支援システム1を用いた商品販売支援の商品画像の色変換と表示の処理の流れを示すシーケンス図である。図においては、ユーザデータベース11,商品色データベース12、チャート情報データベース13及び機器情報データベース14の各々を、各データベース(11、12、13、14)として記述して説明する。
 ステップFF201:
 ユーザは、ユーザ端末3により、商品販売支援サイトにアクセスし、例えば、ユーザ識別情報によりログインして、自身の登録しているECサイトの商品の商品画像の閲覧を依頼する。
 これにより、データ入出力部101は、アクセスした際のユーザ識別情報により、ユーザデータベース11のユーザデータテーブルを検索して、いずれのECサイトに登録しているユーザかの確認を行なう。
 ステップFF202:
 推定画像生成部106は、商品表示画像を生成する際に用いる色変換情報を得るため、ユーザ識別情報によりユーザデータベース11のユーザデータテーブルを検索し、アクセスしたユーザの色変換情報一覧テーブルを抽出する。
 ステップFF203:
 そして、推定画像生成部106は、色変換情報をユーザに選択させる表示として、色変換情報一覧テーブルの仕様データの一覧を、ユーザ端末3の表示画面に表示させる。
 表示としては、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」及び「プリセット色変換情報(一般的なオフィス、晴天の屋外など)」など、観察環境における観察の状態を示す文字列が用いられる。
 ステップFF204:
 ユーザは、ユーザ端末3の表示画面の仕様データの一覧から、自身が実物の商品を観察する環境に対応した状態を選択する。
 このとき、例えば、商品の時間指定が午前10時である場合、観察環境で観察する時間が朝時間範囲に含まれるため、ユーザはユーザ端末3の表示画面の仕様データの一覧から、朝時間範囲を選択する。また、常に帰宅が午後8時ぐらいであれば、観察環境で観察する時間が夜時間範囲に含まれるため、ユーザはユーザ端末3の表示画面の仕様データの一覧から、夜時間範囲を選択する。一方、配送先が観察環境ではなく、会社のオフィスである場合、ユーザはユーザ端末3の表示画面の仕様データの一覧から、プリセット色変換情報を選択する。
 ステップFF205:
 ユーザ端末3は、ユーザが選択した観察の状態、例えば、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」、「オフィス」、「レストラン」、「プリセット色変換情報」の中の選択された文字列を情報として、商品販売支援システム1に対して送信する。
 このとき、ユーザ端末3は、表示画面を表示するディスプレイを特定する機器特定情報(デバイス情報)を、上記文字列の情報とともに、商品販売支援システム1に対して送信する。
 ステップFF206:
 データ入出力部101は、ユーザ端末3から供給される機器特定情報を、機器情報取得部104に対して出力する。
 機器情報取得部104は、機器特定情報であるデバイス情報に対応するディスプレイ特性を、機器情報データベース14の機器情報テーブルから検索して読み出す。
 また、機器情報取得部104は、読み出したディスプレイ特性を、上記色変換情報一覧テーブルのディスプレイ特性の欄に書き込んで記憶させる。
 ステップFF207:
 次に、推定画像生成部106は、上記色変換情報一覧テーブルから、色変換情報、及びディスプレイ特性を読み出す。
 推定画像生成部106は、商品色データベース12の商品色データテーブルから、ユーザの観察する商品各々の商品色特性情報を読み出す。
 ステップFF208:
 そして、推定画像生成部106は、商品色情報の規定観察環境における測色値を、色変換情報によりユーザの観察環境における測色値に変換し、かつディスプレイ特性に対応させて商品表示画像のデータを生成する。
 ステップFF209:
 推定画像生成部106は、生成した商品表示画像のデータを、データ入出力部101を介して、ユーザ端末3に対して送信する。
 これにより、ユーザは、自身の観察環境で実物の商品を観察した場合と同様の色により、ユーザ端末3の表示画面で商品画像を視認することができる。
<処理F3の色変換情報更新のための情報追加の第1例>
 図13は、商品販売支援システム1を用いた色変換情報更新のための情報追加の処理の流れを示すシーケンス図である。図においては、ユーザデータベース11,商品色データベース12、チャート情報データベース13及び機器情報データベース14の各々を、各データベース(11、12、13、14)として記述して説明する。
 ステップFF301:
 ユーザは、処理F2において自身のユーザ端末3の表示画面に表示された商品表示画像により、商品販売支援システム1に対して、この商品画像の商品の購入処理を行う。
 これにより、商品販売支援システム1において、商品販売処理部107は、ユーザ端末3から供給される商品特定情報(商品識別情報など)を、ユーザ識別情報とともに、この商品を取り扱っているECサイトに対して、商品購入情報として送信する。
 ステップFF302:
 このとき、ECサイトの商品の発送に伴い、商品販売支援システム1における色変換情報演算部105は、追加チャート(第2色見本)、または追加チャート情報(第2色見本情報)、もしくはその両方を商品とともにユーザに配送することをECサイトに対して指示する情報を、データ入出力部101を介して送信する。
 そして、ECサイトは、商品販売支援システム1から供給される商品購入情報に対応して、ユーザの指定した商品に対して上記追加チャート、または上記追加チャート情報、もしくはその両方を添付して、ユーザの登録した住所に対して配送する。
 ステップFF303:
 ユーザは、商品が配送されてきた際、追加チャート情報を参照して、この追加チャート情報の指示に対応して、観察環境において撮像装置により商品の撮像を行い、商品撮像画像を取得する。
 ステップFF304:
 そして、ユーザは、商品販売支援サイト(商品販売支援システム1)に対してアクセスし、配送された商品を撮像した商品撮像画像のデータと、撮像した際の撮影情報とを、商品販売支援サイトに対して送信する。
 ステップFF305:
 データ入出力部101は、商品撮像画像のデータ及び撮影情報とがユーザ端末3から供給された場合、商品撮像画像(追加チャート撮像画像の一例)を撮像画像取得部103に対して出力する。
 また、データ入出力部101は、ユーザ端末3から供給された撮影情報を、機器情報取得部104及び色変換情報演算部105に対して出力する。
 そして、撮像画像取得部103は、ユーザ識別情報に対応させて、商品撮像画像(追加チャート撮像画像の一例)のデータを、ユーザデータベース11の色変換情報一覧テーブルに対して書き込んで記憶させる。
 機器情報取得部104は、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース14の機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104は、読み出したカメラ特性を、上記色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 そして、本第1例の場合、処理F4において、色変換情報演算部105は、商品撮像画像(チャート撮像画像の一例)と、商品の色特性情報と、撮影情報とを用いて、色変換情報の再演算を行ない、新たに求められた色変換情報により、既存の色変換情報の更新を行なう。この演算は、すでに説明した処理F1における色変換情報の生成と同様に行なわれる。
 このとき、色変換情報における更新は、多項式による数値計算、多次元関数を用いたモデル関数の係数調整などのアルゴリズムの調整に基づく更新処理、あるいはAI(例えば、機械学習)によるモデルの更新などの手法を用いても良い。
 そして、色変換情報演算部105は、上述の手法により新たに求めた色変換情報を、ユーザデータベース11における色変換情報一覧テーブルの既存の色変換情報に上書きして記憶させることで更新を行なう。
 本第1例の場合、ECサイトから購入した商品を追加チャート(第2色見本)として用いる構成である。
 本第1例の場合、第2色見本としての追加チャートは、例えば、バッグ、靴、帽子、服飾品、化粧品などである。
 追加チャート情報(第2色見本情報)は、ユーザが購入した商品を特定可能な色見本指定情報であり、例えば、商品のメーカ名、商品名、製品番号(あるいは製造番号)、商品を撮像した画像データ、ユーザが購入した日時、商品を閲覧するためのURLを示す文字またはコード(例えば、2次元バーコードなど)である。
 購入した商品を色見本として用いる効果としては、 ユーザに配送される商品そのものを追加チャート(第2色見本)として用いることにより、ユーザが追加チャートとして用いる色見本を入手する手間を省くことができる。
 また、購入した商品を色見本として用いる効果としては、 色変換情報をユーザの好みの色(購入した商品の色)に最適化するように更新することができるため、より色変換情報による、ユーザの照明環境における色特性の推定精度を向上させることができる。
 また、購入した商品を色見本として用いる効果としては、 繊維品や革製品など、印刷物以外の素材を第2色見本とすることで、それらの物品の色再現精度を向上するように色変換情報を変更することができる。
 追加チャート(第2色見本)は、ECサイトで購入した商品の付帯物であり、例えば商品の包装紙、商品が封入された箱、納品書、納品書が封入された封筒などを用いてもよい。
 この場合、追加チャート情報は、色見本指定情報として見本として用いる上記付帯物をユーザが特定することができる情報であり、例えば、物品の商品名、製品番号や物品を撮像した画像データなどの商品のデータに加え、付帯物の名称、当該付帯物の色見本として用いる所定の箇所を示す情報である。
 商品の付帯物を色見本として用いる効果としては、商品とともにユーザに配送される物品であるため、ユーザが新たに第2色見本として追加チャートを入手する手間を省くことができる。
 また、追加チャート情報として、一つの物品を指定する色見本指定情報ではなく、複数の種類の物品、例えば配送された商品とこの商品の付帯物とを第2色見本とすることを指定する構成としてもよい。
 また、追加チャート情報(色見本指定情報としての第2色見本情報)が、汎用品(一般的に家庭に広く流通している民生品としての物品)を追加チャート(色見本、すなわち第2色見本)として用いることを示す構成としても良い。
 追加チャート(第2色見本)は、民生品としての物品が一般に流通している工業製品であり、例えば文房具、プラスチックのおもちゃ、食器などを用いてもよい。
 この場合、追加チャート情報は、色見本指定情報として見本として用いる上記工業製品を特定することができる情報であり、例えば、当該工業製品の商品名、製品番号や工業製品を撮像した画像データである。
 工業製品を色見本として用いる効果としては、物品の色特性が製造工程により高い精度で管理されていることが多く、同一色として製造された物品間の色特性のズレが少なく、精度の高い色見本として用いることができる。
 また、工業製品を色見本として用いる効果としては、一般的であるほど、ユーザが所有している可能性が高いため、ユーザ自身が色見本を入手する手間を省くことができる。
 追加チャート(第2色見本)は、民生品としての物品が一般に流通している、商品が封止あるいは封入されたパッケージであり、例えば洗剤、化粧品、医薬品などのパッケージを用いてもよい。
 この場合、追加チャート情報は、色見本指定情報として見本として用いる上記パッケージを利用した物品を特定することができる情報であり、例えば、物品の商品名、製品番号や物品を撮像した画像データである。
 パッケージを色見本として用いる効果としては、パッケージの配色における色特性が製造工程により高い精度で管理されていることが多く、色特性のずれが少なく、精度の高い色見本として用いることができる。
 また、パッケージを色見本として用いる効果としては、比較的に配色に用いられる色特性の種類が多く、色変換情報を高い精度で生成する色見本として用いることができる。
 また、パッケージを色見本として用いる効果としては、一般的であるほど、ユーザが所有している可能性が高く、所有しておらずとも容易に入手できる。
 また、色見本指定情報は、上述したような特定の物品(商品を含む)、工業製品、やパッケージなどではなく、当該物品、工業製品やパッケージのカテゴリに対応した情報としてもよい。例えば、指定されるカテゴリは、例えば菓子箱、ペットボトル、特定のECサイトで購入した商品等である。
 また、当該カテゴリの他の好適な例としては、赤色が配色された物品、青色が配色された物品、緑色が配色された物品に対応するカテゴリとしてもよい。
 上述したカテゴリにより指定する構成とすることにより、本実施形態の色変換情報生成システムは、ユーザの撮像した色見本(第1色見本あるいは第2色見本)のチャート撮像画像におけるRGB値から、特定のカテゴリで示される物品の色が不足していると推定された場合に、この不足した色を補うために、対応する物品のカテゴリを色見本として指定する色見本指定情報として提供することができる。
 上述した構成の場合、撮像に使用される色見本は特定されないが、チャート情報データベース13を用いて色見本を認識することにより、撮像された色情報に対応した色特性情報を取得できる。
<処理F3の色変換情報更新のための情報追加の第2例>
 図14は、商品販売支援システム1を用いた色変換情報更新のための情報追加の処理の流れを示すシーケンス図である。図においては、ユーザデータベース11,商品色データベース12、チャート情報データベース13及び機器情報データベース14の各々を、各データベース(11、12、13、14)として記述して説明する。ステップFF301については、第1例と同様である。
 ステップFF301A:
 このとき、ECサイトの商品の発送に伴い、商品販売支援システム1における色変換情報演算部105は、追加チャート情報を商品とともにユーザに配送することをECサイトに対して指示する情報を、データ入出力部101を介して送信する。この追加チャート情報は、本第2例の場合、新たな追加チャートを撮像した追加チャート撮像画像を撮影情報とともに送信することを示している。
 ここで、チャート供給部102は、商品を購入したユーザの色変換情報を、ユーザデータベース11における色変換情報一覧テーブルから読み出す。
 また、チャート供給部102は、ユーザが購入した商品の商品情報を、商品色データベース12の商品色データテーブルから読み出す。
 チャート供給部102は、ユーザに送付したチャートのチャート設計情報をチャート情報データベース13から読み出す。
 ステップFF301B:
 そして、チャート供給部102は、色変換情報におけるユーザの撮像環境における光源メタリズム、あるいは観察者メタリズム、ユーザが購入した商品の商品情報、すでに送付してあるチャートのチャート設計情報などの組合せに対応する色を所定のアルゴリズムにより抽出し、抽出した色の色票により構成される追加チャートのチャート設計情報を生成する。ここで、既存の色変換情報から推定される観察環境における光源の種類(白色光源、蛍光灯、LED(Light Emitting Diode)などの種類も反映させて追加チャートを作成しても良い。
 上記アルゴリズムは、一例として、ユーザの端末から受信することでチャート撮像画像を取得し、このチャート撮像画像の色分布から、チャート画像から生成した色変換情報の精度を向上させるために必要な色を抽出する。そして、この抽出した色の色特性情報により、追加チャートに加える色を求めて、追加チャートの設計を行なってもよい。
 また、商品とともに配送される追加チャート情報は、提供した追加チャートともにユーザが購入した商品を撮像した商品撮像画像を商品販売支援システム1に送信する情報が示す構成としてもよい。
 商品販売支援システム1は、ユーザの端末から受信することで取得した商品撮像画像及び追加チャート撮像画像の色分布から、チャート画像から生成した色変換情報の精度を向上させるために必要な(色変換情報を生成するために不足している情報としての)色を抽出する。そして、この抽出した色の色特性情報により、追加チャートに加える色を求めて、追加チャートの設計を行なってもよい。
 そして、運営会社Aは、上記追加チャートのチャート設計情報に対応して、追加チャートを製造(例えば、紙媒体などに印刷)する。
 ステップFF301C:
 そして、チャート供給部102は、生成した追加チャートのチャート設計情報を、チャート識別情報を付与して、チャート情報データベース13のチャート情報テーブルに書き込んで記憶させる。
 ステップFF302A:
 そして、運営会社Aは、製造した追加チャートを、ECサイトが発送する商品に同梱するか、あるいは直接にユーザに対して配送する。
 また、ECサイトは、商品販売支援システム1から供給される商品購入情報に対応して、ユーザの指定した商品に対して上記追加チャート情報を添付して、ユーザの登録した住所に対して配送する。
 ステップFF303A:
 ユーザは、商品とともに追加チャートが配送されてきた際、商品に添付されている追加チャート情報を参照して、この追加チャート情報の指示に対応して、観察環境において撮像装置により追加チャートの撮像を行い、追加チャート撮像画像を取得する。
 ステップFF304A:
 そして、ユーザは、商品販売サイト(商品販売支援システム1)に対してアクセスし、配送された追加チャートを撮像した追加チャート撮像画像のデータと、撮像した際の撮影情報とを、商品販売サイトに対して送信する。
 ステップFF305A:
 データ入出力部101は、追加チャート撮像画像のデータ及び撮影情報とがユーザ端末3から供給された場合、追加チャート撮像画像のデータを撮像画像取得部103に対して出力する。
 また、データ入出力部101は、ユーザ端末3から供給された撮影情報を、機器情報取得部104及び色変換情報演算部105に対して出力する。
 そして、撮像画像取得部103は、ユーザ識別情報に対応させて、追加チャート撮像画像のデータを、ユーザデータベース11の色変換情報一覧テーブルに対して書き込んで記憶させる。
 機器情報取得部104は、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース14の機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104は、読み出したカメラ特性を、上記色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 そして、本第2例の場合、処理F4において、色変換情報演算部105は、チャート撮像画像及び追加チャート撮像画像と、チャートの色特性情報及び追加チャートの色特性情報と、撮影情報とを用いて、色変換情報の再演算を行ない、新たに求められた色変換情報により、既存の色変換情報の更新を行なう。この演算は、すでに説明した処理F1における色変換情報の生成と同様に行なわれる。また、色変換情報の更新の手法においては、本処理F3の第1例で説明した手法と同様である。
 また、上記本第2例においては、追加チャートを運営会社Aにおいて製造して、完成した追加チャートをユーザに配送する構成において説明した。しかしながら、処理F1のユーザ環境情報登録の第2例の図11におけるステップFF102B及びステップFF102Cに記載されている場合と同様に、追加チャートのプリンタ用画像を生成して、ユーザ端末3に送信する構成としても良い。この場合、ユーザが利用できるプリンタにより、追加チャートを出力し、この出力した追加チャートを撮像した追加チャート撮像画像と撮影情報とを、商品販売支援システム1に対して送信する。
 なお、上記本第1例と上記本第2例を組み合わせ、商品と追加チャートとを同時に撮像し、商品と追加チャートとが一緒に撮像された撮像画像を商品販売支援システム1に対して送信する構成としてもよい。
<処理F3の色変換情報更新のための情報追加の第3例>
 図15は、商品販売支援システム1を用いた色変換情報更新のための情報追加の処理の流れを示すシーケンス図である。図においては、ユーザデータベース11,商品色データベース12、チャート情報データベース13及び機器情報データベース14の各々を、各データベース(11、12、13、14)として記述して説明する。ステップFF301については、第1例と同様である。
 ステップFF302B:
 ECサイトは、商品販売支援システム1から供給される商品購入情報に対応して、ユーザの指定した商品に対して、運営会社Aから通知された追加チャート情報を添付して、ユーザの登録した住所に対して配送する。この追加チャート情報は、本第3例の場合、ユーザ端末3に対して送信した商品画像(ユーザが購入した商品の商品画像)の色と、観察環境において実際の商品を観察される商品の色とを比較し、商品画像の調整データやコメントなどの評価を送信することを示している。
 ステップFF302C:
 すでに説明した処理F2におけるステップFF205、ステップFF206、ステップFF207及びステップFF208と同様に、推定画像生成部106は、ユーザ端末3の表示画面に表示させる商品表示画像を生成する。
 ステップFF302D:
 推定画像生成部106は、生成した商品表示画像のデータを、データ入出力部101を介して、ユーザ端末3に対して送信する。
 これにより、ユーザは、商品を購入する際に観察した商品画像、すなわち自身の観察環境で実物の商品を観察した場合と同様の色として推定された商品画像を、ユーザ端末3の表示画面で視認する。
 ステップFF303B:
 ユーザは、配送された商品と、ユーザ端末3の表示画面に表示された商品画像との各々を観察してそれぞれの視認される色を比較する。
 そして、ユーザ端末3の表示画面に表示されている色成分RGB(red:赤、green:緑、blue:青)調整用バーを順次調整することにより、実際に見ている商品の色に、表示画面の商品画像の色を合わせる、色の差の評価を行なう。
 ステップFF304B:
 ユーザは、表示画面の商品画像と、実際に観察している商品の色とが同様となったと認識した際、色成分RGB調整用バーなどの調整量を入力する表示による表示画像の色の調整を終了させる。
 これにより、ユーザ端末3は、ユーザが色を調整した商品画像のデータを評価情報として、商品販売支援システム1に対して送信する。
 または、「赤みが足りない」などの情報を評価情報として、商品販売支援システム1に対して送信してもよい。
 ステップFF305B:
 データ入出力部101は、商品表示画像と実際の商品との比較結果である評価情報がユーザ端末3から供給された場合、評価情報の商品表示画像を撮像画像取得部103に対して出力する。
 そして、撮像画像取得部103は、ユーザ識別情報に対応させて、追加チャート情報として商品表示画像のデータを、ユーザデータベース11の色変換情報一覧テーブルに対して書き込んで記憶させる。
 そして、本第3例の場合、処理F4において、色変換情報演算部105は、すでに取得しているチャート撮像画像、このチャート撮像画像を撮像した際の撮影情報、評価情報としての商品表示画像またはコメントなどの評価と、商品表示画像の商品の商品情報と、ユーザ端末3のディスプレイ特性とに基づき、色変換情報の再演算を行ない、新たに求められた色変換情報により、既存の色変換情報の更新を行なう。この演算は、すでに説明した処理F1における色変換情報の生成と同様に行なわれる。また、色変換情報の更新の手法においては、本処理F3の第1例で説明した手法と同様である。
 また、本第3例の場合、評価情報として商品表示画像を用いて説明したが、チャート(色見本)の表示画像を生成してユーザに提供し、ユーザがチャートの表示画像と実物のチャートとを比較して、色を調整したチャートの表示画像を評価情報として、商品販売支援システム1に対して送信しても良い。
 また、上述した第1例から第3例においては、追加チャートを送信するタイミングを、ユーザが商品を購入した場合として説明した。
 しかしながら、ユーザが商品を返品する際に、追加チャート情報をユーザに対して供給し、追加チャート撮像画像(商品撮像画像、評価情報を含む)を取得して、色変換情報の更新を行なう構成としても良い。
<処理F3の色変換情報更新のための情報追加の第4例>
 図16は、商品販売支援システム1を用いた色変換情報更新のための情報追加の処理の流れを示すシーケンス図である。図においては、ユーザデータベース11,商品色データベース12、チャート情報データベース13及び機器情報データベース14の各々を、各データベース(11、12、13、14)として記述して説明する。本第4例としては、第1例から第3例のように商品を購入した時点に追加チャート情報をユーザに供給するのではなく、所定の時点に追加チャートをユーザに供給する構成である。
 ステップFF301D:
 チャート供給部102は、ユーザデータベース11におけるユーザデータテーブルを所定の周期(例えば、毎日)で、その日の日付に基づいて参照する。
 ステップFF301E:
 チャート供給部102は、ユーザのアニバーサリー(ユーザ属性情報における誕生日、結婚記念日、入学、卒業、就職など)、所定の定期更新(例えば、3ヶ月毎)、継続使用によるランクアップ(例えば、登録開始から経過した年数(経過年数)により、ユーザとして受けるサービスがランクアップする時点)などの様々なタイミングであるか否かの検出を行なう。ここで、アニバーサリー、定期更新、ランクアップ及び経過年数のいずれか、複数の組合せ、全てなど、タイミングの設定は、ユーザ毎に任意に行なう。
 そして、チャート供給部102は、上記タイミングであることを検出した場合、以降のステップを処理し、一方、上記タイミングでないことを検出した場合、図16のフローを終了して、次の処理の周期に、再度、ステップFF301Dから処理を実行する。
 ステップFF302E:
 チャート供給部102は、商品を購入したユーザの色変換情報を、ユーザデータベース11における色変換情報一覧テーブルから読み出す。
 また、チャート供給部102は、ユーザがそのタイミングまでに購入した商品の商品情報の各々を(単数であれば一つの商品情報を)、商品色データベース12の商品色データテーブルから読み出す。
 チャート供給部102は、登録の時点でユーザに送付したチャートのチャート設計情報をチャート情報データベース13から読み出す。
 ステップFF302F:
 チャート供給部102は、色変換情報におけるユーザの環境における光源メタリズム、あるいは観察者メタリズム、ユーザが上記タイミングまでに、商品販売支援サイトにて閲覧した画像の被写体としての商品の色特性情報、画像購入した商品の色特性情報、すでに送付してあるチャートのチャート設計情報などのいずれか一つ、または組合せに対応する色を所定のアルゴリズムにより抽出し、抽出した色の色票により構成される設計チャートを追加チャートとして生成(設計)する。
 そして、運営会社Aは、上記追加チャートのチャート設計情報に対応して、追加チャートを製造(例えば、紙媒体などに印刷)する。
 なお、運営会社Aが提供するチャートは、印刷物に限らず、色特性情報がわかる物品であれば、いずれを用いてもよい。
 ステップFF302G:
 そして、チャート供給部102は、生成した追加チャートのチャート設計情報を、チャート識別情報を付与して、チャート情報データベース13のチャート情報テーブルに書き込んで記憶させる。
 ステップFF302H:
 運営会社Aは、上記追加チャートのチャート設計情報に対応して、追加チャートを製造(例えば、紙媒体などに印刷)して、製造した追加チャートをユーザに対して配送する。
 また、チャート供給部102は、上記タイミングにおいて、ユーザのユーザ端末3に対して上記追加チャートに対する追加チャート情報を、メールに添付して送信する。このメールは、例えば、タイミングがアニバーサリーである場合、対応するお祝いのメッセージに対して、追加チャート情報を付加する。
 ステップFF303C:
 ユーザは、追加チャート情報と追加チャートとが配送されてきた際、当該追加チャート情報を参照して、この追加チャート情報の指示に対応して、観察環境において撮像装置により追加チャートの撮像を行い、追加チャート撮像画像を取得する。
 ステップFF304B:
 そして、ユーザは、商品販売支援サイト(商品販売支援システム1)に対してアクセスし、配送された追加チャートを撮像した追加チャート撮像画像のデータと、撮像した際の撮影情報とを、商品販売支援サイトに対して送信する。
 ステップFF305B:
 データ入出力部101は、追加チャート撮像画像のデータ及び撮影情報とがユーザ端末3から供給された場合、追加チャート撮像画像のデータを撮像画像取得部103に対して出力する。
 また、データ入出力部101は、ユーザ端末3から供給された撮影情報を、機器情報取得部104及び色変換情報演算部105に対して出力する。
 そして、撮像画像取得部103は、ユーザ識別情報に対応させて、追加チャート撮像画像のデータを、ユーザデータベース11の色変換情報一覧テーブルに対して書き込んで記憶させる。
 機器情報取得部104は、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース14の機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104は、読み出したカメラ特性を、上記色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 本第4例の場合、処理F4において、色変換情報演算部105は、チャート撮像画像及び追加チャート撮像画像と、チャートの色特性情報及び追加チャートの色特性情報と、撮影情報とを用いて、色変換情報の再演算を行ない、新たに求められた色変換情報により、既存の色変換情報の更新を行なう。この演算は、すでに説明した処理F1における色変換情報の生成と同様に行なわれる。また、色変換情報の更新の手法においては、本処理F3の第1例で説明した手法と同様である。
 また、上記本第4例においては、追加チャートを運営会社Aにおいて製造して、完成した追加チャートをユーザに配送する構成において説明した。しかしながら、処理F1のユーザ環境情報登録の第2例の図11におけるステップFF102B及びステップFF102Cに記載されている場合と同様に、追加チャートのプリンタ用画像を生成して、ユーザ端末3に送信する構成としても良い。この場合、ユーザが利用するプリンタにより、追加チャートを出力して、出力したチャートを撮像した追加チャート撮像画像と撮影情報とを、商品販売支援システム1に対して送信する。
 また、上記本第4例においては、追加チャートをユーザの観察環境や購入した商品に合わせて、色変換情報を更新する構成として記載されている。
 しかしながら、予め汎用的に作成された追加チャートを送付する構成としても良い。例えば、色変換情報から推定されるユーザの各々の観察環境における光源の種類(白色光源、蛍光灯、LED(Light Emitting Diode)光源などの種類)に対応させて、所定の汎用的な追加チャートを作成しておき、ユーザの色変換情報から推定される光源の種類に対応して供給するように構成しても良い。
 また、追加チャート情報の送信手段としてメールを例示したが、ユーザ端末3内のアプリケーションへの情報送信に基づいて、このアプリケーションが受信した追加チャートの情報をユーザに提示する構成としてもよい。
 また、チャートの発行方法としては、上述したメールではなく、例えば、ユーザにアニバーサリーなどに配送するダイレクトメールに対してバーコード(通常のバーコードあるいは2次元バーコード)を添付して、ユーザ自身の選択により追加チャートを配送依頼する形式としてもよい。
 また、チャートの発行方法としては、メールに追加チャートの発送を依頼する先のURL(Uniform Resource Locator)を付加して、ユーザ自身の選択により追加チャートを配送依頼する形式としてもよい。
 さらに、会員証や納品書に追加チャートを依頼するURLの情報を含むバーコードを印刷しておくようにしても良い。さらに、会員証や納品書などが着色されており、その撮像画像と色特性情報とを用いて色変換情報を更新してもよい。
 本実施形態によれば、追加チャート(供給する毎に異なる追加チャート)による色変換情報の更新を行なう毎に、色変換情報がそのユーザの観察環境及び好みの色に対応していき、ユーザがユーザ端末3で観察する商品画像の色と、ユーザが自身の観察環境で観察する商品の実物の色とがより、近い色として視認されるようになり、商品の色が表示画面で観察した際と異なるなどの理由による返品が減少し、ユーザ及びECサイトの各々の返品に関する処理を減少させることができる。
 すなわち、本実施形態によれば、追加チャートを撮像してユーザ端末3から商品販売支援システム1に追加チャート撮像画像のデータを送信することのみで、実物の商品の色が商品表示画像として再現することができ、実物を見ることなく簡易に所望の色の商品を選択して購入することが可能となる。
 また、本実施形態によれば、ユーザが追加チャートによる色変換情報の更新を行なうことにより、色変換情報がそのユーザの観察環境及び好みの色に対応していき、ユーザがユーザ端末3で観察する商品画像の色と、ユーザが自身の観察環境で観察する商品の実物の色とがより、近い色として視認されるようになるため、ユーザの色の差をなくそうというインセンティブが引き出され、追加チャートの撮像処理などを行なうように誘導することができる。
 また、本実施形態によれば、追加チャートによる色変換情報の更新毎に、更新回数に対応したポイント付与、あるいは商品の金額の割引率の増加処理などの金銭的なフィードバックをユーザに与えることにより、ECサイトから商品をより安く購入できるとしてインセンティブが引き出され、追加チャートの撮像処理などを行なうように誘導することができる。
 また、本実施形態によれば、ECサイトに商品販売支援システム1を備えても良く、この場合にECサイトが継続的な使用によるユーザ毎の色変換情報の更新により、商品表示画像の色の再現性が向上し、追加チャートの送付や、ユーザが追加チャート撮像画像の送付などにより、ECサイトとユーザとの接する機会が増加するため、ECサイトの利用率が上昇することで、ユーザが商品を購買する確率が増加する。
 また、本実施形態においては、ユーザデータベース11、商品色データベース12、チャート情報データベース13及び機器情報データベース14の各々が、商品販売支援システム1の内部に備えられるように記載したが、それぞれが商品販売支援システム1以外のネットワーク500の別のサイトに接続された構成としても良い。
 また、本実施形態のような商品販売に限らず、ユーザが医師や患者、ECサイトサーバ(物品閲覧サイトに備えられるサーバ)が病院等の医療機関、商品販売支援サーバが医療画像等の閲覧サーバでもよく、対象は商品に限らず、自然物や人工物を含む物品の閲覧を目的としてもよい。
<第2の実施形態>
 以下、本発明の第2の実施形態について、図面を参照して説明する。本実施形態において、色見本(第1色見本であるチャート、第2色見本である追加チャート)と、色見本情報(第1色見本情報であるチャート情報、第2色見本情報である追加チャート情報)の定義については、第1の実施形態と同様である。
 図17は、本発明の第2の実施形態による色見本発行システム(色変換情報生成システム、以下、単に色見本発行システムと示す)を用いたカラーマネージメントシステムの構成例を示すブロック図である。図17において、カラーマネージメントシステムは、色見本発行システム(色変換情報生成システム)1A、ECサイトサーバ2及び顧客端末(ユーザ端末)3の各々がインターネットを含むネットワーク500により相互に接続されて構成されている。記憶部2_1には、ECサイトサーバ2を備えるECサイトが販売する商品の商品画像(後述)が記憶されている。
 色見本発行システム1Aは、例えば、カラーマネージメント管理センターに設置されている。カラーマネージメント管理センターは、ユーザの照明環境で視認される物品の色情報から取得した当該物品の色特性情報と、照明環境における物品の色情報及び色特性情報の各々を相互に変換する色変換情報とを管理する。ここで、色特性情報は、例えば、物品の分光反射率、または1つ以上の環境(光源や観察感度)を規定した測色値である。色変換情報は、例えば、光源である照明の分光放射輝度や観察者の分光感度、または異なる環境間の測色値変換行列、処理手順、関数である。
 本実施形態において、ユーザは、例えばECサイト及びECサイトの顧客の各々である。
 このため、カラーマネージメント管理センターは、例えば、商品販売支援サイトの運営会社Aに設けられており、各ECサイトが販売する商品(物品の一例であり、例えば、本実施形態においては服飾品)の商品画像を、顧客端末3の各々の表示画面に対し、顧客が商品を観察する観察環境(照明環境であり、例えば、ユーザの観察する場所の光源下)で観察した際、実物の商品の色と同様に視認できる表示色により表示させ、正確に商品の形態を顧客に提供することで商品の販売支援を行なう。
 本実施形態における商品(物体)は、販売される品物であり、服飾品、装飾品、家具、骨董品、絵画などである。特に、服飾品は、ユーザの色の好みや他との色の組合せなどが重要なユーザの選択条件となる。このため、顧客端末3の表示画面において視認される表示色と、ユーザの観察環境の特性(上記照明環境の照明である光源の特性、例えば分光放射輝度特性)において視認される実物の色とが異なる場合、顧客が自身の色の好みに合わず、商品の返品の大きな原因となるため、顧客端末3の表示画面に表示される商品の画像(後述する商品表示画像)の表示色の調整は重要である。
 図18は、本実施形態による色見本発行システム1Aの行なう、顧客への色見本の発行における処理の概要について説明する概念図である。
 図18(a)は、色見本発行システム1Aの行なう、顧客への色見本の発行における処理の流れを示すフローチャートである。
 図18(b)は、図18(a)に示すフローチャートにおける処理の各々を行なう主体が、顧客であるか色見本発行システム1Aであるかを示す概念図である。ここで、顧客は、自身の照明環境において、ECサイトから購入した商品を視認するため、照明環境が商品の実物の観察環境となる。
 ・処理F11
 処理F11は、顧客の観察環境における色変換情報の生成が行なわれる処理である。この処理F11は、ECサイトに登録した顧客の観察環境における照明環境情報を取得する処理と、取得した照明環境情報から色変換情報を求める処理とが行なわれる。
 すなわち、処理F11は、カラーマネージメント管理センターが、ECサイトに登録した顧客に対して色見本としてチャート(第1色見本)の提供を行い、このチャートを撮像したチャート撮像画像と、撮影情報とを取得する。上記チャートは、所定の異なる色の複数の色票(カラーパッチ)が配列されて、所定の媒体に印刷された色見本である。これらの色の色特性情報は既知であり、色見本発行システム1Aが有している。
 このチャートは、ユーザである顧客が使用可能な光源のいずれにも汎用的に用いられる色票の組合せである。また、チャートは、例えば、顧客が使用可能な光源の種類(例えば、蛍光灯、白熱灯、LED(light emitting diode)照明、太陽が照射する自然光など)を分類可能な分光放射輝度特性が取得できる色票の組合せとしてもよい。また、チャートは、例えば、予めユーザの属性情報(ユーザ属性情報)により分類された複数のグループ毎に、そのグループに対応して推定されるユーザ特性に対応して、予め生成されて設定されていてもよい。
 ここで、本実施形態におけるユーザ属性情報とは、顧客属性情報及びECサイト属性情報との各々がある。
 顧客属性情報は、第1の実施形態における登録を行なうユーザの属性情報に対応しており、少なくとも、観察環境の場所の種別を示す属性情報(空間の広さ、窓の有無、部屋の壁、天井及び床などの色)や、性別、年齢、住所、職業、在宅時間帯、誕生日、結婚記念日、登録した日時などのユーザ自身の属性情報のいずれかまたは組合せあるいは全てを含む。また、ECサイト属性情報は、少なくとも、ECサイト名、撮像環境の場所の種別(空間の広さ、窓の有無、部屋の壁、天井及び床などの色)、販売する商品種別、販売する商品のメインカラー、販売する商品のメイン素材、販売する商品の販売対象の商品対象年齢、電話番号、メールアドレス、その照明環境における撮像時間帯などのいずれかまたは組合せあるいは全てを含む。
 上記観察環境・撮像環境の場所の種別、在宅時間帯及び撮像時間帯の各々などは、照明環境における照明の特性(光源の状態を示す特性)を示す情報(環境属性)となる。
 撮影情報とは、撮像したカメラのカメラ特性を取得するためのカメラ機種(あるいはデバイス機種)などの情報、撮影した際のカメラの設定情報、撮影した撮影場所を示す位置情報(カメラに設けられた装置が取得したGPS(global positioning system)情報、あるいは顧客指定(住所、部屋名)など)、日時情報などである。この撮影情報は、ECサイトに登録した時点に、ECサイトを介してカラーマネージメント管理センターが取得しておいても良い。
 そして、チャートの分光反射率、または1つ以上の環境(光源や観察感度)を規定した測色値である色特性情報と、チャート撮像画像及びカメラ特性とにより、色特性情報を、上記チャートを撮像した撮像環境における測色値である色情報に変換する色変換情報を生成する。
 また、顧客が色変換情報を用いて商品表示画像を提供するサービスに登録しておらず、ECサイトから顧客がすでに物品を購入している場合、チャートとして用いる色見本をこの顧客が購入した物品のいずれか、あるいは組合せ、または全てを用いても良く、この物品の撮像画像をチャート撮像画像として、撮影情報とともに色見本発行システム1Aに送信する構成としてもよい。
 ・処理F12
 色見本発行システム1Aは、上記色変換情報により、ECサイトが販売する商品の画像の色を、顧客が商品を観察する環境の光源に対応した、すなわち顧客が自身の観察環境で商品を観察した際に視認する色に変換した商品画像データを生成する。
 そして、色見本発行システム1Aは、顧客端末3に対して上記商品表示画像を供給する。
 顧客は、顧客端末3の表示画面において商品表示画像を観察し、当該商品を気にいった場合に購入の処理を行なう。
 ・処理F13
 色見本発行システム1Aは、顧客からの購入の処理に伴い、ECサイトに対して顧客とこの顧客が購入した商品の販売情報を通知する。
 これにより、ECサイトの運営会社Bは、顧客に対して、当該顧客が購入した商品を出荷して、顧客に配送する。
 また、カラーマネージメント管理センターは、上記商品が運営会社Bから出荷された際、商品を購入した顧客に対して追加チャート(第2色見本)の情報(追加チャート情報)を提供する。
 また、上記追加チャート情報は、顧客が商品を購入しなくとも、所定のタイミングにおいて、顧客が運営会社Bが運営するECサイトにおいて商品を閲覧したことに基づいて、運営会社Bから閲覧した顧客に対して提供されてもよい。
 そして、顧客は、商品及び追加チャート情報を受領し、追加チャート情報に従い、追加チャートを撮像(チャートを撮像した際と同様の環境における撮像)して、追加チャート撮像画像及び撮影情報を、顧客端末3により色見本発行システム1Aに送信する。
 色見本発行システム1Aは、既に取得している色変換情報を更新する新たな追加チャートの撮像画像及び撮影情報を取得する。
 この追加チャートは、例えば、少なくとも、チャートで得られた色変換情報、顧客が購入あるいは閲覧した商品の色特性情報、照明環境の情報に対応して当該照明環境に類似する照明環境における色変換情報、顧客が色の違いを示す指摘情報(比較結果)の各々のいずれか、あるいは組合せ、または全てに対応した色の色票の組合せとして生成される(色票の生成については後述)。
 ・処理F14
 色見本発行システム1Aは、顧客から供給された追加チャート撮像画像及び撮影情報の各々により、すでに取得しているこのユーザの色変換情報を変更(不足している情報の補完を行う処理)する。
 その後、処理F12から処理F14が繰り返される毎に、顧客の色変換情報の変更が行なわれ、より実物の商品に近い色を視認できる商品表示画像が生成されるようになる。
 また、更新においては、追加チャート撮像画像及び撮影情報をすべて加えても良いし、所定の基準に基づいて、チャートや追加チャート情報の一部の情報、またその組合せにより色変換情報を変更しても良い。
 また、追加チャート撮像画像及び追加チャート撮像画像を撮像した撮影情報に加えて、チャート撮像画像及びこのチャートを撮像した撮影情報の一部の情報を用いて、色変換情報を生成しても良い。
 また、色変換情報の更新においては、撮影した撮影環境がこれまでの環境と異なるか否かをユーザが明示的に示したり、更新処理において所定の閾値を用いて検知したりすることにより、環境が異なったと推定される場合には、追加チャート撮像画像及び撮影情報のみにより新規に色変換情報を取得(変更)しても良い。
 図19は、本実施形態による色見本発行システム1Aの行なう、ECサイトへの色見本の発行における処理の概要について説明する概念図である。
 図19(a)は、色見本発行システム1Aの行なう、ECサイトへの色見本の発行における処理の流れを示すフローチャートである。
 図19(b)は、図19(a)に示すフローチャートにおける処理の各々を行なう主体が、ECサイトであるか色見本発行システムであるかを示す概念図である。ここで、ECサイトは、自身の照明環境において、ECサイトで販売する商品を撮像するため、照明環境が商品の実物の撮像環境となる。
 ・処理F21
 処理F21は、ECサイトの撮像環境におけるサイト色変換情報(ECサイトの照明環境における色変換情報)の生成が行なわれる処理である。この処理F21は、運営会社Aに登録したECサイトの環境情報を取得する処理と、取得した環境情報からサイト色変換情報を求める処理とが行なわれる。
 すなわち、処理F21は、カラーマネージメント管理センターが、登録されているECサイトに対してチャート(第1色見本)の提供を行い、このチャートを撮像したチャート撮像画像と、撮影情報とを取得する。上記チャートは、所定の異なる色の複数の色票が配列されて、所定の媒体に印刷された色見本である。これらの色の色特性情報はすでに説明したように既知であり、色見本発行システム1Aが有している。また、ECサイトに発行されるチャートは、顧客に発行するチャートと同様でもよく、あるいはECサイトが販売する商品の種類、素材などで分類されたグループ毎に、それぞれの分類の特性に対応して設けられたチャートから選択するものでもよい。
 ここで、撮影情報とは、撮像したカメラのカメラ特性を取得するためのカメラ機種(あるいはデバイス機種)などの情報、撮影した際のカメラの設定情報、撮影した撮影場所を示す位置情報(カメラに設けられた装置が取得したGPS情報、あるいはECサイト指定(住所、部屋名)など)、日時情報などである。この撮影情報は、ECサイトが運営会社Aに登録した時点に、カラーマネージメント管理センターが取得しておいても良い。
 そして、処理F11と同様に、チャートの分光反射率、または1つ以上の環境(光源や観察感度)を規定した測色値である色特性情報と、チャート撮像画像及びカメラ特性とにより、色特性情報を、上記チャートを撮像した撮像環境における測色値である色情報に変換するサイト色変換情報を生成する。
 ・処理F22
 色見本発行システム1Aは、上記サイト色変換情報により、ECサイトが販売する商品の画像の色を、ECサイトの撮像環境で商品を観察する際の光源に対応した、すなわちECサイトが自身の環境で商品を観察した際に視認する色に変換した商品画像データを生成する。
 そして、色見本発行システム1Aは、ECサイトサーバ2に対して上記商品表示画像を供給する。
 ECサイトの担当者は、ECサイトサーバ2の表示画面において商品表示画像を観察し、当該商品の色と、撮像環境における実物の色とを比較し、比較結果を色見本発行システム1Aに通知する。この処理は、顧客端末3において顧客に閲覧される商品表示画像が、観察環境で観察される商品の実物と同様の色として視認されるように、サイト色変換情報の変換精度を向上させることを目的とした処理の一つである。
 ・処理F23
 色見本発行システム1Aは、ECサイトからの商品表示画像と実物の商品との比較結果の提供(供給)の処理に伴い、ECサイトに対して追加チャート(第2色見本)を発行する処理を行う。
 すなわち、カラーマネージメント管理センターは、上記比較結果がECサイトから提供された際、比較結果を提供したECサイトに対して追加チャートの情報(追加チャート情報)を提供する。
 そして、ECサイトの担当者は、商品及び追加チャート情報を受領し、追加チャート情報に従い、追加チャートを撮像(チャートを撮像した際と同様の環境における撮像)して、追加チャート撮像画像及び撮影情報を、ECサイトサーバ2により色見本発行システム1Aに送信する。
 色見本発行システム1Aは、既に取得しているサイト色変換情報を更新する新たな追加チャートの撮像画像及び撮影情報を取得する。
 この追加チャートは、例えば、少なくとも、チャートで得られたサイト色変換情報、このサイト色変換情報で得られるECサイトが販売する商品の色特性情報、商品の素材などの商品情報(物体である商品の属性情報)、照明環境の情報に対応して当該照明環境に類似する照明環境におけるサイト色変換情報、ECサイトの色の違いを示す指摘情報(比較結果)の各々のいずれか、あるいは組合せ、または全てに対応した色の色票の組合せとして生成される(色票の生成については後述)。
 ・処理F24
 色見本発行システム1Aは、ECサイトから供給された追加チャート撮像画像及び撮影情報の各々により、すでに取得しているこのECサイトのサイト色変換情報を、商品の属性を含む情報により変更する。
 その後、処理F22から処理F24が繰り返される毎に、ECサイトのサイト色変換情報の変更が行なわれ、より実物の商品に近い色を視認できる商品表示画像が生成されるようになる。
 また、更新においては、追加チャート撮像画像及び撮影情報をすべて加えても良いし、所定の基準に基づいて、チャートや追加チャート情報の一部の情報、またその組合せによりサイト色変換情報を変更しても良い。
 また、追加チャート撮像画像及び追加チャート撮像画像を撮像した撮影情報に加えて、チャート撮像画像及びこのチャートを撮像した撮影情報の一部の情報を用いて、サイト色変換情報を生成しても良い。
 また、サイト色変換情報の更新においては、撮影した撮影環境がこれまでの環境と異なるか否かをユーザが明示的に示したり、更新処理において所定の閾値を用いて検知したりすることにより、環境が異なったと推定される場合には、追加チャート撮像画像及び撮影情報のみにより新規にサイト色変換情報を取得(変更)しても良い。
 図17に戻り、ECサイトサーバ2は、ECサイト商品管理や売上管理を行うために各々に設けられており、また記憶部2_1を備えている。この記憶部2_1には、後述するECサイトデータベース13Aにおける商品色データテーブルの商品撮像画像と、サイト色変換情報を生成する際に用いるチャート撮像画像とが、商品識別情報に対応して記憶されている。
 色見本発行システム1Aは、色見本発行サーバ10A、推定画像生成サーバ11A、顧客データベース12A、ECサイトデータベース13A、チャート情報データベース14A、機器情報データベース15A及び商品販売サーバ16Aを備えている。
 色見本発行システム1Aは、すでに述べたように、ECサイトがそれぞれの撮像環境において撮像して提供する商品の画像を、顧客の各々が自身の観察環境において当該商品の実物の色として視認できる商品表示画像に変換するサイト色変換情報、あるいは商品の色を正確に伝搬する色特性情報を得るためのチャート及び追加チャートを生成し、ECサイトあるいはユーザに対して発行する。
 図20は、本実施形態による色見本発行サーバ10Aの構成例を示す図である。この図20において、色見本発行サーバ10Aは、データ入出力部101A、チャート発行部102A、撮像画像取得部103A、機器情報取得部104A、色変換情報演算部105A、照明環境推定部106A及び追加チャート発行部107Aを備えている。
 データ入出力部101Aは、外部装置あるいは外部システムとのデータの送受信をネットワーク500を介して行なう。
 チャート発行部102Aは、ユーザ(ECサイト及び顧客の各々)に対して提供するチャートを生成あるいは決定し、このチャートを印刷媒体に印刷してユーザに対して色見本(第1色見本)として発行する。
 印刷媒体としては、ユーザが運営会社Aに登録した際に、カラーマネージメント管理センターから供給される会員証(登録証なども含む)、入会に関する書類、あるいは会員証や書類が挿入された封筒あるいは梱包材(梱包資材)または緩衝材などである。すなわち、色見本は、登録することでカラーマネージメント管理センターからユーザに提供される、会員証、書類、封書、梱包材または緩衝材などに印刷されたチャート、あるいは施された色として、登録の際にユーザに提供される。
 また、チャートは、この印刷媒体に対して文字や図形(バーコードや2次元コードなど)として印刷されている。この2次元コードとしては、複数のバーコードが並列に配列した構成や、QRコード(登録商標)のように四角形のドットが格子状に配列した構成がある。
 すなわち、複数の配列した文字の図形の各々の色を異ならせ、それぞれの文字が色票として印刷されていたり、あるいは一文字が複数の領域に分割され、それぞれの領域の各々が異なる色で印刷され色票とされ、文字列(あるいは文字)の図形がチャートとして構成されている。また、バーコードの場合、コードを示すそれぞれのバーの図形がそれぞれ異なる色で印刷されていたり、バーの図形が複数の領域に分割され、それぞれの領域の各々が異なる色で印刷され色票とされ、バーコードの図形がチャートとして構成されている。
 また、2次元コードの場合、コードを示すそれぞれのドットあるいはバーの図形がそれぞれ異なる色で印刷されていたり、ドットやバーの図形が複数の領域に分割され、それぞれの領域の各々が異なる色で印刷され色票とされ、2次元コードの図形がチャートとして構成されている。
 また、チャートは、雑誌の広告、ポスターやチラシなどに印刷された、運営会社AのサイトやECサイトにアクセスするためのURL(uniform resource locator )などを示した文字や図形(バーコードや2次元コードなど)でもよい。
 また、上記URLの文字あるいは図形を撮像して、撮像画像として添付して送付して応募することにより、何らかのプレゼントが当たったり、あるいは登録料金の割引、商品価格の割引、何らかのサービスの料金の割引や、換金可能あるいは商品と引き替え可能なポイントを付与するなどのインセンティブを与えてもよい。
 この場合、カラーマネージメント管理センターは、サイトにアクセスして応募した時点で、観察環境及び撮像環境などの照明環境の情報を得ることができる。
 撮像画像取得部103Aは、データ入出力部101Aにより取得された撮像画像が、チャート撮像画像及び追加チャート撮像画像であるか否かの判定を行なう。
 そして、撮像画像取得部103Aは、上記判定の判定結果とともに、チャート撮像画像を色変換情報演算部105Aに対して出力する。
 機器情報取得部104Aは、データ入出力部101Aにより取得された撮影情報から、カメラ機種及びデバイス機種などのカメラ特性取得情報を抽出する。そして、機器情報取得部104Aは、抽出したカメラ特性取得情報を用いた検索により、このカメラ特性取得情報に対応するカメラ特性を機器情報データベース15A(後述)から取得し、色変換情報演算部105Aに対して出力する。
 色変換情報演算部105Aは、既知であるチャートの各々の色票毎の分光反射率、または1つ以上の環境(光源や観察感度)を規定した測色値である色特性情報と、チャート撮像画像及びカメラ特性の各々から、物品である商品の色特性情報を、ユーザの環境において取得される測色値に変換する色変換情報(ECサイトの色変換情報であるサイト色変換情報に対しても同様であり、例えば、光源の分光放射輝度や観察者の分光感度、または異なる環境間の測色値変換行列、処理手順、関数)を生成し、顧客データベース12A(後述)やECサイトデータベース13A(後述)に、それぞれ書き込んで記憶させる。色変換情報演算部105Aは、商品情報として記憶されている素材や色などに応じて、商品毎に色変換情報を作成してもよい。これにより、色変換の処理においては、商品識別情報から再現する商品情報を取得し、その商品情報の示す商品に対して最適な色変換情報を使用することができる。また、色変換情報演算部105Aは、所定のタイミングで供給される追加チャート撮像画像により、すでに生成されている色変換情報あるいはサイト色変換情報の各々の再演算を行ない、それぞれの情報の更新を行なう。
 照明環境推定部106Aは、チャートから求めた色変換情報に類似した照明種類を、機器情報データベース15Aから読み込む。ここで、照明環境推定部106Aは、例えば、光源の分光放射輝度の波長毎の強度パターンと、機器情報データベース15Aに記憶された照明種類の分光放射輝度の波長毎の強度パターンとを比較し、最も類似度の高い強度パターンの照明種類を選択し、ユーザの照明環境における光源の種類とする。
 追加チャート発行部107Aは、すでに説明したチャートにより得られた色変換情報、あるいは直前に発行した追加チャート、または色の評価の情報(色評価情報)、上記照明種類により、ユーザの照明環境により対応する色変換情報とする色の色票の組合せの追加チャートの発行を行う。チャートにより得られた色変換情報は、このチャートにより算出した得られた照明環境の色変換情報と、このチャートにより得られた分光放射輝度の波長毎の強度パターンに類似した照明環境における色変換情報との各々を含む。
 ここで、色評価情報とは、例えば、顧客が購入した商品の色特性情報、顧客が購入した商品の撮像画像、観察環境における商品及び商品表示画像との色の差異を示す評価情報(後述する商品評価)、顧客が顧客端末3で閲覧した商品の色特性情報などである。
 また、色評価情報とは、例えば、ECサイトの担当者が撮像した商品撮像画像から得た商品の色特性情報、ECサイトサーバ2の表示画面において商品表示画像を観察し、当該商品の色と、撮像環境における実物の色とを比較した比較結果などである。
 そして、追加チャート発行部107Aは、少なくともチャートにより得られた色変換情報(ユーザの照明環境の色変換情報、類似した照明環境の色変換情報)、現時点までに発行した追加チャートの情報、色評価情報及び上記照明種類の情報の各々のいずれか、あるいは組合せ(情報組合せ)、または全てと対応する追加する色の組合せ(追加色組合せ)を用いて、追加チャートの生成を行う。
 このとき、例えば、上記情報組合せ毎に対応して追加色組合せが記述された追加色抽出テーブルを、チャート情報データベース14Aに予め書き込んで記憶させておく。
 そして、追加チャート発行部107Aは、ユーザ(ECサイト、顧客)毎に得られた情報組合せに類似する情報組合せを、追加色抽出テーブルから検索し、検索した情報組合せに対応する追加色組合せを読み出す。
 追加チャート発行部107Aは、読み出した追加色組合せの示す色を色票とし、チャートや直前に発行した追加チャートにおける色票と置き換え、新たな追加チャートを生成するように構成してもよい。
 また、追加チャート発行部107Aは、チャートから生成した色変換情報が変換可能な色域に、顧客が閲覧する商品の色特性情報における測色値、あるいはECサイトが販売する商品の色特性情報における測色値が含まれるか否かの判定を行う。
 このとき、追加チャート発行部107Aは、色域に含まれない商品の色特性情報及びチャートの色特性情報と、追加すべき色の追加色組合せとが対応付けられた追加色抽出テーブルから、チャートに対して追加する追加色組合せを読み出して、新たな追加チャートを生成するように構成してもよい。
 図21は、顧客データベース12Aにおける顧客データテーブルの構成例を示す図である。顧客データテーブルは、ECサイト毎に設けられており、例えば、レコード毎に、顧客識別情報に対応して、顧客属性情報、色変換情報一覧インデックス、商品評価インデックス、プリンタ特性、ディスプレイ特性、カメラ特性の各々の欄が設けられている。
 顧客識別情報は、顧客の各々を個々に識別する情報である。顧客属性情報は、顧客識別情報が示す顧客の属性情報であり、名前、照明環境の場所の種別、性別、年齢、住所、電話番号、メールアドレス、趣味、職業、好きな色、その環境における滞在時間帯などの情報である。ここで、照明環境の場所の種別とは、空間の広さ、窓の有無、部屋の壁、天井及び床などの色である。色変換情報一覧インデックスは、顧客識別情報の示す顧客の観察環境における複数の異なる色変換情報と、プリセット色変換情報となどの顧客が利用可能な色変換情報の各々の一覧情報である色変換情報一覧テーブルが記憶された領域を示すアドレスなどのインデックスである。
 商品評価インデックスは、顧客識別情報の示す顧客の購入した商品に対する、このユーザの評価を示す商品評価テーブルが記憶された領域を示すアドレスなどのインデックスである。プリンタ特性は、顧客が商品画像を印刷するために用いるプリンタのICC(International Color Consortium)プロファイル及びインクの分光情報(インク情報)などのプリンタ出力色情報と、商品画像や色見本を印刷する用紙の媒体情報となどを含む情報である。ディスプレイ特性は、例えば、ICCプロファイルや分光放射輝度あるいは三刺激値などの発光情報である。カメラ特性は、例えばカメラ(撮像装置)の分光感度情報である。このプリンタ特性、ディスプレイ特性及びカメラ特性の各々は、上述した機器情報取得部104Aにより、顧客データテーブルにおける対応する欄に書き込まれる(後述)。
 図22は、顧客データベース12Aにおける色変換情報一覧テーブルの構成例を示す図である。顧客データベース12Aには、色変換情報一覧テーブルが書き込まれて記憶されている。この色変換情報一覧テーブルは、顧客単位に設けられており、レコード毎に、色変換情報識別情報に対応して、チャート撮像画像インデックス、追加チャート撮像画像インデックス、チャート識別情報、アルゴリズム識別情報、色変換情報及び仕様データの各々の欄が設けられている。
 色変換情報識別情報は、色変換情報の各々を個々に識別する情報である。チャート撮像画像インデックスは、データベースにおけるチャート(第1色見本)の撮像画像データが書き込まれて記憶されている領域を示すアドレスなどのインデックスである。ここで、チャート撮像画像のデータとして、このチャート撮像画像から抽出した画素の画素位置とこの画素位置の示す画素の画素値とのデータテーブルでも良い。
 追加チャート撮像画像インデックスは、データベースにおける追加チャート(第2色見本)の撮像画像データが書き込まれて記憶されている領域を示すアドレスなどのインデックスである。ここで、追加チャート撮像画像のデータとして、この追加チャート撮像画像から抽出した画素の画素位置とこの画素位置の示す画素の画素値とのデータテーブルでも良い。
 チャート識別情報は、顧客に提供したチャート及び追加チャートの識別情報である。
 色変換情報は、顧客がチャートあるいは追加チャートを撮像した環境における光源の分光放射輝度、あるいは三刺激値変換行列である。ここで、三刺激値変換行列は、規定観察環境(例えば、CIE(国際照明委員会)_D50と2度視野標準観測者の組み合わせ、あるいはCIE_D65と10度視野標準観測者の組み合わせ)の測色値から、顧客が撮像した環境における光源の分光放射輝度と、撮像に用いたカメラのカメラ特性とによるデバイス値への変換(色変換)を行なう行列である。なお、この色変換は、顧客が撮像した環境における光源の分光放射輝度と、撮像に用いたカメラのカメラ特性とによるデバイス値から、物品の分光反射率や環境が規定された測色値への逆変換も可能である。すなわち、色変換情報は、物品の分光反射率や、観察が規定された測色値である色特性情報と、顧客の環境で観察される測色値との間の変換情報である。
 仕様データは、色変換情報の仕様を示す情報である。仕様データとしては、対応する色変換情報の適用時間範囲を示す、朝時間範囲、昼時間範囲、夜時間範囲などの種別がある。朝時間範囲は、例えば、日の出の時刻から昼の12時の時間範囲を示している。昼時間範囲は、例えば、昼の12時過ぎから日の入りの時刻までの時間範囲を示している。また、仕様データは、顧客が商品を観察する場所情報、もしくは場所情報を含んでいてもよく、オフィスやレストラン、劇場、自宅などにおける色変換情報を特定できる。また、夜時間範囲は、日の入りの時刻から日の出の時刻までを示している。プリセットされた色変換情報は、各顧客に対して共通の色変換情報であり、太陽光や一般的なオフィスにおける光源の分光放射輝度、または環境が規定された色特性情報から、晴天の屋外やオフィスにおいて視認される測色値に変換する変換行列である。
 また、追加チャートに関しては、第2追加チャート(第2色見本)以降の、第3追加チャート(第3色見本)から第n追加チャート(第n色見本)まで、第2追加チャートに関して行なう色変換情報の取得に関する処理と同様な処理が行なわれる。
 図23は、顧客データベース12Aにおける商品評価テーブルの構成例を示す図である。顧客データベース12Aには、商品評価テーブルが書き込まれて記憶されている。この商品評価テーブルは、顧客毎に設けられており、レコード毎に、商品識別情報に対応して、この商品識別情報に対応する商品の評価(商品評価)の欄が設けられている。商品識別情報は、商品の各々を個々に識別する情報である。商品評価は、購入した商品(商品識別情報が示す商品)に対する評価(例えば、アンケートによる評価)が記載され、例えば「満足」、「普通」、「赤みが足りない」、後述のような顧客による色調整結果、「色が異なるため返品」などの顧客に届いた商品への対応などが示されている。
 図24は、ECサイトデータベース13AにおけるECサイトテーブルの構成例を示す図である。ECサイトテーブルは、例えば、レコード毎に、ECサイト識別情報に対応して、ECサイト属性情報、サイト色変換情報一覧インデックス、比較結果インデックス、プリンタ特性、ディスプレイ特性、カメラ特性の各々の欄が設けられている。ECサイト識別情報は、ECサイトの各々を個々に識別する情報である。ECサイト属性情報は、ECサイト識別情報が示すECサイトの属性情報であり、ECサイト名、照明環境の場所の種別、商品種別、メインカラー、メイン素材、商品対象年齢、電話番号、メールアドレス、その照明環境における撮像時間帯などの情報である。ここで、照明環境の場所の種別とは、空間の広さ、窓の有無、部屋の壁、天井及び床などの色である。サイト色変換情報一覧インデックスは、ECサイト識別情報の示すECサイトの撮像環境における複数の異なるサイト色変換情報と、プリセットサイト色変換情報となどのECサイトが利用可能な色変換情報の各々の一覧情報であるサイト色変換情報一覧テーブルが記憶された領域を示すアドレスなどのインデックスである。
 比較結果インデックスは、ECサイト識別情報の示すECサイトの担当者が撮像環境で撮像した商品の実物を観察して視認される色と、ECサイトサーバ2の表示画面で観察される商品表示画像とで視認される色との比較結果の情報(色評価情報)が示されたファイルが記憶された、ECサイトデータベース13Aの領域を示すアドレスなどのインデックスである。この比較結果としては、青色が弱いとか、赤が強いとかなどの、実物と商品表示画像との視認される色の差異を示す情報、あるいはECサイトサーバ2のアプリケーションにより、商品表示画像の色調整をして、同様に視認されたときの色の調整量(色成分RGBの各成分の調整量)など、色の差分を示す情報であればいずれの手法を用いてもよい。プリンタ特性は、ECサイトが商品画像や色見本を印刷するために用いるプリンタのICCプロファイル及びインクの分光情報などのプリンタ出力色情報と、商品画像を印刷する用紙の媒体情報となどを含む情報である。ディスプレイ特性は、例えば、ICCプロファイルや分光放射輝度あるいは三刺激値などの発光情報である。カメラ特性は、例えばカメラの分光感度情報である。このプリンタ特性、ディスプレイ特性及びカメラ特性の各々は、上述した機器情報取得部104Aにより、ECサイトデータテーブルにおける対応する欄に書き込まれる(後述)。
 図25は、ECサイトデータベース13Aにおける商品色データテーブルの構成例を示す図である。ECサイトデータベース13Aには、商品色データテーブルが書き込まれて記憶されている。この商品色データテーブルは、ECサイト毎に設けられている。商品色データテーブルは、レコード毎において、商品識別情報に対応して、商品撮像画像インデックス、商品色情報インデックス及び商品情報インデックスの欄を備えている。商品識別情報は、商品の各々を個々に識別する情報である。商品画像インデックスは、各ECサイトの光源の環境において撮像した撮像画像データが記憶されている、ECサイトデータベース13Aにおける領域を示すアドレスなどのインデックスである。
 商品色特性情報インデックスは、商品の分光画像、各画素の分光反射率を示す商品反射率画像あるいは規定観察環境における商品画像などの色特性情報データが記憶されている、ECサイトデータベース13Aにおける領域を示すアドレスなどのインデックスである。
商品情報インデックスは、商品の分光反射率や素材の種類を示す情報が記憶されている、ECサイトデータベース13Aにおける領域を示すアドレスなどのインデックスである。ここで、素材は、例えば、服飾であれば服の生地の材料の種類であり、レーヨン、ナイロン、ポリエステル、アクリル、ポリウレタン、リネン、コットン、ウール、デニムなどである。これにより、すでに述べたように、商品の素材の種類によって、チャート、あるいは追加チャートの印刷媒体の素材や色特性情報の設計に用いたり、素材ごとに異なる色変換情報を用いて色変換を行なってもよい。
 図26は、ECサイトデータベース13Aにおけるサイト色変換情報一覧テーブルの構成例を示す図である。ECサイトデータベース13Aには、サイト色変換情報一覧テーブルが書き込まれて記憶されている。このサイト色変換情報一覧テーブルは、ECサイト単位に設けられており、レコード毎に、サイト色変換情報識別情報に対応して、チャート撮像画像インデックス、追加チャート撮像画像インデックス、チャート識別情報、サイト色変換情報、アルゴリズム識別情報及び仕様データの各々の欄が設けられている。
 サイト色変換情報識別情報は、サイト色変換情報の各々を個々に識別する情報である。
チャート撮像画像インデックスは、データベースにおけるチャート(第1色見本)の撮像画像データが書き込まれて記憶されている領域を示すアドレスなどのインデックスである。ここで、チャート撮像画像のデータとして、このチャート撮像画像から抽出した画素の画素位置とこの画素位置の示す画素の画素値とのデータテーブルでも良い。
 追加チャート撮像画像インデックスは、ECサイトデータベース13Aにおける追加チャート(第2色見本)の撮像画像データが書き込まれて記憶されている領域を示すアドレスなどのインデックスである。ここで、追加チャート撮像画像のデータとして、この追加チャート撮像画像から抽出した画素の画素位置とこの画素位置の示す画素の画素値とのデータテーブルでも良い。
 チャート識別情報はチャートの識別情報であり、追加チャート識別情報は追加チャートの識別情報である。
 アルゴリズム識別情報は、色変換情報演算部105Aが色変換情報を算出した際に使用したアルゴリズムを識別するための情報であり、商品の素材や色特性情報、有彩色/無彩色などの色情報、屋内外の照明情報などの条件に応じて選択した色変換情報演算のアルゴリズムを識別する。
 サイト色変換情報は、ECサイトがチャートあるいは追加チャートを撮像した環境における光源の分光放射輝度、あるいは三刺激値変換行列である。ここで、三刺激値変換行列は、規定観察環境(例えば、CIE(国際照明委員会)_D50と2度視野標準観測者の組み合わせ、あるいはCIE_D65と10度視野標準観測者の組み合わせ)の測色値から、ECサイトが撮像した環境における光源の分光放射輝度と、撮像に用いたカメラのカメラ特性とによるデバイス値への変換(色変換)を行なう行列である。なお、この色変換は、ECサイトが撮像した環境における光源の分光放射輝度と、撮像に用いたカメラのカメラ特性とによるデバイス値から、物品の分光反射率や環境が規定された測色値への逆変換も可能である。すなわち、サイト色変換情報は、物品の分光反射率や、観察が規定された測色値である色特性情報と、ECサイトの環境で観察される測色値との間の変換情報である。
 仕様データは、サイト色変換情報の仕様を示す情報である。仕様データとしては、対応するサイト色変換情報の適用時間範囲を示す、朝時間範囲、昼時間範囲、夜時間範囲などの種別がある。朝時間範囲は、例えば、日の出の時刻から昼の12時の時間範囲を示している。昼時間範囲は、例えば、昼の12時過ぎから日の入りの時刻までの時間範囲を示している。また、仕様データは、ECサイトの担当者が商品の撮像を行う場所情報、もしくは場所情報を含んでいてもよく、ECサイトの担当者が商品の撮像を行うオフィスやスタジオなどにおけるサイト色変換情報を特定できる。また、夜時間範囲は、日の入りの時刻から日の出の時刻までを示している。プリセットされたサイト色変換情報(プリセットサイト色変換情報)は、各ECサイトに対して共通の色変換情報であり、太陽光や一般的なオフィスにおける光源の分光放射輝度、または環境が規定された色特性情報から、晴天の屋外やオフィスにおいて視認される測色値に変換する変換行列である。
 また、追加チャートに関しては、第2追加チャート(第2色見本)以降の、第3追加チャート(第3色見本)から第n追加チャート(第n色見本)まで、第2追加チャートに関して行なうサイト色変換情報取得に関する処理と同様な処理が行なわれる。
 図27は、チャート情報データベース14Aにおけるチャートテーブルの構成例を示す図である。このチャート情報データベース14Aには、チャートテーブルが書き込まれて記憶されている。チャートテーブルは、レコード毎において、チャート識別情報に対応して、チャート検索情報、チャート画像インデックス、チャート設計情報の各々の欄を備えている。本実施形態において、このチャートテーブルは、ECサイト及び顧客に対して共通に設けているが、ECサイトと顧客とに対して個別に設けるようにしてもよい。
 チャート識別情報は、有彩色や無彩色の物体であるチャートの各々を個々に識別する情報である。チャート検索情報は、ユーザ(ECサイト、顧客)に発行するチャートを検索するためのキー情報である。このチャート検索情報は、少なくともユーザの属性情報(顧客属性情報、ECサイト属性情報)を含んでいる。チャート画像インデックスは、チャートの画像であるチャート画像が書き込まれて記憶されている領域を示すアドレスなどのインデックスである。チャート設計情報は、上記チャート画像におけるチャートの絵柄パターン(例えば、色票の配列パターン)、この絵柄パターンにおける絵柄(色票)の各々の色特性情報である。また、チャート設計情報は、チャート画像の絵柄パターン(文字画像の形状も含む)における色票毎の座標を示す情報、及びこの座標の示す領域と色票の色の色特性情報との対応関係の情報を含んでいる。
 図28は、チャート情報データベース14Aにおける追加チャート設計テーブルの構成例を示す図である。このチャート情報データベース14Aには、追加チャート設計テーブルが書き込まれて記憶されている。追加チャート設計テーブルは、レコード毎において、追加チャート設計識別情報に対応して、追加色検索情報、追加チャート設計情報の各々の欄を備えている。本実施形態において、この追加チャート設計テーブルは、ECサイト及び顧客に対して共通に設けているが、ECサイトと顧客とに対して個別に設けるようにしてもよい。
 追加チャート設計識別情報は、チャートに対して追加する色の情報(単色、あるいは複数色の組合せ)の各々を個々に識別する情報である。追加色検索情報は、チャートにより得られた色変換情報(及びサイト色変換情報)、すでに色票として使用した色の色特性情報、色評価情報、チャートにより推定される照明の光源の種別の情報のいずれか、あるいは組合せ、または全てを少なくとも含む。追加チャート設計情報は、追加色検索情報に対応した追加色の情報(色特性情報)が示されている。
 図29は、チャート情報データベース14Aにおける追加チャートテーブルの構成例を示す図である。このチャート情報データベース14Aには、追加チャートテーブルが書き込まれて記憶されている。追加チャートテーブルは、レコード毎において、追加チャート識別情報に対応して、追加チャート画像インデックス、追加チャート情報の各々の欄を備えている。本実施形態において、この追加チャートテーブルは、ECサイト及び顧客に対して共通に設けているが、ECサイトと顧客とに対して個別に設けるようにしてもよい。
 追加チャート識別情報は、追加チャートの各々を個々に識別する情報である。追加チャート画像インデックスは、追加チャートの画像である追加チャート画像が書き込まれて記憶されている領域を示すアドレスなどのインデックスである。追加チャート情報は、追加チャート画像の絵柄パターン(文字画像の形状も含む)における色票毎の座標を示す情報、及びこの座標の示す領域と色票の色の色特性情報との対応関係の情報を含んでいる。
 図30は、機器情報データベース15Aにおける機器情報テーブルの構成例を示す図である。機器情報データベース15Aには、機器情報テーブルが書き込まれて記憶されている。
 機器情報テーブルは、レコード毎において、機器特定情報と、この機器特定情報の示す機器の特性情報との欄を備えている。
 ここで、機器特定情報は、カメラ、プリンタ及び表示装置の機種情報、あるいはデバイス情報などである。デバイス情報は、例えば、カメラがデジタルカメラであれば、デジタルカメラあるいは使用されているCCD(Charged Coupled Device)素子の型番、プリンタがインクジェットプリンタであれば、プリンタあるいは使用されているインクジェットヘッドの型番、表示装置が液晶ディスプレイであれば、ディスプレイあるいは使用されている液晶パネルの型番である。
 特性情報は、例えば、機器がカメラの場合には、カメラ特性として撮像における分光感度情報である。また、特性情報は、例えば、機器がプリンタの場合には、プリンタ特性としてICCプロファイルやインクの分光情報などのプリンタが出力する印刷色の情報、商品販売画像や色見本を印刷する用紙の媒体情報などである。特性情報は、例えば、機器が表示装置の場合には、ディスプレイ特性としてICCプロファイルや分光放射輝度あるいは三刺激値などの発光情報である。
 以下、図面を参照して、処理F11、処理F12、処理F13及び処理F14の各々の処理の流れにおける色見本発行システム1Aの動作を含む、本実施形態におけるカラーマネージメントの管理を順次説明する。
<処理F11の色変換情報生成の例>
 図31は、色見本発行システム1Aを用いた顧客環境情報登録の処理の流れを示すシーケンス図である。図においては、顧客データベース12A、ECサイトデータベース13A、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12A、13A、14A、15A)として記述して説明する。
 ステップF101:
 顧客は、顧客端末3により、色見本発行サイト(すなわち、色見本発行サーバ10A)にアクセスし、例えば、顧客識別情報によりログインして、顧客の観察環境の環境情報の登録処理を依頼する。
 これにより、データ入出力部101Aは、アクセスした際の顧客識別情報により、顧客データベース12Aの顧客テーブルを検索して、いずれのECサイトに登録している顧客かの確認を行なう。
 ステップF102:
 チャート発行部102Aは、この顧客の顧客属性情報を読み出し、読み出した顧客属性情報により、チャート情報データベース14Aのチャートテーブルを検索する。
 そして、チャート発行部102Aは、この顧客属性情報に最も類似するチャート検索情報を抽出し、抽出されたチャート検索情報に対応するチャート画像インデックスを読み出す。
 チャート発行部102Aは、チャート画像インデックスにより、チャート情報データベース14Aからチャート画像を読出し、チャートとして発行する。
 また、チャート発行部102Aは、ECサイトの販売する商品群の商品画像に対応したチャートとして、例えばECサイトに予め設定されているチャートを、チャート情報データベース14Aのチャート情報テーブルから抽出して発行する構成としてもよい。
 運営会社Aは、チャート発行部102Aがチャートテーブルから発行したチャートを、顧客の住所に対して配送(あるいは郵送)する。
 ステップF103:
 顧客は、自身が商品を観察するであろう観察環境、例えば顧客端末3が備えられた部屋などの所定の位置において、運営会社Aから供給されたチャートの撮像を行なう。
 ステップF104:
 そして、顧客は、チャートを撮像したチャート撮像画像と、撮像における撮影情報と、自身の顧客識別情報とを、顧客端末3によりカラーマネージメント管理センター(色見本発行システム1A)に対して送信する。
 ステップF105:
 データ入出力部101Aは、顧客端末3から供給されたチャート撮像画像を撮像画像取得部103Aに対して出力する。
 また、データ入出力部101Aは、顧客端末3から供給された撮影情報を、機器情報取得部104A及び色変換情報演算部105Aに対して出力する。
 そして、撮像画像取得部103Aは、チャート撮像画像のデータを顧客データベース12Aに書き込む。
 また、撮像画像取得部103Aは、書き込んだ書込領域のアドレスを、顧客識別情報に対応した色変換情報一覧インデックスの示す色変換情報一覧テーブルのチャート撮像画像インデックスに書き込んで記憶させる。
 機器情報取得部104Aは、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104Aは、読み出したカメラ特性を、上記色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 ステップF106:
 色変換情報演算部105Aは、顧客識別情報に対応して、チャート撮像画像とチャート識別情報との各々を色変換情報一覧テーブルから読み出す。
 そして、色変換情報演算部105Aは、読み出したチャート識別情報により、チャート情報データベース14Aのチャートテーブルから、顧客に送付したチャート設計情報インデックスを読み出す。色変換情報演算部105Aは、このチャート設計情報インデックスの示す記憶領域から、チャートの色特性情報を読み出す。
 また、色変換情報演算部105Aは、顧客識別情報に対応して、顧客データテーブルからカメラ特性を読み出す。
 ステップF107:
 色変換情報演算部105Aは、上記チャート撮像画像と、カメラ特性と、チャートの色特性情報とにより、色変換情報を演算して求める。
 この色変換情報は、色特性情報を、登録した顧客の観察環境において取得される測色値に変換する情報である。
 また、照明環境推定部106Aは、チャートから求められた色変換情報から、観察環境における光源の種類を推定する。
 ステップF108:
 色変換情報演算部105Aは、求めた色変換情報を、顧客識別情報に対応させて、色変換情報一覧テーブルに書き込んで記憶させる。
 この色変換情報を色変換情報一覧テーブルに書き込む際に、色変換情報演算部105Aは、チャート撮像画像を撮像した時刻を撮影情報に含まれる日時情報から抽出し、求めた色変換情報に対して対応する時間範囲(朝時間範囲、昼時間範囲、夜時間範囲)を仕様データの欄に書き込んで記憶させる。さらに、GPS情報や顧客指定情報等に基づく位置情報などの撮影情報に含まれる情報を記録させてもよい。
 また、上記説明において、チャートを配送して顧客に提供する場合に説明しているが、ECサイトの登録証(登録カード)の表あるいは裏に、色変換情報を求めるチャートと、このチャートに隣接してチャート識別情報及び顧客識別情報とを予め印刷しておき、顧客にチャートを撮像する際に、チャート識別情報及び顧客識別情報をチャートと同時に撮像させるように構成しても良い。このチャート識別情報は、バーコード、2次元コード(図形情報)などを用いることができる。これにより、容易にチャートと顧客とを関連付けることができる。さらに、チャート識別情報自体が着色されており、このチャート識別情報を撮像することにより、顧客識別情報を用いての顧客との関連付けだけでなく、同時に色変換情報の取得に利用してもよい。
 また、ECサイトに登録した際(顧客登録の時点において)、カラーマネージメント管理センターを運営する運営会社Aが、ECサイトの商品購入に対する説明などを配送する際、チャートを同封したり、説明を配送する封書や納品書、宛名、梱包材などに直接に上述したチャート識別情報及び顧客識別情報(文字情報あるいは図形情報)を印刷しておいても良い。さらに、それらチャート識別情報及び顧客識別情報(文字情報あるいは図形情報)が着色されており、撮像することで色変換情報の取得に利用してもよい。
 また、本実施形態においては、チャート設計情報により予め設計されたチャートを、顧客の観察環境における色変換情報の推定に用いている。しかしながら、このチャート以外に、チャート情報として、一般的に流通している商品のパッケージを撮像する指示を提供しても良い。顧客はパッケージを撮像して、上述したステップF104の処理と同様に、顧客端末3からカラーマネージメント管理センター(色見本発行システム1A)に送信する。汎用的なパッケージであれば、印刷された所定の領域の色特性情報が容易に得られるため、色変換情報を演算することが可能である。
 また、本実施形態においては、チャートが顧客の観察環境(物品を観察する時間範囲や、観察する場所の情報など)に基づいて、チャートを送付する顧客と異なる、観察環境が類似した他顧客の色変換情報を用いて、当該顧客に送付するチャートを作成しても良い。
 また、本実施形態において、色変換情報は、商品情報として記憶されている素材や色などの属性のいずれか、あるいは組合せまたは全て毎に対応して作成してもよい。この場合、色変換においては、商品識別情報から再現する商品情報を取得し、商品の素材や色などに対して最適な色変換情報を使用する。
<処理F12の商品画像の色変換と表示の例>
 図32は、色見本発行システム1Aを用いた商品画像の色変換と表示の処理の流れを示すシーケンス図である。図においては、顧客データベース12A,ECサイトデータベース13A、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12A、13A、14A、15A)として記述して説明する。
 ステップF201:
 ユーザは、顧客端末3により、カラーマネージメント管理センター(色見本発行システム1A)にアクセスし、例えば、顧客識別情報によりログインして、自身の登録しているECサイトの商品の商品画像の閲覧を依頼する。
 これにより、データ入出力部101Aは、アクセスした際の顧客識別情報により、顧客データベース12Aの顧客テーブルを検索して、いずれのECサイトに登録している顧客かの確認を行なう。
 ステップF202:
 推定画像生成サーバ11Aは、商品表示画像を生成する際に用いる色変換情報を得るため、顧客識別情報により顧客データベース12Aの顧客テーブルを検索し、アクセスした顧客の色変換情報一覧テーブルを抽出する。
 ステップF203:
 そして、推定画像生成サーバ11Aは、色変換情報をユーザに選択させる表示として、色変換情報一覧テーブルの仕様データの一覧を、顧客端末3の表示画面に表示させる。
 表示としては、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」及び「プリセット色変換情報(一般的なオフィス、晴天の屋外など)」など、観察環境における観察の状態を示す文字列が用いられる。
 ステップF204:
 顧客は、顧客端末3の表示画面の仕様データの一覧から、自身が実物の商品を観察する環境に対応した状態を選択する。
 このとき、例えば、商品の時間指定が午前10時である場合、観察環境で観察する時間が朝時間範囲に含まれるため、顧客は顧客端末3の表示画面の仕様データの一覧から、朝時間範囲を選択する。また、常に帰宅が午後8時ぐらいであれば、観察環境で観察する時間が夜時間範囲に含まれるため、顧客は顧客端末3の表示画面の仕様データの一覧から、夜時間範囲を選択する。一方、配送先が観察環境ではなく、会社のオフィスである場合、顧客は顧客端末3の表示画面の仕様データの一覧から、プリセット色変換情報を選択する。
 ステップF205:
 顧客端末3は、顧客が選択した観察の状態、例えば、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」、「オフィス」、「レストラン」、「プリセット色変換情報」の中の選択された文字列を情報として、色見本発行システム1Aに対して送信する。
 このとき、顧客端末3は、表示画面を表示するディスプレイを特定する機器特定情報(デバイス情報)を、上記文字列の情報とともに、色見本発行システム1Aに対して送信する。
 ステップF206:
 データ入出力部101Aは、顧客端末3から供給される機器特定情報を、機器情報取得部104Aに対して出力する。
 機器情報取得部104Aは、機器特定情報であるデバイス情報に対応するディスプレイ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 また、機器情報取得部104Aは、読み出したディスプレイ特性を、上記色変換情報一覧テーブルのディスプレイ特性の欄に書き込んで記憶させる。
 ステップF207:
 次に、推定画像生成サーバ11Aは、顧客識別情報に対応して上記色変換情報一覧テーブルから、ディスプレイ特性を読み出す。
 また、推定画像生成サーバ11Aは、顧客が選択した色変換情報(商品の観察の状態や、商品の素材などに対応した色変換情報)を、色変換情報一覧テーブルから読み出す。
 推定画像生成サーバ11Aは、ECサイトデータベース13Aの商品色データテーブルから、顧客の観察する商品各々の商品色情報を読み出す。
 ステップF208:
 そして、推定画像生成サーバ11Aは、商品色情報の規定観察環境における測色値を、色変換情報により顧客の観察環境における測色値に変換し、かつディスプレイ特性に対応させて商品表示画像のデータを生成する。
 ステップF209:
 推定画像生成サーバ11Aは、生成した商品表示画像のデータを、データ入出力部101Aを介して、顧客端末3に対して送信する。
 これにより、顧客は、自身の観察環境で実物の商品を観察した場合と同様の色により、顧客端末3の表示画面で商品画像を視認することができる。
 このとき、顧客は、配送された商品と、顧客端末3の表示画面に表示された商品画像との各々を観察してそれぞれの視認される色を比較して比較結果を、カラーマネージメント管理センターに送信する構成としてもよい。
 すなわち、顧客は、顧客端末3の表示画面に表示されている色成分RGB(red:赤、green:緑、blue:青)調整用バーを順次調整することにより、実際に見ている商品の色に、表示画面の商品画像の色を合わせる、色の差の評価を行なう。
 そして、顧客は、表示画面の商品画像と、実際に観察している商品の色とが同様となったと認識した際、色成分RGB調整用バーなどの調整量を入力する表示による表示画像の色の調整を終了させる。
 これにより、顧客端末3は、顧客が色を調整した商品画像のデータを評価情報(比較結果)として、色見本発行システム1Aに対して送信する。
 または、「赤みが足りない」などの情報を評価情報として、色見本発行システム1Aに対して送信してもよい。
 そして、色見本発行システム1Aは、上記評価情報を追加チャート設計テーブルにおける追加色検索情報に加えて用いる。
<処理F13及びF14の追加チャート発行及び色変換情報更新の例>
 図33は、色見本発行システム1Aを用いた色変換情報更新のための追加チャート発行の処理の流れを示すシーケンス図である。図においては、顧客データベース12A、ECサイトデータベース13A、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12A、13A、14A、15A)として記述して説明する。
 ステップF301:
 ユーザは、処理F12において自身の顧客端末3の表示画面に表示された商品表示画像により、運用会社BのECサイトに対して、この商品画像の商品の購入処理を行う。
 これにより、色見本発行システム1Aにおいて、商品販売サーバ16Aは、顧客端末3から供給される商品特定情報(商品識別情報など)を、顧客識別情報とともに、この商品を取り扱っているECサイトに対して、商品購入情報として送信する。
 ステップF302:
 このとき、ECサイトの商品の発送に伴い、色見本発行システム1Aにおける色変換情報演算部105Aは、追加チャート情報を商品とともに顧客に配送することをECサイトに対して指示する情報を、データ入出力部101Aを介して送信する。この追加チャート情報は、本例の場合、新たな追加チャートを撮像した追加チャート撮像画像を撮影情報とともに送信することを示している。
 ここで、追加チャート発行部107Aは、商品を購入した顧客の色変換情報を、顧客データベース12Aにおける色変換情報一覧テーブルから読み出す。
 また、追加チャート発行部107Aは、顧客が購入した商品の商品情報(商品の色特性情報)を、ECサイトデータベース13Aの商品色データテーブルから読み出す。
 追加チャート発行部107Aは、顧客に送付したチャートのチャート設計情報をチャート情報データベース14Aから読み出す。
 ステップF303:
 そして、追加チャート発行部107Aは、追加チャートを作成する際、チャートに追加する色を、チャート情報データベース14Aの追加チャート設計テーブルから抽出する。
 すなわち、追加チャート発行部107Aは、追加チャート設計テーブルにおいて、色変換情報、チャートにおいて色票として利用した色特性情報、照明環境の光源の種別(種類)、商品の色特性情報を含む商品の属性情報などの検索条件と最も類似する追加色検索情報を検索する。
 そして、追加チャート発行部107Aは、検索された追加色検索情報に対応する追加チャート設計情報を読み出す。
 これにより、追加チャート発行部107Aは、読み出した追加チャート設計情報に対応して、チャートにおける色票を入れ替えて追加チャートにおける色票の組合せの設計を行う。
 このとき、追加チャートの設計に対して、顧客の比較結果、顧客の撮像環境における光源メタメリズム、あるいは顧客またはカメラ(撮像装置)における観察者メタメリズムを反映させるようにしてもよい。
 また、カメラにおけるレンズの前面にフィルタ(透過波長を変更するフィルタ)を配置したり、異なる観察感度のカメラで撮影したりするマルチバンド撮影と同様の効果が得られるように、例えば、チャートの一部の色票にフィルタの透過率やカメラ感度の違いを反映させて設計してもよい。
 そして、運営会社Aは、発行された追加チャートにおける色票の組合せの設計の情報に対応して、追加チャートを製造(例えば、紙媒体などに印刷)して、追加チャートを製造して発行する。
 ステップF304:
 そして、追加チャート発行部107Aは、生成した追加チャートの情報を、チャート識別情報を付与して、チャート情報データベース14Aの追加チャートテーブルに書き込んで記憶させる。
 ステップF305:
 そして、運営会社Aは、製造した追加チャートを、ECサイトが発送する商品に、商品の販売に関する書類に印刷して同梱するか、または梱包材などを印刷媒体として印刷するか、あるいは直接に顧客に対して配送する。
 また、ECサイトは、色見本発行システム1Aから供給される商品購入情報に対応して、顧客の指定した商品に対して上記追加チャート情報を添付して、顧客の登録した住所に対して配送する。
 ステップF306:
 顧客は、商品とともに追加チャートが配送されてきた際、商品に添付されている追加チャート情報を参照する。
 そして、顧客は、追加チャート情報の指示に対応して、商品を観察する観察環境において、撮像装置により追加チャートの撮像を行い、追加チャート撮像画像を取得する。
 ステップF307:
 そして、顧客は、カラーマネージメント管理センター(色見本発行システム1A)に対してアクセスし、配送された追加チャートを撮像した追加チャート撮像画像のデータと、撮像した際の撮影情報とを、カラーマネージメント管理センターに対して送信する。
 ステップF308:
 データ入出力部101Aは、追加チャート撮像画像のデータ及び撮影情報とが顧客端末3から供給された場合、追加チャート撮像画像のデータを撮像画像取得部103Aに対して出力する。
 また、データ入出力部101Aは、顧客端末3から供給された撮影情報を、機器情報取得部104A及び色変換情報演算部105Aに対して出力する。
 そして、撮像画像取得部103Aは、ユーザ識別情報に対応させて、追加チャート撮像画像のデータを顧客データベース12Aに書き込み、この書き込んだ領域のアドレスを顧客データベース12Aの色変換情報一覧テーブルに対して書き込んで記憶させる。
 機器情報取得部104Aは、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104Aは、読み出したカメラ特性を、上記色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 そして、色変換情報演算部105Aは、チャート撮像画像及び追加チャート撮像画像と、チャートの色特性情報及び追加チャートの色特性情報と、撮影情報とを用いて、色変換情報の再演算を行ない、新たに求められた色変換情報により、既存の色変換情報の更新を行なう。
 このとき、色変換情報における更新は、多項式による数値計算、多次元関数を用いたモデル関数の係数調整などのアルゴリズムの調整に基づく更新処理、あるいはAI(例えば、機械学習)によるモデルの更新などの手法を用いても良い。
 そして、色変換情報演算部105Aは、上述の手法により新たに求めた色変換情報を、顧客データベース12Aにおける色変換情報一覧テーブルの既存の色変換情報に上書きして記憶させることで更新を行なう。
 また、色変換情報演算部105Aは、求めた手法や係数などの情報を、サイト色変換情報一覧テーブルに対して、この情報に対応させたアルゴリズム識別情報とともに書き込んで記憶させる。
 また、顧客が購入した商品と追加チャートとを同時に撮像し、商品と追加チャートとが一緒に撮像された撮像画像を色見本発行システム1Aに対して送信する構成としてもよい。
 この場合、色変換情報演算部105Aは、商品撮像画像(チャート撮像画像の一例)と、商品の色特性情報と、撮影情報とを、上記追加チャートから得られる情報に加えて、色変換情報の再演算を行なう構成としてもよい。
 また、商品販売サーバ16Aは、ECサイトサーバ2に設けられた構成としてもよい。商品販売サーバ16Aは、顧客端末3から供給される商品特定情報(商品識別情報など)を、顧客識別情報とともに、色見本発行システム1Aに対して、商品閲覧情報や商品購入情報として送信する。
 以下、図面を参照して、処理F21、処理F22、処理F23及び処理F24の各々の処理の流れにおける色見本発行システム1Aの動作を含む、本実施形態におけるカラーマネージメントの管理を順次説明する。
<処理F21のサイト色変換情報生成の例>
 図34は、色見本発行システム1Aを用いたサイト色変換情報生成の処理の流れを示すシーケンス図である。図においては、顧客データベース12A、ECサイトデータベース13A、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12A、13A、14A、15A)として記述して説明する。
 ステップF401:
 ECサイトの担当者は、ECサイトサーバ2により、色見本発行サイト(すなわち、色見本発行サーバ10A)にアクセスし、例えば、ECサイト識別情報によりログインして、ECサイトの観察環境の環境情報の登録処理を依頼する。
 これにより、データ入出力部101Aは、アクセスした際のECサイト識別情報により、ECサイトデータベース13AのECサイトテーブルを検索して、登録されているいずれのECサイトであるかの確認を行なう。
 ステップF402:
 チャート発行部102Aは、このECサイトのECサイト属性情報を読み出し、読み出したECサイト属性情報により、チャート情報データベース14Aのチャートテーブルを検索する。
 そして、チャート発行部102Aは、このECサイト属性情報に最も類似するチャート検索情報を抽出し、抽出されたチャート検索情報に対応するチャート画像インデックスを読み出す。
 チャート発行部102Aは、チャート画像インデックスにより、チャート情報データベース14Aからチャート画像を読出し、チャートとして発行する。
 また、チャート発行部102Aは、ECサイトの販売する商品群の商品画像に対応したチャートとして、例えばECサイトに予め設定されているチャートを、チャート情報データベース14Aのチャート情報テーブルから抽出して発行する構成としてもよい。
 運営会社Aは、チャート発行部102Aがチャートテーブルから発行したチャートを、ECサイトの運営会社Bの住所に対して配送(あるいは郵送)する。
 ステップF403:
 ECサイトの担当者は、ECサイトにおいて顧客に閲覧させる商品表示画像を作成するために、商品を撮像するであろう撮像環境、例えば運営会社Bのスタジオなどの所定の位置において、運営会社Aから供給されたチャートの撮像を行なう。
 ステップF404:
 そして、ECサイトの担当者は、チャートを撮像したチャート撮像画像と、撮像における撮影情報と、当該ECサイトのECサイト識別情報とを、ECサイトサーバ2によりカラーマネージメント管理センター(色見本発行システム1A)に対して送信する。
 ステップF405:
 データ入出力部101Aは、ECサイトサーバ2から供給されたチャート撮像画像を撮像画像取得部103Aに対して出力する。
 また、データ入出力部101Aは、ECサイトサーバ2から供給された撮影情報を、機器情報取得部104A及び色変換情報演算部105Aに対して出力する。
 そして、撮像画像取得部103Aは、チャート撮像画像のデータをECサイトデータベース13Aに書き込む。
 また、撮像画像取得部103Aは、書き込んだ書込領域のアドレスを、サイト識別情報に対応したサイト色変換情報一覧インデックスの示すサイト色変換情報一覧テーブルのチャート撮像画像インデックスに書き込んで記憶させる。
 機器情報取得部104Aは、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104Aは、読み出したカメラ特性を、上記サイト色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 ステップF406:
 色変換情報演算部105Aは、ECサイト識別情報に対応して、チャート撮像画像とチャート識別情報との各々をサイト色変換情報一覧テーブルから読み出す。
 そして、色変換情報演算部105Aは、読み出したチャート識別情報により、チャート情報データベース14Aのチャートテーブルから、ECサイトに送付したチャート設計情報インデックスを読み出す。色変換情報演算部105Aは、このチャート設計情報インデックスの示す記憶領域から、チャートの色特性情報を読み出す。
 また、色変換情報演算部105Aは、ECサイト識別情報に対応して、サイト色変換情報一覧テーブルからカメラ特性を読み出す。
 ステップF407:
 色変換情報演算部105Aは、上記チャート撮像画像と、カメラ特性と、チャートの色特性情報とにより、サイト色変換情報を演算して求める。
 このサイト色変換情報は、色特性情報を、登録したECサイトの撮像環境において取得される測色値に変換する情報である。
 また、照明環境推定部106Aは、チャートから求められたサイト色変換情報から、撮像環境における光源の種類を推定する。
 ステップF408:
 色変換情報演算部105Aは、求めたサイト色変換情報を、ECサイト識別情報に対応させて、サイト色変換情報一覧テーブルに書き込んで記憶させる。
 このサイト色変換情報をサイト色変換情報一覧テーブルに書き込む際に、色変換情報演算部105Aは、チャート撮像画像を撮像した時刻を撮影情報に含まれる日時情報から抽出し、求めた色変換情報に対して対応する時間範囲(朝時間範囲、昼時間範囲、夜時間範囲)を仕様データの欄に書き込んで記憶させる。さらに、GPS情報やECサイト指定情報等に基づく位置情報などの撮影情報に含まれる情報を記録させてもよい。
 また、上記説明において、チャートを配送してECサイトに提供する場合に説明しているが、カラーマネージメント管理センターの登録証(登録カード)の表あるいは裏に、サイト色変換情報を求めるチャートと、このチャートに隣接してチャート識別情報及びECサイト識別情報とを予め印刷しておき、ECサイトにチャートを撮像する際に、チャート識別情報及びECサイト識別情報をチャートと同時に撮像させるように構成しても良い。
 また、カラーマネージメント管理センターに登録した際(ECサイト登録の時点において)、カラーマネージメント管理センターを運営する運営会社Aが、カラーマネージメントの管理方法に対する説明などを配送する際、チャートを同封したり、説明を配送する封書や納品書、宛名、梱包材などに直接に上述したチャート識別情報及びECサイト識別情報(文字情報あるいは図形情報)を印刷しておいても良い。さらに、それらチャート識別情報及びECサイト識別情報(文字情報あるいは図形情報)が着色されており、撮像することで色変換情報の取得に利用してもよい。
 また、本実施形態においては、チャートがECサイトにおける商品の撮像環境(物品を撮像する時間範囲や、撮像する場所の情報など)に基づいて、チャートを送付するECサイトと異なる、撮像環境が類似した他ECサイトのサイト色変換情報を用いて、当該ECサイトに送付するチャートを作成しても良い。
<処理F22の商品画像の色変換と表示の例>
 図35は、色見本発行システム1Aを用いた商品画像の色変換と表示の処理の流れを示すシーケンス図である。図においては、顧客データベース12A,ECサイトデータベース13A、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12A、13A、14A、15A)として記述して説明する。
 ステップF501:
 ECサイトの担当者は、ECサイトサーバ2により、カラーマネージメント管理センターにアクセスし、例えば、ECサイト識別情報によりログインして、自身が登録した商品の商品画像の閲覧を依頼する。
 これにより、データ入出力部101Aは、アクセスした際のECサイト識別情報により、ECサイトデータベース13AのECサイトテーブルを検索して、ログインしたのがいずれのECサイトであるかの確認を行なう。
 ステップF502:
 推定画像生成サーバ11Aは、商品表示画像を生成する際に用いるサイト色変換情報を得るため、ECサイト識別情報によりECサイトデータベース13AのECサイトテーブルを検索し、アクセスしたECサイトのサイト色変換情報一覧テーブルを抽出する。
 ステップF503:
 そして、推定画像生成サーバ11Aは、サイト色変換情報をECサイトの担当者に選択させる表示として、サイト色変換情報一覧テーブルの仕様データの一覧を、ECサイトサーバ2の表示画面に表示させる。
 表示としては、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」及び「プリセットサイト色変換情報(一般的なオフィス、晴天の屋外など)」など、観察環境における観察の状態を示す文字列が用いられる。
 ステップF504:
 ECサイトの担当者は、ECサイトサーバ2の表示画面の仕様データの一覧から、自身が実物の商品を観察する観察環境に対応した状態を選択する。
 このとき、例えば、商品の観察を午前10時に行う場合、観察環境で観察する時間が朝時間範囲に含まれる。このため、ECサイトの担当者は、ECサイトサーバ2の表示画面の仕様データの一覧から、朝時間範囲を選択する。
 また、観察を午後8時ぐらいに行う場合、観察環境で観察する時間が夜時間範囲に含まれる。このため、ECサイトの担当者は、ECサイトサーバ2の表示画面の仕様データの一覧から、夜時間範囲を選択する。一方、観察する場所がその商品の撮像環境と異なり、スタジオでなくオフィスである場合、ECサイトの担当者は、ECサイトサーバ2の表示画面の仕様データの一覧から、プリセットサイト色変換情報を選択する。
 ステップF505:
 ECサイトサーバ2は、ECサイトの担当者が選択した観察の状態、例えば、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」、「オフィス」、「レストラン」、「プリセット色変換情報」の中の選択された文字列を情報として、色見本発行システム1Aに対して送信する。
 このとき、ECサイトサーバ2は、表示画面を表示するディスプレイを特定する機器特定情報(デバイス情報)を、上記文字列の情報とともに、色見本発行システム1Aに対して送信する。
 ステップF506:
 データ入出力部101Aは、ECサイトサーバ2から供給される機器特定情報を、機器情報取得部104Aに対して出力する。
 機器情報取得部104Aは、機器特定情報であるデバイス情報に対応するディスプレイ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 また、機器情報取得部104Aは、読み出したディスプレイ特性を、上記サイト色変換情報一覧テーブルのディスプレイ特性の欄に書き込んで記憶させる。
 ステップF507:
 次に、推定画像生成サーバ11Aは、ECサイト識別情報に対応してECサイトデータベース13AのECサイトデータテーブルから、ディスプレイ特性を読み出す。
 また、推定画像生成サーバ11Aは、ECサイトの担当者が選択したサイト色変換情報(商品の観察の状態や、商品の属性に対応して生成されたサイト色変換情報)を、サイト色変換情報一覧テーブルから読み出す。
 推定画像生成サーバ11Aは、ECサイトデータベース13Aの商品色データテーブルから、ECサイトの担当者の観察する商品各々の商品色情報を読み出す。
 ステップF508:
 そして、推定画像生成サーバ11Aは、商品色情報の規定観察環境における測色値を、サイト色変換情報により、ECサイトの担当者の観察環境における測色値に変換し、かつディスプレイ特性に対応させて商品表示画像のデータを生成する。
 ステップF509:
 推定画像生成サーバ11Aは、生成した商品表示画像のデータを、データ入出力部101Aを介して、ECサイトサーバ2に対して送信する。
 これにより、ECサイトの担当者は、自身の観察環境で実物の商品を観察した場合と同様の色により、ECサイトサーバ2の表示画面で商品画像を視認することができる。
 このとき、ステップF209における処理と同様に、ECサイトの担当者は、観察している商品の実物と、ECサイトサーバ2の表示画面に表示された商品画像との各々を観察してそれぞれの視認される色を比較して比較結果を、カラーマネージメント管理センターに送信する構成としてもよい。
<処理F23及びF24の追加チャート発行及び色変換情報更新の例>
 図36は、色見本発行システム1Aを用いたサイト色変換情報更新のための追加チャート発行の処理の流れを示すシーケンス図である。図においては、顧客データベース12A、ECサイトデータベース13A、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12A、13A、14A、15A)として記述して説明する。
 ステップF601:
 ECサイトの担当者は、ステップF509における表示商品画像で視認される色と、撮像環境における実物で視認される色とが異なる場合、ECサイトサーバ2によりカラーマネージメント管理センターにアクセスし、サイト色変換情報の更新の依頼処理を行う。
 そして、ECサイトサーバ2は、ECサイト識別情報を付加したサイト色変換情報の更新を依頼する依頼情報を色見本発行システム1Aに送信する。
 これにより、色見本発行システム1Aにおいて、追加チャート発行部107Aは、ECサイトサーバ2からの依頼情報からECサイト識別情報を抽出し、このECサイトのサイト色変換情報の変更処理を行う。
 ステップF602:
 データ入出力部101Aは、ECサイトのサイト色変換情報の変更依頼を受信した場合、このECサイトのECサイト識別情報とともに、追加チャートの作成依頼を追加チャート発行部107Aに出力する。
 これにより、追加チャート発行部107Aは、供給されたECサイト識別情報に対応するサイト色変換情報を、ECサイトデータベース13Aにおけるサイト色変換情報一覧テーブルから読み出す。
 また、追加チャート発行部107Aは、ECサイトが示す商品の商品情報(商品の色特性情報)を、ECサイトデータベース13Aの商品色データテーブルから読み出す。
 追加チャート発行部107Aは、ECサイトに送付したチャートのチャート設計情報をチャート情報データベース14Aから読み出す。
 ステップF603:
 そして、追加チャート発行部107Aは、追加チャートを作成する際、チャートに追加する色を、チャート情報データベース14Aの追加チャート設計テーブルから抽出する。
 すなわち、追加チャート発行部107Aは、追加チャート設計テーブルにおいて、サイト色変換情報、チャートにおいて色票として利用した色特性情報、照明環境の光源の種別(種類)、商品の色特性情報などの検索条件と最も類似する追加色検索情報を検索する。
 そして、追加チャート発行部107Aは、検索された追加色検索情報に対応する追加チャート設計情報を読み出す。
 これにより、追加チャート発行部107Aは、読み出した追加チャート設計情報に対応して、チャートにおける色票を入れ替えて追加チャートにおける色票の組合せの設計を行う。
 このとき、追加チャートの設計に対して、ECサイトの担当者の比較結果、ECサイトにおける撮像環境における光源メタメリズム、あるいはECサイトの担当者またはカメラの観察者メタメリズムを反映させるようにしてもよい。
 そして、運営会社Aは、発行された追加チャートにおける色票の組合せの設計の情報に対応して、追加チャートを製造(例えば、紙媒体などに印刷)して、追加チャートを製造して発行する。
 また、カメラにおけるレンズの前面にフィルタ(透過波長を変更するフィルタ)を配置したり、異なる観察感度のカメラで撮影したりするマルチバンド撮影と同様の効果が得られるように、例えば、チャートの一部の色票にフィルタの透過率やカメラ感度の違いを反映させて設計してもよい。
 ステップF604:
 そして、追加チャート発行部107Aは、生成した追加チャートの情報を、チャート識別情報を付与して、チャート情報データベース14Aの追加チャートテーブルに書き込んで記憶させる。
 ステップF605:
 そして、運営会社Aは、製造した追加チャートを、ECサイトの担当者の登録した住所に対して配送する。
 ステップF606:
 ECサイトの担当者は、追加チャートが配送されてきた際、追加チャート情報を参照する。
 そして、ECサイトの担当者は、追加チャート情報の指示に対応して、商品を撮像する観察環境において、撮像装置により追加チャートの撮像を行い、追加チャート撮像画像を取得する。
 ステップF607:
 そして、ECサイトの担当者は、カラーマネージメント管理センター(色見本発行システム1A)に対してアクセスし、配送された追加チャートを撮像した追加チャート撮像画像のデータと、撮像した際の撮影情報とを、カラーマネージメント管理センターに対して送信する。
 ステップF608:
 データ入出力部101Aは、追加チャート撮像画像のデータ及び撮影情報とがECサイトサーバ2から供給された場合、追加チャート撮像画像のデータを撮像画像取得部103Aに対して出力する。
 また、データ入出力部101Aは、ECサイトサーバ2から供給された撮影情報を、機器情報取得部104A及び色変換情報演算部105Aに対して出力する。
 そして、撮像画像取得部103Aは、ECサイト識別情報に対応させて、追加チャート撮像画像のデータをECサイトデータベース13Aに書き込み、この書き込んだ領域のアドレスをECサイトデータベース13Aのサイト色変換情報一覧テーブルに対して書き込んで記憶させる。
 機器情報取得部104Aは、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104Aは、読み出したカメラ特性を、上記ECサイトテーブルのカメラ特性の欄に書き込んで記憶させる。
 そして、色変換情報演算部105Aは、チャート撮像画像及び追加チャート撮像画像と、チャートの色特性情報及び追加チャートの色特性情報と、比較結果、撮影情報とを用いて、サイト色変換情報の再演算を行ない、新たに求められたサイト色変換情報により、既存のサイト色変換情報の更新を行なう。
 このとき、サイト色変換情報における更新は、多項式による数値計算、多次元関数を用いたモデル関数の係数調整などのアルゴリズムの調整に基づく更新処理、あるいはAI(例えば、機械学習)によるモデルの更新などの手法を用いても良い。
 そして、色変換情報演算部105Aは、上述の手法により新たに求めたサイト色変換情報を、ECサイトデータベース13Aにおけるサイト色変換情報一覧テーブルの既存のサイト色変換情報に上書きして記憶させることで更新を行なう。
 また、ECサイトの担当者が観察する商品と追加チャートとを同時に撮像し、商品と追加チャートとが一緒に撮像された撮像画像を色見本発行システム1Aに対して送信する構成としてもよい。
 この場合、色変換情報演算部105Aは、商品撮像画像(チャート撮像画像の一例)と、商品の色特性情報と、撮影情報とを、上記追加チャートから得られる情報に加えて、サイト色変換情報の再演算を行なう構成としてもよい。
 上述したように、本実施形態によれば、チャートにより得られたチャートの色特性情報、色変換情報(サイト色変換情報も含む)及び比較結果などに基づいて、より照明環境(撮像環境及び観察環境)の情報を取得可能な追加チャートを生成することができるため、ECサイトにおける商品を撮像する撮像環境、顧客が商品を観察する観察環境の各々における光源の情報が取得でき、撮像環境で商品を撮像した撮像画像から色特性情報を取得するサイト色変換情報と、この色特性情報を商品を観察する観察環境の色画像に変換する色変換情報とを高い精度で取得することができる。
 このため、本実施形態によれば、取得したサイト色変換情報により、ECサイトで商品を撮像した撮像画像から高い精度で色特性情報を得ることができ、この色特性情報を顧客の観察環境に対応した色変換情報を用いて商品表示画像を生成することができ、商品表示画像と、顧客の観察環境で視認する商品との色を同様に視認することができる。
<第3の実施形態>
 以下、本発明の第3の実施形態について、図面を参照して説明する。本実施形態において、色見本(第1色見本であるチャート、第2色見本である追加チャート)と、色見本情報(第1色見本情報であるチャート情報、第2色見本情報である追加チャート情報)の定義については、第1の実施形態と同様である。
 図37は、本発明の第3の実施形態による色見本発行システム(色変換情報システム、以下、単に色見本発行システムと示す)を用いたカラーマネージメントシステムの構成例を示すブロック図である。図37において、カラーマネージメントシステムは、色見本発行システム(色変換情報生成システム)1B、病院サーバ4及び患者端末5の各々がインターネットを含むネットワーク500により相互に接続されて構成されている。記憶部4_1には、病院サーバ4が備えられた病院において遠隔医療により診断及び治療を受ける患者の電子カルテ(患者の患部を撮像した患部撮像画像や診断結果など)が記憶されている。
 本実施形態において、ユーザは、例えば、遠隔医療を行う病院の医師(医師以外の病院関係者なども含まれる)と、この病院の遠隔医療における治療及び診断を受ける患者(患者以外の人間も含まれる)との各々である。また、撮像対象の物体は遠隔医療を利用する患者の患部(例えば、肌における湿疹、あざ、できものなどの部位)などである。
 このため、カラーマネージメント管理センターは、例えば、遠隔医療管理を行う運営会社Aに設けられており、各患者の患部の患部画像を、病院サーバ4の各々の表示画面に対し、医師が患部を観察する観察環境(照明環境であり、例えば、医師の観察する場所の光源下)で観察した際、実物の患部の色と同様に視認できる表示色により表示させ、正確に患部の病態を医師に提供することで患者の遠隔医療の支援を行なう。
 本実施形態における撮像対象の物体は、遠隔医療を行う病院の医師が診断を行う患者の身体の一部、または全体である。特に、患者の肌は、病態によって色が異なり、医師の診察や診断において周囲の肌の色との違いが重要な判定条件となる。このため、病院サーバ4の表示画面において視認される表示色と、医師の観察環境の特性(上記照明環境の照明である光源の特性、例えば分光放射輝度特性)において視認される実物の色とが異なる場合、医師が正確な診断を行う妨げとなるため、病院サーバ4の表示画面に表示される患者の患部の画像(後述する患部表示画像)の表示色の調整は重要である。
 色見本発行システム1Bは、色見本発行サーバ10A、推定画像生成サーバ11A、患者データベース12B、病院データベース13B、チャート情報データベース14A及び機器情報データベース15Aを備えている。
 色見本発行システム1Bは、患者の各々がそれぞれの撮像環境において撮像して提供する患部の画像を、医師が自身の観察環境において当該患部の実物の色として視認できる患部表示画像に変換する色変換情報(病院色変換情報を含む)、あるいは患部の色を正確に伝搬する色特性情報を得るためのチャート及び追加チャートを生成し、ユーザ(患者あるいは医師)に対して発行する。
 以下、第1の実施形態と異なる構成及び動作について説明する。本実施形態において、ユーザ属性情報は、患者属性情報及び病院属性情報がある。
 図38は、患者データベース12Bにおける患者データテーブルの構成例を示す図である。患者データテーブルは、病院毎に設けられており、例えば、レコード毎に、患者識別情報に対応して、患者属性情報、色変換情報一覧インデックス、撮像画像評価インデックス、プリンタ特性、ディスプレイ特性、カメラ特性の各々の欄が設けられている。
 患者識別情報は、患者の各々を個々に識別する情報である。患者属性情報は、患者識別情報が示す患者の属性情報であり、患者名、病名、照明環境の場所の種別、性別、年齢、住所、電話番号、メールアドレス、既往歴、職業、その環境における滞在時間帯などの情報である。ここで、照明環境の場所の種別とは、空間の広さ、窓の有無、部屋の壁、天井及び床などの色である。色変換情報一覧インデックス(図6参照)は、患者識別情報の示す患者の撮像環境における複数の異なる色変換情報と、プリセット色変換情報となどの患者が撮像する可能性のある照明環境に対応する色変換情報の各々の一覧情報である色変換情報一覧テーブルが記憶された領域を示すアドレスなどのインデックスである。
 撮像画像評価インデックスは、患者識別情報の示す患者の患部に対する、この患者の患部表示画像色の評価を示す患部色評価テーブルが記憶された領域を示すアドレスなどのインデックスである。プリンタ特性は、患者が患部画像や色見本を印刷するために用いるプリンタのICCプロファイル及びインクの分光情報(インク情報)などのプリンタ出力色情報と、患部画像を印刷する用紙の媒体情報となどを含む情報である。ディスプレイ特性は、例えば、ICCプロファイルや分光放射輝度あるいは三刺激値などの発光情報である。カメラ特性は、例えばカメラ(撮像装置)の分光感度情報である。このプリンタ特性、ディスプレイ特性及びカメラ特性の各々は、上述した機器情報取得部104Aにより、患者データテーブルにおける対応する欄に書き込まれる(後述)。
 色変換情報一覧インデックスの示す領域に記憶された色変換情報一覧テーブルは、第1の実施形態と同様の構成である。
 図39は、患者データベース12Bにおける撮像画像評価テーブルの構成例を示す図である。患者データベース12Bには、撮像画像評価テーブルが書き込まれて記憶されている。この撮像画像評価テーブルは、患者毎に設けられており、レコード毎に、患部識別情報に対応して、この患部識別情報に対応する撮像画像の患部の色の評価(患部色評価)の欄が設けられている。患部識別情報は、患者の患部の各々を個々に識別する情報である。
色情報評価は、撮像した患部の色にする評価が記載され、例えば「適切」、「赤みが足りない」、後述のような患者による色調整結果、「色が異なるため再撮像」などの患者の撮像画像に対する対応などが示されている。
 図40は、病院データベース13Bにおける病院データテーブルの構成例を示す図である。病院データテーブルは、例えば、レコード毎に、病院識別情報に対応して、病院属性情報、病院色変換情報一覧インデックス、比較結果インデックス、プリンタ特性、ディスプレイ特性、カメラ特性の各々の欄が設けられている。病院識別情報は、病院の各々を個々に識別する情報である。病院属性情報は、病院識別情報が示す病院の属性情報であり、病院名、照明環境の場所の種別、診療種別、患者年齢帯、電話番号、メールアドレス、その照明環境における診察・診療時間帯などの情報である。ここで、照明環境の場所の種別とは、空間の広さ、窓の有無、部屋の壁、天井及び床などの色である。病院色変換情報一覧インデックスは、病院識別情報の示す病院の観察(診察・診断)環境における複数の異なる病院色変換情報と、プリセット色変換情報となどの病院の医師が利用可能な色変換情報の各々の一覧情報である病院色変換情報一覧テーブルが記憶された領域を示すアドレスなどのインデックスである。
 比較結果インデックスは、病院識別情報の示す病院の医師が観察環境において撮像した他の患者の患部の患部表示画像で視認される色と、この他の患者の患部の実物を観察して視認される色との比較結果の情報(色評価情報)が示されたファイルが記憶された、病院データベース13Bの領域を示すアドレスなどのインデックスである。この比較結果としては、青色が弱いとか、赤が強いとかなどの、患部の実物と患部表示画像との視認される色の差異を示す情報、あるいは病院サーバ4のアプリケーションにより、患部表示画像の色調整をして、同様に視認されたときの色の調整量(色成分RGBの各成分の調整量)など、色の差分を示す情報であればいずれの手法を用いてもよい。プリンタ特性は、病院が患部画像や色見本を印刷するために用いるプリンタのICCプロファイル及びインクの分光情報などのプリンタ出力色情報と、患部画像を印刷する用紙の媒体情報となどを含む情報である。ディスプレイ特性は、例えば、ICCプロファイルや分光放射輝度あるいは三刺激値などの発光情報である。カメラ特性は、例えばカメラの分光感度情報である。このプリンタ特性、ディスプレイ特性及びカメラ特性の各々は、上述した機器情報取得部104Aにより、病院データテーブルにおける対応する欄に書き込まれる(後述)。
 図41は、病院データベース13Bにおける患部色データテーブルの構成例を示す図である。
病院データベース13Bには、患部色データテーブルが書き込まれて記憶されている。この患部色は、病院毎に設けられている。患部色データテーブルは、レコード毎において、患部識別情報に対応して、患部撮像画像インデックス、患部色情報インデックス及び患部情報インデックスの欄を備えている。患部識別情報は、患者の患部の各々を個々に識別する情報である。患部撮像画像インデックスは、各患者の撮像環境の光源下において撮像した撮像画像データが記憶されている、病院データベース13Bにおける領域を示すアドレスなどのインデックスである。
 患部色情報インデックスは、患者の患部の分光画像、各画素の分光反射率を示す患部反射率画像あるいは規定観察環境における患部画像などの色特性情報データが記憶されている、病院データベース13Bにおける領域を示すアドレスなどのインデックスである。患部情報インデックスは、患部の分光反射率や患部の部位の種類を示す情報が記憶されている、病院データベース13Bにおける領域を示すアドレスなどのインデックスである。ここで、部位は、身体の位置の種類を示す属性情報であり、例えば、肌であれば腕部、足部、腹部、頭部などの種類であり、すでに述べたように、患部の部位の種類や診断するために医師が観察する患者の身体の部位によって、チャート、あるいは追加チャートの印刷媒体の素材や色特性情報の設計に用いたり、部位ごとに異なる色変換情報を用いて色変換を行なってもよい。
 図42は、病院データベース13Bにおける病院色変換情報一覧テーブルの構成例を示す図である。病院データベース13Bには、病院色変換情報一覧テーブルが書き込まれて記憶されている。この病院色変換情報一覧テーブルは、病院単位に設けられており、レコード毎に、病院色変換情報識別情報に対応して、チャート撮像画像インデックス、追加チャート撮像画像インデックス、チャート識別情報、病院色変換情報、アルゴリズム識別情報及び仕様データの各々の欄が設けられている。
 病院色変換情報識別情報は、病院色変換情報の各々を個々に識別する情報である。チャート撮像画像インデックスは、データベースにおけるチャート(第1色見本)の撮像画像データが書き込まれて記憶されている領域を示すアドレスなどのインデックスである。ここで、チャート撮像画像のデータとして、このチャート撮像画像から抽出した画素の画素位置とこの画素位置の示す画素の画素値とのデータテーブルでも良い。
 追加チャート撮像画像インデックスは、病院データベース13Bにおける追加チャート(第2色見本)の撮像画像データが書き込まれて記憶されている領域を示すアドレスなどのインデックスである。ここで、追加チャート撮像画像のデータとして、この追加チャート撮像画像から抽出した画素の画素位置とこの画素位置の示す画素の画素値とのデータテーブルでも良い。
 チャート識別情報はチャートの識別情報であり、追加チャート識別情報は追加チャートの識別情報である。
 病院色変換情報は、病院がチャートあるいは追加チャートを撮像した環境における光源の分光放射輝度、あるいは三刺激値変換行列である。ここで、三刺激値変換行列は、規定観察環境(例えば、CIE(国際照明委員会)_D50と2度視野標準観測者の組み合わせ、あるいはCIE_D65と10度視野標準観測者の組み合わせ)の測色値から、病院が撮像した環境における光源の分光放射輝度と、撮像に用いたカメラのカメラ特性とによるデバイス値への変換(色変換)を行なう行列である。なお、この色変換は、病院が撮像した環境における光源の分光放射輝度と、撮像に用いたカメラのカメラ特性とによるデバイス値から、物品の分光反射率や環境が規定された測色値への逆変換も可能である。すなわち、病院色変換情報は、患部の分光反射率や、観察が規定された測色値である色特性情報と、病院の環境で観察される測色値との間の変換情報である。
 アルゴリズム識別情報は、色変換情報演算部105Aが色変換情報を算出した際に使用したアルゴリズムを識別する情報であり、医師の観察する身体の色特性情報や、患部の病状の属性、過去の類似症例、屋内外の照明情報などの条件に応じて選択した色変換情報演算アルゴリズムを識別する。
 仕様データは、病院色変換情報の仕様を示す情報である。仕様データとしては、対応する病院色変換情報の適用時間範囲を示す、朝時間範囲、昼時間範囲、夜時間範囲などの種別がある。朝時間範囲は、例えば、日の出の時刻から昼の12時の時間範囲を示している。昼時間範囲は、例えば、昼の12時過ぎから日の入りの時刻までの時間範囲を示している。また、仕様データは、病院の医師が患部の観察を行う場所情報を含んでいてもよく、病院の医師が患者の患部の診察を行う診察室などにおける病院色変換情報を特定できる。
また、夜時間範囲は、日の入りの時刻から日の出の時刻までを示している。プリセットされた病院色変換情報(プリセット病院色変換情報)は、各病院に対して共通の病院色変換情報であり、太陽光や一般的な診察室における光源の分光放射輝度、または環境が規定された色特性情報から、晴天の屋外や診察室において視認される測色値に変換する変換行列である。
 また、追加チャートに関しては、第2追加チャート(第2色見本)以降の、第3追加チャート(第3色見本)から第n追加チャート(第n色見本)まで、第2追加チャートに関して行なう病院色変換情報取得に関する処理と同様な処理が行なわれる。
 以下、図面を参照して、第3の実施形態の処理F11、処理F12、処理F13及び処理F14の各々の処理の流れに対応した色見本発行システム1Bの動作を含む、本実施形態におけるカラーマネージメントの管理を順次説明する。
<処理F11に対応した患者の色変換情報生成の例>
 図43は、色見本発行システム1Bを用いた患者の色変換情報生成の例の処理の流れを示すシーケンス図である。図においては、患者データベース12B、病院データベース13B、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12B、13B、14A、15A)として記述して説明する。以下の処理において、患者が行うこととして記載してあるが、患者の家族あるいは看護を行っている他の人間が、患者の患部の撮像を含む処理を代行して行っても良い。
 ステップF101A:
 患者は、患者端末5により、カラーマネージメント管理センター(色見本発行システム1B)にアクセスし、例えば、患者識別情報によりログインして、患者の撮像環境の環境情報の登録処理を依頼する。
 これにより、データ入出力部101Aは、アクセスした際の患者識別情報により、患者データベース12Bの患者テーブルを検索して、いずれの病院の遠隔医療のプログラムに登録している患者かの確認を行なう。
 ステップF102A:
 チャート発行部102Aは、この患者の患者属性情報を読み出し、読み出した患者属性情報により、チャート情報データベース14Aのチャートテーブルを検索する。
 そして、チャート発行部102Aは、この患者属性情報に最も類似するチャート検索情報を抽出し、抽出されたチャート検索情報に対応するチャート画像インデックスを読み出す。
 チャート発行部102Aは、チャート画像インデックスにより、チャート情報データベース14Aからチャート画像を読出し、チャートとして発行する。
 また、チャート発行部102Aは、病院の診察・診断における患者群の患部の患部画像に対応したチャートとして、例えば病院に予め設定されている、患者からの病状の申告により推定される病状の属性(患部の部位、患部の病状など)に対応した類似症例のチャートを、チャート情報データベース14Aのチャート情報テーブルから抽出して発行する構成としてもよい。
 運営会社Aは、チャート発行部102Aがチャートテーブルから発行したチャートを、患者の住所に対して配送(あるいは郵送)する。
 ステップF103A:
 患者は、自身が患部を撮像するであろう撮像環境、例えば患者端末5が備えられた部屋などの所定の位置において、運営会社Aから供給されたチャートの撮像を行なう。
 ステップF104A:
 そして、患者は、チャートを撮像したチャート撮像画像と、撮像における撮影情報と、自身の患者識別情報とを、患者端末5によりカラーマネージメント管理センター(色見本発行システム1B)に対して送信する。
 ステップF105A:
 データ入出力部101Aは、患者端末5から供給されたチャート撮像画像を撮像画像取得部103Aに対して出力する。
 また、データ入出力部101Aは、患者端末5から供給された撮影情報を、機器情報取得部104A及び色変換情報演算部105Aに対して出力する。
 そして、撮像画像取得部103Aは、チャート撮像画像のデータを患者データベース12Bに書き込む。
 また、撮像画像取得部103Aは、書き込んだ書込領域のアドレスを、患者識別情報に対応した色変換情報一覧インデックスの示す色変換情報一覧テーブルのチャート撮像画像インデックスに書き込んで記憶させる。
 機器情報取得部104Aは、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104Aは、読み出したカメラ特性を、上記色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 ステップF106A:
 色変換情報演算部105Aは、患者識別情報に対応して、チャート撮像画像とチャート識別情報との各々を色変換情報一覧テーブルから読み出す。
 そして、色変換情報演算部105Aは、読み出したチャート識別情報により、チャート情報データベース14Aのチャートテーブルから、患者に送付したチャート設計情報インデックスを読み出す。色変換情報演算部105Aは、このチャート設計情報インデックスの示す記憶領域から、チャートの色特性情報を読み出す。
 また、色変換情報演算部105Aは、患者識別情報に対応して、色変換情報一覧テーブルからカメラ特性を読み出す。
 ステップF107A:
 色変換情報演算部105Aは、上記チャート撮像画像と、カメラ特性と、チャートの色特性情報とにより、色変換情報を演算して求める。
 この色変換情報は、色特性情報を、登録した患者が患部を撮像する撮像環境において取得される測色値に変換する情報である。
 また、照明環境推定部106Aは、チャートから求められた色変換情報から、撮像環境における光源の種類を推定する。
 ステップF108A:
 色変換情報演算部105Aは、求めた色変換情報を、患者識別情報に対応させて、色変換情報一覧テーブルに書き込んで記憶させる。
 この色変換情報を色変換情報一覧テーブルに書き込む際に、色変換情報演算部105Aは、チャート撮像画像を撮像した時刻を撮影情報に含まれる日時情報から抽出し、求めた色変換情報に対して対応する時間範囲(朝時間範囲、昼時間範囲、夜時間範囲)を仕様データの欄に書き込んで記憶させる。さらに、GPS情報や患者指定情報等に基づく位置情報などの撮影情報に含まれる情報を記録させてもよい。
 また、上記説明において、チャートを配送して患者に提供する場合に説明しているが、病院における遠隔医療の登録証(診察券や登録カードも含む)の表あるいは裏に、色変換情報を求めるチャートと、このチャートに隣接してチャート識別情報及び患者識別情報とを予め印刷しておき、患者にチャートを撮像する際に、チャート識別情報及び患者識別情報をチャートと同時に撮像させるように構成しても良い。このチャート識別情報は、第1の実施形態と同様にバーコード、2次元コードなどを用いることができる。これにより、容易にチャートと患者とを関連付けることができる。さらに、チャート識別情報自体が着色されており、このチャート識別情報を撮像することにより、患者識別情報を用いての患者との関連付けだけでなく、同時に色変換情報の取得に利用してもよい。
 また、病院における遠隔医療に登録した際(患者登録の時点において)、カラーマネージメント管理センターを運営する運営会社Aが、遠隔医療に関する説明書にチャートを印刷したり、遠隔医療に関する説明書などを配送する際、チャートを同封したり、説明書を配送する封書や納品書、宛名、梱包材などに直接に上述したチャート識別情報及び患者識別情報(文字情報あるいは図形情報)を印刷、あるいは所定の色票として用いるための色特性の色で着色しておいても良い。さらに、それらチャート識別情報及び患者識別情報(文字情報あるいは図形情報)が着色されており、撮像することで色変換情報の取得に利用してもよい。
 また、本実施形態においては、チャート設計情報により予め設計されたチャートを、患者の撮像環境における色変換情報の推定に用いている。しかしながら、このチャート以外に、チャート情報として、一般的に流通している商品のパッケージを撮像する指示を提供しても良い。患者はパッケージを撮像して、上述したステップF104Aの処理と同様に、患者端末5からカラーマネージメント管理センターに送信する。汎用的なパッケージであれば、印刷された所定の領域の色特性情報が容易に得られるため、色変換情報が演算することが可能である。
 また、本実施形態においては、患者の撮像環境(患部を撮像する時間範囲や、撮像する場所の情報など)に基づいて、チャートを送付する患者と異なる、撮像環境が類似した他患者の色変換情報を用いて、当該患者に送付するチャートを作成しても良い。
<処理F12に対応した患者の患部画像の色変換と表示の例>
 図44は、色見本発行システム1Bを用いた患者画像の色変換と表示の処理の流れを示すシーケンス図である。図においては、患者データベース12B,病院データベース13B、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12B、13B、14A、15A)として記述して説明する。以下の処理において、患者が行うこととして記載してあるが、患者の家族あるいは看護を行っている他の人間が、患者の患部の撮像を含む処理を代行して行っても良い。
 ステップF201A:
 患者は、患者端末5により、カラーマネージメント管理センターにアクセスし、例えば、患者識別情報によりログインして、自身が登録した患部の患部画像の閲覧を依頼する。
 これにより、データ入出力部101Aは、アクセスした際の患者識別情報により、患者データベース12Bの患者テーブルを検索して、ログインしたのがいずれの患者であるかの確認を行なう。
 ステップF202A:
 推定画像生成サーバ11Aは、患部表示画像を生成する際に用いる色変換情報を得るため、患者識別情報により患者データベース12Bの患者テーブルを検索し、アクセスした患者の色変換情報一覧テーブルを抽出する。
 ステップF203A:
 そして、推定画像生成サーバ11Aは、色変換情報を患者に選択させる表示として、色変換情報一覧テーブルの仕様データの一覧を、患者端末5の表示画面に表示させる。
 表示としては、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」及び「プリセット色変換情報(一般的なオフィス、晴天の屋外など)」など、観察環境における観察の状態を示す文字列が用いられる。
 ステップF204A:
 患者は、患者端末5の表示画面の仕様データの一覧から、自身が患部を撮像する撮像環境に対応した状態を選択する。
 このとき、例えば、患部の観察を午前10時に行う場合、撮像環境で撮像する時間が朝時間範囲に含まれる。このため、患者は、患者端末5の表示画面の仕様データの一覧から、朝時間範囲を選択する。
 また、撮像を午後8時ぐらいに行う場合、撮像環境で撮像する時間が夜時間範囲に含まれる。このため、患者は、患者端末5の表示画面の仕様データの一覧から、夜時間範囲を選択する。一方、観察する場所がその患部の撮像環境と異なり、自室でなく居間である場合、患者は、患者端末5の表示画面の仕様データの一覧から、プリセット色変換情報を選択する。
 ステップF205A:
 患者端末5は、患者が選択した撮像の状態、例えば、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」、「オフィス」、「レストラン」、「プリセット色変換情報」の中の選択された文字列を情報として、色見本発行システム1Bに対して送信する。
 このとき、患者端末5は、表示画面を表示するディスプレイを特定する機器特定情報(デバイス情報)を、上記文字列の情報とともに、色見本発行システム1Bに対して送信する。
 ステップF206A:
 データ入出力部101Aは、患者端末5から供給される機器特定情報を、機器情報取得部104Aに対して出力する。
 機器情報取得部104Aは、機器特定情報であるデバイス情報に対応するディスプレイ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 また、機器情報取得部104Aは、読み出したディスプレイ特性を、上記色変換情報一覧テーブルのディスプレイ特性の欄に書き込んで記憶させる。
 ステップF207A:
 次に、推定画像生成サーバ11Aは、患者識別情報に対応して患者データベース12Bの患者データテーブルから、ディスプレイ特性を読み出す。
 また、推定画像生成サーバ11Aは、患者が選択した色変換情報(患部の撮像の状態や患部に対応した色変換情報)を、色変換情報一覧テーブルから読み出す。
 推定画像生成サーバ11Aは、病院データベース13Bの患部色データテーブルから、患者の観察する患部の各々の患部色特性情報を読み出す。
 ステップF208A:
 そして、推定画像生成サーバ11Aは、患部色情報の規定観察環境における測色値を、色変換情報により、患者の撮像環境における測色値に変換し、かつディスプレイ特性に対応させて患部表示画像のデータを生成する。
 ステップF209A:
 推定画像生成サーバ11Aは、生成した患部表示画像のデータを、データ入出力部101Aを介して、患者端末5に対して送信する。
 これにより、患者は、自身の撮像環境で実物の患者の患部を観察した場合と同様の色により、患者端末5の表示画面で患部画像を視認することができる。
<処理F13及びF14に対応した患者への追加チャート発行及び色変換情報更新>
 図45は、色見本発行システム1Bを用いた色変換情報更新のための追加チャート発行の処理の流れを示すシーケンス図である。図においては、患者データベース12B,病院データベース13B、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12B、13B、14A、15A)として記述して説明する。以下の処理において、患者が行うこととして記載してあるが、患者の家族あるいは看護を行っている他の人間が、患者の患部の撮像を含む処理を代行して行っても良い。
 ステップF301A:
 患者は、ステップF209Aにおける患部表示画像で視認される色と、撮像環境における実物の患部で視認される色とが異なる場合、患者端末5によりカラーマネージメント管理センターにアクセスし、色変換情報の更新の依頼処理を行う。
 そして、患者端末5は、患者識別情報を付加した色変換情報の更新を依頼する依頼情報を色見本発行システム1Bに送信する。
 これにより、色見本発行システム1Bにおいて、追加チャート発行部107Aは、患者端末5からの依頼情報から患者識別情報を抽出し、この患者の色変換情報の変更処理を行う。
 また、色変換情報の更新の依頼処理は、遠隔診断を行う医師が行っても良い。
 ステップF302A:
 データ入出力部101Aは、患者の色変換情報の変更依頼を受信した場合、この患者の患者識別情報とともに、追加チャートの作成依頼を追加チャート発行部107Aに出力する。
 これにより、追加チャート発行部107Aは、供給された患者識別情報に対応する色変換情報を、患者データベース12Bにおける色変換情報一覧テーブルから読み出す。
 また、追加チャート発行部107Aは、患者が示す患部の患部色情報(患部の色特性情報)を、病院データベース13Bの患部色データテーブルから読み出す。
 追加チャート発行部107Aは、患者に送付したチャートのチャート設計情報をチャート情報データベース14Aから読み出す。
 ステップF303A:
 そして、追加チャート発行部107Aは、追加チャートを作成する際、チャートに追加する色を、チャート情報データベース14Aの追加チャート設計テーブルから抽出する。
 すなわち、追加チャート発行部107Aは、追加チャート設計テーブルにおいて、医師が観察する患者の身体の色変換情報、病院色変換情報、チャートにおいて色票として利用した色特性情報、照明環境の光源の種別(種類)、患者の患部の色特性情報、医師の診断結果、過去の類似症例などの検索条件と最も類似する追加色検索情報を検索する。
 そして、追加チャート発行部107Aは、検索された追加色検索情報に対応する追加チャート設計情報を読み出す。
 これにより、追加チャート発行部107Aは、読み出した追加チャート設計情報に対応して、チャートにおける色票を入れ替えて追加チャートにおける色票の組合せの設計を行う。
 このとき、追加チャートの設計に対して、患者の比較結果、患者の撮像環境における光源メタメリズム、あるいは患者またはカメラの観察者メタメリズムを反映させるようにしてもよい。
 また、カメラにおけるレンズの前面にフィルタ(透過波長を変更するフィルタ)を配置したり、異なる観察感度のカメラで撮影したりするマルチバンド撮影と同様の効果が得られるように、例えば、チャートの一部の色票にフィルタの透過率やカメラ感度の違いを反映させて設計してもよい。
 そして、運営会社Aは、発行された追加チャートにおける色票の組合せの設計の情報に対応して、追加チャートを製造(例えば、紙媒体などに印刷)して、追加チャートを製造して発行する。
 ステップF304A:
 そして、追加チャート発行部107Aは、生成した追加チャートの情報を、チャート識別情報を付与して、チャート情報データベース14Aの追加チャートテーブルに書き込んで記憶させる。
 ステップF305A:
 そして、運営会社Aは、製造した追加チャート情報を、患者の登録した住所に対して配送する。
 ステップF306A:
 患者は、追加チャートが配送されてきた際、追加チャート情報を参照する。
 そして、患者は、追加チャート情報の指示に対応して、自身の患部を撮像する撮像環境において、撮像装置により追加チャートの撮像を行い、追加チャート撮像画像を取得する。追加チャートの撮像自体は、撮像環境であれば患者でなく他の人間でもよい。
 ステップF307A:
 そして、患者は、カラーマネージメント管理センター(色見本発行システム1B)に対してアクセスし、配送された追加チャートを撮像した追加チャート撮像画像のデータと、撮像した際の撮影情報とを、カラーマネージメント管理センターに対して送信する。
 ステップF308A:
 データ入出力部101Aは、追加チャート撮像画像のデータ及び撮影情報とが患者端末5から供給された場合、追加チャート撮像画像のデータを撮像画像取得部103Aに対して出力する。
 また、データ入出力部101Aは、患者端末5から供給された撮影情報を、機器情報取得部104A及び色変換情報演算部105Aに対して出力する。
 そして、撮像画像取得部103Aは、患者識別情報に対応させて、追加チャート撮像画像のデータを患者データベース12Bに書き込み、この書き込んだ領域のアドレスを患者データベース12Bの色変換情報一覧テーブルに対して書き込んで記憶させる。
 機器情報取得部104Aは、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104Aは、読み出したカメラ特性を、上記色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 そして、色変換情報演算部105Aは、チャート撮像画像及び追加チャート撮像画像と、チャートの色特性情報及び追加チャートの色特性情報と、比較結果、撮影情報とを用いて、色変換情報の再演算を行ない、新たに求められた色変換情報により、既存の色変換情報の更新を行なう。
 このとき、色変換情報における更新は、多項式による数値計算、多次元関数を用いたモデル関数の係数調整などのアルゴリズムの調整に基づく更新処理、あるいはAI(例えば、機械学習)によるモデルの更新などの手法を用いても良い。
 そして、色変換情報演算部105Aは、上述の手法により新たに求めた色変換情報を、患者データベース12Bにおける色変換情報一覧テーブルの既存の色変換情報に上書きして記憶させることで更新を行なう。
 また、患者が観察する患部と追加チャートとを同時に撮像し、患部と追加チャートとが一緒に撮像された撮像画像を色見本発行システム1Bに対して送信する構成としてもよい。
 この場合、色変換情報演算部105Aは、患部撮像画像(チャート撮像画像の一例)と、患者の患部の色特性情報と、撮影情報とを、上記追加チャートから得られる情報に加えて、色変換情報の再演算を行なう構成としてもよい。
 また、追加チャートは、医師の診断結果を示すはがき、診察結果を示す診断書、この診断書を配送する際に用いる封筒などに印刷して、患者に提供されてもよい。
 以下、図面を参照して、処理F21、処理F22、処理F23及び処理F24の各々に対応する処理の流れにおける色見本発行システム1Bの動作を含む、本実施形態におけるカラーマネージメントの管理を順次説明する。
<処理F21に対応した病院の色変換情報生成の例>
 図46は、色見本発行システム1Bを用いた病院の色変換情報生成の処理の流れを示すシーケンス図である。図においては、患者データベース12B、病院データベース13B、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12B、13B、14A、15A)として記述して説明する。以下の説明として、病院の医師が行う処理として記載しているが、病院の職員、あるいはその処理を依頼した人間であれば誰でもよい。
 ステップF401A:
 病院の医師は、病院サーバ4により、カラーマネージメント管理センター(色見本発行システム1B)にアクセスし、例えば、病院識別情報によりログインして、病院の観察環境の環境情報の登録処理を依頼する。
 これにより、データ入出力部101Aは、アクセスした際の病院識別情報により、病院データベース13Bの病院データテーブルを検索して、登録されているいずれの病院であるかの確認を行なう。
 ステップF402A:
 チャート発行部102Aは、この病院の病院属性情報を読み出し、読み出した病院属性情報により、チャート情報データベース14Aのチャートテーブルを検索する。
 そして、チャート発行部102Aは、この病院属性情報に最も類似するチャート検索情報を抽出し、抽出されたチャート検索情報に対応するチャート画像インデックスを読み出す。
 チャート発行部102Aは、チャート画像インデックスにより、チャート情報データベース14Aからチャート画像を読出し、チャートとして発行する。
 また、チャート発行部102Aは、病院の診察科目の患部画像に対応したチャートとして、例えば撮像対象の患部に対して予め設定されているチャートを、チャート情報データベース14Aのチャート情報テーブルから抽出して発行する構成としてもよい。
 運営会社Aは、チャート発行部102Aがチャートテーブルから発行したチャートを、登録されている病院の住所に対して配送(あるいは郵送)する。
 ステップF403A:
 病院の医師は、患者の患部を診察・診断する観察環境(照明環境)に対応して、患部表示画像を観察する色変換情報を得るために、例えば病院の診察室などの診察・診断を行う所定の位置において、運営会社Aから供給されたチャートの撮像を行なう。
 ステップF404A:
 そして、病院の医師は、チャートを撮像したチャート撮像画像と、撮像における撮影情報と、当該病院の病院識別情報とを、病院サーバ4によりカラーマネージメント管理センター(色見本発行システム1B)に対して送信する。
 ステップF405A:
 データ入出力部101Aは、病院サーバ4から供給されたチャート撮像画像を撮像画像取得部103Aに対して出力する。
 また、データ入出力部101Aは、病院サーバ4から供給される撮影情報を、機器情報取得部104A及び色変換情報演算部105Aに対して出力する。
 そして、撮像画像取得部103Aは、チャート撮像画像のデータを病院データベース13Bに書き込む。
 また、撮像画像取得部103Aは、書き込んだ書込領域のアドレスを、病院識別情報に対応した病院色変換情報一覧インデックスの示す病院色変換情報一覧テーブルのチャート撮像画像インデックスに書き込んで記憶させる。
 機器情報取得部104Aは、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104Aは、読み出したカメラ特性を、上記病院色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 ステップF406A:
 色変換情報演算部105Aは、病院識別情報に対応して、チャート撮像画像とチャート識別情報との各々を、病院データベース13Bの病院色変換情報一覧テーブルから読み出す。
 そして、色変換情報演算部105Aは、読み出したチャート識別情報により、チャート情報データベース14Aのチャートテーブルから、病院に送付したチャート設計情報インデックスを読み出す。色変換情報演算部105Aは、このチャート設計情報インデックスの示す記憶領域から、チャートの色特性情報を読み出す。
 また、色変換情報演算部105Aは、病院識別情報に対応して、病院色変換情報一覧テーブルからカメラ特性を読み出す。
 ステップF407A:
 色変換情報演算部105Aは、上記チャート撮像画像と、カメラ特性と、チャートの色特性情報とにより、病院色変換情報を演算して求める。
 この病院色変換情報は、色特性情報を、登録した病院における患部の診察・診断を行う観察環境において視認される測色値に変換する情報である。
 病院色変換情報の演算においては、患者毎や観察される症例(例えば、類似症例)毎に適した色変換情報を生成してもよい。この場合には、病院色変換情報の演算に使用する色変換のアルゴリズムや色票が選択されて用いられる。これにより、色変換の処理においては、患者識別情報の示す患者、あるいは類似症例に対して最適な色変換情報を使用することができる。
 また、照明環境推定部106Aは、チャートから求められた病院色変換情報から、診察・診断を行う観察環境における光源の種類を推定する。
 ステップF408A:
 色変換情報演算部105Aは、求めた病院色変換情報を、病院識別情報に対応させて、病院色変換情報一覧テーブルに書き込んで記憶させる。
 この病院色変換情報を病院色変換情報一覧テーブルに書き込む際に、色変換情報演算部105Aは、チャート撮像画像を撮像した時刻を撮影情報に含まれる日時情報から抽出し、求めた色変換情報に対して対応する時間範囲(朝時間範囲、昼時間範囲、夜時間範囲)を仕様データの欄に書き込んで記憶させる。さらに、GPS情報や病院指定情報等に基づく位置情報などの撮影情報に含まれる情報を記録させてもよい。
 また、上記説明において、チャートを配送して病院に提供する場合に説明しているが、カラーマネージメント管理センターの会員証(登録証や登録カードを含む)の表あるいは裏に、病院色変換情報を求めるチャートと、このチャートに隣接してチャート識別情報及び病院識別情報とを予め印刷しておき、病院がチャートを撮像する際に、チャート識別情報及び病院識別情報をチャートと同時に撮像させるように構成しても良い。
 また、カラーマネージメント管理センターに登録した際(病院登録の時点において)、カラーマネージメント管理センターを運営する運営会社Aが、カラーマネージメントの管理方法に対する説明などを配送する際、チャートを同封したり、説明を配送する封書や納品書、宛名、梱包材などに直接に上述したチャート識別情報及び病院識別情報(文字情報あるいは図形情報)を印刷しておいても良い。さらに、それらチャート識別情報及び病院識別情報(文字情報あるいは図形情報)が着色されており、撮像することで色変換情報の取得に利用してもよい。
 また、本実施形態においては、病院における患者の患部の診察・診断を行う観察環境(患者の患部を観察する時間範囲や、観察する場所の情報など)に基づいて、チャートを送付する病院と異なる、撮像環境が類似した他病院の病院色変換情報を用いて、当該病院に送付するチャートを作成しても良い。
<処理F22の患部画像の色変換と表示の例>
 図47は、色見本発行システム1Bを用いた患部画像の色変換と表示の処理の流れを示すシーケンス図である。図においては、患者データベース12B,病院データベース13B、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12B、13B、14A、15A)として記述して説明する。以下の説明として、病院の医師が行う処理として記載しているが、病院の職員、あるいはその処理を依頼した人間であれば誰でもよい。
 ステップF501A:
 病院の医師は、病院サーバ4により、カラーマネージメント管理センター(色見本発行システム1B)にアクセスし、例えば、病院識別情報によりログインして、自身の登録している病院の患者の患部の患部画像の閲覧を依頼する。
 これにより、データ入出力部101Aは、アクセスした際の病院識別情報により、病院データベース13Bの病院データテーブルを検索して、登録されている病院における何れの病院かの確認を行なう。
 ステップF502A:
 推定画像生成サーバ11Aは、患部表示画像を生成する際に用いる病院色変換情報を得るため、病院識別情報により病院データベース13Bの病院データテーブルを検索し、アクセスした病院の病院色変換情報一覧テーブルを抽出する。
 ステップF503A:
 そして、推定画像生成サーバ11Aは、病院色変換情報を病院の医師に選択させる表示として、病院色変換情報一覧テーブルの仕様データの一覧を、病院サーバ4の表示画面に表示させる。
 表示としては、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」及び「プリセット色変換情報(一般的な病院の診察室、晴天の屋外など)」など、診察・診断を行う観察環境における観察の状態を示す文字列が用いられる。
 ステップF504A:
 病院の医師は、病院サーバ4の表示画面の仕様データの一覧から、自身が実物の患者の患部を観察する環境に対応した状態を選択する。
 このとき、例えば、患者の患部の診察・診断の時間指定が午前10時である場合、観察環境で患者の患部を観察する時間が朝時間範囲に含まれるため、病院の医師は病院サーバ4の表示画面の仕様データの一覧から、朝時間範囲を選択する。また、患者の患部の診察・診断が午後8時ぐらいであれば、観察環境で患者の患部を観察する時間が夜時間範囲に含まれるため、病院の医師は病院サーバ4の表示画面の仕様データの一覧から、夜時間範囲を選択する。一方、患者の患部を観察する観察環境が病室ではなく、学校の体育館などである場合、病院の医師は病院サーバ4の表示画面の仕様データの一覧から、プリセット病院色変換情報を選択する。
 ステップF505A:
 病院サーバ4は、病院の医師が選択した観察の状態、例えば、「朝時間範囲」、「昼時間範囲」、「夜時間範囲」、「オフィス」、「レストラン」、「プリセット病院色変換情報」の中の選択された文字列が情報として、色見本発行システム1Bに対して送信する。
 このとき、病院サーバ4は、表示画面を表示するディスプレイを特定する機器特定情報(デバイス情報)を、上記文字列の情報とともに、色見本発行システム1Bに対して送信する。
 ステップF506A:
 データ入出力部101Aは、顧客端末3から供給される機器特定情報を、機器情報取得部104Aに対して出力する。
 機器情報取得部104Aは、機器特定情報であるデバイス情報に対応するディスプレイ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 また、機器情報取得部104Aは、読み出したディスプレイ特性を、上記病院色変換情報一覧テーブルのディスプレイ特性の欄に書き込んで記憶させる。
 ステップF507A:
 次に、推定画像生成サーバ11Aは、病院識別情報に対応して病院データベース13Bの病院データテーブルから、ディスプレイ特性を読み出す。
 また、推定画像生成サーバ11Aは、病院の医師が選択した病院色変換情報(患者の患部の診察・診断を行う観察の環境や、患者の患部や予想される症例に対応した病院色変換情報)を、病院色変換情報一覧テーブルから読み出す。
 推定画像生成サーバ11Aは、病院データベース13Bの患部色データテーブルから、病院の医師の診察・診断のために観察する患者の患部各々の患部色特性情報を読み出す。
 ステップF508A:
 そして、推定画像生成サーバ11Aは、患者の患部の患部色特性情報の規定観察環境における測色値を、病院色変換情報により医師の診察・診断を行う観察環境における測色値に変換し、かつディスプレイ特性に対応させて患部表示画像のデータを生成する。
 ステップF509A:
 推定画像生成サーバ11Aは、生成した患部表示画像のデータを、データ入出力部101Aを介して、病院サーバ4に対して送信する。
 これにより、病院の医師は、自身が患者の患部の診察・診断を行う観察環境で、実際に患者の患部を観察した場合と同様の色により、病院サーバ4の表示画面で患部画像を視認することができる。
 このとき、推定画像生成サーバ11Aは、例えば、上記患部表示画像に対して、チャートの色特性情報を病院色変換情報により変換したチャートの表示画像も含めておく。
 このとき、病院の医師は、配送されたチャートと、病院サーバ4の表示画面に表示された患部画像におけるチャート画像との各々を観察してそれぞれの視認される色を比較して比較結果を、カラーマネージメント管理センターに送信する構成としてもよい。
 すなわち、病院の医師は、病院サーバ4の表示画面に表示されている色成分RGB(red:赤、green:緑、blue:青)調整用バーを順次調整することにより、実際に見ているチャートの色に、表示画面の患部画像におけるチャート画像の色を合わせる、色の差の評価を行なう。
 そして、病院の医師は、表示画面の患部画像におけるチャート画像と、実際に観察しているチャートの色とが同様となったと認識した際、色成分RGB調整用バーなどの調整量を入力する表示による表示画像の色の調整を終了させる。
 また、病院の医師は、来院した患者の患部と、この患部を撮像した撮像画像とを比較して、表示画像の色を調整しても良い。
 これにより、病院サーバ4は、病院の医師が色を調整した患部画像のデータを評価情報(比較結果)として、色見本発行システム1Bに対して送信する。
 または、第1の実施形態と同様に「赤みが足りない」などの情報を評価情報として、色見本発行システム1Bに対して送信してもよい。
 そして、色見本発行システム1Bは、上記評価情報を追加チャート設計テーブルにおける追加色検索情報に加えて用いる。
<処理F23及びF24に対応した病院への追加チャート発行及び色変換情報更新>
 図48は、色見本発行システム1Bを用いた病院色変換情報更新のための追加チャート発行の処理の流れを示すシーケンス図である。図においては、患者データベース12B,病院データベース13B、チャート情報データベース14A及び機器情報データベース15Aの各々を、各データベース(12B、13B、14A、15A)として記述して説明する。以下の説明として、病院の医師が行う処理として記載しているが、病院の職員、あるいはその処理を依頼した人間であれば誰でもよい。
 ステップF601A:
 病院の医師は、ステップF509Aにおける患部表示画像で視認されるチャート画像の色と、観察環境における実物のチャートで視認される色とが異なる場合、病院サーバ4によりカラーマネージメント管理センター(色見本発行システム1B)にアクセスし、病院色変換情報の更新の依頼処理を行う。
 そして、病院サーバ4は、病院識別情報を付加した病院色変換情報の更新を依頼する依頼情報を色見本発行システム1Bに送信する。
 これにより、色見本発行システム1Bにおいて、追加チャート発行部107Aは、病院サーバ4からの依頼情報から病院識別情報を抽出し、この病院の病院色変換情報の変更処理を行う。
 ステップF602A:
 データ入出力部101Aは、病院の病院色変換情報の変更依頼を受信した場合、この病院の病院識別情報とともに、追加チャートの作成依頼を追加チャート発行部107Aに出力する。
 これにより、追加チャート発行部107Aは、供給された病院識別情報に対応する病院色変換情報を、患者データベース12Bにおける色変換情報一覧テーブルから読み出す。
 また、追加チャート発行部107Aは、病院の医師が示す患部の患部色情報(患部の色特性情報)を、病院データベース13Bの患部色データテーブルから読み出す。
 追加チャート発行部107Aは、病院に送付したチャートのチャート設計情報をチャート情報データベース14Aから読み出す。
 ステップF603A:
 そして、追加チャート発行部107Aは、追加チャートを作成する際、チャートに追加する色を、チャート情報データベース14Aの追加チャート設計テーブルから抽出する。
 すなわち、追加チャート発行部107Aは、追加チャート設計テーブルにおいて、病院色変換情報、チャートにおいて色票として利用した色特性情報、照明環境の光源の種別(種類)、患部の色特性情報などの検索条件と最も類似する追加色検索情報を検索する。
 そして、追加チャート発行部107Aは、検索された追加色検索情報に対応する追加チャート設計情報を読み出す。
 これにより、追加チャート発行部107Aは、読み出した追加チャート設計情報に対応して、チャートにおける色票を入れ替えて追加チャートにおける色票の組合せの設計を行う。
 このとき、追加チャートの設計に対して、病院の医師の比較結果、病院の医師の観察環境における光源メタメリズム、あるいは病院の医師またはカメラの観察者メタメリズムを反映させるようにしてもよい。
 また、カメラにおけるレンズの前面にフィルタ(透過波長を変更するフィルタ)を配置したり、異なる観察感度のカメラで撮影したりするマルチバンド撮影と同様の効果が得られるように、例えば、チャートの一部の色票にフィルタの透過率やカメラ感度の違いを反映させて設計してもよい。
 そして、運営会社Aは、発行された追加チャートにおける色票の組合せの設計の情報に対応して、追加チャートを製造(例えば、紙媒体などに印刷)して、追加チャートを製造して発行する。
 ステップF604A:
 そして、追加チャート発行部107Aは、生成した追加チャートの情報を、チャート識別情報を付与して、チャート情報データベース14Aの追加チャートテーブルに書き込んで記憶させる。
 ステップF605A:
 そして、運営会社Aは、製造した追加チャート情報を、病院の医師が登録した住所(病院、診査課)に対して配送する。
 ステップF606A:
 病院の医師は、追加チャートが配送されてきた際、追加チャート情報を参照する。 そして、病院の医師は、追加チャート情報の指示に対応して、患者の患部を観察する観察環境において、撮像装置により追加チャートの撮像を行い、追加チャート撮像画像を取得する。追加チャートの撮像自体は、観察環境であれば病院の医師でなく他の人間でもよい。
 ステップF607A:
 そして、病院の医師は、カラーマネージメント管理センターに対してアクセスし、配送された追加チャートを撮像した追加チャート撮像画像のデータと、撮像した際の撮影情報とを、カラーマネージメント管理センター(色見本発行システム1B)に対して送信する。
 ステップF608A:
 データ入出力部101Aは、追加チャート撮像画像のデータ及び撮影情報とが病院サーバ4から供給された場合、追加チャート撮像画像のデータを撮像画像取得部103Aに対して出力する。
 また、データ入出力部101Aは、病院サーバ4から供給された撮影情報を、機器情報取得部104A及び色変換情報演算部105Aに対して出力する。
 そして、撮像画像取得部103Aは、病院識別情報に対応させて、追加チャート撮像画像のデータを病院データベース13Bに書き込み、この書き込んだ領域のアドレスを病院データベース13Bの病院色変換情報一覧テーブルに対して書き込んで記憶させる。
 機器情報取得部104Aは、撮影情報に含まれる機器特定情報に対応するカメラ特性を、機器情報データベース15Aの機器情報テーブルから検索して読み出す。
 そして、機器情報取得部104Aは、読み出したカメラ特性を、上記病院色変換情報一覧テーブルのカメラ特性の欄に書き込んで記憶させる。
 そして、色変換情報演算部105Aは、チャート撮像画像及び追加チャート撮像画像と、チャートの色特性情報及び追加チャートの色特性情報と、比較結果、撮影情報とを用いて、病院色変換情報の再演算を行ない、新たに求められた病院色変換情報により、既存の病院色変換情報の更新を行なう。
 このとき、病院色変換情報における更新は、多項式による数値計算、多次元関数を用いたモデル関数の係数調整などのアルゴリズムの調整に基づく更新処理、あるいはAI(例えば、機械学習)によるモデルの更新などの手法を用いても良い。
 そして、色変換情報演算部105Aは、上述の手法により新たに求めた病院色変換情報を、病院データベース13Bにおける病院色変換情報一覧テーブルの既存の病院色変換情報に上書きして記憶させることで更新を行なう。
 上述したように、本実施形態によれば、チャートにより得られたチャートの色特性情報、色変換情報(病院色変換情報も含む)及び比較結果などに基づいて、より照明環境(撮像環境及び観察環境)の情報を取得可能な追加チャートを生成することができるため、患者の患部を撮像する撮像環境、病院の医師が患者の患部を観察する観察環境の各々における光源の情報が取得でき、撮像環境で患部を撮像した撮像画像から色特性情報を取得する色変換情報と、この色特性情報を病院の医師が患部を観察する観察環境の色画像に変換する病院色変換情報とを高い精度で取得することができる。
 このため、本実施形態によれば、取得した患者毎の色変換情報により、患者宅で患者の患部を撮像した撮像画像から高い精度で色特性情報を得ることができ、この色特性情報を病院の医師の観察環境に対応した病院色変換情報を用いて患部表示画像を生成することができ、患部表示画像と、医師の診察・診断を行う観察環境で視認する患部との色を同様に視認することができる。
 なお、本発明における図1における商品販売支援システム1(色変換情報生成システム)と、図17における色見本発行システム1A(色変換情報生成システム)と、図37における色見本発行システム1B(色変換情報生成システム)との各々機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、ユーザが色見本を撮像する撮像環境、あるいは物体を観察する観察環境の照明環境を推定し、色変換情報を生成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
 また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
 また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
 1…商品販売支援システム
 1A,1B…色見本発行システム
 2…ECサイトサーバ
 2_1…記憶部
 3…ユーザ端末(あるいは、顧客端末)
 4…病院サーバ
 5…患者端末
 10…商品販売支援サーバ
 10A…色見本発行サーバ
 11…ユーザデータベース
 11A…推定画像生成サーバ
 12…商品色データベース
 12A…顧客データベース
 12B…患者データベース
 13…チャート情報データベース
 13A…ECサイトデータベース
 13B…病院データベース
 14…機器情報データベース
 14A…チャート情報データベース
 15A…機器情報データベース
 16A…商品販売サーバ
 101,101A…データ入出力部
 102…チャート供給部
 102A…チャート発行部
 103,103A…撮像画像取得部
 104,104A…機器情報取得部
 105,105A…色変換情報演算部
 106…推定画像生成部
 106A…照明環境推定部
 107…商品販売処理部
 107A…追加チャート発行部

Claims (35)

  1.  照明環境に対応する情報であり、前記照明環境における物体の色を示す色情報と、当該物体の色特性を示す色特性情報との各々を相互に変換させる情報である色変換情報を生成する色変換情報生成方法であり、
     前記色特性情報が既知である色見本を決定するための色見本情報をユーザに提供する色見本情報提供過程と、
     前記照明環境において、前記色見本情報によって決定される色見本が撮像された画像である撮像画像を前記ユーザから受信する撮像画像受信過程と、
     前記撮像画像と、前記色見本情報によって決定される前記色見本の前記色特性情報とから、前記ユーザに対応付けて前記照明環境に対応する前記色変換情報を生成する色変換情報生成過程と
     を含む色変換情報生成方法。
  2.  前記色変換情報が、前記物体の属性に対応する前記色特性に対応して生成されている、
     請求項1に記載の色変換情報生成方法。
  3.  前記ユーザに提供する前記色見本情報によって決定される前記色見本を生成する色見本生成過程
     をさらに含む請求項1または請求項2に記載の色変換情報生成方法。
  4.  前記色見本が前記色見本情報によって決定される、前記色特性情報が既知である色で印刷された文字、図形及びカラーチャートのいずれかあるいは組み合わせを含む印刷物である、
     請求項3に記載の色変換情報生成方法。
  5.  前記印刷物が、
     前記ユーザに前記物体が配送される際、当該ユーザが前記物体とともに受領する、前記色見本が印刷された他の物体である、
     請求項4に記載の色変換情報生成方法。
  6.  前記印刷物が、
     前記ユーザが所定の団体へのユーザ登録において、当該ユーザが前記団体から受領する、前記色見本が印刷された他の物体である、
     である請求項4に記載の色変換情報生成方法。
  7.  前記印刷物が、
     前記ユーザが所定の団体にユーザ登録する際、当該ユーザが前記団体の登録システムにアクセスするURLを示す図形及び文字のいずれかが、前記色見本として印刷された他の物体である、
     請求項4に記載の色変換情報生成方法。
  8.  前記色見本が、
     前記ユーザに提供される、施された色の前記色特性情報が既知である前記物体である、
     請求項1または請求項2に記載の色変換情報生成方法。
  9.  前記色見本が、
     施された色の前記色特性情報が既知である汎用品である、
     請求項1または請求項2に記載の色変換情報生成方法。
  10.  前記色見本が、
     印刷された色の前記色特性情報が既知である色票が印刷された印刷物である
     ことを特徴とする請求項1または請求項2に記載の色変換情報生成方法。
  11.  前記ユーザの前記照明環境において、前記色見本である第1色見本情報により決定される第1色見本が撮像された第1撮像画像を受信する過程と、
     前記第1撮像画像と、前記第1色見本の前記色特性情報とにより、前記ユーザの前記照明環境における前記色変換情報を生成する過程と、
     前記色変換情報を生成する過程より後のタイミングにおいて、前記第1色見本とは前記色特性情報が異なる第2色見本を決定するための前記色見本情報である第2色見本情報を前記ユーザに提供する過程と、
     前記ユーザの前記照明環境において、前記第2色見本情報によって決定される前記第2色見本が撮像された第2撮像画像を受信する過程と、
     前記第2撮像画像と、前記第2色見本の前記色特性情報とにより、前記ユーザの前記照明環境における前記色変換情報を更新する過程と
     を含む請求項1から請求項10のいずれか一項に記載の色変換情報生成方法。
  12.  前記第1撮像画像に対応した前記第2色見本を生成する過程
     をさらに含む、
     請求項11に記載の色変換情報生成方法。
  13.  前記第2撮像画像が、前記ユーザに配送された前記物体が撮像された画像、あるいは当該物体及び前記第2色見本が撮像された画像である、
     請求項11または請求項12に記載の色変換情報生成方法。
  14.  前記ユーザの前記照明環境が変化したことを検出した場合、前記色特性情報を更新する、
     請求項12または請求項13に記載の色変換情報生成方法。
  15.  第2色見本の色特性情報が、前記第2撮像画像から色変換情報を用いて予測される色特性情報と異なる場合、前記照明環境が変化したことを検知する、
     請求項14に記載の色変換情報生成方法。
  16.  前記ユーザから、当該ユーザの前記照明環境が変化したことを示す情報を受信した場合、前記照明環境が変化したことを検知する、
     請求項14に記載の色変換情報生成方法。
  17.  前記ユーザに前記第2色見本情報を提供するタイミングが、当該ユーザの属性情報に基づいて決定される、
     請求項11から請求項16のいずれか一項に記載の色変換情報生成方法。
  18.  前記色見本が撮像された前記撮像画像を受信した際に与える所定のインセンティブの情報を、前記ユーザに対して提供する、
     請求項1から請求項17のいずれか一項に記載の色変換情報生成方法。
  19.  前記色変換情報により前記物体の色特性情報を色情報に変換し、当該色情報に基づく画像である物体表示画像を生成する過程と、
     前記物体表示画像を前記ユーザの所有する端末に送信する過程と
     を含む請求項1から請求項18のいずれか一項に記載の色変換情報生成方法。
  20.  前記ユーザが前記物体表示画像と前記物体とを比較した結果の評価情報により、前記ユーザの前記色変換情報を更新する過程と
     を含む請求項19に記載の色変換情報生成方法。
  21.  色見本の色特性情報から、前記色変換情報により前記ユーザの観察環境における当該色見本の色情報を推定し、前記色見本の推定画像である色見本表示画像を生成する過程と、
     前記色見本表示画像を前記ユーザの端末に送信する過程と、
     前記ユーザが前記色見本表示画像と前記色見本とを比較した結果の評価情報により、前記ユーザの前記色変換情報を更新する過程と
     をさらに含む請求項19に記載の色変換情報生成方法。
  22.  前記第2色見本が、少なくとも、前記物体の前記色特性情報、前記第1色見本により得られた前記照明環境の前記色変換情報、及び前記照明環境の情報により選択された、前記第1色見本を撮像した前記照明環境と類似した類似照明環境における色変換情報である類似色変換情報のいずれかあるいは組合せまたは全てに対応させた色の組合せで生成される、
     請求項11または請求項12に記載の色変換情報生成方法。
  23.  前記照明環境の属性である環境属性に対応した色の組合せに対応して前記第2色見本を生成する、
     請求項11または請求項12に記載の色変換情報生成方法。
  24.  前記環境属性が照明の特性を含む、
     請求項23に記載の色変換情報生成方法。
  25.  前記ユーザの属性であるユーザ属性情報に基づき、前記ユーザが分類されるグループのユーザ属性情報を示すグループ情報を生成する過程と、
     前記グループ情報の示す前記ユーザ属性情報に対応した、前記色特性の組合せによる前記色見本を生成する過程と
     を含む請求項3、請求項11または請求項12のいずれか一項に記載の色変換情報生成方法。
  26.  前記ユーザ属性情報が、前記ユーザの前記照明環境の場所の属性、前記ユーザの性別、前記ユーザの年齢、前記ユーザの住所、前記ユーザの職業のいずれか又は組合せあるいは全てを含む、
     請求項25に記載の色変換情報生成方法。
  27.  前記物体が医師が観察する身体であり、
     前記身体の属性に対応して生成された色特性の組合せにより、前記色見本を生成する、
     請求項3、請求項11または請求項12のいずれか一項に記載の色変換情報生成方法。
  28.  前記身体が前記ユーザである患者の患部であり、
     前記身体の属性が、前記患部の身体における部位、及び当該患部の症状に類似した症例のいずれか又は組合せ、あるいは全てを含む、
     請求項27に記載の色変換情報生成方法。
  29.  前記物体が前記ユーザに提供される物品であり、
     前記物品の属性に対応して生成された前記色特性の組合せにより、前記色見本を生成する、
     請求項3、請求項11または請求項12のいずれか一項に記載の色変換情報生成方法。
  30.  前記物品の属性が、当該物品の種類、前記物品を形成する素材及び前記物品の形状のいずれか又は組合せあるいは全てを含む、
     請求項29に記載の色変換情報生成方法。
  31.  前記ユーザが閲覧した前記物体の履歴情報における前記物体の属性情報に対応する前記色特性、及び前記ユーザが注文した前記物体の履歴情報における前記物体の属性情報に対応する前記色特性のいずれか又は組合せにより、前記色見本を生成する、
     請求項3、請求項11または請求項12のいずれか一項に記載の色変換情報生成方法。
  32.  物体を閲覧するウェブページのURLを前記ユーザに提供する過程と、
     前記ユーザが前記ウェブページを閲覧した履歴情報を取得する過程と、
     前記ユーザが閲覧した前記物体の履歴情報における前記物体の属性情報に対応する前記色特性のいずれか又は組合せにより、前記色見本を生成する過程と
     を含む請求項3、請求項11または請求項12のいずれか一項に記載の色変換情報生成方法。
  33.  前記色見本が、前記物体、前記色見本を撮像する撮像装置の感度に対応する前記色特性の組合せで生成される、
     請求項3、請求項11または請求項12のいずれか一項に記載の色変換情報生成方法。
  34.  色特性情報が既知である色見本の情報である色見本情報をユーザに提供する色見本情報提供部と、
     前記ユーザの照明環境において、前記色見本情報によって決定される前記色見本を撮像した撮像画像を前記ユーザから取得する撮像画像取得部と、
     前記撮像画像と前記色特性情報とにより、前記照明環境における物品の色情報と、前記物品の色特性情報を変換する色変換情報を前記ユーザ毎に求める色変換情報演算部と
     を備える色変換情報生成システム。
  35.  コンピュータを、
     色特性情報が既知である色見本の情報である色見本情報をユーザに提供する色見本情報提供手段、
     前記ユーザの照明環境において、前記色見本情報によって決定される前記色見本を撮像した撮像画像を前記ユーザから取得する撮像画像取得手段、
     前記撮像画像と前記色特性情報とにより、前記照明環境における物品の色情報と、前記物品の色特性情報を変換する色変換情報を前記ユーザ毎に求める色変換情報演算手段
     として動作させるプログラム。
PCT/JP2020/004248 2019-02-05 2020-02-05 色変換情報生成方法、色変換情報生成システム及びプログラム WO2020162478A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080012481.1A CN113396319B (zh) 2019-02-05 2020-02-05 颜色转换信息生成方法、颜色转换信息生成***以及程序
JP2020571227A JPWO2020162478A1 (ja) 2019-02-05 2020-02-05 色変換情報生成方法、色変換情報生成システム及びプログラム
EP20752815.9A EP3922967A4 (en) 2019-02-05 2020-02-05 COLOR CONVERSION INFORMATION GENERATION METHOD, COLOR CONVERSION INFORMATION GENERATION SYSTEM AND PROGRAM
US17/394,911 US20210366164A1 (en) 2019-02-05 2021-08-05 Color conversion information generation method, color conversion information generation system, and program therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-019028 2019-02-05
JP2019019028 2019-02-05
JP2019-153871 2019-08-26
JP2019153871 2019-08-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/394,911 Continuation US20210366164A1 (en) 2019-02-05 2021-08-05 Color conversion information generation method, color conversion information generation system, and program therefor

Publications (1)

Publication Number Publication Date
WO2020162478A1 true WO2020162478A1 (ja) 2020-08-13

Family

ID=71947115

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004248 WO2020162478A1 (ja) 2019-02-05 2020-02-05 色変換情報生成方法、色変換情報生成システム及びプログラム

Country Status (5)

Country Link
US (1) US20210366164A1 (ja)
EP (1) EP3922967A4 (ja)
JP (1) JPWO2020162478A1 (ja)
CN (1) CN113396319B (ja)
WO (1) WO2020162478A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7131727B1 (ja) * 2022-02-14 2022-09-06 凸版印刷株式会社 画像処理サーバ、画像処理システム、画像処理方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386588B2 (en) * 2016-12-27 2022-07-12 Sony Corporation Product design system and design image correction apparatus
US10140392B1 (en) 2017-06-29 2018-11-27 Best Apps, Llc Computer aided systems and methods for creating custom products
US11514203B2 (en) * 2020-05-18 2022-11-29 Best Apps, Llc Computer aided systems and methods for creating custom products

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006093770A (ja) * 2004-09-21 2006-04-06 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びそのプログラム
JP2006094137A (ja) * 2004-09-24 2006-04-06 Fuji Xerox Co Ltd 画像処理方法及び画像処理システム
JP2009288928A (ja) 2008-05-28 2009-12-10 Fujifilm Corp 服飾検索方法及び装置、服飾検索プログラム、並びに服飾登録装置
JP2017175568A (ja) * 2016-03-25 2017-09-28 富士ゼロックス株式会社 データ処理装置、色特定方法、プログラムおよびカラーチャート
JP2019019028A (ja) 2017-07-18 2019-02-07 株式会社テクニスコ ガラス成形方法及びその方法によって形成されたガラス成形品
JP2019153871A (ja) 2018-03-01 2019-09-12 富士通株式会社 ネットワーク管理装置、ネットワーク管理方法、ネットワーク管理プログラム、及びネットワークシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4427125B2 (ja) * 1999-04-07 2010-03-03 富士通株式会社 表示特性認識装置、表示特性認識プログラム記憶媒体、表示特性調整装置および表示特性調整プログラム記憶媒体
JP4009812B2 (ja) * 1999-08-18 2007-11-21 富士ゼロックス株式会社 画像処理装置、コンピュータ読取可能な記憶媒体、及び画像処理方法
JP2002262119A (ja) * 2001-02-28 2002-09-13 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラムを記録した機械読取可能な記録媒体および画像処理プログラム
US7034960B2 (en) * 2001-08-16 2006-04-25 Sun Chemical Corporation System and method for managing electronic transmission of color data
JP4285290B2 (ja) * 2004-03-22 2009-06-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009188807A (ja) * 2008-02-07 2009-08-20 Sharp Corp 撮像方法および撮像システム
JP5108093B2 (ja) * 2008-05-14 2012-12-26 パナソニック株式会社 撮像装置及び撮像方法
US20100225535A1 (en) * 2009-03-03 2010-09-09 Yi-Yang Li Target object position evaluation deviced used in sport events
JP5220666B2 (ja) * 2009-03-24 2013-06-26 オリンパスイメージング株式会社 撮影装置およびライブビュー表示方法
US8655068B1 (en) * 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
US20150172513A1 (en) * 2013-12-18 2015-06-18 Nokia Corporation Methods And Apparatus For Color Balance Correction
WO2016013112A1 (ja) * 2014-07-25 2016-01-28 一般財団法人カケンテストセンター 色彩変化度判定装置、色彩変化度判定方法およびプログラム
JP6485146B2 (ja) * 2015-03-19 2019-03-20 富士ゼロックス株式会社 色変換情報生成装置及びプログラム
WO2016156060A1 (en) * 2015-03-31 2016-10-06 Philips Lighting Holding B.V. Color picker
CN109565577B (zh) * 2016-07-27 2022-02-15 凸版印刷株式会社 色彩校正装置、色彩校正***以及色彩校正方法
US10672363B2 (en) * 2018-09-28 2020-06-02 Apple Inc. Color rendering for images in extended dynamic range mode

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006093770A (ja) * 2004-09-21 2006-04-06 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びそのプログラム
JP2006094137A (ja) * 2004-09-24 2006-04-06 Fuji Xerox Co Ltd 画像処理方法及び画像処理システム
JP2009288928A (ja) 2008-05-28 2009-12-10 Fujifilm Corp 服飾検索方法及び装置、服飾検索プログラム、並びに服飾登録装置
JP2017175568A (ja) * 2016-03-25 2017-09-28 富士ゼロックス株式会社 データ処理装置、色特定方法、プログラムおよびカラーチャート
JP2019019028A (ja) 2017-07-18 2019-02-07 株式会社テクニスコ ガラス成形方法及びその方法によって形成されたガラス成形品
JP2019153871A (ja) 2018-03-01 2019-09-12 富士通株式会社 ネットワーク管理装置、ネットワーク管理方法、ネットワーク管理プログラム、及びネットワークシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3922967A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7131727B1 (ja) * 2022-02-14 2022-09-06 凸版印刷株式会社 画像処理サーバ、画像処理システム、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
CN113396319A (zh) 2021-09-14
US20210366164A1 (en) 2021-11-25
EP3922967A4 (en) 2022-05-11
EP3922967A1 (en) 2021-12-15
CN113396319B (zh) 2024-04-30
JPWO2020162478A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
WO2020162478A1 (ja) 色変換情報生成方法、色変換情報生成システム及びプログラム
TW522346B (en) A system for assisting customers in selecting an optimum color cosmetic product
US7503496B2 (en) Computer operation control and item selection and vending methods and systems
US20050289018A1 (en) Online personalized apparel design and sales technology with associated manufacturing and fulfillment techniques and processes
ES2612112T3 (es) Sistema y método para la difusión de fórmulas de tintas de color y colorantes
US20120116914A1 (en) Method and Apparatus for Generating Customized Furniture Documentation
Burns et al. Development of a web-based intelligent agent for the fashion selection and purchasing process via electronic commerce
WO2005122079A2 (en) Online personalized apparel design and sales technology.
US20140143082A1 (en) Method and apparatus for generating customized designs for retail items
JP2008108287A (ja) ファッションアドバイジングシステム
US8553047B2 (en) Image information processing system, image information processing apparatus, image information outputting method, code information processing apparatus and program thereof
JP6300677B2 (ja) コーディネート提案装置及び方法
KR20030030984A (ko) 인터넷상에서의 의류 서비스 시스템 및 그 방법
JPWO2003069526A1 (ja) ファッションアドバイジングシステム
US7680705B2 (en) Method and system for additive bar codes to minimize the size and optimize the function and usability of a bar code scannable business catalog
WO2003093924A2 (en) Method and system for designing and ordering custom printed promotional items using the internet
JP2019095897A (ja) 商品提供サーバ及び商品定期提供システム
CN106537435A (zh) 统计数据生成服务器装置、统计数据生成***及统计数据生成方法
WO2021199132A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
JP6208634B2 (ja) コーディネートサーバ、コーディネートシステム、及びコーディネート方法
US20080301000A1 (en) "System for Tracking Gift Preferences"
JP2004078454A (ja) 購買時点広告制作方法
WO2013058461A1 (ko) 가상 스토어 서비스 제공 시스템 및 그 방법과, 그를 이용한 가상스토어 및 상품 거래 방법
JP2020004308A (ja) 商品情報提供システム
KR102265649B1 (ko) 카탈로그 상품정보 제공시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20752815

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020571227

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020752815

Country of ref document: EP

Effective date: 20210906