WO2022080185A1 - 表示部の色補正方法 - Google Patents

表示部の色補正方法 Download PDF

Info

Publication number
WO2022080185A1
WO2022080185A1 PCT/JP2021/036796 JP2021036796W WO2022080185A1 WO 2022080185 A1 WO2022080185 A1 WO 2022080185A1 JP 2021036796 W JP2021036796 W JP 2021036796W WO 2022080185 A1 WO2022080185 A1 WO 2022080185A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
display unit
color chart
shooting
chart
Prior art date
Application number
PCT/JP2021/036796
Other languages
English (en)
French (fr)
Inventor
雅人 高橋
徳道 津村
Original Assignee
Dic株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dic株式会社 filed Critical Dic株式会社
Priority to EP21879925.2A priority Critical patent/EP4231634A1/en
Priority to CA3191520A priority patent/CA3191520A1/en
Priority to CN202180057128.XA priority patent/CN116075701A/zh
Priority to US18/248,767 priority patent/US20230403365A1/en
Priority to KR1020237004600A priority patent/KR20230087437A/ko
Publication of WO2022080185A1 publication Critical patent/WO2022080185A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052Matching two or more picture signal generators or two or more picture reproducers
    • H04N1/6055Matching two or more picture signal generators or two or more picture reproducers using test pattern analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • H04N1/608Colour balance, e.g. colour cast correction within the L, C1, C2 colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3256Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles
    • H04N2201/3257Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles relating to the original, the input device or the input process, e.g. scanner profile
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3256Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles
    • H04N2201/326Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles relating to the rendering or output medium, device or process, e.g. monitor, paper or printer profile

Definitions

  • the present invention relates to a color correction method for a display unit.
  • Non-Patent Document 1 Color correction is emphasized in the fields of telemedicine, design, and WEB marketing.
  • telemedicine it is important that the image taken by the patient is displayed correctly on the doctor's display. For example, the degree of redness differs between normal (non-inflamed) and inflamed, but if this cannot be displayed correctly on the display, misdiagnosis will occur. This is pointed out in Non-Patent Document 1.
  • the remote medical examination is performed not only by interviewing by telephone or the like, but also by observing the patient by a diagnostician such as a doctor using an information communication system capable of transmitting and receiving images such as a conference system.
  • a diagnostician such as a doctor using an information communication system capable of transmitting and receiving images such as a conference system.
  • color-oriented medical care may be performed. For example, observation of tooth stem color in dentistry, observation of skin color in dermatology, observation of throat color in otolaryngology, examination by skin color, tongue color, etc. performed in Chinese medicine (desired examination), etc. Can be mentioned. In such practice, improper color recognition can affect diagnosis. Therefore, it is important to accurately recognize colors when performing such medical treatment by telemedicine.
  • the present inventors have studied a method for easily performing color correction of the display unit of the mobile communication terminal used by an observer who observes using a color chart such as remote medical care.
  • an object of the present invention is to provide a color correction method for a display unit capable of performing color correction for the display unit of a mobile communication terminal used by an observer who observes using a color chart which is a printed matter. ..
  • the present inventors have found a simple method in which color correction of a mobile communication terminal can be performed only by a color chart of printed matter without using a proofreading device. Specifically, by using the shooting data obtained by shooting a color chart which is a printed matter and a predetermined image displayed on the display unit, a mobile communication used by an observer who possesses a color chart of the printed matter. We have found that it is possible to perform color correction on the display unit of a terminal, and have completed the present invention.
  • a color correction method for a display unit which comprises.
  • the predetermined image includes a color obtained by photographing a second color chart, which is a printed matter and has a patch as a predetermined color, under a standard light source.
  • the second step is a step of acquiring the shooting data by shooting the color chart which is the printed matter and the display unit on which the predetermined image is displayed together by the shooting unit.
  • the third step uses the color information of the color obtained by photographing the second color chart in the photographing data under a standard light source and the color information of the color of the color chart in the photographing data, and then the said.
  • the color of the second color chart displayed on the display unit in the imaging data obtained by displaying the second color chart on the display unit and photographing the display unit by the imaging unit is the color chart in the imaging data.
  • the predetermined image includes the colors of the color chart.
  • the second step is a step of acquiring the shooting data by shooting the color chart which is the printed matter and the display unit on which the predetermined image is displayed together by the shooting unit.
  • the third step uses the color information of the color chart included in the predetermined image in the shooting data and the color information of the color of the color chart which is the printed matter in the shooting data, and then the predetermined.
  • the color of the color chart included in the predetermined image displayed on the display unit in the photographing data obtained by displaying the image of the above on the display unit and photographing the display unit by the photographing unit is used in the photographing data.
  • the color chart which is the printed matter and the display unit where the predetermined image is displayed are reflected together in a mirror, and the color chart and the display unit which are the printed matter reflected in the mirror.
  • the shooting unit is a shooting unit externally attached to the mobile communication terminal
  • the second step is the printed matter.
  • This is a step of acquiring the shooting data by shooting the color chart and the display unit on which the predetermined image is displayed together by the external shooting unit.
  • the predetermined image contains a predetermined color and contains.
  • the first step and the photographing of the display unit in the second step are performed a plurality of times by changing the predetermined color.
  • the third step uses the color information of a plurality of predetermined colors in the shooting data acquired in the second step and the color information of the color of the color chart in the shooting data to display the display unit.
  • [6] The color correction method for a display unit according to [5], wherein in the second step, the color chart, which is the printed matter, and the display unit are individually photographed by the photographing unit.
  • a color correction method for a display unit capable of performing color correction for the display unit of a mobile communication terminal used by an observer who observes using a color chart which is a printed matter.
  • the color correction method of the display unit of the present invention includes a first step, a second step, and a third step, and further includes other steps as needed.
  • the first step is not particularly limited as long as it is a step of displaying a predetermined image on the display unit of the mobile communication terminal.
  • the brightness of the display unit of the mobile communication terminal can be changed, the brightness of the display unit when displaying a predetermined image is the brightness of the image displayed on the display unit while the observer keeps the color chart which is the printed matter at hand. It is preferable to match the brightness of the display unit when observing. By doing so, the correction effect of the color correction can be further obtained.
  • Predetermined image examples include an image containing a predetermined color. Examples of such an image include an image including a color (patch color) obtained by photographing a color chart (hereinafter, referred to as “second color chart”) which is a printed matter. Shooting is preferably performed under a standard light source. Examples of the standard light source include a D50 light source and a D65 light source.
  • the second color chart has a patch as a predetermined color. The number of patches in the second color chart is not particularly limited as long as it is 1 or more.
  • the predetermined image may not be a color obtained by photographing a color chart which is a printed matter, but may be an image including a color (patch color) of the color chart which is a printed matter used in the second step described later. ..
  • the color information of such a color may be the color information described in advance in the instruction manual of the color chart or the like as the color information of the color of the color chart, or the color chart can be obtained by measuring the color with a colorimeter. It may be the color information of the color to be obtained.
  • the predetermined image is not an image created arbitrarily or randomly, but means, for example, an image in which color information used for color correction of a display unit is grasped in advance. It is preferable that the predetermined image has a recognition marker for recognizing the predetermined color so that the predetermined color can be easily recognized in the photographing data obtained by photographing the display unit by the photographing unit.
  • the area of the second color chart, the predetermined color, and the color of the color chart in the predetermined image is not particularly limited, but is preferably 30% or less, more preferably 20% or less, and particularly preferably 15% or less.
  • the lower limit is preferably 5% or more.
  • the parts other than the second color chart, the predetermined color, the color of the color chart, and the recognition marker are preferably dark colors, and more preferably black.
  • the area of the color of the second color chart, the predetermined color, and the color chart is small, and the part other than the color of the second color chart, the predetermined color, and the color chart is a dark color.
  • the area of the second color chart, the predetermined color, and the color of the color chart in the predetermined image is small.
  • the area of the second color chart, the predetermined color, and the color of the color chart in the predetermined image is preferably 5% or more.
  • the mobile communication terminal has a photographing unit and a display unit, and further has other units as needed.
  • the photographing unit is, for example, a camera.
  • Examples of the image pickup device included in the photographing unit include a CCD (charge-coupled device) and a CMOS (complementary metal oxide semiconductor).
  • Examples of the display unit include a liquid crystal display and an organic EL display. The size of the display unit is not particularly limited.
  • Examples of the mobile communication terminal include mobile phones, smartphones, tablet terminals and the like.
  • the second step is not particularly limited as long as it is a step in which shooting data is acquired by shooting the color chart, which is a printed matter, and the display section on which a predetermined image is displayed together or individually by the shooting section. ..
  • the predetermined image is an image containing colors obtained by photographing the second color chart which is a printed matter
  • the color chart photographed in the second step and the second color chart usually have the same patch arranged.
  • the color chart and the second color chart may be one color chart or two identical color charts.
  • the colors of the patches of the color chart and the second color chart are basically yellow, crimson, and indigo, and it is preferable to have five different colors with different hues, saturations, and lightnesses, respectively.
  • the color chart and the display unit which are printed matter, may be projected together in a mirror, and the color chart and the display unit reflected in the mirror may be photographed by the photographing unit.
  • the size of the mirror is not particularly limited.
  • the color chart which is a printed matter and the display unit on which a predetermined image is displayed may be photographed together or individually by an external photographing unit.
  • the second step is, for example, to capture the color chart, which is a printed matter, and the display unit on which the predetermined image is displayed by the photographing unit. This is the process of acquiring data.
  • the photographing unit included in the mobile communication terminal may be an imaging unit integrated with the mobile communication terminal body or an external photographing unit attached to the mobile communication terminal body.
  • the mobile communication terminal is a smartphone
  • the in-camera of the smartphone corresponds to the photographing unit integrated into the mobile communication terminal main body.
  • the external shooting unit can communicate with the mobile communication terminal by, for example, wired communication or wireless communication, and the shooting data acquired by shooting by the external shooting unit is wired communication to the mobile communication terminal main body. Or it is transmitted via wireless communication.
  • the shooting data obtained in the second step may be a still image or a moving image.
  • the first step and the second step may be performed a plurality of times by changing a predetermined color.
  • the number of predetermined colors when the first step and the second step are performed a plurality of times by changing a predetermined color is not particularly limited, but may be, for example, 50 or more, or 1,000 or more. It may be 10,000 or more.
  • the upper limit is not particularly limited, but may be, for example, 20,000,000 or less. For example, in 8-bit RBG values (0,0,0) to (255,255,255), the brightness of R is changed by 8 from (0,0,0) to create a predetermined color, and (0,0,0).
  • the third step is not particularly limited as long as it is a step of correcting the color of the display unit by using the color information of a predetermined image in the shooting data and the color information of the color of the color chart in the shooting data.
  • the third step is, for example, photographing the second color chart in the photographed data.
  • the second color chart is subsequently displayed on the display unit, and the display unit is photographed by the imaging unit. This is a step of bringing the color of the second color chart displayed in the image closer to or matching the color of the color chart in the shooting data.
  • the third step is, for example, the color information of the color of the color chart included in the predetermined image in the shooting data and the color information of the color of the color chart which is a printed matter in the shooting data.
  • the color of the color chart included in the predetermined image displayed on the display unit in the shooting data obtained by displaying the predetermined image on the display unit and photographing the display unit by the photographing unit is used as the shooting data.
  • This is a step of bringing the colors closer to or matching the colors of the color chart which is the printed matter in the above.
  • the third step is, for example, in the shooting data acquired in the second step.
  • This is a step of correcting the color of the display unit by using the color information of a plurality of predetermined colors and the color information of the color of the color chart in the shooting data.
  • the shooting in the second step is performed by shooting the color chart and the display unit together. It may be taken individually or individually, but it is more convenient to take pictures individually.
  • the color chart and the display unit are photographed individually, for example, the color chart is photographed directly by the photographing unit, while the display unit is photographed by reflecting the display unit in a mirror and photographing the display unit reflected in the mirror. You may take a picture depending on the part.
  • FIG. 1 shows a flowchart of one aspect of the color correction method of the display unit.
  • a predetermined image an image including colors obtained by photographing a second color chart under a standard light source is used.
  • the second color chart is photographed (S1).
  • the second color chart is usually photographed by using the photographing unit of the mobile communication terminal that displays a predetermined image on the display unit in the first step.
  • the second color chart is photographed under a standard light source. Examples of such a standard light source include a standard light source having a color temperature of 5000K using a D50 light source.
  • a standard light source having a color temperature of 5000K using a D50 light source.
  • the photographed image does not cause specular reflection.
  • a method of avoiding specular reflection for example, shooting in a lighting booth can be mentioned. It is preferable to acquire the color information of the color obtained by photographing the second color chart under a standard light source with a compatible L * a * b * .
  • the color information of the color obtained by shooting the second color chart under the standard light source is quantified using the standard white plate as the white standard in the standard light source at the time of shooting. It becomes a thing. Further, it is preferable to acquire the patch value of the second color chart with a colorimeter.
  • a color chart is a plate-shaped object in which color samples are arranged.
  • the color chart is used, for example, for color comparison / measurement.
  • Each color swatch in the color chart is called a patch. That is, the color chart has a plurality of patches.
  • the color chart used in the present invention is not limited to the following color charts.
  • the telemedicine color chart has multiple patches.
  • the plurality of patches have at least three patches selected from the group consisting of the following first to seventh patches.
  • the color of the first patch corresponds to the color of tongue coating with accumulated moisture (excess water).
  • the color of the second patch corresponds to the inflamed skin color.
  • the color of the third patch corresponds to the color of the tongue (poor microcirculation) of blood stasis.
  • the color of the fourth patch corresponds to the color of the part with healthy tongue coating.
  • the color of the sixth patch corresponds to a healthy tongue color.
  • the color of the 7th patch corresponds to the color of the hot tongue.
  • the telemedicine color chart has at least three selected from the group consisting of patches 1 to 7, preferably at least 5, and more preferably seven.
  • the combination of the first patch to the seventh patch is not particularly limited as long as it is three or more selected from the seven patches, but the color tones are different such as purple-red, light red-purple, and deep yellow-red. It is preferable to select 3 or more batches.
  • the color chart for telemedicine may have patches other than the 1st patch to the 7th patch.
  • patches include achromatic patches, chromatic patches, and the like.
  • the plurality of patches have, for example, a plurality of achromatic patches having different brightness.
  • Examples of the type of achromatic patch include 5 to 7 types.
  • the number of types of achromatic color patches is 3 or less, for example, when color correction of an image in which a color chart (not limited to a color chart for remote medical care) is taken is performed by using an achromatic color patch, a shooting means. It may not be possible to sufficiently cope with the non-linearity of (for example, a camera of a smartphone), and the accuracy of color correction may be lowered.
  • the number of types of achromatic patches is preferably 5 or more.
  • the plurality of patches have, for example, a plurality of chromatic color patches different from the first color to the seventh color.
  • Examples of the types of these chromatic patches include 15 to 20 types.
  • each patch in the color chart for telemedicine is not particularly limited, but it is preferable that the size is not too small so as not to interfere with color recognition. In that respect, 0.25 cm 2 or more is preferable. Further, 4 cm 2 or less is preferable in that the color chart does not become too large. Examples of the shape of each patch include a square.
  • the color chart (not limited to the color chart for telemedicine) has an automatic recognition marker for automatically recognizing at least one of a plurality of patches. Since the color chart has a marker for automatic recognition, it is possible to automatically perform the work of recognizing each patch of the color chart in the image data when performing the color correction described later.
  • the shape and size of the marker for automatic recognition are not particularly limited, but are preferably, for example, the same shape and size as the patch.
  • the size of the marker for automatic recognition is preferably 0.25 cm 2 or more and 4 cm 2 or less.
  • the marker for automatic recognition usually has a pattern that each patch does not have.
  • the color chart preferably has two or more markers for automatic recognition having different patterns. When two or more automatic recognition markers are used, each patch is automatically recognized in consideration of the relative positional relationship between the two or more automatic recognition markers, so that the automatic recognition of each patch is improved. improves.
  • the marker for automatic recognition is not particularly limited as long as it is a marker that enables automatic recognition, but the version information of the color chart, the link to the usage method, and the use of the marker for automatic recognition are described by a two-dimensional bar code or the like. Information such as the deadline may be added.
  • the color chart may fade depending on the storage condition. In that respect, it may be preferable to set an expiration date for the color chart.
  • the automatic recognition marker is detected from the image obtained by photographing the color chart.
  • the detection of the automatic recognition marker can be performed, for example, by using an image recognition means provided with general-purpose image recognition processing software.
  • a color chart is performed by pattern matching an image of an automatic recognition marker stored in the image recognition means in advance with an image obtained by photographing a color chart using an image recognition means.
  • the automatic recognition marker is detected from the image obtained by taking a picture of.
  • the positional relationship between the automatic recognition marker and each patch in the color chart is stored in advance in the image recognition means.
  • the positional relationship between each of the two automatic recognition markers and each patch is stored in advance in the storage unit of the image recognition means.
  • the image recognition means a combination of a CPU and a memory can be mentioned. Then, by using the detected automatic recognition marker and applying the grasped positional relationship to the color chart of the image obtained by shooting, each patch in the color chart of the image obtained by shooting is applied. Can be automatically recognized.
  • the size of the color chart is not particularly limited, but in the case of the color chart for telemedicine, it can be held with one hand, and even if the color chart for telemedicine is held near the face, it does not get in the way, so it is for telemedicine.
  • the area of the color chart is preferably 40 cm 2 or more and 150 cm 2 or less.
  • the color chart is usually in the form of a sheet.
  • the shape of the main surface of the color chart is, for example, a rectangle.
  • the material of the color chart is not particularly limited as long as each patch can be printed, and may be made of, for example, plastic resin (for example, synthetic paper) or paper.
  • the color chart for telemedicine has a blank part in the lower right part (lower left part when viewed from the front) of the main surface. Many humans are right-handed. Therefore, holding the blank portion of the telemedicine color chart with the right hand makes it easier to naturally arrange the telemedicine color chart on the right side of the face.
  • FIG. 2 is a schematic diagram of an example of a color chart for telemedicine.
  • the color chart for telemedicine in FIG. 2 is grayscale, but the actual color chart for telemedicine contains a chromatic patch.
  • the color chart for telemedicine in FIG. 2 is a rectangle having a length of about 90 mm and a width of about 55 mm, and has an upper upper right portion (upper left portion when viewed from the front) and a lower left lower portion (when viewed from the front).
  • Markers 11a and 11b for automatic recognition of 10 mm square are arranged in the lower right part of the above.
  • the two automatic recognition markers 11a and 11b have a white pattern on a black background.
  • each patch of 10 mm square is arranged in 6 (A to F) rows and 5 (a to e) columns without any space.
  • achromatic patches are arranged in order of lightness.
  • Table 1-1 shows the L * a * b * values of each patch in the color chart for telemedicine shown in FIG.
  • Table 1-2 shows an outline of the colors of each patch in the color chart shown in FIG.
  • Table 1-3 shows the relationship between the skin color and the tongue color of the first to seventh patches.
  • a predetermined image obtained in step S1 that is, a predetermined image including a color obtained by photographing a second color chart under a standard light source is displayed on the display unit of the mobile communication terminal (S2).
  • the predetermined image may be the image obtained by shooting the second color chart as it is, or may be an image obtained by processing the image obtained by shooting the second color chart, if necessary. May be good. Examples of the processing include processing in which the image obtained by photographing the second color chart is made smaller and the surroundings are changed to a black background.
  • FIG. 3 shows a schematic diagram in which a predetermined image including a color chart for telemedicine is displayed on a display unit of a mobile communication terminal. In FIG.
  • the color chart 1a for telemedicine is about 10% of the area of the entire predetermined image, and the color chart 1a for remote diagnosis is displayed in black except for the color chart 1a for remote diagnosis. This is because the amount of light emitted from the self-luminous display unit can be reduced, and as a result, it is possible to reduce the influence of the self-luminous light on the color tone of the shooting data.
  • the mirror 3 is arranged so as to face them (FIG. 5). Then, the color chart 1b for telemedicine reflected in the mirror 3 and the display 2a are photographed by the in-camera 2b, which is the photographing unit of the smartphone. It is preferable to acquire the color information of the colors in the color chart using compatible L * a * b * .
  • the image being shot may be displayed on the display unit.
  • an application capable of displaying an arbitrary image on the display unit may be used when the shooting unit takes a picture.
  • an application may be an existing application or an application created by oneself.
  • the application can be created by using the open source language SWIFT (registered trademark) or the like.
  • the shooting is preferably performed in a specific lighting environment.
  • the shooting may be performed in the same lighting environment as when the observer observes the image displayed on the display unit while keeping the color chart at hand.
  • Examples of such a lighting environment include a lighting environment having a color temperature of 5000K using a D50 light source.
  • the color of the display unit is corrected by using the color information of the predetermined image in the shooting data and the color information of the color of the color chart in the shooting data (S4).
  • the color information of the color obtained by shooting the second color chart in the shooting data under a standard light source and the color information of the color of the color chart in the shooting data are used, and then the second color chart is displayed on the display unit.
  • the color of the second color chart displayed on the display unit in the shooting data obtained by displaying and shooting the display unit by the shooting unit is brought close to or matched with the color of the color chart in the shooting data.
  • the shooting data includes the color information of the patch in the color chart and the color information of the patch in the second color chart displayed on the display unit.
  • the color of the display unit is corrected so that the information approaches or matches the color information of the corresponding patch in the color chart in the shooting data.
  • the color information of the color of the second color chart when inputting to the display unit and the color information of the color of the second color chart in the shooting data obtained by shooting by the shooting unit are used to obtain the first color. 2 Acquire the relationship between the input to the display unit, which is the relationship related to the colors of the color chart, and the output from the display unit obtained by photographing with the photographing unit.
  • the second color chart is subsequently displayed on the display unit, and the display unit is photographed to capture the color of the patch in the second color chart in the imaging data obtained by the imaging unit.
  • the color information of the patch in the color chart in the obtained shooting data is brought close to or matched with the color.
  • the color information of a patch having a second color chart when input to the display unit is RGB value (120,0,0)
  • the color information of the second color chart in the shooting data obtained by shooting in the shooting unit is Consider the case where the color information of a certain patch is (122, 3, 3) in RGB value.
  • the RGB value input to the display unit may be set to (120,0,0).
  • the color information (input color information) of a certain patch in the second color chart when input to the display unit is RGB value (120,0,0), and the image taken by the image pickup unit is obtained.
  • the color information (shooting color information) of a certain patch in the second color chart in the data is (122, 3, 3) as an RGB value.
  • the second color chart is displayed on the display unit and the display unit captures the image.
  • the input color is used.
  • the color information of the corresponding patch of the second color chart input to the display unit may be brought close to or matched with the RGB value (120,0,0).
  • the photographing unit (in-camera 2b) corresponds to the human eye.
  • both the second color chart (color chart for remote medical care 1a), which is the correction target displayed on the display unit, and the color chart (color chart 1b for remote medical care), which is the reference for correction correspond to the human eye.
  • the color chart (color chart 1b for remote medical care) placed next to the smartphone 2 is viewed side by side, the color of the color chart 1a for remote medical care approaches or approaches the color of the color chart 1b for remote medical care. Match.
  • FIG. 6 shows a flowchart of another aspect of the color correction method of the display unit.
  • an image containing a predetermined color is used as the predetermined image.
  • the first step and the second step are performed a plurality of times by changing a predetermined color.
  • FIG. 7 shows an example of displaying a predetermined image including a predetermined color 4 on a display 2a which is a display unit of a smartphone 2 which is a mobile communication terminal.
  • the predetermined color 4 is about 10% of the area of the entire predetermined image, and the colors other than the predetermined color 4 are displayed in black. This is because the amount of light emitted from the self-luminous display unit can be reduced, and as a result, it is possible to reduce the influence of the self-luminous light on the color tone of the shooting data.
  • the predetermined color 4 in the predetermined image is specified by, for example, an RGB value.
  • the color chart 1b for telemedicine reflected in the mirror 3 and the display 2a are photographed by the in-camera 2b, which is the photographing unit of the smartphone.
  • the color chart and the display unit, which are printed matter are photographed together, but the color chart and the display unit, which are printed matter, may be photographed separately. good.
  • a mirror is used at the time of photographing, but it is not necessary to use a mirror.
  • an external camera may be connected to the mobile communication terminal and used as a photographing unit. Then, the display unit may be photographed by an external camera.
  • the first step and the second step are each performed a plurality of times by changing a predetermined color. Therefore, in this aspect, it is determined whether or not to change a predetermined color after the second step. In that judgment, when it is determined that the predetermined color is to be changed, the predetermined color is changed. Then, the first step and the second step are performed using the changed predetermined color.
  • the predetermined color is changed as follows, for example.
  • a predetermined color specified by the RGB value is changed.
  • the predetermined color is changed by gradually changing the R of the RGB value. Specifically, in the first change of a predetermined color, the R value is increased by 7 to be (7,0,0). Next, in the second predetermined color change, the R value is further increased by 8 to be (15,0,0). The R value is increased by 8 until the R value reaches the maximum value of 255. Subsequently, the predetermined color is changed by gradually changing the G value of the RGB value.
  • the G value is further increased by 8 to be (0,15,0).
  • the G value is increased by 8 until the G value reaches the maximum value of 255.
  • the predetermined color is changed by gradually changing the B value of the RGB value.
  • the B value is further increased by 8 to obtain (0, 0, 15).
  • the B value is increased by 8 until the G value reaches the maximum value of 255.
  • the color of the display unit is corrected by using the color information of the predetermined image in the shooting data and the color information of the color of the color chart in the shooting data (S14).
  • the color of the display unit is corrected by using the color information of a plurality of predetermined colors in the shooting data acquired in the second step and the color information of the color of the color chart in the shooting data.
  • a predetermined color is used by using the color information of a plurality of predetermined colors when inputting to the display unit and the color information of the plurality of predetermined colors in the shooting data obtained by shooting with the shooting unit. Acquires the relationship between the input to the display unit and the output from the display unit obtained by shooting with the shooting unit.
  • the color chart is displayed on the display unit, and the color of the color chart in the shooting data obtained by shooting the display unit by the shooting unit is captured in the shooting data obtained by the shooting unit. Bring or match the colors on the color chart.
  • the color information of a predetermined color when input to the display unit is an RGB value (120,0,0)
  • the color information of the predetermined color in the shooting data obtained by shooting with the shooting unit is an RGB value.
  • the color information (input color information) of a predetermined color when input to the display unit is (120,0,0) as an RGB value
  • the predetermined color in the shooting data obtained by shooting with the shooting unit Take the case where the color information (shooting color information) of is (122, 3, 3) as an RGB value as an example.
  • the color chart is displayed on the display unit and the display unit is used to shoot the display unit for shooting.
  • the input color information and the shooting color information are used.
  • the color information of the corresponding patch of the color chart input to the display unit may be brought close to or matched with the RGB value (120,0,0) by using the relation of. What is important here is that the color of the color chart displayed on the display unit when correcting the color of the display unit is the color of the color chart (color chart 1b for remote medical care) placed next to the smartphone 2. By bringing it closer to or matching the color of the color chart (color chart 1b for remote medical care) in the shooting data obtained by shooting with the photographing unit (camera), rather than bringing it closer to or matching the color of the patch itself). be.
  • the photographing unit (in-camera 2b) corresponds to the human eye.
  • the color chart to be corrected displayed on the display unit and the color chart (color chart for remote medical care 1b) used as the correction reference are both photographed by the photographing unit (in-camera 2b) corresponding to the human eye.
  • the observer has a color chart displayed on the display 3 (display unit) of the corrected smartphone 2 and a color chart (color chart 1b for remote medical treatment) placed next to the smartphone 2.
  • the color of the color chart displayed on the display 3 (display unit) approaches or matches the color of the remote medical care color chart 1b.
  • a predetermined color is used to correct the color of the display unit.
  • many predetermined colors can be prepared. By preparing a large number of predetermined colors, the number of calibration data increases, and as a result, the accuracy of color correction can be improved.
  • the color information of 937 colors is used. Therefore, a lot of color information (input color information and shooting color information) to be compared for correction can be obtained.
  • the color information to be compared corresponds to the number of patches, and in the case of the color chart of FIG. 2, the color information to be compared is 30. Therefore, the color correction method of the display unit shown in the flowchart of FIG. 10 can enhance the color correction system as compared with the color correction method of the display unit shown in FIG.
  • the color chart and the display unit are photographed together, but the color chart and the display unit may be photographed separately.
  • the color correction of the display unit is performed according to the flowchart shown in FIG. FIG. 10 shows a flowchart of another aspect of the color correction method of the display unit.
  • the color chart is photographed and the display unit is photographed together (S12)
  • the color chart is photographed (S21) and the display unit is photographed. (S23) is performed separately.
  • the other steps S22, S24, and S25 are the same as the steps S11, S13, and S14 in the flowchart shown in FIG. 6, respectively.
  • the color chart to be used is not particularly limited, and examples thereof include a color chart for cosmetics including a skin color patch and a color chart for agricultural products including a color patch on the surface of the agricultural product, in addition to the above-mentioned color chart for remote diagnosis.
  • FIG. 11 is a flowchart of an example of remote diagnosis.
  • the color chart 1 and the patient 13 who is the subject to be imaged are simultaneously photographed by using the smartphone 12 which is the photographing means (S51).
  • the image data obtained by the photographing is transmitted from the smartphone 12 to the smartphone 2 which is a mobile communication terminal owned by the doctor 14 who is an observer (S52).
  • the smartphone 2 receives the image data transmitted from the smartphone 12 (S33). Transmission / reception is performed, for example, by attaching image data to an e-mail.
  • FIG. 12 is the photographing means
  • the image data is displayed as an image on the display 2a, which is the display unit of the smartphone 2 (S54).
  • the observer doctor 14 has the same color chart 1 as the color chart 1 possessed by the patient 13 to be imaged, and the color chart 1 displayed on the display 2a.
  • the diagnosis is made by observing the skin color and tongue color of the face of the patient 13 displayed on the display 2a while considering the difference between the color of the color chart 1 and the color of the color chart 1.
  • the color reproducibility of the display unit is excellent, and as a result, the accuracy of diagnosis can be improved. can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Hardware Design (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本発明は、印刷物であるカラーチャートを用いて観察を行う観察者が使用する携帯通信端末の表示部の色補正を行うことができる表示部の色補正方法の提供を目的とし、所定の画像を、撮影部と表示部とを有する携帯通信端末の前記表示部に表示させる第1工程と、印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に又は個別に前記撮影部により撮影することで、撮影データが取得される第2工程と、前記撮影データにおける前記所定の画像の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、表示部の色を補正させる第3工程と、を有することを特徴とする表示部の色補正方法を提供する。

Description

表示部の色補正方法
 本発明は、表示部の色補正方法に関する。
 色補正は、遠隔医療、デザインの分野、WEBマーケティングで重要視されている。
 遠隔診療では、患者が撮影した画像を、医師側のディスプレイに正しく表示される事が重要である。
 例えば、正常な場合(炎症を起こしていない場合)と、炎症を起こしている場合とでは赤みの度合いが異なるが、これが正しくディスプレイに表示できないと、誤診を招く。
 これは、非特許文献1で指摘されている。
 デザインにおいても、作者の意図した色が、正しく表示されなければ、作者の意図するデザインを伝える事ができない。
 WEBマーケティングでも、提供側の情報が正しく表示されないと、返品などに繋がり、社会的コストが増える
 ここで、遠隔診療は、電話などでの問診の他、会議システムなどの画像の送受信が可能な情報通信システムを用い、医師などの診断者が患者を観察することでも行われる。
 診療においては、色を重視する診療が行われる場合がある。例えば、歯科における歯茎の色の観察、皮膚科における皮膚の色の観察、耳鼻咽喉科における喉の色の観察、漢方医学で行われている、肌色、舌色などによる診察(望診)などが挙げられる。このような診療においては、色の認識が正しく行われないことが診断に影響を与えることがある。
 そのため、そのような診療を遠隔診療で行う際には、色を正確に認識することが重要である。
 実用的な色再現系は、国際照明委員会(CIE)によって標準化が行われてきている。しかし、実際に色再現を行う場合は、校正機器の使用、ソフトウエアのインストールなど、簡単には行えない。
 特に、遠隔医療などでスマートフォンなどの携帯端末を使用する場合は、携帯端末ごとに機器を使用して、かつソフトウエアをインストールするなどを実施せねばならず、使用者の負担が大きいため、普及されていない。
Nishibori, Masahiro. "Problems and solutions in medical color imaging." Proceedings of the Second International Symposium on Multi-Spectral Imaging and High Accurate Color Reproduction. 2000.
 そこで、本発明者らは、遠隔診療などのカラーチャートを用いた観察を行う観察者が使用する携帯通信端末の表示部の色補正を簡易に行う方法について検討した。
 すなわち、本発明は、印刷物であるカラーチャートを用いて観察を行う観察者が使用する携帯通信端末の表示部の色補正を行うことができる表示部の色補正方法を提供することを目的とする。
 本発明者らは、上記課題を解決するために鋭意研究を重ねた結果、携帯通信端末の色補正を、校正機器を用いずに、印刷物のカラーチャートのみで行える簡易な方法を見出した。
 具体的には、印刷物であるカラーチャートと表示部に表示させた所定の画像とを撮影して得た撮影データを用いることで、印刷物のカラーチャートを所持している観察者が使用する携帯通信端末の表示部の色補正を行うことができることを見出し、本発明の完成に至った。
 すなわち、本発明は、以下の態様を包含するものである。
[1] 所定の画像を、撮影部と表示部とを有する携帯通信端末の前記表示部に表示させる第1工程と、
 印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に又は個別に前記撮影部により撮影することで、撮影データが取得される第2工程と、
 前記撮影データにおける前記所定の画像の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、表示部の色を補正させる第3工程と、
を有することを特徴とする表示部の色補正方法。
[2] 前記所定の画像が、所定の色としてのパッチを有し印刷物である第2カラーチャートを標準光源下で撮影して得られる色を含み、
 前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記撮影部により一緒に撮影することで、前記撮影データが取得される工程であり、
 前記第3工程が、前記撮影データにおける前記第2カラーチャートを標準光源下で撮影して得られる色の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、その後に前記第2カラーチャートを前記表示部に表示し前記撮影部により前記表示部を撮影して得られる撮影データにおける前記表示部に表示される前記第2カラーチャートの色を、前記撮影データにおける前記カラーチャートの色に近づける乃至は一致させる工程である、[1]に記載の表示部の色補正方法。
[3] 前記所定の画像が、前記カラーチャートの色を含み、
 前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記撮影部により一緒に撮影することで、前記撮影データが取得される工程であり、
 前記第3工程が、前記撮影データにおける前記所定の画像に含まれる前記カラーチャートの色の色情報と前記撮影データにおける前記印刷物であるカラーチャートの色の色情報とを用いて、その後に前記所定の画像を前記表示部に表示し前記撮影部により前記表示部を撮影して得られる撮影データにおける前記表示部に表示される前記所定の画像に含まれる前記カラーチャートの色を、前記撮影データにおける前記印刷物であるカラーチャートの色に近づける乃至は一致させる工程である、[1]に記載の表示部の色補正方法。
[4] 前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に鏡に映して前記鏡に映った前記印刷物であるカラーチャートと前記表示部とを前記撮影部により撮影することで、前記撮影データが取得される工程である、又は
 前記撮影部が、前記携帯通信端末に外付けされた撮影部であり、前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記外付けされた撮影部により一緒に撮影することで、前記撮影データが取得される工程である、
[2]又は[3]に記載の表示部の色補正方法。
[5] 前記所定の画像が、所定の色を含み、
 前記第1工程と、前記第2工程において前記表示部を撮影することとが、前記所定の色を変化させてそれぞれ複数回行われ、
 前記第3工程が、前記第2工程で取得された、前記撮影データにおける複数の所定の色の色情報と、前記撮影データにおける前記カラーチャートの色の色情報とを用いて、前記表示部の色を補正させる工程である、[1]に記載の表示部の色補正方法。
[6] 前記第2工程において、前記印刷物であるカラーチャートと前記表示部とが個別に前記撮影部により撮影される、[5]に記載の表示部の色補正方法。
 本発明によれば、印刷物であるカラーチャートを用いて観察を行う観察者が使用する携帯通信端末の表示部の色補正を行うことができる表示部の色補正方法を提供することができる。
表示部の色補正方法の一例のフローチャートである。 遠隔診療用カラーチャートの一例の模式図である。 遠隔診療用カラーチャートを含む所定の画像をスマートフォンのディスプレイに表示した模式図である。 遠隔診療用カラーチャートとスマートフォンとを並べて置いた模式図である。 並べて置いた遠隔診療用カラーチャートとスマートフォンとに鏡を対向配置した模式図である。 表示部の色補正方法の他の一例のフローチャートである。 所定の色を含む所定の画像をスマートフォンのディスプレイに表示した模式図である。 遠隔診療用カラーチャートとスマートフォンとを並べて置いた模式図である。 並べて置いた遠隔診療用カラーチャートとスマートフォンとに鏡を対向配置した模式図である。 表示部の色補正方法の他の一例のフローチャートである。 遠隔診断の一例のフローチャートである。 スマートフォンでカラーチャート及び患者を同時に撮影する模式図である。 スマートフォンのディスプレイに撮影して得られた画像を表示した模式図である。 医師がディスプレイに撮影して得られた画像を表示して遠隔診療を行う模式図である。
 以下、本発明の表示部の色補正方法について詳細に説明するが、以下に記載する構成要件の説明は、本発明の一実施態様としての一例であり、これらの内容に特定されるものではない。
(表示部の色補正方法)
 本発明の表示部の色補正方法は、第1工程と、第2工程と、第3工程とを有し、更に必要に応じて、その他の工程を有する。
<第1工程>
 第1工程としては、所定の画像を携帯通信端末の表示部に表示させる工程であれば、特に限定されない。
 携帯通信端末の表示部の明るさを変更できる場合、所定の画像を表示させる際の表示部の明るさは、観察者が印刷物であるカラーチャートを手元に置きつつ表示部に表示された画像の観察を行う際の表示部の明るさに合わせることが好ましい。そうすることにより、色補正による補正効果をより得ることができる。
<<所定の画像>>
 所定の画像としては、例えば、所定の色を含む画像が挙げられる。そのような画像としては、例えば、印刷物であるカラーチャート(以下、「第2カラーチャート」と称する。)を撮影して得られる色(パッチの色)を含む画像が挙げられる。撮影は、標準光源下で行われることが好ましい。標準光源としては、例えば、D50光源、D65光源が挙げられる。
 第2カラーチャートは、所定の色としてのパッチを有する。第2カラーチャートにおけるパッチの数としては、1以上であれば特に限定されない。
 また、所定の画像は、印刷物であるカラーチャートを撮影して得られる色ではなく、後述する第2工程で用いられる印刷物であるカラーチャートの色(パッチの色)を含む画像であってもよい。そのような色の色情報は、カラーチャートの色の色情報としてあらかじめカラーチャートの説明書等に記載されている色情報であってもよいし、カラーチャートを測色計により測色して得られる色の色情報であってもよい。
 所定の画像とは、任意又は無作為に作成した画像ではなく、例えば、表示部の色補正に用いられる色情報が予め把握されている画像を意味する。
 所定の画像は、表示部を撮影部により撮影して得られる撮影データにおいて所定の色の認識がしやすいように、所定の色を認識するための認識用のマーカを有することが好ましい。
 所定の画像における、第2カラーチャート、所定の色、カラーチャートの色の面積としては、特に限定されないが、30%以下が好ましく、20%以下がより好ましく、15%以下が特に好ましい。下限としては、5%以上が好ましい。
 また、表示部に表示される所定の画像において、第2カラーチャート、所定の色、カラーチャートの色、認識用マーカ以外の箇所は、暗色であることが好ましく、黒であることがより好ましい。
 表示部に表示される所定の画像において、第2カラーチャート、所定の色、カラーチャートの色の面積が小さく、かつ第2カラーチャート、所定の色、カラーチャートの色以外の箇所が暗色であることにより、自発光している表示部の発光量が少なくなる結果、当該自発光が撮影データの色調に影響を与えることを低減させることができる。
 以上から、所定の画像における、第2カラーチャート、所定の色、カラーチャートの色の面積は小さい方がよい。
 他方、第2カラーチャート、所定の色、カラーチャートの色の面積が小さすぎると、撮影する際に、係る領域の色を正確に撮影することが難しくなることがある。そのため、所定の画像における、第2カラーチャート、所定の色、カラーチャートの色の面積は、5%以上が好ましい。
<<携帯通信端末>>
 携帯通信端末は、撮影部と表示部とを有し、更に必要に応じて、その他の部を有する。
 撮影部は、例えば、カメラである。撮影部が有する撮像素子としては、例えば、CCD(電荷結合素子)、CMOS(相補性金属酸化膜半導体)などが挙げられる。
 表示部としては、例えば、液晶ディスプレイ、有機ELディスプレイなどが挙げられる。表示部の大きさとしては、特に限定されない。
 携帯通信端末としては、例えば、携帯電話、スマートフォン、タブレット端末などが挙げられる。
<第2工程>
 第2工程としては、印刷物であるカラーチャートと所定の画像が表示された表示部とを一緒に又は個別に撮影部により撮影することで、撮影データが取得される工程であれば、特に限定されない。
 所定の画像が、印刷物である第2カラーチャートを撮影して得られる色を含む画像である場合、第2工程で撮影されるカラーチャートと、第2カラーチャートとは、通常、同じパッチが配置された同じカラーチャートである。なお、当該カラーチャートと、第2カラーチャートとは、1つのカラーチャートであってもよいし、2枚の同一のカラーチャートであってもよい。
 カラーチャート及び第2カラーチャートのパッチの色としては、黄色、紅色及び藍色を基本とし、それぞれに色相、彩度、明度を変えた異なる5色を有することが好ましい。
 第2工程においては、印刷物であるカラーチャートと表示部とを一緒に鏡に映して鏡に映ったカラーチャートと表示部とを撮影部により撮影してもよい。
 鏡の大きさとしては、特に限定されない。
 また、第2工程においては、印刷物であるカラーチャートと所定の画像が表示された表示部とを外付けされた撮影部によりに一緒に又は個別に撮影してもよい。
 また、所定の画像が、カラーチャートの色を含む場合、第2工程は、例えば、印刷物であるカラーチャートと所定の画像が表示された表示部とを撮影部により一緒に撮影することで、撮影データが取得される工程である。
 なお、携帯通信端末が有する撮影部は、携帯通信端末本体に一体化されている撮影部であってもよいし、携帯通信端末本体に外付けされた撮影部であってもよい。携帯通信端末本体に一体化されている撮影部としては、携帯通信端末がスマートフォンの場合、例えば、スマートフォンのインカメラが当該撮影部に該当する。外付けされた撮影部は、例えば、有線通信又は無線通信によって携帯通信端末と通信可能になっており、外付けされた撮影部による撮影によって取得された撮影データは、携帯通信端末本体に有線通信又は無線通信を介して送信される。
 第2工程において得られる撮影データは、静止画であってもよいし、動画であってもよい。
 第1工程及び第2工程は、所定の色を変更させて複数回行われてもよい。
 第1工程及び第2工程を所定の色を変化させて複数回行う場合の所定の色の数としては、特に限定されないが、例えば、50以上であってもよいし、1,000以上であってもよいし、10,000以上であってもよい。また、上限としては、特に限定されないが、例えば、20,000,000以下であってもよい。
 例えば、8ビットのRBG値(0,0,0)~(255,255,255)において、(0,0,0)からRの輝度を8ずつ変えて所定の色を作成し、(0,0,0)からBの輝度を8ずつ変えて所定の色を作成し、(0,0,0)からG輝度を8ずつ変えて所定の色を作成した場合、所定の色の数は、(256/8)+(256/8)+(256/8)=96となる。
 また、例えば、8ビットのRBG値(0,0,0)~(255,255,255)において各R,B,Gの輝度を1ずつ変えて所定の色を作成した場合、所定の色の数は、256×256×256=16,777,216となる。また、各R,B,Gの輝度を8ずつ変えて所定の色を作成した場合、所定の色の数は、(256/8)×(256/8)×(256/8)=32,768となる。
<第3工程>
 第3工程としては、撮影データにおける所定の画像の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる工程であれば、特に限定されない。
 所定の画像が、所定の色としてのパッチを有し印刷物である第2カラーチャートを撮影して得られる色を含む場合、第3工程は、例えば、撮影データにおける第2カラーチャートを撮影して得られる色の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける表示部に表示される第2カラーチャートの色を、撮影データにおけるカラーチャートの色に近づける乃至は一致させる工程である。
 所定の画像が、カラーチャートの色を含む場合、第3工程は、例えば、撮影データにおける所定の画像に含まれるカラーチャートの色の色情報と撮影データにおける印刷物であるカラーチャートの色の色情報とを用いて、その後に所定の画像を表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける表示部に表示される所定の画像に含まれるカラーチャートの色を、撮影データにおける印刷物であるカラーチャートの色に近づける乃至は一致させる工程である。
 第1工程と、第2工程において表示部を撮影することとが、所定の色を変化させてそれぞれ複数回行われる場合、第3工程は、例えば、第2工程で取得された、撮影データにおける複数の所定の色の色情報と、撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる工程である。
 第1工程と、第2工程において表示部を撮影することとが、所定の色を変化させてそれぞれ複数回行われる場合、第2工程における撮影は、カラーチャートと表示部とを一緒に撮影してもよいし、個別に撮影してもよいが、個別に撮影する方が簡便である。
 カラーチャートと表示部とを個別に撮影する場合、例えば、カラーチャートについては、撮影部により直接撮影し、他方、表示部については、表示部を鏡に映して、鏡に映った表示部を撮影部により撮影してもよい。
 以下、表示部の色補正方法について更に詳細に説明する。
 表示部の色補正方法の一態様について説明する。
 図1に、表示部の色補正方法の一態様のフローチャートを示す。この態様では、所定の画像として、第2カラーチャートを標準光源下で撮影して得られる色を含む画像を用いる。
〔S1:第2カラーチャートの撮影〕
 まず、第2カラーチャートを撮影する(S1)。
 第2カラーチャートの撮影は、通常、第1工程において所定の画像を表示部に表示する携帯通信端末の撮影部を用いて撮影する。
 第2カラーチャートの撮影は、標準光源下で行う。そのような標準光源としては、例えば、D50光源を用いた色温度5000Kの標準光源が挙げられる。
 第2カラーチャートを撮影する際、撮影した画像が鏡面反射を起こさないようにすることが好ましい。鏡面反射を避ける方法としては、例えば、ライティングブースでの撮影が挙げられる。
 第2カラーチャートを標準光源下で撮影して得られる色の色情報は、互換性のあるLで取得することが好ましい。その際、基準の白を決める必要があるため、第2カラーチャートを標準光源下で撮影して得られる色の色情報は、撮影の際の標準光源において標準白色板を白基準として数値化したものとなる。また、測色計で第2カラーチャートのパッチの値を取得することが好ましい。
 ここで、撮影に用いる第2カラーチャート及び第2工程で用いるカラーチャートの一例を説明する。
 カラーチャートとは、色見本を配列した板状の物体である。カラーチャートは、例えば、色の比較・測定に用いられる。
 カラーチャートの個々の色見本はパッチと呼ばれる。すなわち、カラーチャートは、複数のパッチを有する。
 以下、患者の肌色、舌色などの色情報を用いた遠隔診療に有用なカラーチャート(以下、「遠隔診療用カラーチャート」と称することがある)について説明しつつ、カラーチャート全般についても説明する。なお、本発明に使用するカラーチャートは、以下のカラーチャートに限定されない。
 遠隔診療用カラーチャートは、複数のパッチを有する。
 複数のパッチは、以下の第1パッチから第7パッチからなる群から選択される少なくとも3つのパッチを有する。
 第1パッチ:L値においてL=72、a=8、及びb=22で表される第1色、又は第1色に対してL色空間において色差ΔEが5以下の色、を有する領域
 第2パッチ:L値においてL=78、a=30、及びb=15で表される第2色、又は第2色に対してL色空間において色差ΔEが5以下の色、を有する領域
 第3パッチ:L値においてL=58、a=27、及びb=7で表される第3色、又は第3色に対してL色空間において色差ΔEが5以下の色、を有する領域
 第4パッチ:L値においてL=60、a=20、及びb=5で表される第4色、又は第4色に対してL色空間において色差ΔEが5以下の色、を有する領域
 第5パッチ:L値においてL=48、a=25、及びb=2で表される第5色、又は第5色に対してL色空間において色差ΔEが5以下の色、を有する領域
 第6パッチ:L値においてL=52、a=50、及びb=13で表される第6色、又は第6色に対してL色空間において色差ΔEが5以下の色、を有する領域
 第7パッチ:L値においてL=33、a=40、及びb=30で表される第7色、又は第7色に対してL色空間において色差ΔEが5以下の色、を有する領域
 第1パッチが有する色は、湿(余分な水)が蓄積した舌苔の色に対応する。
 第2パッチが有する色は、炎症肌色に対応する。
 第3パッチが有する色は、淤血の(微小循環が悪い)舌の色に対応する。
 第4パッチが有する色は、健康な舌苔のある部分の色に対応する。
 第5パッチが有する色は、舌深静脈の怒張=淤血の色に対応する。
 第6パッチが有する色は、健康な舌の色に対応する。
 第7パッチが有する色は、熱がある舌の色に対応する。
 第1パッチから第7パッチからなる群から選択される少なくとも3つのパッチを有する遠隔診療用カラーチャートを用いることで、患者の肌色、舌色などの色情報を用いた診断を行いやすくできる。
 遠隔診療用カラーチャートは、第1パッチから第7パッチからなる群から選択される少なくとも3つを有し、少なくとも5つを有することが好ましく、7つを有することがより好ましい。
 これら第1パッチから第7パッチの組み合わせとして、7つのパッチから選択される3つ以上であれば特に制限されるものではないが、紫赤、薄赤紫、濃い黄赤のように色調が異なるバッチを3つ以上選択することが好ましい。
 遠隔診療用カラーチャートは、第1パッチから第7パッチ以外のパッチを有していてもよい。そのようなパッチとしては、無彩色のパッチ、有彩色のパッチなどが挙げられる。
 複数のパッチは、例えば、明度が異なる複数の無彩色のパッチを有する。無彩色のパッチの種類は、例えば、5~7種類が挙げられる。無彩色のパッチの種類が3種類以下であると、例えば、カラーチャート(遠隔診療用カラーチャートに限らない)が撮影された画像の色補正を、無彩色のパッチを用いて行う際、撮影手段(例えば、スマートフォンのカメラなど)の非線形性に十分に対応できず、色補正の精度が低下する場合がある。その点で、無彩色のパッチの種類は、5種類以上が好ましい。
 複数のパッチは、例えば、第1色から第7色とは異なる複数の有彩色のパッチを有する。これらの有彩色のパッチの種類は、例えば、15~20種類が挙げられる。
 遠隔診療用カラーチャートにおける各パッチの大きさとしては、特に限定されないが、色の認識を妨げない点で小さすぎないことが好ましい。その点で、0.25cm以上が好ましい。また、カラーチャートが大きくなりすぎない点で、4cm以下が好ましい。
 各パッチの形状としては、例えば、正方形などが挙げられる。
 カラーチャート(遠隔診療用カラーチャートに限らない)は、複数のパッチの少なくとも一つを自動認識するための自動認識用マーカを有することが好ましい。カラーチャートが自動認識用マーカを有することにより、後述する色補正を行う際の、画像データにおけるカラーチャートの各パッチを認識する作業を、自動で行うことができる。
 自動認識用マーカの形状、大きさとしては、特に限定されないが、例えば、パッチと同程度の形状、大きさであることが好ましい。例えば、自動認識用マーカの大きさは、0.25cm以上4cm以下が好ましい。また、自動認識用マーカは、通常、各パッチが有さない模様を有している。
 カラーチャートは、模様が異なる自動認識用マーカを2つ以上有することが好ましい。2つ以上の自動認識用マーカを用いる場合には、2つ以上の自動認識用マーカの相対的な位置関係を考慮して各パッチの自動認識が行われることから、各パッチの自動認識性が向上する。
 自動認識用マーカは、自動認識を可能とするマーカであれば特に制限されるものではないが、自動認識用マーカに対し二次元バーコード等によりカラーチャートのバージョン情報、使用方法へのリンク、使用期限等の情報を付加してもよい。なお、カラーチャートは、保管状態により退色する場合がある。その点で、カラーチャートには使用期限を設けることが好ましい場合がある。
 ここで、自動認識用マーカを用いてカラーチャートの各パッチを自動認識する方法の一例を説明する。
 まず、カラーチャートを撮影して得られた画像の中から、自動認識用マーカを検知する。自動認識用マーカの検知は、例えば、汎用の画像認識処理ソフトウエアを備える画像認識手段を用いて行うことができる。具体的には、画像認識手段を用いて、あらかじめ画像認識手段に記憶されている自動認識用マーカの画像と、カラーチャートを撮影して得られた画像とのパターンマッチングを行うことにより、カラーチャートを撮影して得られた画像の中から、自動認識用マーカを検知する。
 他方、カラーチャートにおける自動認識用マーカと各パッチとの位置関係を、あらかじめ画像認識手段に記憶させておく。例えば、模様が異なる2つの自動認識用マーカを用いる場合には、2つの自動認識用マーカそれぞれと各パッチとの位置関係を、あらかじめ画像認識手段の記憶部に記憶させておく。ここで、画像認識手段としては、CPUとメモリとの組み合わせが挙げられる。
 そして、検知した自動認識用マーカを用いて、撮影して得られた画像のカラーチャートに、把握しておいた位置関係を当てはめることで、撮影して得られた画像のカラーチャート中の各パッチを自動認識することができる。
 カラーチャートの大きさとしては、特に限定されないが、遠隔診療用カラーチャートの場合、片手で持つことができ、遠隔診療用カラーチャートを顔の近くで持っても邪魔にならない点から、遠隔診療用カラーチャートの面積は、40cm以上150cm以下が好ましい。
 カラーチャートは、通常、シート状である。そして、カラーチャートの主面の形状は、例えば、矩形である。
 カラーチャートの材質としては、各パッチが印刷可能であれば、特に限定されず、例えば、プラスチック樹脂製(例えば合成紙)であってもよいし、紙製であってもよい。
 遠隔診療用カラーチャートは、主面の右下部(正面視した際の左下部)に空白部を有することが好ましい。人間は右利きが多い。そのため、遠隔診療用カラーチャートの当該空白部を右手で持つと、顔の右横に遠隔診療用カラーチャートを自然に配置しやすくなる。
 ここで、遠隔診療用カラーチャートの一例を、図を用いて説明する。
 図2は、遠隔診療用カラーチャートの一例の模式図である。
 なお、図2の遠隔診療用カラーチャートは、グレースケールであるが、実際の遠隔診療用カラーチャートは、有彩色のパッチを含んでいる。
 図2の遠隔診療用カラーチャートは、縦約90mm、横約55mmの長方形であり、その主面の上方の右上部(正面視した際の左上部)、及び下方の左下部(正面視した際の右下部)に、10mm四方の自動認識用マーカ11a、11bが配されている。2つの自動認識用マーカ11a、11bは、黒地に白模様を有している。自動認識用マーカ11aの白模様と自動認識用マーカ11bと白模様とは異なる。上方及び下方に挟まれた中央部には、10mm四方の各パッチが6(A~F)行5(a~e)列で間隔を空けずに並んでいる。主面の最右列(第1列:正面視した際の最左列)には、無彩色のパッチが、明度順に並んでいる。
 図2に示す遠隔診療用カラーチャートの各パッチのL値を表1-1に示す。また、図2に示すカラーチャートの各パッチの色の概略を、表1-2に示す。また、第1パッチから第7パッチについて肌色、舌色との関係を表1-3に示す。
Figure JPOXMLDOC01-appb-T000001
Figure JPOXMLDOC01-appb-T000002
Figure JPOXMLDOC01-appb-T000003
〔S2:表示部への画像の表示(第1工程)〕
 次に、工程S1で得た所定の画像、即ち第2カラーチャートを標準光源下で撮影して得られる色を含む所定の画像を、携帯通信端末の表示部に表示させる(S2)。
 所定の画像は、第2カラーチャートを撮影して得た画像そのままであってもよいし、必要に応じて、第2カラーチャートを撮影して得た画像を加工して得た画像であってもよい。加工としては、例えば、第2カラーチャートを撮影して得た画像を小さくし、周囲を黒背景に変更する加工が挙げられる。
 図3に、遠隔診療用カラーチャートを含む所定の画像を携帯通信端末の表示部に表示した模式図を示す。
 図3においては、携帯通信端末であるスマートフォン2の表示部であるディスプレイ2aに、予め撮影された第2カラーチャートである遠隔診療用カラーチャート1aを含む所定の画像が表示されている。所定の画像において、遠隔診療用カラーチャート1aは、所定の画像全体の面積の10%程度であり、遠隔診断用カラーチャート1a以外は黒表示となっている。これは、自発光している表示部の発光量が少なくできる結果、当該自発光が撮影データの色調に影響を与えることを低減させることができるためである。
〔S3:カラーチャート及び表示部の撮影(第2工程)〕
 次に、印刷物であるカラーチャートと表示部とを一緒に鏡に映して鏡に映った印刷物であるカラーチャートと表示部とを撮影部により撮影することで、撮影データが取得される(S3)。
 この工程では、例えば、図4のように、印刷されたカラーチャートである遠隔診療用カラーチャート1bと、携帯通信端末であるスマートフォン2とを、遠隔診療用カラーチャート1bのおもて面と、表示部であるディスプレイ2aの面とが同じ向きになるように並べる。この際に、ディスプレイ2aには、遠隔診療用カラーチャート1aを含む画像が表示されている。そして、それらに対向するように鏡3を配置する(図5)。そして、鏡3に映った遠隔診療用カラーチャート1bとディスプレイ2aとをスマートフォンの撮影部であるインカメラ2bにより撮影する。
 なお、カラーチャートの色の色情報は、互換性のあるLで取得しておくことが好ましい。
 携帯通信端末の種類によっては、撮影部で撮影を行う際、表示部には撮影中の画像が表示されることがある。しかし、携帯通信端末の設定を変更することで、撮影部で撮影を行う際に、表示部には任意の画像を表示させることが可能である。例えば、携帯通信端末がスマートフォン、タブレット端末などの場合、撮影部で撮影を行う際に、表示部には任意の画像を表示させることが可能なアプリケーションを利用すればよい。また、そのようなアプリケーションは、既存のアプリケーションであってもよいし、自ら作成したアプリケーションであってもよい。アプリケーションの作成は、例えば、アップル社製のスマートフォン用のアプリケーションの作成の場合、オープンソース言語のSWIFT(登録商標)などを用いて行うことができる。
 撮影は、特定の照明環境下で行うことが好ましく、例えば、観察者がカラーチャートを手元に置きつつ表示部に表示された画像の観察を行う際の照明環境と同じ照明環境下で行うことが好ましい。そのような照明環境としては、例えば、D50光源を用いた色温度5000Kの照明環境が挙げられる。
〔S4:表示部の補正(第3工程)〕
 次に、撮影データにおける所定の画像の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる(S4)。ここでは、撮影データにおける第2カラーチャートを標準光源下で撮影して得られる色の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける表示部に表示される第2カラーチャートの色を、撮影データにおけるカラーチャートの色に近づける乃至は一致させる。
 撮影データには、カラーチャートにおけるパッチの色情報と、表示部に表示された第2カラーチャートにおけるパッチの色情報とが含まれている。そこで、それらの色情報を用いて、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける表示部に表示される第2カラーチャートにおけるパッチの色情報が、撮影データにおけるカラーチャートにおける対応するパッチの色情報に近づく乃至は一致するように、表示部の色を補正する。
 具体的には、表示部に入力する際の第2カラーチャートの色の色情報と、撮影部で撮影して得られた撮影データにおける第2カラーチャートの色の色情報とを用いて、第2カラーチャートの色に関する関係である表示部への入力と撮影部で撮影して得られた表示部からの出力との関係を取得する。そして、取得した関係を用いて、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける第2カラーチャートにおけるパッチの色を、撮影部で撮影して得られた撮影データにおけるカラーチャートにおけるパッチの色情報色に近づける乃至は一致させる。
 例えば、表示部に入力する際の第2カラーチャートのあるパッチの色情報がRGB値で(120,0,0)であり、撮影部で撮影して得られた撮影データにおける第2カラーチャートのあるパッチの色情報がRGB値で(122,3,3)である場合を考える。その場合、撮影部で撮影して得られた撮影データにおいてRGB値(122,3,3)を得たいときには、表示部に入力するRGB値を(120,0,0)にすればよいことになる。ここで、表示部に入力する際の第2カラーチャート中のあるパッチの色情報(入力色情報)がRGB値で(120,0,0)であり、撮影部で撮影して得られた撮影データにおける第2カラーチャート中のあるパッチの色情報(撮影色情報)がRGB値で(122,3,3)である場合を例にとる。その場合、撮影データにおけるカラーチャート中のあるパッチの色情報がRGB値で(122,3,3)のときに、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける当該第2カラーチャート中の対応するパッチの色情報がRGB値(122,3,3)に近づく乃至は一致するように、表示部の色を補正するには、入力色情報と撮影色情報との関係を用いて、表示部に入力される第2カラーチャートの対応するパッチの色情報をRGB値(120,0,0)に近づける乃至は一致させればよい。
 なお、ここで重要なのは、表示部の色を補正する際に、その後に表示部に表示される第2カラーチャート(遠隔診療用カラーチャート1a)の色を、スマートフォン2の隣に置いているカラーチャート(遠隔診療用カラーチャート1b)の色(パッチ自体の色)に近づける乃至は一致させるのではなく、撮影部(カメラ)により撮影して得られた撮影データにおけるカラーチャート(遠隔診療用カラーチャート1b)の色に近づける乃至は一致させることである。ここで、撮影部(インカメラ2b)は、人間の目に対応する。そのため、表示部に表示される補正対象である第2カラーチャート(遠隔診療用カラーチャート1a)と、補正の基準となるカラーチャート(遠隔診療用カラーチャート1b)とを、共に人間の目に対応する撮影部(インカメラ2b)により撮影されたものとすることで、観察者が、補正後のスマートフォン2のディスプレイ3(表示部)に表示された第2カラーチャート(遠隔診療用カラーチャート1a)と、スマートフォン2の隣に置いたカラーチャート(遠隔診療用カラーチャート1b)とを並べて見た際に、遠隔診療用カラーチャート1aの色が、遠隔診療用カラーチャート1bの色に、近づく乃至は一致する。
 続いて、表示部の色補正方法の他の一態様について説明する。
 図6に、表示部の色補正方法の他の一態様のフローチャートを示す。この態様では、所定の画像として、所定の色を含む画像を用いる。そして、所定の色を変更させて第1工程及び第2工程を複数回行う。
〔S11:表示部への画像の表示(第1工程)〕
 まず、所定の色を含む所定の画像を携帯通信端末の表示部に表示させる(S11)。
 所定の色4を含む所定の画像を携帯通信端末であるスマートフォン2の表示部であるディスプレイ2aに表示させる一例を図7に示した。所定の画像において、所定の色4は、所定の画像全体の面積の10%程度であり、所定の色4以外は黒表示となっている。これは、自発光している表示部の発光量が少なくできる結果、当該自発光が撮影データの色調に影響を与えることを低減させることができるためである。
 所定の画像における所定の色4は、例えば、RGB値で指定する。
〔S12:カラーチャート及び表示部の撮影(第2工程)〕
 次に、印刷物であるカラーチャートと表示部とを撮影部により撮影することで、撮影データが取得される(S12)。
 この工程では、例えば、図8のように、印刷されたカラーチャートである遠隔診療用カラーチャート1bと、携帯通信端末であるスマートフォン2とを、遠隔診療用カラーチャート1bのおもて面と、表示部であるディスプレイ2aの面とが同じ向きになるように並べる。この際に、ディスプレイ2aには、遠隔診療用カラーチャート1aを含む画像が表示されている。そして、それらに対向するように鏡3を配置する(図9)。そして、鏡3に映った遠隔診療用カラーチャート1bとディスプレイ2aとをスマートフォンの撮影部であるインカメラ2bにより撮影する。
 なお、本実施形態の第2工程では、図9に示すように、印刷物であるカラーチャートと表示部とを一緒に撮影したが、印刷物であるカラーチャートと表示部とは個別に撮影してもよい。
 また、本実施形態では、撮影の際に鏡を使用したが、鏡を使用しなくてもよい。例えば、携帯通信端末に外付けのカメラを接続してそれを撮影部として用いてもよい。そして、外付けのカメラにより、表示部を撮影してもよい。
〔S13:所定の色の変化〕
 この一態様では、所定の色を変更させて、第1工程及び第2工程をそれぞれ複数回行う。
 そこで、この一態様では、第2工程の後に、所定の色を変更させるかどうかを判断する。その判断において、所定の色を変更させると判断した際には、所定の色を変える。そして、変更後の所定の色を用いて、第1工程及び第2工程を行う。
 所定の色は、例えば、以下のように変更する。ここでは、RGB値で指定した所定の色を変更する。
 最初に設定する所定の色は、RGB値=(0,0,0)とする。
 そして、RGB値のRを少しずつ変更することで、所定の色を変更する。
 具体的には、1回目の所定の色の変更では、R値を7増やして、(7,0,0)とする。
 次に、2回目の所定の色の変更では、R値を更に8増やして、(15,0,0)とする。
 R値を8増やすことを、R値が最大値である255になるまで行う。
 続いて、RGB値のG値を少しずつ変更することで、所定の色を変更する。
 具体的には、RGB値=(0,0,0)に対して、G値を7増やして、(0,7,0)とする。
 次に、G値を更に8増やして、(0,15,0)とする。
 G値を8増やすことを、G値が最大値である255になるまで行う。
 続いて、RGB値のB値を少しずつ変更することで、所定の色を変更する。
 具体的には、RGB値=(0,0,0)に対して、B値を7増やして、(0,0,7)とする。
 次に、B値を更に8増やして、(0,0,15)とする。
 B値を8増やすことを、G値が最大値である255になるまで行う。
 以上のように、所定の色を変更した上で、それぞれの所定の色に対して、第1工程及び第2工程を行うことで、複数の撮影データが得られる。
〔S14:表示部の補正(第3工程)〕
 次に、撮影データにおける所定の画像の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる(S14)。ここでは、第2工程で取得された、撮影データにおける複数の所定の色の色情報と、撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる。
 具体的には、表示部に入力する際の複数の所定の色の色情報と、撮影部で撮影して得られた撮影データにおける複数の所定の色の色情報とを用いて、所定の色に関する関係である表示部への入力と撮影部で撮影して得られた表示部からの出力との関係を取得する。そして、取得した関係を用いて、カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける当該カラーチャートの色を、撮影部で撮影して得られた撮影データにおけるカラーチャートの色に近づける乃至は一致させる。
 例えば、表示部に入力する際の所定の色の色情報がRGB値で(120,0,0)であり、撮影部で撮影して得られた撮影データにおける所定の色の色情報がRGB値で(122,3,3)である場合を考える。その場合、撮影部で撮影して得られた撮影データにおいてRGB値(122,3,3)を得たいときには、表示部に入力するRGB値を(120,0,0)にすればよいことになる。ここで、表示部に入力する際の所定の色の色情報(入力色情報)がRGB値で(120,0,0)であり、撮影部で撮影して得られた撮影データにおける所定の色の色情報(撮影色情報)がRGB値で(122,3,3)である場合を例にとる。その場合、撮影データにおけるカラーチャート中のあるパッチの色情報がRGB値で(122,3,3)のときに、表示部にカラーチャートを表示し撮影部により表示部を撮影して得られる撮影データにおける当該カラーチャート中の対応するパッチの色情報がRGB値(122,3,3)に近づく乃至は一致するように、表示部の色を補正するには、入力色情報と撮影色情報との関係を用いて、表示部に入力されるカラーチャートの対応するパッチの色情報をRGB値(120,0,0)に近づける乃至は一致させればよい。
 なお、ここで重要なのは、表示部の色を補正する際に、表示部に表示されるカラーチャートの色を、スマートフォン2の隣に置いているカラーチャート(遠隔診療用カラーチャート1b)の色(パッチ自体の色)に近づける乃至は一致させるのではなく、撮影部(カメラ)により撮影して得られた撮影データにおけるカラーチャート(遠隔診療用カラーチャート1b)の色に近づける乃至は一致させることである。ここで、撮影部(インカメラ2b)は、人間の目に対応する。そのため、表示部に表示される補正対象であるカラーチャートと、補正の基準となるカラーチャート(遠隔診療用カラーチャート1b)とを、共に人間の目に対応する撮影部(インカメラ2b)により撮影されたものとすることで、観察者が、補正後のスマートフォン2のディスプレイ3(表示部)に表示されたカラーチャートと、スマートフォン2の隣に置いたカラーチャート(遠隔診療用カラーチャート1b)とを並べて見た際に、ディスプレイ3(表示部)に表示されたカラーチャートの色が、遠隔診療用カラーチャート1bの色に、近づく乃至は一致する。
 この一態様では、表示部の色を補正するために所定の色を用いる。そして、この一態様では、所定の色を多く用意することができる。所定の色を多く用意することにより、校正データの数が増える結果、色補正の精度を高めることができる。
 例えば、上記S13における例示では、複数の所定の色として、〔(256/8)+1〕×〔(256/8)+1〕×〔(256/8)+1〕=33×33×33=35,937色の色情報を用いている。そのため、補正のために対比する色情報(入力色情報及び撮影色情報)がたくさん得られる。他方、図1のフローチャートで示される表示部の色補正方法では、対比する色情報はパッチの数に対応し、図2のカラーチャートの場合、対比する色情報は30となる。そのため、図10のフローチャートで示される表示部の色補正方法のほうが、図1で示される表示部の色補正方法よりも、色補正の制度を高めることができる。
 図6を用いて説明した一態様では、カラーチャートと表示部とを一緒に撮影するが、カラーチャートと表示部とは別個に撮影してもよい。その場合、例えば、図10に示すフローチャートに従って表示部の色補正が行われる。
 図10に、表示部の色補正方法の他の一態様のフローチャートを示す。
 図6に示すフローチャートでは、カラーチャートの撮影と表示部の撮影とが一緒に行われる(S12)のに対して、図10に示すフローチャートでは、カラーチャートの撮影(S21)と、表示部の撮影(S23)とが別個に行われる。
 図10に示すフローチャートにおいて、その他の工程S22、S24、S25は、図6に示すフローチャートの工程S11、S13、S14とそれぞれ同じである。
 本発明の表示部の色補正方法では、カラーチャートを用いて観察を行う観察者が使用する携帯通信端末の表示部の色補正を行うことができる。用いるカラーチャートは、前述の遠隔診断用カラーチャートの他、肌色のパッチを含む化粧品用カラーチャートや、農作物の表面の色のパッチを含む農作物用カラーチャートなどが挙げられ、特に限定されない。
 ここで、観察者がカラーチャートを用いて観察を行う一例としての遠隔診断について説明する。
 図11は、遠隔診断の一例のフローチャートである。
 まず、図12に示すように、撮影手段であるスマートフォン12を用いて、カラーチャート1と撮影対象者である患者13とを同時に撮影する(S51)。
 次に、撮影により得られた画像データを、スマートフォン12から観察者である医師14が持つ携帯通信端末であるスマートフォン2に送信する(S52)。
 次に、スマートフォン12から送信された画像データをスマートフォン2で受信する(S33)。送受信は、例えば、E-メールに画像データを添付して行われる。
 次に、図13に示すように、スマートフォン2の表示部であるディスプレイ2aに画像データを画像として表示する(S54)。
 最後に、図14に示すように、観察者である医者14が、撮影対象者である患者13が持っているカラーチャート1と同じカラーチャート1を持ちながら、ディスプレイ2aに表示されたカラーチャート1の色と、持っているカラーチャート1の色との違いを考慮しながら、ディスプレイ2aに表示された患者13の顔の肌色や舌色を観察して、診断を行う。
 この際に、観察者である医者が持つスマートフォンの表示部について、本発明の表示部の色補正方法を行っておくことで、表示部の色再現性が優れる結果、診断の精度を高めることができる。
1   カラーチャート
1a、1b 遠隔診断用カラーチャート
2   スマートフォン
2a  ディスプレイ
2b  インカメラ
3   鏡
4   所定の色
11a、11b 自動認識用マーカ
12  スマートフォン
13  患者
14  医者

Claims (6)

  1.  所定の画像を、撮影部と表示部とを有する携帯通信端末の前記表示部に表示させる第1工程と、
     印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に又は個別に前記撮影部により撮影することで、撮影データが取得される第2工程と、
     前記撮影データにおける前記所定の画像の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、表示部の色を補正させる第3工程と、
    を有することを特徴とする表示部の色補正方法。
  2.  前記所定の画像が、所定の色としてのパッチを有し印刷物である第2カラーチャートを標準光源下で撮影して得られる色を含み、
     前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記撮影部により一緒に撮影することで、前記撮影データが取得される工程であり、
     前記第3工程が、前記撮影データにおける前記第2カラーチャートを標準光源下で撮影して得られる色の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、その後に前記第2カラーチャートを前記表示部に表示し前記撮影部により前記表示部を撮影して得られる撮影データにおける前記表示部に表示される前記第2カラーチャートの色を、前記撮影データにおける前記カラーチャートの色に近づける乃至は一致させる工程である、請求項1に記載の表示部の色補正方法。
  3.  前記所定の画像が、前記カラーチャートの色を含み、
     前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記撮影部により一緒に撮影することで、前記撮影データが取得される工程であり、
     前記第3工程が、前記撮影データにおける前記所定の画像に含まれる前記カラーチャートの色の色情報と前記撮影データにおける前記印刷物であるカラーチャートの色の色情報とを用いて、その後に前記所定の画像を前記表示部に表示し前記撮影部により前記表示部を撮影して得られる撮影データにおける前記表示部に表示される前記所定の画像に含まれる前記カラーチャートの色を、前記撮影データにおける前記印刷物であるカラーチャートの色に近づける乃至は一致させる工程である、請求項1に記載の表示部の色補正方法。
  4.  前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に鏡に映して前記鏡に映った前記印刷物であるカラーチャートと前記表示部とを前記撮影部により撮影することで、前記撮影データが取得される工程である、又は
     前記撮影部が、前記携帯通信端末に外付けされた撮影部であり、前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記外付けされた撮影部により一緒に撮影することで、前記撮影データが取得される工程である、
    請求項2又は3に記載の表示部の色補正方法。
  5.  前記所定の画像が、所定の色を含み、
     前記第1工程と、前記第2工程において前記表示部を撮影することとが、前記所定の色を変化させてそれぞれ複数回行われ、
     前記第3工程が、前記第2工程で取得された、前記撮影データにおける複数の所定の色の色情報と、前記撮影データにおける前記カラーチャートの色の色情報とを用いて、前記表示部の色を補正させる工程である、請求項1に記載の表示部の色補正方法。
  6.  前記第2工程において、前記印刷物であるカラーチャートと前記表示部とが個別に前記撮影部により撮影される、請求項5に記載の表示部の色補正方法。
PCT/JP2021/036796 2020-10-13 2021-10-05 表示部の色補正方法 WO2022080185A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21879925.2A EP4231634A1 (en) 2020-10-13 2021-10-05 Display unit color-correction method
CA3191520A CA3191520A1 (en) 2020-10-13 2021-10-05 Display unit color-correction method
CN202180057128.XA CN116075701A (zh) 2020-10-13 2021-10-05 显示部的颜色补正方法
US18/248,767 US20230403365A1 (en) 2020-10-13 2021-10-05 Display unit color-correction method
KR1020237004600A KR20230087437A (ko) 2020-10-13 2021-10-05 표시부의 색 보정 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020172624A JP2022064100A (ja) 2020-10-13 2020-10-13 表示部の色補正方法
JP2020-172624 2020-10-13

Publications (1)

Publication Number Publication Date
WO2022080185A1 true WO2022080185A1 (ja) 2022-04-21

Family

ID=81207978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036796 WO2022080185A1 (ja) 2020-10-13 2021-10-05 表示部の色補正方法

Country Status (7)

Country Link
US (1) US20230403365A1 (ja)
EP (1) EP4231634A1 (ja)
JP (1) JP2022064100A (ja)
KR (1) KR20230087437A (ja)
CN (1) CN116075701A (ja)
CA (1) CA3191520A1 (ja)
WO (1) WO2022080185A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142442A (ja) * 1999-11-17 2001-05-25 Minolta Co Ltd プロファイル作成システムおよびプロファイル作成方法、並びに、デジタル撮影装置、記録媒体およびディスプレイ測定方法
JP2015095867A (ja) * 2013-11-14 2015-05-18 富士ゼロックス株式会社 色再現特性作成装置、色再現特性作成システム、プログラムおよび色再現特性作成方法
JP2016006954A (ja) * 2014-05-30 2016-01-14 パナソニックIpマネジメント株式会社 色補正パラメータ算出方法、色補正パラメータ算出装置および画像出力システム
JP2017528975A (ja) * 2014-10-15 2017-09-28 インテル・コーポレーション 周囲光に基づく画像調整

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142442A (ja) * 1999-11-17 2001-05-25 Minolta Co Ltd プロファイル作成システムおよびプロファイル作成方法、並びに、デジタル撮影装置、記録媒体およびディスプレイ測定方法
JP2015095867A (ja) * 2013-11-14 2015-05-18 富士ゼロックス株式会社 色再現特性作成装置、色再現特性作成システム、プログラムおよび色再現特性作成方法
JP2016006954A (ja) * 2014-05-30 2016-01-14 パナソニックIpマネジメント株式会社 色補正パラメータ算出方法、色補正パラメータ算出装置および画像出力システム
JP2017528975A (ja) * 2014-10-15 2017-09-28 インテル・コーポレーション 周囲光に基づく画像調整

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NISHIBORI, MASAHIRO: "Problems and solutions in medical color imaging", PROCEEDINGS OF THE SECOND INTERNATIONAL SYMPOSIUM ON MULTI-SPECTRAL IMAGING AND HIGH ACCURATE COLOR REPRODUCTION, 2000

Also Published As

Publication number Publication date
CA3191520A1 (en) 2022-04-21
US20230403365A1 (en) 2023-12-14
EP4231634A1 (en) 2023-08-23
JP2022064100A (ja) 2022-04-25
KR20230087437A (ko) 2023-06-16
CN116075701A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
US20100041968A1 (en) Image capture in combination with vital signs bedside monitor
US20090189972A1 (en) System and method for video medical examination and real time transmission to remote locations
JP2019174484A (ja) 測定装置
WO2005117452A1 (ja) 撮影システム
CN107205629B (zh) 图像处理装置和摄像***
JP2001258044A (ja) 医療用画像処理装置
CN115100082A (zh) 一种基于高光谱相机的高精度颜色显示***
CN104586355A (zh) 测定装置
US20190239729A1 (en) Remote monitoring of a region of interest
Liu et al. Bio-inspired multimodal 3D endoscope for image-guided and robotic surgery
US20210043160A1 (en) Color difference adjustment image data generation method, color difference adjustment image display method, color difference adjustment image data generating device, and color difference adjustment image display system
WO2022080185A1 (ja) 表示部の色補正方法
Takahashi et al. Development of a camera-based remote diagnostic system focused on color reproduction using color charts
CN102419861A (zh) 基于均匀色空间拓扑剖分的彩色图像校正方法
CN112544076B (zh) 用于映射图像传感器的不均匀性的方法和***
EP4170304A1 (en) Color chart
US20230239419A1 (en) Image display system and image display method
JP5074066B2 (ja) 画像処理装置、及び、画像処理方法
CN210043980U (zh) 一种色卡
Revie et al. Current problems and perspectives on colour in medical imaging
Beneducci et al. Dental shade matching assisted by computer vision techniques
JP2020096219A (ja) 情報処理装置、撮像装置、情報処理方法、およびプログラム
Babilon et al. Spectral reflectance estimation of organic tissue for improved color correction of video-assisted surgery
Kambara et al. Development of color correction system for medical images using color charts
US20240050026A1 (en) Multi-function device and a multi-function system for ergonomically and remotely monitoring a medical or a cosmetic skin condition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21879925

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3191520

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021879925

Country of ref document: EP

Effective date: 20230515