JP7131727B1 - Image processing server, image processing system, image processing method, and program - Google Patents

Image processing server, image processing system, image processing method, and program Download PDF

Info

Publication number
JP7131727B1
JP7131727B1 JP2022020594A JP2022020594A JP7131727B1 JP 7131727 B1 JP7131727 B1 JP 7131727B1 JP 2022020594 A JP2022020594 A JP 2022020594A JP 2022020594 A JP2022020594 A JP 2022020594A JP 7131727 B1 JP7131727 B1 JP 7131727B1
Authority
JP
Japan
Prior art keywords
image
chart
color
information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022020594A
Other languages
Japanese (ja)
Other versions
JP2023117827A (en
Inventor
隆太郎 松田
智博 堀内
貴也 田中
裕樹 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=83188044&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP7131727(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2022020594A priority Critical patent/JP7131727B1/en
Application granted granted Critical
Publication of JP7131727B1 publication Critical patent/JP7131727B1/en
Publication of JP2023117827A publication Critical patent/JP2023117827A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

Figure 0007131727000001

【課題】高価なカラーチャートを用いなくとも、画像の色を精度よく変換する。
【解決手段】チャートの識別情報と当該チャートの色情報とが対応づけられたチャート情報を記憶する記憶部と、前記チャートには、色パッチと前記チャートの識別情報が埋め込まれたコード画像とが示され、前記チャートが撮像されたチャート画像を取得する取得部と、前記チャート画像に撮像された前記チャートの識別情報に基づいて前記記憶部から前記チャートの色情報を取得し、取得した色情報と前記チャート画像の画像情報とを用いて第１色変換テーブルを生成する生成部と、前記第１色変換テーブル、及び色を変換した画像を出力する出力先に対応して予め記憶された第２色変換テーブルを用いて、前記チャート画像が撮像された撮像環境にて対象物が撮像された対象物画像の色を変換する色変換部と、を備える。
【選択図】図４

Figure 0007131727000001

An object of the present invention is to accurately convert the colors of an image without using an expensive color chart.
A storage unit that stores chart information in which identification information of a chart and color information of the chart are associated with each other; and a code image in which color patches and identification information of the chart are embedded in the chart. an acquisition unit configured to acquire a chart image in which the chart is captured; and the color information acquired by acquiring color information of the chart from the storage unit based on identification information of the chart captured in the chart image. and image information of the chart image to generate a first color conversion table; a color conversion unit that converts a color of an object image in which the object is imaged in an imaging environment in which the chart image is imaged, using a two-color conversion table.
[Selection drawing] Fig. 4

Description

本発明は、画像処理サーバ、画像処理システム、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing server, an image processing system, an image processing method, and a program.

画像の色を補正するシステムがある（例えば、特許文献１）。このようなシステムでは、例えば、撮像対象物とカラーチャートが撮像領域に含まれるように撮像が行われる。カラーチャートには、色情報が既知である色パッチが示されている。まず、撮像された画像におけるカラーチャートの画素値と、本来のカラーチャートの色情報とに基づいて色変換情報を作成する。色変換情報は、例えば、カラーチャートの画素値を、本来のカラーチャートの色に変換する色変換テーブルである。そして、色変換情報を用いて画像の色を変換する。これにより、画像における撮像対象物の色が本来の色に近づくように、画像の色を変換することが可能となる。 There is a system for correcting the color of an image (for example, Patent Document 1). In such a system, for example, imaging is performed such that the imaging target and the color chart are included in the imaging area. The color chart shows color patches whose color information is known. First, color conversion information is created based on the pixel values of the color chart in the captured image and the original color information of the color chart. The color conversion information is, for example, a color conversion table that converts the pixel values of the color chart into the original colors of the color chart. Then, the color of the image is converted using the color conversion information. This makes it possible to convert the color of the image so that the color of the imaging object in the image approaches the original color.

特許第３８０３４４１号公報Japanese Patent No. 3803441

しかしながら、カラーチャートは高価である。カラーチャートには色情報に応じた色を厳密に再現した正確な色を示す必要があるためである。このため、上記のシステムを用いて多数の拠点のそれぞれにおいて撮像された画像の色を変換しようとすると、多数の拠点のそれぞれに高価なカラーチャートを配布しなければならず、経費がかかるという問題があった。 However, color charts are expensive. This is because the color chart needs to show accurate colors that are strictly reproduced according to the color information. Therefore, when trying to convert the colors of images captured at each of a large number of bases using the above system, it is necessary to distribute expensive color charts to each of the large number of bases, resulting in a costly problem. was there.

上述の課題を鑑み、本発明の目的は、高価なカラーチャートを用いなくとも、画像の色を精度よく変換することができる画像処理サーバ、画像処理システム、画像処理方法、及びプログラムを提供することにある。 In view of the above problems, it is an object of the present invention to provide an image processing server, an image processing system, an image processing method, and a program that can accurately convert the colors of an image without using an expensive color chart. It is in.

上述の課題を解決するために、本発明の一態様に係る画像処理サーバは、チャートの識別情報と当該チャートの色情報とが対応づけられたチャート情報を記憶する記憶部と、前記チャートは、色パッチと前記チャートの識別情報が埋め込まれたコード画像とが印刷された出力物であり、前記チャートが撮像されたチャート画像を取得する取得部と、前記チャート画像に撮像された前記チャートの識別情報に基づいて前記記憶部から前記チャートの色情報を取得し、取得した色情報と前記チャート画像の画像情報とを用いて第１色変換テーブルを生成する生成部と、前記第１色変換テーブル、及び色を変換した画像を出力する出力先に対応して予め記憶された第２色変換テーブルを用いて、前記チャート画像が撮像された撮像環境にて対象物が撮像された対象物画像の色を変換する色変換部と、を備える。 To solve the above-described problem, an image processing server according to an aspect of the present invention includes a storage unit that stores chart information in which identification information of a chart and color information of the chart are associated with each other; an output material printed with color patches and a code image in which identification information of the chart is embedded; an acquisition unit that acquires a chart image in which the chart is captured; a generating unit that acquires color information of the chart from the storage unit based on the identification information and generates a first color conversion table using the acquired color information and image information of the chart image; An object image obtained by imaging an object in an imaging environment in which the chart image was imaged, using a table and a second color conversion table stored in advance corresponding to an output destination for outputting the color-converted image. and a color conversion unit that converts the color of the

上述の課題を解決するために、本発明の一態様に係る画像処理システムは、上述した画像処理サーバと、チャート画像及び対象物画像を前記画像処理サーバに送信する撮像端末と、を備え、前記チャートは、色パッチと前記チャートの識別情報が埋め込まれたコード画像とが印刷された出力物であり、前記対象物画像は、前記チャート画像が撮像された撮像環境にて対象物が撮像された画像である。 In order to solve the above-described problems, an image processing system according to an aspect of the present invention includes the above-described image processing server, and an imaging terminal that transmits a chart image and an object image to the image processing server. The chart is an output printed with color patches and a code image in which the identification information of the chart is embedded, and the object image is an object captured in an imaging environment in which the chart image was captured. This is an image.

本発明の一態様に係る画像処理方法は、チャートの識別情報と当該チャートの色情報とが対応づけられたチャート情報を記憶する記憶部を備える画像処理サーバであるコンピュータが行う画像処理方法であって、前記チャートは、色パッチと前記チャートの識別情報が埋め込まれたコード画像とが印刷された出力物であり、取得部が、前記チャートが撮像されたチャート画像を取得し、生成部が、前記チャート画像に撮像された前記チャートの識別情報に基づいて前記記憶部から前記チャートの色情報を取得し、取得した色情報と前記チャート画像の画像情報とを用いて第１色変換テーブルを生成し、色変換部が、前記第１色変換テーブル、及び色を変換した画像を出力する出力先に対応して予め記憶された第２色変換テーブルを用いて、前記チャート画像が撮像された撮像環境にて対象物が撮像された対象物画像の色を変換する。 An image processing method according to an aspect of the present invention is an image processing method performed by a computer, which is an image processing server, including a storage unit that stores chart information in which chart identification information and chart color information are associated. wherein the chart is an output on which color patches and a code image embedded with identification information of the chart are printed , an acquisition unit acquires a chart image in which the chart is captured, obtaining the color information of the chart from the storage unit based on the identification information of the chart captured in the chart image, and generating a first color conversion table using the obtained color information and the image information of the chart image; The chart image is captured using the first color conversion table generated by the color conversion unit and the second color conversion table stored in advance corresponding to the output destination for outputting the color-converted image. To convert the color of an object image in which the object is imaged in the imaging environment.

本発明の一態様に係るプログラムは、チャートの識別情報と当該チャートの色情報とが対応づけられたチャート情報を記憶する記憶部を備える画像処理サーバであるコンピュータに、前記チャートが撮像されたチャート画像を取得させ、前記チャート画像に撮像された前記チャートの識別情報に基づいて前記記憶部から前記チャートの色情報を取得し、取得した色情報と前記チャート画像の画像情報とを用いて第１色変換テーブルを生成させ、前記第１色変換テーブル、及び色を変換した画像を出力する出力先に対応して予め記憶された第２色変換テーブルを用いて、前記チャート画像が撮像された撮像環境にて対象物が撮像された対象物画像の色を変換させ、前記チャートは、色パッチと前記チャートの識別情報が埋め込まれたコード画像とが印刷された出力物である。 A program according to an aspect of the present invention stores a chart obtained by capturing an image of the chart in a computer, which is an image processing server, including a storage unit that stores chart information in which chart identification information and color information of the chart are associated with each other. acquiring an image, acquiring color information of the chart from the storage unit based on the identification information of the chart imaged in the chart image, and using the acquired color information and image information of the chart image to generate a first chart image; A color conversion table is generated, and the chart image is captured using the first color conversion table and a second color conversion table stored in advance corresponding to an output destination for outputting the color-converted image. The chart is an output on which a color patch and a code image in which identification information of the chart is embedded are printed by converting the color of an object image in which the object is captured in the environment.

本発明によれば、高価なカラーチャートを用いなくとも、画像の色を精度よく変換することができる。 According to the present invention, the color of an image can be accurately converted without using an expensive color chart.

実施形態に係る画像処理システム１の概要を示すブロック図である。1 is a block diagram showing an outline of an image processing system 1 according to an embodiment; FIG. 実施形態に係るチャートＣＨの例を示す図である。It is a figure which shows the example of the chart CH which concerns on embodiment. 実施形態に係る撮像端末１０の構成例を示すブロック図である。1 is a block diagram showing a configuration example of an imaging terminal 10 according to an embodiment; FIG. 実施形態に係る画像処理サーバ２０の構成例を示すブロック図である。2 is a block diagram showing a configuration example of an image processing server 20 according to the embodiment; FIG. 実施形態に係るチャート情報２２０の例を示す図である。It is a figure which shows the example of the chart information 220 which concerns on embodiment. 実施形態に係る画像の写り込みを補正する処理を説明する図である。FIG. 10 is a diagram illustrating processing for correcting reflection in an image according to the embodiment; 実施形態に係る画像の照明ムラを補正する処理を説明する図である。It is a figure explaining the process which correct|amends the illumination nonuniformity of the image which concerns on embodiment. 実施形態に係る画像に撮像された対象物の形状を補正する処理を説明する図である。It is a figure explaining the process which correct|amends the shape of the target object imaged by the image which concerns on embodiment. 実施形態に係る撮像端末１０の表示の例を示す図である。4 is a diagram showing an example of display on the imaging terminal 10 according to the embodiment; FIG. 実施形態に係る撮像端末１０の表示の例を示す図である。4 is a diagram showing an example of display on the imaging terminal 10 according to the embodiment; FIG. 実施形態に係る画像処理システム１が行う処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing performed by the image processing system 1 according to the embodiment; 実施形態に係る画像処理システム１が行う処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing performed by the image processing system 1 according to the embodiment; 実施形態に係る画像処理システム１が行う処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing performed by the image processing system 1 according to the embodiment; 実施形態に係る画像処理システム１が行う処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing performed by the image processing system 1 according to the embodiment; 実施形態の変形例１に係るチャートＣＨを説明する図である。It is a figure explaining chart CH concerning modification 1 of an embodiment.

以下、実施形態の画像処理システム１を、図面を参照しながら説明する。図１は、実施形態に係る画像処理システム１の概要を示すブロック図である。画像処理システム１は、画像を補正するシステムである。画像処理システム１は、例えば、複数の撮像端末１０（撮像端末１０－１、１０－２、…、１０－Ｎ、Ｎは任意の自然数）と、画像処理サーバ２０とを備える。画像処理システム１の構成要素（複数の撮像端末１０、及び画像処理サーバ２０）は、通信ネットワークＮＷを介して通信可能に接続されている。 An image processing system 1 according to an embodiment will be described below with reference to the drawings. FIG. 1 is a block diagram showing an overview of an image processing system 1 according to an embodiment. The image processing system 1 is a system for correcting images. The image processing system 1 includes, for example, a plurality of imaging terminals 10 (imaging terminals 10-1, 10-2, . . . , 10-N, N is any natural number) and an image processing server 20. FIG. Components of the image processing system 1 (the plurality of imaging terminals 10 and the image processing server 20) are communicably connected via a communication network NW.

撮像端末１０はコンピュータであり、例えば、ＰＣ（Personal Computer）、タブレット端末、或いはスマートフォンなどである。撮像端末１０は、撮像者などによって撮像された画像を取得する。撮像端末１０は取得した画像を画像処理サーバ２０に送信する。 The imaging terminal 10 is a computer, such as a PC (Personal Computer), a tablet terminal, or a smart phone. The imaging terminal 10 acquires an image captured by an imager or the like. The imaging terminal 10 transmits the acquired image to the image processing server 20 .

画像処理サーバ２０はコンピュータであり、例えば、画像処理サーバ、ＰＣ（Personal Computer）などである。画像処理サーバ２０は、撮像端末１０から画像を受信し、受信した画像の色を画像に撮像された対象物本来の色に近づくように変換する。 The image processing server 20 is a computer, such as an image processing server or a PC (Personal Computer). The image processing server 20 receives an image from the imaging terminal 10 and converts the color of the received image so as to approximate the original color of the object captured in the image.

画像処理システム１では、画像の色を変換する際に、チャート画像ＣＨＧが用いられる。チャート画像ＣＨＧは、チャートＣＨが撮像された画像である。 In the image processing system 1, the chart image CHG is used when converting the color of the image. The chart image CHG is an image of the chart CH.

図２は、実施形態に係るチャートＣＨの例を示す図である。図２に示すように、チャートＣＨには、色パッチＣＰと、コードＣＤとが示されている。色パッチＣＰには特定の色が示されている。コードＣＤは、チャートＣＨの識別情報が埋め込まれた画像である。 FIG. 2 is a diagram illustrating an example of chart CH according to the embodiment. As shown in FIG. 2, the chart CH shows color patches CP and codes CD. A specific color is indicated in the color patch CP. The code CD is an image embedded with the identification information of the chart CH.

例えば、チャートＣＨは、印刷媒体である印刷用紙に、色パッチＣＰとコードＣＤとが印刷された印刷物である。例えば、チャートＣＨは、汎用のインクジェットプリンタで、安価な印刷用紙に色パッチＣＰとコードＣＤとが印刷された印刷物である。チャートＣＨは、例えばＤＤＣＰ（Direct Digital Color Proofer）から出力された印刷物（以下、「出力物」ともいう）である。例えば、チャートＣＨは１枚あたり１０円程度の低価格で生成可能な印刷物である。これにより、気軽にチャートＣＨを配布することができるようにする。また、粉塵環境にてチャートＣＨを用いた撮像を行う場合など、チャートＣＨに粉塵等が付着してしまうためにチャートＣＨが数回しか使えないような場合であっても、チャートＣＨを消耗品として１回ないし数回使用した後に廃棄するような、いわゆる使い捨て感覚にてチャートＣＨを用いることも可能となる。 For example, the chart CH is a printed matter in which the color patches CP and the codes CD are printed on a printing paper, which is a printing medium. For example, the chart CH is a general-purpose inkjet printer, and is a printed matter in which color patches CP and codes CD are printed on inexpensive printing paper. The chart CH is, for example, a printed material (hereinafter also referred to as “output”) output from a DDCP (Direct Digital Color Proofer). For example, the chart CH is a printed matter that can be produced at a low price of about 10 yen per sheet. This makes it possible to easily distribute the chart CH. In addition, even if the chart CH can only be used a few times due to dust adhering to the chart CH, such as when performing imaging using the chart CH in a dusty environment, the chart CH can be used as a consumable item. It is also possible to use the chart CH with a so-called disposable feeling, such as discarding it after using it once or several times.

画像処理システム１では、チャートＣＨの色情報をそのチャートＣＨの識別情報と対応づけた情報（後述するチャート情報２２０）を記憶する（図５参照）。例えば、汎用のインクジェットプリンタで印刷することによりチャートＣＨが生成されると、生成されたチャートＣＨの色が測色機により測定され、その測定値が色情報として記憶される。これにより、チャートＣＨに特定の色を厳密に再現した色が示されていなくとも、その色パッチＣＰの色が予め測定されて記憶されているため、正確な色情報を取得することができる。したがって、安価なチャートＣＨを用いて画像の色を精度よく変換することが可能となる。 The image processing system 1 stores information (chart information 220 to be described later) that associates the color information of the chart CH with the identification information of the chart CH (see FIG. 5). For example, when a chart CH is generated by printing with a general-purpose inkjet printer, the colors of the generated chart CH are measured by a colorimeter, and the measured values are stored as color information. Thus, even if a color that is a strictly reproduced specific color is not shown on the chart CH, accurate color information can be acquired because the color of the color patch CP is measured and stored in advance. Therefore, it is possible to accurately convert the color of an image using an inexpensive chart CH.

図３は、実施形態に係る撮像端末１０の構成例を示すブロック図である。撮像端末１０は、例えば、通信部１１と、記憶部１２と、制御部１３と、表示部１４と、撮像部１５とを備える。通信部１１は、画像処理サーバ２０と通信を行う。通信部１１は、画像処理サーバ２０に撮像者などによって撮像された画像を送信する。 FIG. 3 is a block diagram showing a configuration example of the imaging terminal 10 according to the embodiment. The imaging terminal 10 includes, for example, a communication unit 11 , a storage unit 12 , a control unit 13 , a display unit 14 and an imaging unit 15 . The communication unit 11 communicates with the image processing server 20 . The communication unit 11 transmits an image captured by a photographer or the like to the image processing server 20 .

記憶部１２は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。記憶部１２は、撮像端末１０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。 The storage unit 12 is configured by a storage medium such as an HDD, flash memory, EEPROM (Electrically Erasable Programmable Read Only Memory), RAM (Random Access read/write Memory), ROM (Read Only Memory), or a combination thereof. The storage unit 12 stores programs for executing various processes of the imaging terminal 10 and temporary data used when performing various processes.

制御部１３は、撮像端末１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。制御部１３は、撮像端末１０を統括的に制御する。制御部１３は、通信部１１、記憶部１２、表示部１４、及び撮像部１５のそれぞれを制御する。 The control unit 13 is implemented by causing a CPU (Central Processing Unit) provided as hardware in the imaging terminal 10 to execute a program. The control unit 13 comprehensively controls the imaging terminal 10 . The control unit 13 controls each of the communication unit 11 , the storage unit 12 , the display unit 14 and the imaging unit 15 .

表示部１４は、液晶ディスプレイなどの表示装置を含み、制御部１３の制御に応じて、画像を表示する。撮像部１５は、画像を撮像する撮像装置を含み、制御部１３の制御に応じて画像を撮像する。 The display unit 14 includes a display device such as a liquid crystal display, and displays images under the control of the control unit 13 . The imaging unit 15 includes an imaging device that captures an image, and captures an image under the control of the control unit 13 .

図４は、実施形態に係る画像処理サーバ２０の構成例を示すブロック図である。画像処理サーバ２０は、例えば、通信部２１と、記憶部２２と、制御部２３とを備える。通信部２１は、撮像端末１０と通信を行う。通信部２１は、撮像端末１０から画像を受信する。 FIG. 4 is a block diagram showing a configuration example of the image processing server 20 according to the embodiment. The image processing server 20 includes a communication section 21, a storage section 22, and a control section 23, for example. The communication unit 21 communicates with the imaging terminal 10 . The communication unit 21 receives images from the imaging terminal 10 .

記憶部２２は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。記憶部２２は、画像処理サーバ２０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。 The storage unit 22 is configured by a storage medium such as HDD, flash memory, EEPROM, RAM, ROM, or a combination thereof. The storage unit 22 stores programs for executing various processes of the image processing server 20 and temporary data used when performing various processes.

記憶部２２は、例えば、チャート情報２２０と、対象物画像情報２２１と、色変換テーブル２２２と補正画像情報２２３とを記憶する。チャート情報２２０は、チャートＣＨの色情報が、そのチャートＣＨの識別情報と対応づけられた情報である。対象物画像情報２２１は、対象物が撮像された画像であり、色が変換される前の画像である。
色変換テーブル２２２は、画像の色を変換する変換テーブルである。色変換テーブル２２２には、第１色変換テーブル、及び第２色変換テーブルを含む。第１色変換テーブルは、後述する生成部２３３によって生成されるテーブルである。第２色変換テーブルは、色変換先に応じて予め記憶されたテーブルである。ここでの色変換先とは、色が変換された画像が出力される出力先である。例えば、画像を紙やフィルムなどに出力する場合、出力先は印刷機やプリンタである。この場合、第２色変換テーブルは、色情報を印刷で用いられるＣＭＹＫ形式に変換する変換テーブルである。或いは、画像を表示する場合、出力先はディスプレイである。この場合、第２色変換テーブルは、色情報をＲＧＢに変換する変換テーブルである。
補正画像情報２２３は、対象物が撮像された画像であり、色が変換された後の画像である。また、図示していないが、記憶部２２は、照明ムラを補正する画像（後述する白色画像）、及び写り込みを補正する画像（後述する黒色画像）の画像情報を記憶する。 The storage unit 22 stores chart information 220, object image information 221, a color conversion table 222, and corrected image information 223, for example. The chart information 220 is information in which the color information of the chart CH is associated with the identification information of the chart CH. The object image information 221 is an image of the object captured, and is an image before color conversion.
The color conversion table 222 is a conversion table for converting the colors of images. The color conversion table 222 includes a first color conversion table and a second color conversion table. The first color conversion table is a table generated by the generation unit 233, which will be described later. The second color conversion table is a table stored in advance according to the destination of color conversion. The color conversion destination here is an output destination to which an image whose color has been converted is output. For example, when an image is to be output on paper, film, or the like, the output destination is a printing machine or a printer. In this case, the second color conversion table is a conversion table for converting color information into the CMYK format used in printing. Alternatively, when displaying an image, the output destination is a display. In this case, the second color conversion table is a conversion table for converting color information into RGB.
The corrected image information 223 is an image obtained by capturing the object, and is an image after color conversion. Although not shown, the storage unit 22 stores image information of an image for correcting illumination unevenness (white image described later) and an image for correcting reflection (black image described later).

制御部２３は、画像処理サーバ２０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。制御部２３は、画像処理サーバ２０を統括的に制御する。制御部２３は、通信部２１、記憶部２２のそれぞれを制御する。 The control unit 23 is implemented by causing a CPU provided as hardware in the image processing server 20 to execute a program. The control unit 23 controls the image processing server 20 as a whole. The control unit 23 controls each of the communication unit 21 and the storage unit 22 .

制御部２３は、例えば、取得部２３０と、第１補正部２３１と、第２補正部２３２と、生成部２３３と、色変換部２３４と、幾何補正部２３５とを備える。 The control unit 23 includes an acquisition unit 230, a first correction unit 231, a second correction unit 232, a generation unit 233, a color conversion unit 234, and a geometric correction unit 235, for example.

取得部２３０は、種々の情報を取得し、取得した情報をその情報を用いた処理を行う機能部に出力する。ここでの機能部は、第１補正部２３１、第２補正部２３２、生成部２３３、色変換部２３４、幾何補正部２３５、又は記憶部１２、或いはこれらの組合せである。 Acquisition unit 230 acquires various types of information and outputs the acquired information to a functional unit that performs processing using the information. The functional unit here is the first correction unit 231, the second correction unit 232, the generation unit 233, the color conversion unit 234, the geometric correction unit 235, the storage unit 12, or a combination thereof.

具体的に、取得部２３０は、チャート画像ＣＨＧの画像情報を、通信部２１を介して取得する。チャート画像ＣＨＧは、第１補正部２３１によるチャート画像ＣＨＧの補正、第２補正部２３２によるチャート画像ＣＨＧの補正、生成部２３３による変換テーブルの生成、及び幾何補正部２３５による画像における対象物形状の補正に用いられる。取得部２３０は、取得した情報を、第１補正部２３１、第２補正部２３２、生成部２３３、及び幾何補正部２３５に出力する。 Specifically, the acquisition unit 230 acquires the image information of the chart image CHG via the communication unit 21 . The chart image CHG is obtained by correction of the chart image CHG by the first correction unit 231, correction of the chart image CHG by the second correction unit 232, generation of the conversion table by the generation unit 233, and correction of the object shape in the image by the geometric correction unit 235. Used for correction. Acquisition section 230 outputs the acquired information to first correction section 231 , second correction section 232 , generation section 233 , and geometric correction section 235 .

また、取得部２３０は、黒色画像ＫＧの画像情報を、通信部２１を介して取得する。黒色画像ＫＧは、光沢を有する黒色平面が撮像された画像であって、チャート画像ＣＨＧが撮像された撮像環境と同じ環境で撮像された画像である。黒色画像ＫＧは、第１補正部２３１による補正に用いられる。取得部２３０は、取得した情報を第１補正部２３１に出力する。 Also, the acquisition unit 230 acquires image information of the black image KG via the communication unit 21 . The black image KG is an image of a glossy black plane captured in the same environment as the imaging environment in which the chart image CHG was captured. The black image KG is used for correction by the first corrector 231 . Acquisition section 230 outputs the acquired information to first correction section 231 .

また、取得部２３０は、白色画像ＷＧの画像情報を、通信部２１を介して取得する。白色画像ＷＧは、白色平面が撮像された画像であって、チャート画像ＣＨＧが撮像された撮像環境と同じ環境で撮像された画像である。白色画像ＷＧは、第２補正部２３２による補正に用いられる。取得部２３０は、取得した情報を第２補正部２３２に出力する。 Also, the acquisition unit 230 acquires image information of the white image WG via the communication unit 21 . The white image WG is an image of a white plane captured in the same imaging environment as the chart image CHG. The white image WG is used for correction by the second corrector 232 . Acquisition section 230 outputs the acquired information to second correction section 232 .

また、取得部２３０は、対象物画像の画像情報を、通信部２１を介して取得する。対象物画像は、対象物が撮像された画像であって、チャート画像ＣＨＧが撮像された撮像環境と同じ環境で撮像された画像であり、色変換部２３４により色が変換される前の画像である。取得部２３０は、取得した情報を、対象物画像情報２２１として記憶部１２に記憶させる。 Also, the acquisition unit 230 acquires image information of the target object image via the communication unit 21 . The object image is an image of an object captured in the same environment as the image capturing environment in which the chart image CHG was captured, and is an image before color conversion by the color conversion unit 234. be. The acquisition unit 230 causes the storage unit 12 to store the acquired information as the object image information 221 .

第１補正部２３１は、チャート画像ＣＨＧにおける写り込みを補正する。ここでの写り込みは、光沢を有する物体を撮像した場合に、光沢がある物体に物体の周囲にある照明などの像が画像に撮像される現象である（図６の黒色画像ＫＧ１参照）。チャートＣＨがコート紙である場合など光沢を有する場合、写り込みがあるチャート画像ＣＨＧが撮像される場合がある。写り込みがあるチャート画像ＣＨＧを用いた場合、画像の色を精度よく変換することが困難である。このため、第１補正部２３１は、チャート画像ＣＨＧにおける写り込みを補正する。第１補正部２３１が写り込みを補正する具体的な方法は後述する。 The first correction unit 231 corrects reflection in the chart image CHG. Here, the reflection is a phenomenon in which an image of lighting or the like around the glossy object is captured in the image when the glossy object is imaged (see black image KG1 in FIG. 6). If the chart CH is made of coated paper or the like and is glossy, the chart image CHG with reflection may be captured. When a chart image CHG with reflection is used, it is difficult to accurately convert the colors of the image. Therefore, the first correction unit 231 corrects the reflection in the chart image CHG. A specific method for correcting reflection by the first correction unit 231 will be described later.

第２補正部２３２は、チャート画像ＣＨＧにおける照明ムラを補正する。ここでの照明ムラは、撮像領域全体に照明光が均等に照射されていないことに起因して、暗い領域と明るい領域とが混在して撮像される現象である（図７の白色画像ＷＧ１参照）。照明ムラがあるチャート画像ＣＨＧを用いた場合、画像の色を精度よく変換することが困難である。このため、第２補正部２３２は、チャート画像ＣＨＧにおける照明ムラを補正する。第２補正部２３２が照明ムラを補正する具体的な方法は後述する。 The second correction unit 232 corrects illumination unevenness in the chart image CHG. The illumination unevenness here is a phenomenon in which a dark area and a bright area are captured together due to uneven illumination of the entire imaging area (see white image WG1 in FIG. 7). ). If a chart image CHG with illumination unevenness is used, it is difficult to accurately convert the colors of the image. Therefore, the second correction unit 232 corrects illumination unevenness in the chart image CHG. A specific method by which the second correction unit 232 corrects illumination unevenness will be described later.

生成部２３３は、第１色変換テーブルを生成する。生成部２３３は、チャート画像ＣＨＧに撮像されたコードＣＤ（チャートＣＨの識別情報）に基づいて、記憶部２２から当該チャートＣＨにおける色パッチＣＰの色情報（例えば、測色値）を取得する。生成部２３３は、チャート画像ＣＨＧの色パッチＣＰに対応する部分の画素の画素値（例えば、ＲＧＢ値）を取得する。生成部２３３は、色パッチＣＰの色情報と色パッチＣＰの画素値とを用いて、例えば、重回帰分析等により、画素値から色情報を算出するためのマトリックス（第１変換行列という）を、「第１色変換テーブル」として算出する。 Generation unit 233 generates a first color conversion table. The generation unit 233 acquires color information (for example, colorimetric values) of the color patches CP in the chart CH from the storage unit 22 based on the code CD (identification information of the chart CH) imaged in the chart image CHG. The generation unit 233 acquires the pixel values (eg, RGB values) of the pixels in the portion corresponding to the color patch CP of the chart image CHG. The generation unit 233 uses the color information of the color patches CP and the pixel values of the color patches CP to generate a matrix (referred to as a first conversion matrix) for calculating color information from pixel values by, for example, multiple regression analysis. , is calculated as a “first color conversion table”.

なお、本実施例における第１色変換テーブルは、近年におけるカラーマネジメントのデファクトスタンダードであるＩＣＣ（International Color Consortium）によって提唱された仕様であるＩＣＣプロファイルフォーマットを用いて記述されたＩＣＣプロファイル形式の情報であってもよい。 The first color conversion table in this embodiment is information in the ICC profile format described using the ICC profile format, which is a specification advocated by the ICC (International Color Consortium), which is the de facto standard for color management in recent years. There may be.

生成部２３３は、生成した第１色変換テーブルを、色変換テーブル２２２における第１色変換テーブルとして記憶部２２に記憶させる。 The generation unit 233 causes the storage unit 22 to store the generated first color conversion table as the first color conversion table in the color conversion table 222 .

色変換部２３４は、画像の色を変換する。色変換部２３４は、色を変換する対象とする画像の対象物画像情報２２１を、記憶部２２を参照することにより取得する。また、色変換部２３４は、色変換テーブル２２２に記憶された第１色変換テーブル及び第２色変換テーブルを、記憶部２２を参照することにより取得する。色変換部２３４は、取得した色変換テーブル２２２と、対象物画像情報２２１とを用いて、対象物が撮像された画像の色を変換する。具体的には、色変換部２３４は、画像の画素値（例えば、ＲＧＢ値）を、第１変換テーブルを用いて測色値に変換し、変換した測色値を、第２変換テーブルを用いて目的とする色空間のデバイス値に変換する。これにより、生成部２３３は、利用用途に応じた画像の発色が本来の色に近づくように、画像の色を変換することができる。ここでの利用用途は、画像を利用する用途であり、例えば、画像を印刷する、或いは、画像をディスプレイに表示する等の用途である 。色変換部２３４は、色を変換した画像の画像情報を、補正画像情報２２３として、記憶部２２に記憶させる。 The color converter 234 converts the colors of the image. The color conversion unit 234 acquires the object image information 221 of the image whose color is to be converted by referring to the storage unit 22 . Also, the color conversion unit 234 acquires the first color conversion table and the second color conversion table stored in the color conversion table 222 by referring to the storage unit 22 . The color conversion unit 234 uses the obtained color conversion table 222 and the object image information 221 to convert the color of the image of the object. Specifically, the color conversion unit 234 converts the pixel values (for example, RGB values) of the image into colorimetric values using the first conversion table, and converts the converted colorimetric values using the second conversion table. to the device value of the target color space. As a result, the generation unit 233 can convert the color of the image so that the coloring of the image according to the purpose of use approaches the original color. The purpose of use here is the purpose of using the image, for example, the purpose of printing the image or displaying the image on a display. The color conversion unit 234 causes the storage unit 22 to store the image information of the color-converted image as the corrected image information 223 .

幾何補正部２３５は、画像に撮像された対象物の形状を補正する。ここでの形状の補正は、例えば、撮像角度に起因して、対象物の形状が変形した状態で撮像された場合に、その変形した形状を元の形状に補正する、いわゆる台形補正やレンズ歪みに起因する収差の補正である。上述したように、光沢を有する物体を撮像する場合には、画像に写り込みが発生しやすい。画像への写り込みを抑制するために、撮像位置を、対象物を載置する載置面に対して斜め方向に設定し、斜めから撮像を行う場合がある。この場合、画像への写り込みを抑制することができる反面、対象物の形状が変形された状態で撮像されてしまう。この対策として、幾何補正部２３５は、画像に撮像された対象物の形状を補正する。幾何補正部２３５が画像に撮像された対象物の形状を補正する具体的な方法は後述する。 A geometric correction unit 235 corrects the shape of the object captured in the image. The shape correction here is, for example, when the image of the object is captured with the shape deformed due to the imaging angle, the deformed shape is corrected to the original shape, so-called trapezoidal correction or lens distortion. This is correction of aberration caused by . As described above, when capturing an image of a glossy object, reflection is likely to occur in the image. In order to suppress reflection in an image, an imaging position may be set in an oblique direction with respect to a placement surface on which an object is placed, and imaging may be performed obliquely. In this case, although it is possible to suppress reflection in the image, the object is imaged with its shape deformed. As a countermeasure against this, the geometric correction unit 235 corrects the shape of the object captured in the image. A specific method by which the geometric correction unit 235 corrects the shape of the object captured in the image will be described later.

図５は、実施形態に係るチャート情報２２０の例を示す図である。図５には図２に示すチャートＣＨのチャート情報２２０の例が示されている。チャート情報２２０は、チャートＣＨごとに生成される。 FIG. 5 is a diagram showing an example of chart information 220 according to the embodiment. FIG. 5 shows an example of the chart information 220 of the chart CH shown in FIG. Chart information 220 is generated for each chart CH.

チャート情報２２０は、例えば、識別情報、パッチ配置、パッチ、コード画像、色情報などの項目のそれぞれに対応する情報である。識別情報は、チャートＣＨを一意に識別する情報であり、チャートＣＨのコードＣＤに埋め込まれる情報である。 The chart information 220 is, for example, information corresponding to items such as identification information, patch arrangement, patches, code images, and color information. The identification information is information for uniquely identifying the chart CH, and is information embedded in the code CD of the chart CH.

パッチ配置には、チャートＣＨに示されるパッチの配置が示される。ここでのパッチは、色パッチＣＰ、コードＣＤが含まれる。パッチ配置には、例えば、チャートＣＨの縦方向に配置されたパッチの数と、横方向に配置されたパッチの数とが示される。この図の例では、縦方向に４つ、横方向に７つのパッチが配置されることが示されている。なお、この図の例では、色パッチＣＰとコードＣＤのサイズがほぼ同等である場合を例示したがこれに限定されることはない。色パッチＣＰとコードＣＤのサイズが同等サイズであってもよいし、互いに異なるサイズであってもよいのは勿論である。 The patch arrangement indicates the arrangement of the patches shown in the chart CH. The patches here include color patches CP and code CD. The patch arrangement indicates, for example, the number of patches arranged in the vertical direction and the number of patches arranged in the horizontal direction of the chart CH. In the example of this figure, four patches are arranged in the vertical direction and seven patches are arranged in the horizontal direction. In the example of this figure, the case where the sizes of the color patches CP and the codes CD are substantially the same has been exemplified, but the present invention is not limited to this. It goes without saying that the sizes of the color patches CP and the codes CD may be the same size, or may be different sizes.

パッチには、各パッチのサイズ、及び各パッチを配置する間隔が示される。この図の例では、２０［ｍｍ］四方のパッチが、２［ｍｍ］間隔で配置されることが示されている。なお、各パッチのサイズ、及び各パッチを配置する間隔はこの図の例に限定されることはない。各パッチのサイズと各パッチを配置する間隔の比率は、この図の例では、１０：１程度であればよく、各パッチのサイズは任意の大きさに設定されてよい。 The patch indicates the size of each patch and the interval at which each patch is arranged. In the example of this figure, 20 [mm] square patches are arranged at intervals of 2 [mm]. Note that the size of each patch and the intervals at which the patches are arranged are not limited to the example in this figure. The ratio of the size of each patch to the interval at which each patch is arranged may be about 10:1 in the example of this figure, and the size of each patch may be set to any size.

コード画像には、チャートＣＨに配置されるコードＣＤの数、位置、コード番号などが示されている。この図の例では、４つのコードＣＤがチャートＣＨに配置されること、位置は０、６、２１、２７であることが示されている。ここでの位置に対応する番号は、パッチの配置に沿って付与される番号である。例えば、図２に示すチャートＣＨの左上から右方向に、順に０、１、２、…の番号が、位置に対応する番号として付与される。すなわち、位置の番号０、６、２１、２７のそれぞれに対応する、チャートＣＨの四隅にコードＣＤが配置されることが示されている。コード番号には、チャートＣＨのコード番号が示される。 The code image shows the number, positions, code numbers, etc. of the code CDs arranged on the chart CH. In the example of this figure, it is shown that four codes CD are arranged on the chart CH, at positions 0, 6, 21 and 27. The numbers corresponding to the positions here are numbers given along the arrangement of the patches. For example, numbers 0, 1, 2, . That is, it is shown that the codes CD are arranged at the four corners of the chart CH corresponding to the position numbers 0, 6, 21, and 27, respectively. The code number indicates the code number of the chart CH.

色情報には、色パッチＣＰごとの色情報が示される。色情報は、例えば、複数の波長λ（波長λ１、λ２、λ３、…）に対するそれぞれの分光反射率である。この図の例では、色パッチが配置される位置に対応する番号に対応させた色情報の例が示されている。 The color information indicates color information for each color patch CP. The color information is, for example, respective spectral reflectances for a plurality of wavelengths λ (wavelengths λ1, λ2, λ3, . . . ). The example in this figure shows an example of color information associated with a number corresponding to a position where a color patch is arranged.

ここで、第１補正部２３１が写り込みを補正する方法について、図６を用いて説明する。図６は、実施形態に係る画像の写り込みを補正する処理を説明する図である。図６の上部には、黒色画像ＫＧ１の例が示されている。図６の下部には、写り込みを補正した黒色画像ＫＧ２の例が示されている。 Here, a method for correcting reflection by the first correction unit 231 will be described with reference to FIG. FIG. 6 is a diagram illustrating processing for correcting reflection in an image according to the embodiment. An example of a black image KG1 is shown in the upper part of FIG. The lower part of FIG. 6 shows an example of a black image KG2 in which reflection is corrected.

ここで、第２補正部２３２が照明ムラを補正する方法について、図７を用いて説明する。図７は、実施形態に係る画像の照明ムラを補正する処理を説明する図である。図７の上部には、白色画像ＷＧ１の例が示されている。図７の下部には、照明ムラを補正した白色画像ＷＧ２の例が示されている。 Here, a method for correcting illumination unevenness by the second correction unit 232 will be described with reference to FIG. 7 . FIG. 7 is a diagram illustrating processing for correcting illumination unevenness of an image according to the embodiment. An example of the white image WG1 is shown in the upper part of FIG. The lower portion of FIG. 7 shows an example of a white image WG2 corrected for illumination unevenness.

ここで、幾何補正部２３５が画像に撮像された対象物の形状を補正する方法について、図８を用いて説明する。図８は、実施形態に係る画像に撮像された対象物の形状を補正する処理を説明する図である。図８の上部には、補正前の画像Ｇ１の例が示されている。図８の下部には、形状を補正した画像Ｇ２の例が示されている。この図の例では、対象物の形状を判り易くするために格子状の模様が撮像された画像（以下、格子画像という）を用いた例を示している。本実施形態では、画像Ｇ１として、例えば、チャート画像ＣＨＧを用いることができる。チャートＣＨにおける色パッチＣＰ及びコードＣＤの形状は既知であるため、その形状が変形された撮像されていた場合には、その変形を補正する変換テーブルを生成することが可能である。幾何補正部２３５は、形状が変形されて撮像された画像Ｇ１の画素座標を、元の形状の座標値に変換する変換テーブルを生成する。そして、幾何補正部２３５は、生成した変換テーブルを用いて、対象物が撮像された画像における対象物の形状を補正する。なお、格子画像における格子点の位置に基づいて、格子点の間隔が等間隔となるように、また格子点を接続させた線が画像における垂直方向或いは水平方向に沿うように補正してもよい。 Here, a method for correcting the shape of the object captured in the image by the geometric correction unit 235 will be described with reference to FIG. 8 . FIG. 8 is a diagram illustrating processing for correcting the shape of an object captured in an image according to the embodiment. The upper part of FIG. 8 shows an example of the image G1 before correction. The lower portion of FIG. 8 shows an example of an image G2 whose shape has been corrected. In this example, an image of a grid pattern (hereinafter referred to as a grid image) is used to make it easier to understand the shape of the object. In this embodiment, for example, a chart image CHG can be used as the image G1. Since the shapes of the color patches CP and the codes CD on the chart CH are known, if the image is captured with the shape deformed, it is possible to generate a conversion table for correcting the deformation. The geometric correction unit 235 generates a conversion table that converts the pixel coordinates of the image G1 whose shape has been deformed into the coordinate values of the original shape. Then, the geometric correction unit 235 uses the generated conversion table to correct the shape of the object in the captured image of the object. Further, based on the positions of the grid points in the grid image, correction may be made so that the intervals between the grid points are equal and the line connecting the grid points is along the vertical or horizontal direction of the image. .

ここで、撮像端末１０に表示されるＵＩ（ユーザインタフェース）の例を説明する。図９は、実施形態に係る撮像端末１０の表示の例を示す図である。 Here, an example of a UI (user interface) displayed on the imaging terminal 10 will be described. FIG. 9 is a diagram showing an example of display on the imaging terminal 10 according to the embodiment.

図９Ａに示すように、例えば、表示部１４には、ボタンＢＴ１、ＢＴ２が表示される。ボタンＢＴ１はボックスＢＸを増やす、つまり新規に生成する操作子である。ボタンＢＴ２はボックスＢＸを減らす、つまり作成済みのボックスＢＸを削除する操作子である。例えば、ボタンＢＴ１が操作されると、ボックスＢＸ（例えば、ボックスＢＸ１、或いはボックスＢＸ１が生成済である場合にはボックスＢＸ２）が新規に生成される。 As shown in FIG. 9A, for example, the display unit 14 displays buttons BT1 and BT2. The button BT1 is an operator for increasing the number of boxes BX, that is, for creating new boxes. The button BT2 is an operator for reducing the number of boxes BX, that is, for deleting boxes BX that have already been created. For example, when the button BT1 is operated, a box BX (for example, a box BX1 or a box BX2 if the box BX1 has already been generated) is newly generated.

例えば、新規に生成されたボックスＢＸには、まず、「黒画像を入れて下さい」等のメッセージが表示される。ユーザは、メッセージにしたがい、ボックスＢＸに対して黒色画像ＫＧをドラッグアンドドロップする操作を行う。ボックスＢＸに黒色画像ＫＧをドラッグアンドドロップする操作が行われると、ボックスＢＸの表示が変わり、ボックスＢＸには「白画像を入れて下さい」等のメッセージが表示される。
ボックスＢＸに白色画像ＷＧをドラッグアンドドロップする操作が行われると、ボックスＢＸの表示が変わり、ボックスＢＸには、「チャート画像を入れて下さい」等のメッセージが表示される。
ボックスＢＸにチャート画像ＣＨＧをドラッグアンドドロップする操作が行われると、画像処理サーバ２０により第１色変換テーブルの生成が行われる。例えば、第１色変換テーブルが完成し、色変換が可能な状態となると、表示部１４には、チャート画像ＣＨＧの外枠が赤色等の特定の色で囲まれ、色変換が可能である旨が表示される。色変換が可能となったボックスＢＸに対し、色を変換したい画像（対象物画像）がドラッグアンドドロップする操作が行われると、画像処理サーバ２０により色の変換が行われる。色が変換された後の画像は、例えば、図示しないダウンロードフォルダなどに格納され、ユーザが自由にダウンロードできる状態となる。 For example, a message such as "Please insert a black image" is displayed in the newly generated box BX. According to the message, the user performs an operation of dragging and dropping the black image KG to the box BX. When an operation of dragging and dropping the black image KG to the box BX is performed, the display of the box BX is changed, and a message such as "please insert a white image" is displayed in the box BX.
When an operation of dragging and dropping the white image WG to the box BX is performed, the display of the box BX is changed, and a message such as "Please insert a chart image" is displayed in the box BX.
When the chart image CHG is dragged and dropped onto the box BX, the image processing server 20 generates the first color conversion table. For example, when the first color conversion table is completed and color conversion becomes possible, the outer frame of the chart image CHG is surrounded by a specific color such as red on the display unit 14 to indicate that color conversion is possible. is displayed. When an image (object image) whose color is to be converted is dragged and dropped to the box BX whose color can be converted, the image processing server 20 performs color conversion. The image after color conversion is stored in, for example, a download folder (not shown), and can be freely downloaded by the user.

図９Ｂに示すように、例えば、表示部１４には、３つのボックスＢＸ３－１～ＢＸ３－３が表示される。例えば、ボックスＢＸ３－１には、「チャート画像の画像ファイルをドラッグアンドドロップして下さい」などのメッセージが表示される。ボックスＢＸ３－２には、「対象物画像の画像ファイルをドラッグアンドドロップして下さい」などのメッセージが表示される。ボックスＢＸ３－３には、「補正した画像が表示されます」などのメッセージが表示される。ユーザは、表示部１４に表示されたメッセージにしたがい、ボックスＢＸ３－１～ＢＸ３－２のそれぞれに対して、チャート画像ＣＨＧ、及び対象物画像をドラッグアンドドロップする。これにより、チャート画像ＣＨＧの画像情報が画像処理サーバ２０に送信され、画像処理サーバ２０により第１色変換テーブルが生成される。画像処理サーバ２０は、生成した第１色変換テーブルを用いて、対象物画像の色を変換し、ボックスＢＸ３－３に、色が変換された対象物画像を表示させる。なお、白色画像ＷＧ及び黒色画像ＫＧを画像処理サーバ２０に送信するためのボックスが、ボックスＢＸ３－１、ＢＸ３－２と同様に表示されるように構成されてもよい。 As shown in FIG. 9B, for example, the display unit 14 displays three boxes BX3-1 to BX3-3. For example, the box BX3-1 displays a message such as "please drag and drop the image file of the chart image". A box BX3-2 displays a message such as "please drag and drop the image file of the object image". A box BX3-3 displays a message such as "the corrected image is displayed". The user drags and drops the chart image CHG and the object image to each of the boxes BX3-1 and BX3-2 according to the message displayed on the display unit 14. FIG. Accordingly, the image information of the chart image CHG is transmitted to the image processing server 20, and the image processing server 20 generates the first color conversion table. The image processing server 20 converts the color of the object image using the generated first color conversion table, and displays the color-converted object image in the box BX3-3. Note that boxes for transmitting the white image WG and the black image KG to the image processing server 20 may be configured to be displayed in the same manner as the boxes BX3-1 and BX3-2.

ここで、画像処理システム１が行う処理の流れについて、図１０～図１２を用いて説明する。図１０～図１２は、実施形態に係る画像処理システム１が行う処理の流れを示すフローチャートである。 Here, the flow of processing performed by the image processing system 1 will be described with reference to FIGS. 10 to 12. FIG. 10 to 12 are flowcharts showing the flow of processing performed by the image processing system 1 according to the embodiment.

図１０には、チャートＣＨを生成した時に行われる処理の流れが示されている。まず、チャートＣＨが印刷されるなどして生成される（ステップＳ１）。チャートＣＨの印刷は、印刷機が行ってもよいし、他のプリンタにより行われてもよい。次に、チャートＣＨの色情報が測定される。色情報の測定は、サービス提供者が行ってもよいし、サービス利用者が所有する測色器により行われてもよい。そして、画像処理サーバ２０は、測定された色情報とシリアル番号（コード番号）及びチャートの特性と対応づけた情報を、チャート情報２２０として記憶部２２に記憶させる（ステップＳ３）。 FIG. 10 shows the flow of processing performed when the chart CH is generated. First, a chart CH is generated by being printed (step S1). The chart CH may be printed by a printing machine or by another printer. Next, the color information of chart CH is measured. The color information may be measured by the service provider or by a colorimeter owned by the service user. Then, the image processing server 20 stores information associated with the measured color information, the serial number (code number), and the characteristics of the chart in the storage unit 22 as the chart information 220 (step S3).

図１１には、画像処理サーバ２０による、色変換テーブル生成、画像補正、及び色変換のそれぞれの処理の流れが示されている。まず、画像処理サーバ２０は、チャート画像ＣＨＧを取得する（ステップＳ１０）。次に、画像処理サーバ２０は、チャート画像ＣＨＧに撮像されたチャートＣＨのチャート情報２２０を取得する（ステップＳ１１）。画像処理サーバ２０は、チャートＣＨに示されたコードＣＤを読取ることによって、コードＣＤに対応するチャート情報２２０を取得する。次に、画像処理サーバ２０は、取得したチャート情報２２０におけるチャートＣＨの色情報を取得する（ステップＳ１２）。画像処理サーバ２０は、チャート画像ＣＨＧの画像情報と、チャートＣＨの色情報とを用いて、第１色変換テーブルを生成する（ステップＳ１３）。 FIG. 11 shows the flow of each process of color conversion table generation, image correction, and color conversion by the image processing server 20 . First, the image processing server 20 acquires the chart image CHG (step S10). Next, the image processing server 20 acquires the chart information 220 of the chart CH captured in the chart image CHG (step S11). The image processing server 20 acquires the chart information 220 corresponding to the code CD by reading the code CD indicated on the chart CH. Next, the image processing server 20 acquires the color information of the chart CH in the acquired chart information 220 (step S12). The image processing server 20 uses the image information of the chart image CHG and the color information of the chart CH to generate a first color conversion table (step S13).

次に、画像処理サーバ２０は、対象物が撮像された画像（対象物画像）を取得する（ステップＳ１４）。画像処理サーバ２０は、第１色変換テーブル及び第２色変換テーブルを用いて、画像の色を変換する（ステップＳ１５）。画像処理サーバ２０は、必要に応じて、画像に撮像された対象物の形状を補正する（ステップＳ１６）。なお、ステップＳ１０～Ｓ１３は少なくとも１回実行さればよく、ステップＳ１４～Ｓ１６は、対象物画像に応じて複数回繰り返し実行されてもよい。 Next, the image processing server 20 acquires an image of the object (object image) (step S14). The image processing server 20 converts the color of the image using the first color conversion table and the second color conversion table (step S15). The image processing server 20 corrects the shape of the object captured in the image as necessary (step S16). Note that steps S10 to S13 may be executed at least once, and steps S14 to S16 may be repeatedly executed a plurality of times according to the object image.

図１２Ａには、図１１におけるステップＳ１３、つまり画像処理サーバ２０が第１色変換テーブルを生成する処理の詳細な流れが示されている。
以下では、チャート画像ＣＨＧに写り込みの補正（黒補正ともいう）、及び、照明ムラの補正（白補正ともいう）の両方を行う場合を例示して説明する。しかしながらこれに限定されない。チャート画像ＣＨＧに対し、黒補正及び白補正を行わなくともよいし、黒補正及び白補正のいずれか一方のみが行われてもよい。
画像処理サーバ２０は、黒補正後チャート画像を生成する（ステップＳ１３０）。黒補正後チャート画像は、写り込みを補正した（黒補正をした）チャート画像である。画像処理サーバ２０は、黒色画像ＫＧを取得し、取得した黒色画像ＫＧを用いて、画素ごとにチャート画像ＣＨＧの画素値から黒色画像ＫＧ１の画素値を引くことにより黒補正後チャート画像を生成する。
次に、画像処理サーバ２０は、黒補正後白画像を生成する（ステップＳ１３１）。黒補正後白画像は写り込みを補正した白色画像である。画像処理サーバ２０は、白色画像ＷＧを取得し、黒色画像ＫＧを用いて、画素ごとに白色画像ＷＧの画素値から黒色画像ＫＧ１の画素値を引くことにより黒補正後白画像を生成する。
次に、画像処理サーバ２０は、黒白補正後チャート画像を生成する（ステップＳ１３２）。黒白補正後チャート画像は、照明ムラを補正した黒補正後チャート画像である。画像処理サーバ２０は、画素ごとに黒補正後チャート画像の画素値を黒補正後白画像の画素値で除算し、さらに黒補正後白画像における画素値の平均値を乗算することにより黒白補正後チャート画像を生成する。画像処理サーバ２０は、黒白補正後チャート画像を用いて、第１色変換テーブルを生成する。 FIG. 12A shows the detailed flow of step S13 in FIG. 11, that is, the process of the image processing server 20 generating the first color conversion table.
In the following, a case in which both reflection correction (also referred to as black correction) and illumination unevenness correction (also referred to as white correction) are performed on the chart image CHG will be described as an example. However, it is not limited to this. Black correction and white correction may not be performed on chart image CHG, or only one of black correction and white correction may be performed.
The image processing server 20 generates a chart image after black correction (step S130). The chart image after black correction is a chart image in which reflection has been corrected (black correction has been performed). The image processing server 20 acquires the black image KG, and uses the acquired black image KG to subtract the pixel values of the black image KG1 from the pixel values of the chart image CHG for each pixel, thereby generating a chart image after black correction. .
Next, the image processing server 20 generates a white image after black correction (step S131). A white image after black correction is a white image in which reflection is corrected. The image processing server 20 acquires the white image WG and uses the black image KG to subtract the pixel values of the black image KG1 from the pixel values of the white image WG for each pixel to generate a white image after black correction.
Next, the image processing server 20 generates a black-and-white corrected chart image (step S132). The black-and-white corrected chart image is a black-corrected chart image in which illumination unevenness is corrected. The image processing server 20 divides the pixel value of the black-corrected chart image by the pixel value of the black-corrected white image for each pixel, and multiplies the pixel value of the black-corrected white image by the average value of the pixel values of the black-corrected white image. Generate a chart image. The image processing server 20 generates a first color conversion table using the chart image after black and white correction.

図１２Ｂには、図１１におけるステップＳ１５、つまり画像処理サーバ２０が対象物画像の色を変換する処理の詳細な流れが示されている。
対象物画像に撮像された対象物が平面物である場合、対象物画像に黒補正及び白補正を行ってよい。一方、対象物が立体物である場合、対象物画像に対し黒補正及び白補正を行わない。
以下では、対象物が平面物であり、対象物画像に黒補正及び白補正の両方を行う場合を例示して説明する。しかしながらこれに限定されない。対象物が平面物であっても、対象物画像に対し黒補正及び白補正を行わなくともよいし、黒補正及び白補正のいずれか一方のみが行われてもよい。
画像処理サーバ２０は、黒補正後対象物画像を生成する（ステップＳ１５０）。黒補正後対象物画像は写り込みを補正した対象物画像である。画像処理サーバ２０は、黒色画像ＫＧを用いて、画素ごとに対象物画像の画素値から黒色画像ＫＧ１の画素値を引くことにより黒補正後対象物画像を生成する。
次に、画像処理サーバ２０は、黒白補正後対象物画像を生成する（ステップＳ１５１）。黒白補正後対象物画像は照明ムラを補正した黒補正後対象物画像である。画像処理サーバ２０は、黒補正後白画像を用いて、画素ごとに黒補正後対象物画像の画素値を、黒補正後白画像の画素値で除算し、さらに黒補正後白画像における画素値の平均値を乗算することにより黒白補正後対象物画像を生成する。
次に、画像処理サーバ２０は、第１色変換後の対象物画像を生成する（ステップＳ１５２）。第１色変換後の対象物画像は、第１色変換テーブルを用いて色を変換した黒白補正後対象物画像である。画像処理サーバ２０は、画素ごとに、黒白補正後対象物画像の画素値を第１色変換テーブルに応じて変換することにより第１色変換後の対象物画像を生成する。
そして、画像処理サーバ２０は、第２色変換後の対象物画像を生成する（ステップＳ１５３）。第２色変換後の対象物画像は、第２色変換テーブルを用いて色を変換した、第１色変換後の対象物画像である。画像処理サーバ２０は、画素ごとに、第１色変換後の対象物画像における画素値を、第２色変換テーブルに応じて変換することにより第２色変換後の対象物画像を生成する。 FIG. 12B shows the detailed flow of step S15 in FIG. 11, that is, the processing in which the image processing server 20 converts the color of the object image.
When the object imaged in the object image is a planar object, black correction and white correction may be performed on the object image. On the other hand, when the object is a three-dimensional object, black correction and white correction are not performed on the object image.
In the following, a case where the object is a plane object and both black correction and white correction are performed on the object image will be described as an example. However, it is not limited to this. Even if the object is a flat object, it is not necessary to perform the black correction and the white correction on the object image, or only one of the black correction and the white correction may be performed.
The image processing server 20 generates an object image after black correction (step S150). The object image after black correction is the object image in which reflection is corrected. Using the black image KG, the image processing server 20 subtracts the pixel values of the black image KG1 from the pixel values of the target image for each pixel to generate the target image after black correction.
Next, the image processing server 20 generates an object image after black-and-white correction (step S151). The object image after black-and-white correction is the object image after black correction in which illumination unevenness is corrected. Using the black-corrected white image, the image processing server 20 divides the pixel value of the black-corrected target image for each pixel by the pixel value of the black-corrected white image, and further divides the pixel value of the black-corrected white image. A black-and-white corrected object image is generated by multiplying the average value of .
Next, the image processing server 20 generates an object image after the first color conversion (step S152). The object image after the first color conversion is the object image after black-and-white correction in which the colors are converted using the first color conversion table. The image processing server 20 generates an object image after the first color conversion by converting pixel values of the object image after black and white correction according to the first color conversion table for each pixel.
The image processing server 20 then generates an object image after the second color conversion (step S153). The object image after the second color conversion is the object image after the first color conversion, the color of which is converted using the second color conversion table. The image processing server 20 converts pixel values in the object image after the first color conversion for each pixel according to the second color conversion table to generate the object image after the second color conversion.

以上、説明したように、実施形態に係る画像処理サーバ２０は、記憶部２２と、取得部２３０と、生成部２３３と、色変換部２３４とを備える。記憶部２２は、チャート情報２２０を記憶する。チャート情報２２０は、チャートＣＨの識別情報と、当該チャートＣＨの色情報とが対応づけられた情報である。取得部２３０は、チャート画像ＣＨＧを取得する。チャート画像ＣＨＧはチャートＣＨが撮像された画像である。生成部２３３は、チャート画像ＣＨＧに撮像されたチャートＣＨの識別情報に基づいて記憶部２２からチャートＣＨの色情報を取得する。生成部２３３は、取得した色情報と、チャート画像ＣＨＧの画像情報とを用いて第１色変換テーブルを生成する。色変換部２３４は、第１色変換テーブル及び第２色変換テーブルを用いて、対象物画像の色を変換する。第２色変換テーブルは、色を変換した画像を出力する出力先に対応して予め記憶された色変換テーブルである。対象物画像は、チャート画像ＣＨＧが撮像された撮像環境にて対象物が撮像された画像である。 As described above, the image processing server 20 according to the embodiment includes the storage unit 22, the acquisition unit 230, the generation unit 233, and the color conversion unit 234. The storage unit 22 stores chart information 220 . The chart information 220 is information in which the identification information of the chart CH and the color information of the chart CH are associated with each other. Acquisition unit 230 acquires chart image CHG. The chart image CHG is an image of the chart CH. The generation unit 233 acquires the color information of the chart CH from the storage unit 22 based on the identification information of the chart CH captured in the chart image CHG. The generation unit 233 generates the first color conversion table using the acquired color information and the image information of the chart image CHG. The color converter 234 converts the color of the object image using the first color conversion table and the second color conversion table. The second color conversion table is a color conversion table stored in advance corresponding to an output destination for outputting an image whose color has been converted. The object image is an image of the object captured in the imaging environment in which the chart image CHG was captured.

これにより、実施形態に係る画像処理サーバ２０では、チャートＣＨの正確な色情報を取得することができる。このため、チャートＣＨが特定の色を厳密に示していない場合であっても、正確な色情報に基づく第１色変換テーブルを作成することができる。したがって、安価なチャートＣＨを用いて画像の色を精度よく変換することができる。すなわち、高価なカラーチャートを用いなくとも、画像の色を精度よく変換することができる。 Accordingly, the image processing server 20 according to the embodiment can acquire accurate color information of the chart CH. Therefore, even if the chart CH does not strictly indicate a specific color, it is possible to create the first color conversion table based on accurate color information. Therefore, the color of the image can be converted with high accuracy using the inexpensive chart CH. That is, it is possible to convert the colors of an image with high accuracy without using an expensive color chart.

また、実施形態に係る画像処理サーバ２０は、第１補正部２３１を更に備える。第１補正部２３１は、黒色画像ＫＧの画像情報を用いて、チャート画像ＣＨＧにおける写り込みを補正する。黒色画像ＫＧは、チャート画像ＣＨＧが撮像された撮像環境にて光沢を有する黒色平面が撮像された画像である。取得部２３０は、黒色画像ＫＧを取得する。生成部２３３は、第１補正部２３１によって写り込みが補正されたチャート画像ＣＨＧの画像情報を用いて第１色変換テーブルを生成する。これにより、実施形態に係る画像処理サーバ２０では、チャート画像ＣＨＧが写り込みを有する場合であっても、その写り込みの影響を抑制することができ、画像の色を精度よく変換できる第１色変換テーブルを生成することが可能である。 Also, the image processing server 20 according to the embodiment further includes a first correction unit 231 . The first correction unit 231 corrects reflection in the chart image CHG using the image information of the black image KG. The black image KG is an image of a glossy black plane captured in the imaging environment in which the chart image CHG was captured. Acquisition unit 230 acquires black image KG. The generation unit 233 generates a first color conversion table using the image information of the chart image CHG whose reflection has been corrected by the first correction unit 231 . As a result, in the image processing server 20 according to the embodiment, even if the chart image CHG includes reflections, the effects of the reflections can be suppressed, and the colors of the image can be converted with high accuracy. It is possible to generate a conversion table.

また、実施形態に係る画像処理サーバ２０は、第２補正部２３２を更に備える。第２補正部２３２は、白色画像ＷＧの画像情報を用いて、チャート画像ＣＨＧにおける照明ムラを補正する。白色画像ＷＧは、チャート画像ＣＨＧが撮像された撮像環境にて白色平面が撮像された画像である。取得部２３０は、白色画像ＷＧを取得する。生成部２３３は、第２補正部２３２によって照明ムラが補正されたチャート画像ＣＨＧの画像情報を用いて第１色変換テーブルを生成する。これにより、実施形態に係る画像処理サーバ２０では、チャート画像ＣＨＧが照明ムラを有する場合であっても、その照明ムラの影響を抑制することができ、画像の色を精度よく変換できる第１色変換テーブルを生成することが可能である。また、対象物画像が、平面物体が撮像された画像である場合、色変換部２３４は、対象物画像における光沢及び／又は照明ムラを補正した画像の色を、第１色変換テーブルを用いて変換するように構成されてもよい。 Also, the image processing server 20 according to the embodiment further includes a second correction unit 232 . The second correction unit 232 corrects illumination unevenness in the chart image CHG using the image information of the white image WG. The white image WG is an image of a white plane captured in the imaging environment in which the chart image CHG was captured. Acquisition unit 230 acquires white image WG. The generation unit 233 generates the first color conversion table using the image information of the chart image CHG whose illumination unevenness has been corrected by the second correction unit 232 . As a result, even if the chart image CHG has illumination unevenness, the image processing server 20 according to the embodiment can suppress the influence of the illumination unevenness, and can convert the colors of the image with high accuracy. It is possible to generate a conversion table. Further, when the object image is an image of a plane object captured, the color conversion unit 234 converts the color of the image corrected for glossiness and/or illumination unevenness in the object image using the first color conversion table. may be configured to transform.

また、実施形態に係る画像処理サーバ２０は、幾何補正部２３５を更に備える。幾何補正部２３５は、チャート画像ＣＨＧに撮像されたチャートＣＨの形状に基づいて、画像に撮像された対象物の形状を補正する。この場合、チャートＣＨは、平面物体である。また、対象物は平面物体である。これにより、実施形態に係る画像処理サーバ２０では、撮像角度に起因して対象物の形状が変形されて撮像された場合であっても、元の形状に補正することができる。また、幾何補正部２３５は、格子画像を用いて、チャート画像ＣＨＧの形状を補正するようにしてもよい。 Also, the image processing server 20 according to the embodiment further includes a geometric correction unit 235 . The geometric correction unit 235 corrects the shape of the object captured in the image based on the shape of the chart CH captured in the chart image CHG. In this case the chart CH is a planar object. Also, the object is a plane object. As a result, in the image processing server 20 according to the embodiment, even if the shape of the object is deformed due to the imaging angle and captured, the shape can be corrected to the original shape. Also, the geometric correction unit 235 may correct the shape of the chart image CHG using a lattice image.

また、実施形態に係る画像処理サーバ２０では、チャートＣＨは、色パッチＣＰとコードＣＤ（コード画像）が印刷されたＤＤＣＰ出力物である。これにより、実施形態に係る画像処理サーバ２０では、チャートＣＨを安価に生成することができる。 In the image processing server 20 according to the embodiment, the chart CH is a DDCP output on which color patches CP and code CD (code image) are printed. As a result, the image processing server 20 according to the embodiment can generate the chart CH at low cost.

また、実施形態に係る画像処理システム１は、画像処理サーバ２０と撮像端末１０とを備える。撮像端末１０は、チャート画像ＣＨＧ、及び対象物が撮像された画像（対象物画像）を画像処理サーバ２０に送信する。これにより、実施形態の画像処理システム１では、撮像端末１０が送信した画像の色を補正することができる。 Also, the image processing system 1 according to the embodiment includes an image processing server 20 and an imaging terminal 10 . The imaging terminal 10 transmits the chart image CHG and an image (object image) in which the object is imaged to the image processing server 20 . Thereby, in the image processing system 1 of the embodiment, the colors of the image transmitted by the imaging terminal 10 can be corrected.

また、実施形態に係る画像処理システム１では、画像処理サーバ２０は、ボックスＢＸ１（操作領域）を撮像端末１０の表示部１４に表示させる。撮像端末１０は、ボックスＢＸ１に対してドラッグアンドドロップ操作されることに応じて、画像を画像処理サーバ２０に送信する。ボックスＢＸ１には「黒画像を入れて下さい」等のメッセージが表示され、表示に応じた画像がドラッグアンドドロップ操作により入力される。
或いは、実施形態に係る画像処理システム１では、画像処理サーバ２０は、ボックスＢＸ３－１（第１操作領域）、及びボックスＢＸ３－２（第２操作領域）のそれぞれを撮像端末１０の表示部１４に表示させるようにしてもよい。撮像端末１０は、ボックスＢＸ３－１に対してドラッグアンドドロップ操作されることに応じて、チャート画像ＣＨＧを画像処理サーバ２０に送信する。撮像端末１０は、ボックスＢＸ３－２に対してドラッグアンドドロップ操作されることに応じて、対象物が撮像された画像を画像処理サーバ２０に送信する。
これにより、実施形態の画像処理システム１では、簡単な操作、つまりドラッグアンドドロップ操作を行うだけで、第１色変換テーブルを作成したり、画像の色を変換したりする処理を実行することができる。したがって、画像処理の専門家でないユーザであっても、簡単な操作により画像の色が本来の色に近づくように画像の色が変換された画像を取得することができる。 Further, in the image processing system 1 according to the embodiment, the image processing server 20 causes the display unit 14 of the imaging terminal 10 to display the box BX1 (operation area). The imaging terminal 10 transmits an image to the image processing server 20 in response to a drag-and-drop operation on the box BX1. A message such as "Please insert a black image" is displayed in the box BX1, and an image corresponding to the display is input by a drag-and-drop operation.
Alternatively, in the image processing system 1 according to the embodiment, the image processing server 20 displays the box BX3-1 (first operation area) and the box BX3-2 (second operation area) on the display unit 14 of the imaging terminal 10. may be displayed. The imaging terminal 10 transmits the chart image CHG to the image processing server 20 in response to the drag-and-drop operation on the box BX3-1. The imaging terminal 10 transmits an image of the object captured to the image processing server 20 in response to the drag-and-drop operation with respect to the box BX3-2.
As a result, in the image processing system 1 of the embodiment, it is possible to create the first color conversion table and convert the color of an image by performing a simple operation, that is, a drag-and-drop operation. can. Therefore, even a user who is not an expert in image processing can obtain an image in which the colors of the image are converted so that the colors of the image are closer to the original colors by a simple operation.

ここで、実施形態の変形例１について説明する。図１３は、実施形態の変形例１に係るチャートＣＨを説明する図である。本変形例では製品のパッケージＨにチャートＣＨが印刷される。例えば、化粧品を購入したユーザが、パッケージＨに印刷されたチャートＣＨのチャート画像ＣＨＧと、そのチャートＣＨを撮像したのと同じ撮像環境で撮像したユーザの肌（例えば、頬や手など）の画像を、画像処理サーバ２０に送信する。画像処理サーバ２０は、画像における肌の色が、本来の肌の色に近づくように画像の色を変換し、変換した画像を、化粧品のメーカに送信する。化粧品のメーカでは、画像処理サーバ２０から受信した画像に基づいて、肌診断を行い、ユーザが購入した製品が、ユーザの肌の色に合っているか、適切に化粧するためにはどのような製品を用いたらよいか等をユーザにアドバイスする。画像処理サーバ２０が、本来の肌の色に近づくように画像の色を変換することにより、化粧品のメーカでは適切なアドバイスを実施することができる。 Modification 1 of the embodiment will now be described. FIG. 13 is a diagram illustrating a chart CH according to Modification 1 of the embodiment. In this modification, the chart CH is printed on the package H of the product. For example, a chart image CHG of a chart CH printed on a package H by a user who purchased cosmetics, and an image of the user's skin (eg, cheeks, hands, etc.) captured in the same imaging environment as the chart CH. is sent to the image processing server 20 . The image processing server 20 converts the color of the image so that the skin color in the image approaches the original skin color, and transmits the converted image to the cosmetics manufacturer. Based on the image received from the image processing server 20, the cosmetics manufacturer performs skin diagnosis to determine whether the product purchased by the user matches the color of the user's skin and what kind of product is suitable for applying makeup. It advises the user whether to use . The image processing server 20 converts the color of the image so as to approximate the original skin color, so that the cosmetics manufacturer can give appropriate advice.

以上説明したように、実施形態の変形例１に係る画像処理サーバ２０では、チャートＣＨは、製品のパッケージＨに印刷される。これにより、事前にチャートＣＨを配布しなくとも、製品を購入したユーザがチャートＣＨを入手することができる。
なお、上記では製品のパッケージＨにチャートＣＨが印刷される場合を例示して説明したが、これに限定されることはない。例えば、雑誌、パンフレット、或いはカタログなどの刊行物に印刷されたチャートＣＨが用いられてもよい。 As described above, in the image processing server 20 according to Modification 1 of the embodiment, the chart CH is printed on the package H of the product. Thereby, the user who purchased the product can obtain the chart CH without distributing the chart CH in advance.
Although the case where the chart CH is printed on the package H of the product has been described above as an example, the present invention is not limited to this. For example, charts CH printed in publications such as magazines, pamphlets, or catalogs may be used.

ここで、実施形態の変形例２について説明する。本変形例では、チャート画像ＣＨＧに代えて、チャート画像ＣＨＧから抽出した情報を画像処理サーバ２０に送信する点において、上述した実施形態と相違する。 Modification 2 of the embodiment will now be described. This modification differs from the above-described embodiment in that information extracted from the chart image CHG is transmitted to the image processing server 20 instead of the chart image CHG.

本変形例では、例えば、撮像端末１０は、チャートＣＨを撮像して得られたチャート画像ＣＨＧから、必要な情報（必要情報）を抽出する。ここでの必要情報は、第１色変換テーブルを生成するために必要な情報である。例えば、必要情報は、色パッチの画素値と、コードＣＤの識別情報（コード番号）を含む。色パッチの画素値は、全ての色パッチのそれぞれの画素値であってもよいし、一部の色パッチの画素値であってもよい。また、色パッチの画素値は、色パッチが印刷された領域における全画素の画素値であってもよいし、当該領域における一部の画素の画素値であってもよいし、当該領域にある画素における画素値の代表値（例えば、平均値など）であってもよい。撮像端末１０は、抽出した必要情報を画像処理サーバ２０に送信する。画像処理サーバ２０は、撮像端末１０から受信した必要情報を、チャート画像ＣＨＧの画像情報の代わりとして用いることにより、第１色変換テーブルを生成する。 In this modification, for example, the imaging terminal 10 extracts necessary information (required information) from the chart image CHG obtained by imaging the chart CH. The required information here is information required to generate the first color conversion table. For example, the necessary information includes pixel values of color patches and identification information (code number) of code CD. The pixel values of the color patches may be the pixel values of all color patches or the pixel values of some of the color patches. Further, the pixel value of the color patch may be the pixel value of all the pixels in the area where the color patch is printed, the pixel value of some pixels in the area, or the pixel value of the pixel in the area. It may be a representative value (for example, an average value) of pixel values in pixels. The imaging terminal 10 transmits the extracted necessary information to the image processing server 20 . The image processing server 20 generates the first color conversion table by using the necessary information received from the imaging terminal 10 instead of the image information of the chart image CHG.

以上説明したように、実施形態の変形例２に係る画像処理サーバ２０では、チャート画像ＣＨＧにおける画像情報から抽出された必要情報を用いて第１色変換テーブルを生成する。必要情報は、色パッチの画素値と、コードＣＤの識別情報（コード番号）を含む。これにより、撮像端末１０から画像処理サーバ２０に送信する情報の容量を低減させ、通信量を抑制することができる。 As described above, the image processing server 20 according to Modification 2 of the embodiment generates the first color conversion table using the necessary information extracted from the image information of the chart image CHG. The necessary information includes pixel values of color patches and identification information (code number) of the code CD. As a result, the amount of information transmitted from the imaging terminal 10 to the image processing server 20 can be reduced, and the amount of communication can be suppressed.

ここで、実施形態の変形例３について説明する。本変形例では、第２色変換テーブルを用いた色変換、すなわち出力先に応じた色変換が、撮像端末１０によって実行される点において、上述した実施形態と相違する。本変形例では、撮像端末１０が、予め第２色変換テーブルを記憶していることを前提とする。 Here, Modification 3 of the embodiment will be described. This modification differs from the above-described embodiment in that color conversion using the second color conversion table, that is, color conversion according to the output destination is executed by the imaging terminal 10 . In this modified example, it is assumed that the imaging terminal 10 stores the second color conversion table in advance.

例えば、画像処理サーバ２０は、第１色変換テーブルを生成し、生成した第１色変換テーブルを用いて対象物画像の色を変換する。画像処理サーバ２０は、第１色変換テーブルを用いて色を変換した対象物画像の画像情報を、撮像端末１０に送信する。撮像端末１０は、受信した画像（第１色変換テーブルを用いて色が変換された対象物画像）の色を、第２色変換テーブルを用いて変換する。 For example, the image processing server 20 generates a first color conversion table and converts the color of the object image using the generated first color conversion table. The image processing server 20 transmits to the imaging terminal 10 the image information of the object image whose color has been converted using the first color conversion table. Imaging terminal 10 converts the color of the received image (object image whose color has been converted using the first color conversion table) using the second color conversion table.

或いは、画像処理サーバ２０は、第１色変換テーブルを生成し、生成した第１色変換テーブルを撮像端末１０に送信するようにしてもよい。この場合、撮像端末１０は、受信した第１色変換テーブルを用いて、対象物画像の色を変換し、さらに第２色変換テーブルを用いて、画像（第１色変換テーブルを用いて色が変換された対象物画像）の色を変換する。 Alternatively, the image processing server 20 may generate a first color conversion table and transmit the generated first color conversion table to the imaging terminal 10 . In this case, the imaging terminal 10 uses the received first color conversion table to convert the color of the object image, and further uses the second color conversion table to convert the image (color is changed using the first color conversion table). Transform the color of the transformed object image).

以上説明したように、実施形態の変形例３に係る画像処理サーバ２０では、第１色変換テーブルを生成し、生成した第１色変換テーブルを用いて対象物画像の色を変換する。画像処理サーバ２０は、第１色変換テーブルを用いて色を変換した対象物画像を撮像端末１０に送信する。これにより、画像処理サーバ２０が行う処理負荷を低減させることができる。
また、実施形態の変形例３に係る画像処理サーバ２０では、第１色変換テーブルを生成し、生成した第１色変換テーブルを撮像端末１０に送信する。これにより、画像処理サーバ２０が撮像端末１０に送信する情報の容量を低減させ、通信量を抑制することができる。 As described above, the image processing server 20 according to Modification 3 of the embodiment generates the first color conversion table and converts the color of the object image using the generated first color conversion table. The image processing server 20 transmits to the imaging terminal 10 the object image whose color has been converted using the first color conversion table. Thereby, the processing load performed by the image processing server 20 can be reduced.
Further, the image processing server 20 according to Modification 3 of the embodiment generates a first color conversion table and transmits the generated first color conversion table to the imaging terminal 10 . As a result, the amount of information that the image processing server 20 transmits to the imaging terminal 10 can be reduced, and the amount of communication can be suppressed.

以上、本発明の各実施形態について説明した。なお、上述した各実施形態における画像処理システム１、撮像端末１０、及び画像処理サーバ２０の全部又は一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 Each embodiment of the present invention has been described above. All or part of the image processing system 1, imaging terminal 10, and image processing server 20 in each of the above-described embodiments may be realized by a computer. In that case, a program for realizing this function may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read into a computer system and executed. It should be noted that the "computer system" referred to here includes hardware such as an OS and peripheral devices. The term "computer-readable recording medium" refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems. Furthermore, "computer-readable recording medium" means a medium that dynamically retains a program for a short period of time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It may also include something that holds the program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or client in that case. Further, the program may be for realizing a part of the functions described above, or may be capable of realizing the functions described above in combination with a program already recorded in the computer system. It may be implemented using a programmable logic device such as an FPGA (Field Programmable Gate Array).

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configurations are not limited to those described above, and various design changes can be made without departing from the gist of the present invention. It is possible to

１ 画像処理システム
１０ 撮像端末
１４ 表示部
１５ 撮像部
２０ 画像処理サーバ
２２０ チャート情報
２３０ 取得部
２３１ 第１補正部
２３２ 第２補正部
２３３ 生成部
２３４ 色変換部
２３５ 幾何補正部 1 image processing system 10 imaging terminal 14 display unit 15 imaging unit 20 image processing server 220 chart information 230 acquisition unit 231 first correction unit 232 second correction unit 233 generation unit 234 color conversion unit 235 geometric correction unit

Claims (8)

チャートの識別情報と当該チャートの色情報とが対応づけられたチャート情報を記憶する記憶部と、
前記チャートは、色パッチと前記チャートの識別情報が埋め込まれたコード画像とが印刷された出力物であり、
前記チャートが撮像されたチャート画像を取得する取得部と、
前記チャート画像に撮像された前記チャートの識別情報に基づいて前記記憶部から前記チャートの色情報を取得し、取得した色情報と前記チャート画像の画像情報とを用いて第１色変換テーブルを生成する生成部と、
前記第１色変換テーブル、及び色を変換した画像を出力する出力先に対応して予め記憶された第２色変換テーブルを用いて、前記チャート画像が撮像された撮像環境にて対象物が撮像された対象物画像の色を変換する色変換部と、
を備える画像処理サーバ。 a storage unit that stores chart information in which identification information of a chart and color information of the chart are associated;
The chart is an output printed with color patches and a code image in which identification information of the chart is embedded,
an acquisition unit that acquires a chart image in which the chart is captured;
Color information of the chart is acquired from the storage unit based on identification information of the chart imaged in the chart image, and a first color conversion table is generated using the acquired color information and image information of the chart image. a generator that
Using the first color conversion table and a second color conversion table stored in advance corresponding to an output destination for outputting the color-converted image, an object is captured in an imaging environment in which the chart image was captured. a color conversion unit that converts the color of the object image obtained;
An image processing server comprising: 前記撮像環境にて光沢を有する黒色平面が撮像された黒色画像の画像情報を用いて、前記チャート画像における光沢を補正する第１補正部を更に備え、
前記取得部は、前記黒色画像を取得し、前記取得した黒色画像を前記第１補正部に出力し、
前記生成部は、前記第１補正部によって補正された前記チャート画像の画像情報を用いて前記第１色変換テーブルを生成する、
請求項１に記載の画像処理サーバ。 further comprising a first correction unit that corrects gloss in the chart image using image information of a black image in which a glossy black plane is captured in the imaging environment;
The acquisition unit acquires the black image, outputs the acquired black image to the first correction unit,
The generation unit generates the first color conversion table using image information of the chart image corrected by the first correction unit.
The image processing server according to claim 1. 前記撮像環境にて白色平面が撮像された白色画像の画像情報を用いて、前記チャート画像における照明ムラを補正する第２補正部を更に備え、
前記取得部は、前記白色画像を取得し、前記取得した白色画像を前記第２補正部に出力し、
前記生成部は、前記第２補正部によって補正された前記チャート画像の画像情報を用いて前記第１色変換テーブルを生成する、
請求項１又は請求項２に記載の画像処理サーバ。 A second correction unit that corrects illumination unevenness in the chart image using image information of a white image in which a white plane is captured in the imaging environment,
The acquisition unit acquires the white image, outputs the acquired white image to the second correction unit,
The generation unit generates the first color conversion table using the image information of the chart image corrected by the second correction unit.
The image processing server according to claim 1 or 2. 前記チャートは、製品のパッケージ、又は刊行物に印刷される、
請求項１から請求項３のいずれか一項に記載の画像処理サーバ。 The chart is printed on a product package or a publication,
The image processing server according to any one of claims 1 to 3 . 請求項１から請求項４のいずれか一項に記載の画像処理サーバと、
チャート画像及び対象物画像を前記画像処理サーバに送信する撮像端末と、
を備え、
前記チャートは、色パッチと前記チャートの識別情報が埋め込まれたコード画像とが印刷された出力物であり、
前記対象物画像は、前記チャート画像が撮像された撮像環境にて対象物が撮像された画像である、
画像処理システム。 an image processing server according to any one of claims 1 to 4 ;
an imaging terminal that transmits a chart image and an object image to the image processing server;
with
The chart is an output printed with color patches and a code image in which identification information of the chart is embedded,
The object image is an image of the object captured in an imaging environment in which the chart image was captured.
image processing system. 前記画像処理サーバは、前記撮像端末に対して行われた操作に応じて前記撮像端末の表示部に操作領域を表示させ、
前記撮像端末は、前記操作領域に対してドラッグアンドドロップ操作されることにより前記操作領域に入力された画像の画像情報を取得し、前記取得した画像情報を前記画像処理サーバに送信する、
請求項５に記載の画像処理システム。 The image processing server causes a display unit of the imaging terminal to display an operation area in accordance with an operation performed on the imaging terminal,
The imaging terminal acquires image information of an image input to the operation area by performing a drag-and-drop operation on the operation area, and transmits the acquired image information to the image processing server.
The image processing system according to claim 5 . チャートの識別情報と当該チャートの色情報とが対応づけられたチャート情報を記憶する記憶部を備える画像処理サーバであるコンピュータが行う画像処理方法であって、
前記チャートは、色パッチと前記チャートの識別情報が埋め込まれたコード画像とが印刷された出力物であり、
取得部が、前記チャートが撮像されたチャート画像を取得し、
生成部が、前記チャート画像に撮像された前記チャートの識別情報に基づいて前記記憶部から前記チャートの色情報を取得し、取得した色情報と前記チャート画像の画像情報とを用いて第１色変換テーブルを生成し、
色変換部が、前記第１色変換テーブル、及び色を変換した画像を出力する出力先に対応して予め記憶された第２色変換テーブルを用いて、前記チャート画像が撮像された撮像環境にて対象物が撮像された対象物画像の色を変換する、
画像処理方法。 An image processing method performed by a computer, which is an image processing server, including a storage unit that stores chart information in which identification information of a chart and color information of the chart are associated with each other, comprising:
The chart is an output printed with color patches and a code image in which identification information of the chart is embedded,
an acquisition unit acquiring a chart image in which the chart is captured;
A generation unit acquires color information of the chart from the storage unit based on identification information of the chart imaged in the chart image, and generates a first color using the acquired color information and image information of the chart image. generate a conversion table,
A color conversion unit uses the first color conversion table and a second color conversion table stored in advance corresponding to an output destination for outputting a color-converted image to convert the chart image into an imaging environment in which the chart image was captured. converting the color of the object image in which the object is captured by
Image processing method. チャートの識別情報と当該チャートの色情報とが対応づけられたチャート情報を記憶する記憶部を備える画像処理サーバであるコンピュータに、
前記チャートが撮像されたチャート画像を取得させ、
前記チャート画像に撮像された前記チャートの識別情報に基づいて前記記憶部から前記チャートの色情報を取得し、取得した色情報と前記チャート画像の画像情報とを用いて第１色変換テーブルを生成させ、
前記第１色変換テーブル、及び色を変換した画像を出力する出力先に対応して予め記憶された第２色変換テーブルを用いて、前記チャート画像が撮像された撮像環境にて対象物が撮像された対象物画像の色を変換させ、
前記チャートは、色パッチと前記チャートの識別情報が埋め込まれたコード画像とが印刷された出力物である、
プログラム。 A computer, which is an image processing server, having a storage unit that stores chart information in which identification information of a chart and color information of the chart are associated with each other;
obtaining a chart image in which the chart is captured;
Color information of the chart is acquired from the storage unit based on identification information of the chart imaged in the chart image, and a first color conversion table is generated using the acquired color information and image information of the chart image. let
Using the first color conversion table and a second color conversion table stored in advance corresponding to an output destination for outputting the color-converted image, an object is captured in an imaging environment in which the chart image was captured. convert the color of the target object image obtained ,
The chart is an output printed with color patches and a code image in which identification information of the chart is embedded .
program.
JP2022020594A 2022-02-14 2022-02-14 Image processing server, image processing system, image processing method, and program Active JP7131727B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022020594A JP7131727B1 (en) 2022-02-14 2022-02-14 Image processing server, image processing system, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022020594A JP7131727B1 (en) 2022-02-14 2022-02-14 Image processing server, image processing system, image processing method, and program

Publications (2)

Publication Number Publication Date
JP7131727B1 true JP7131727B1 (en) 2022-09-06
JP2023117827A JP2023117827A (en) 2023-08-24

Family

ID=83188044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022020594A Active JP7131727B1 (en) 2022-02-14 2022-02-14 Image processing server, image processing system, image processing method, and program

Country Status (1)

Country Link
JP (1) JP7131727B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3803441B2 (en) * 1996-11-29 2006-08-02 富士写真フイルム株式会社 Color conversion method
JP2007228278A (en) * 2006-02-23 2007-09-06 Fujifilm Corp Image output system, and information display device
WO2020162478A1 (en) * 2019-02-05 2020-08-13 凸版印刷株式会社 Color conversion information generation method, color conversion information generation system, and program
JP2022006827A (en) * 2020-06-25 2022-01-13 凸版印刷株式会社 Image processing device, image processing system, image processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3803441B2 (en) * 1996-11-29 2006-08-02 富士写真フイルム株式会社 Color conversion method
JP2007228278A (en) * 2006-02-23 2007-09-06 Fujifilm Corp Image output system, and information display device
WO2020162478A1 (en) * 2019-02-05 2020-08-13 凸版印刷株式会社 Color conversion information generation method, color conversion information generation system, and program
JP2022006827A (en) * 2020-06-25 2022-01-13 凸版印刷株式会社 Image processing device, image processing system, image processing method, and program

Also Published As

Publication number Publication date
JP2023117827A (en) 2023-08-24

Similar Documents

Publication Publication Date Title
JP7075687B2 (en) Color conversion system, color conversion device and color conversion method
US10735627B2 (en) Color conversion table creation apparatus and method, color conversion apparatus, and program
JP3890211B2 (en) Image processing method, image processing apparatus, program, and storage medium
EP2651112B1 (en) Color processing method, color processing device, and color processing system
US20170251128A1 (en) Color conversion table creation device and method, program, and recording medium
CN103428404B (en) Color processing apparatus and color processing method
US8786898B2 (en) Color selecting method, image processing method, image processing apparatus, and computer-readable recording medium storing program
US20150009535A1 (en) System for distributing and controlling color reproduction at multiple sites
US8681375B2 (en) Color selecting method, image processing method, image processing apparatus, and computer-readable recording medium storing program for printing a color chart having a plurality of color patches
JP2009016922A (en) Image processing device, and image processing program
US10678159B2 (en) Apparatus, system, and method
JP3990859B2 (en) Color processing method and apparatus
US8031939B2 (en) Color processing method and apparatus
JP7131727B1 (en) Image processing server, image processing system, image processing method, and program
JP2008177783A (en) Color conversion device and program
JP2010171948A (en) Apparatus, system, method and program for processing image
JP4974030B2 (en) Image processing apparatus and image processing method
JP5813545B2 (en) Profile generation apparatus and method, image processing apparatus and method, program, and printing system
JP4533291B2 (en) Color processing method and apparatus
JP2016025635A (en) Image processing system and method of the same
JP2005215353A (en) Image data generating device for generating image data reproducible with a plurality of gradation characteristics and image reproducing device corresponding thereto
US9531919B2 (en) Image processing apparatus, image processing method, and recording medium that color-convert an input image into an output image suitable for a color gamut of a printing apparatus
JP7402992B2 (en) Image correction device, image correction method, program and recording medium
JP7106318B2 (en) Image processing device, image processing method and program
CA2247005C (en) A system for distributing and controlling color reproduction at multiple sites

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220214

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7131727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157