JP7047596B2 - Image correction system and image correction method - Google Patents

Image correction system and image correction method Download PDF

Info

Publication number
JP7047596B2
JP7047596B2 JP2018100940A JP2018100940A JP7047596B2 JP 7047596 B2 JP7047596 B2 JP 7047596B2 JP 2018100940 A JP2018100940 A JP 2018100940A JP 2018100940 A JP2018100940 A JP 2018100940A JP 7047596 B2 JP7047596 B2 JP 7047596B2
Authority
JP
Japan
Prior art keywords
color
image
color correction
information
unregistered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018100940A
Other languages
Japanese (ja)
Other versions
JP2019205142A (en
Inventor
一賢 佐野
崇 稲村
貴也 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2018100940A priority Critical patent/JP7047596B2/en
Publication of JP2019205142A publication Critical patent/JP2019205142A/en
Application granted granted Critical
Publication of JP7047596B2 publication Critical patent/JP7047596B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像補正システム及び画像補正方法に関する。 The present invention relates to an image correction system and an image correction method.

標準光源下ではなく任意の光源の環境光下で撮像した場合、撮像対象物を撮像した画像(以下、撮像画像という)において、撮像対象物の実物の色と、表示装置に表示させた撮像対象物の撮像画像の色の見えとが異なってしまう。このため、撮像対象物の実物の色と表示装置に表示される撮像画像の色の各々の見え（視認される色）を一致させる、撮像画像の色を補正するカラーマネジメントという手法が知られている。
例えば、特許文献１には、被写体（対象物）の撮像画像と、既知の三刺激値をもつ複数の色票からなる指定チャートの撮像画像とを取得することにより、被写体の撮像画像を撮像条件に合わせて補正する技術が開示されている。 When an image is taken under ambient light of an arbitrary light source instead of under a standard light source, the actual color of the imaged object and the imaged object displayed on the display device in the image taken by the imaged object (hereinafter referred to as the image taken). The appearance of the color of the captured image of the object is different. For this reason, a technique called color management that corrects the color of an imaged image by matching the appearance (visible color) of the actual color of the imaged object with the color of the image captured image displayed on the display device is known. There is.
For example, in Patent Document 1, the captured image of the subject is captured by acquiring the captured image of the subject (object) and the captured image of the designated chart consisting of a plurality of color charts having known tristimulus values. The technique of correcting according to the above is disclosed.

特開２００２－１５２７６８号公報Japanese Unexamined Patent Publication No. 2002-152768

しかしながら、特許文献１においては、被写体と指定チャートを一緒に撮像する場合には撮像時に指定チャートを所持していなければならず、ユーザとしては指定チャートの入手などの処理が必要となり手間がかかる。
また、任意の光源の環境光下で撮像した画像を、異なる光源の環境光下で観察した色の見えで表示する場合、撮像対象物を実物で観察する環境における光源の分光エネルギー分布が必要となるが、全てのユーザが光源の分光エネルギー分布を計測する計測器を有しているわけではない。 However, in Patent Document 1, when the subject and the designated chart are imaged together, the designated chart must be possessed at the time of imaging, and the user needs to perform processing such as obtaining the designated chart, which is troublesome.
In addition, when displaying an image captured under the ambient light of an arbitrary light source with the appearance of colors observed under the ambient light of a different light source, the spectral energy distribution of the light source in the environment where the object to be imaged is actually observed is required. However, not all users have a measuring instrument that measures the spectral energy distribution of the light source.

本発明は、このような状況に鑑みてなされたもので、ユーザが指定チャートを有している必要が無く、撮像時の光源の環境光や撮像デバイスの特性に依存せずに、特別な計測器を有さずとも所定の光源の環境光下における実物の色の見えに近い画面表示を実現する画像補正システム及び画像補正方法を提供する。 The present invention has been made in view of such a situation, and it is not necessary for the user to have a designated chart, and special measurement is performed without depending on the ambient light of the light source at the time of imaging or the characteristics of the imaging device. Provided are an image correction system and an image correction method that realize a screen display close to the appearance of real colors under ambient light of a predetermined light source without having a device.

本発明の画像補正システムは、ユーザが一般的に所持し、色が参照可能な物体である色補正用物体の物体認識情報及び色情報の各々が記録された色補正用物体データベースと、少なくとも撮像対象物と前記色補正用物体とが同一画像として撮像された撮像画像の色補正を、色補正用物体データベースに記録された前記色補正用物体の色情報を用いて行う色補正部と、前記色補正用物体データベースに記録されていない未登録物体が、前記撮像画像に撮像されているか否かを判定する未登録物体認識部と、前記未登録物体が前記撮像画像に撮像されている場合、前記未登録物体の物体認識情報、及び前記色補正部により色補正された前記撮像画像の画像データを用いて取得された前記未登録物体の色情報を、前記色補正用物体データベースに記録し、前記色補正用物体データベースに登録された前記未登録物体である追加登録物体について、前記追加登録物体における色情報の取得元を示す色情報取得元情報として、前記撮像画像の色補正に用いられた前記色補正用物体の識別情報を記録する追加登録部とを備えることを特徴とする。 The image correction system of the present invention includes a color correction object database in which each of the object recognition information and the color information of a color correction object, which is generally possessed by a user and whose color can be referred to, is recorded, and at least an image pickup. A color correction unit that performs color correction of an image captured by an object and the color correction object as the same image using the color information of the color correction object recorded in the color correction object database, and the above. An unregistered object recognition unit that determines whether or not an unregistered object that is not recorded in the color correction object database is captured in the captured image, and a case where the unregistered object is captured in the captured image. The object recognition information of the unregistered object and the color information of the unregistered object acquired by using the image data of the captured image color-corrected by the color correction unit are recorded in the color correction object database. Regarding the additionally registered object which is the unregistered object registered in the color correction object database, it was used for the color correction of the captured image as the color information acquisition source information indicating the acquisition source of the color information in the additionally registered object. It is characterized by including an additional registration unit for recording the identification information of the color correction object .

本発明の画像補正システムでは、前記追加登録部は、前記撮像画像に撮像されている前記未登録物体の形状に基づいて、前記未登録物体を前記色補正用物体データベースに記録するか否かを判定することを特徴とする。 In the image correction system of the present invention, the additional registration unit determines whether or not to record the unregistered object in the color correction object database based on the shape of the unregistered object captured in the captured image. It is characterized by making a judgment.

本発明の画像補正システムでは、前記追加登録部は、前記撮像画像に撮像されている前記未登録物体と前記色補正用物体との相対的な位置関係に基づいて、前記未登録物体を前記色補正用物体データベースに記録するか否かを判定することを特徴とする。 In the image correction system of the present invention, the additional registration unit obtains the color of the unregistered object based on the relative positional relationship between the unregistered object captured in the captured image and the color correction object. It is characterized in that it is determined whether or not to record in the correction object database.

本発明の画像補正システムは、前記色補正部により行われる色補正に前記追加登録物体を利用するか否かを、前記追加登録物体の前記色情報取得元情報に基づいて判定する利用制限部を更に備えることを特徴とする。 The image correction system of the present invention has a usage restriction unit that determines whether or not to use the additionally registered object for color correction performed by the color correction unit based on the color information acquisition source information of the additionally registered object. Further prepared.

本発明の画像補正システムは、前記追加登録物体の色情報を測定した測定値が取得された場合、前記色補正用物体データベースに記録された当該追加登録物体の色情報を前記測定値に基づいて更新するデータベース更新部を更に備えることを特徴とする。 When the measured value obtained by measuring the color information of the additionally registered object is acquired, the image correction system of the present invention obtains the color information of the additionally registered object recorded in the color correction object database based on the measured value. It is characterized by further including a database update unit for updating.

本発明の画像補正システムは、前記追加登録物体の製版情報が取得された場合、前記色補正用物体データベースに記録された当該追加登録物体の色情報を、前記製版情報を用いて推定される色情報に更新するデータベース更新部を更に備えることを特徴とする。 In the image correction system of the present invention, when the plate making information of the additionally registered object is acquired, the color information of the additionally registered object recorded in the color correction object database is estimated by using the plate making information. It is characterized by further including a database update unit for updating information.

本発明の画像補正システムは、前記色補正用物体データベースに前記追加登録物体が複数登録されており、前記色補正用物体データベースに登録された第１追加登録物体の色情報が更新された場合、前記色補正用物体データベースに登録された前記追加登録物体のうち、前記第１追加登録物体の識別情報が前記色情報取得元情報として記録された第２追加登録物体について、前記第２追加登録物体の色情報を、前記第１追加登録物体において更新された色情報を用いて再度取得し直す色情報再取得部を更に備えることを特徴とする。 In the image correction system of the present invention, when a plurality of the additionally registered objects are registered in the color correction object database and the color information of the first additionally registered object registered in the color correction object database is updated. Among the additional registered objects registered in the color correction object database, the second additional registered object in which the identification information of the first additional registered object is recorded as the color information acquisition source information is the second additional registered object. It is characterized by further including a color information reacquisition unit for reacquiring the color information of the above using the updated color information in the first additionally registered object.

本発明の画像補正方法は、ユーザが一般的に所持し、色が参照可能な物体である色補正用物体の物体認識情報及び色情報の各々が記録された色補正用物体データベースを参照可能な画像補正システムの画像補正方法であって、色補正部が、少なくとも撮像対象物と前記色補正用物体とが同一画像として撮像された撮像画像の色補正を、色補正用物体データベースに記録された前記色補正用物体の色情報を用いて行う色補正過程と、未登録物体認識部が、前記色補正用物体データベースに記録されていない未登録物体が、前記撮像画像に撮像されているか否かを判定する未登録物体認識過程と、追加登録部が、前記未登録物体が前記撮像画像に撮像されている場合、前記未登録物体の物体認識情報、及び前記色補正部により色補正された前記撮像画像の画像データを用いて取得された前記未登録物体の色情報を、前記色補正用物体データベースに記録し、前記色補正用物体データベースに登録された前記未登録物体である追加登録物体について、前記追加登録物体における色情報の取得元を示す色情報取得元情報として、前記撮像画像の色補正に用いられた前記色補正用物体の識別情報を記録する追加登録過程とを含むことを特徴とする。 The image correction method of the present invention can refer to an object recognition information and a color correction object database in which each of the object recognition information and the color information of a color correction object, which is generally possessed by a user and whose color can be referred to, is recorded. In the image correction method of the image correction system, the color correction unit records in the color correction object database the color correction of the captured image in which at least the image pickup object and the color correction object are captured as the same image. A color correction process performed using the color information of the color correction object, and whether or not an unregistered object that is not recorded in the color correction object database by the unregistered object recognition unit is captured in the captured image. The unregistered object recognition process for determining the above, and the additional registration unit, when the unregistered object is captured in the captured image, the object recognition information of the unregistered object and the color correction by the color correction unit. The color information of the unregistered object acquired by using the image data of the captured image is recorded in the color correction object database, and the additionally registered object which is the unregistered object registered in the color correction object database. The color information acquisition source information indicating the acquisition source of the color information in the additionally registered object includes an additional registration process of recording the identification information of the color correction object used for the color correction of the captured image. And.

本発明によれば、ユーザが指定チャートを有している必要が無く、撮像時の光源の環境光や撮像デバイスの特性に依存せずに、特別な計測器を有さずとも所定の光源の環境光下における実物の色の見えに近い画面表示を実現することが可能となる。 According to the present invention, the user does not need to have a designated chart, does not depend on the ambient light of the light source at the time of imaging or the characteristics of the imaging device, and has a predetermined light source without a special measuring instrument. It is possible to realize a screen display that is close to the appearance of the actual color under ambient light.

第１の実施形態に係る画像補正システム１の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image correction system 1 which concerns on 1st Embodiment. 第１の実施形態に係る画像補正サーバ１１の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image correction server 11 which concerns on 1st Embodiment. 第１の実施形態に係る色補正用物体データベース１２に記録される色補正用物体テーブルの構成例を示す図である。It is a figure which shows the structural example of the color correction object table recorded in the color correction object database 12 which concerns on 1st Embodiment. 第１の実施形態に係る画像補正システム１による撮像画像から追加登録物体を登録する流れを説明する概念図である。It is a conceptual diagram explaining the flow of registering the additional registration object from the image captured by the image correction system 1 which concerns on 1st Embodiment. 第１の実施形態に係る画像補正システム１による撮像画像から追加登録物体を登録する流れを説明するフローチャートである。It is a flowchart explaining the flow of registering the additional registration object from the image captured by the image correction system 1 which concerns on 1st Embodiment. 第１の実施形態の変形例に係る画像補正サーバ１１が行う処理を説明するための図である。It is a figure for demonstrating the process performed by the image correction server 11 which concerns on the modification of 1st Embodiment. 第１の実施形態の変形例に係る画像補正サーバ１１が行う処理を説明するための図である。It is a figure for demonstrating the process performed by the image correction server 11 which concerns on the modification of 1st Embodiment. 第２の実施形態に係る画像補正システム１Ａの構成例を示すブロック図である。It is a block diagram which shows the structural example of the image correction system 1A which concerns on 2nd Embodiment. 第２の実施形態に係るデータベース管理サーバ１３の構成例を示すブロック図である。It is a block diagram which shows the configuration example of the database management server 13 which concerns on 2nd Embodiment. 第２の実施形態に係るデータベース管理サーバ１３が行う処理を説明するための図である。It is a figure for demonstrating the process performed by the database management server 13 which concerns on 2nd Embodiment. 第２の実施形態に係るデータベース管理サーバ１３が行う処理を説明するための図である。It is a figure for demonstrating the process performed by the database management server 13 which concerns on 2nd Embodiment.

以下、実施形態の画像補正システムを、図面を参照しながら説明する。 Hereinafter, the image correction system of the embodiment will be described with reference to the drawings.

＜第１の実施形態＞
まず、第１の実施形態について説明する。
図１は、第１の実施形態に係る画像補正システム１の構成例を示すブロック図である。画像補正システム１は、例えば、画像補正サーバ１１及び色補正用物体データベース１２を備える。また、画像補正システム１は、ネットワーク５を介して、ユーザ端末装置２－１及びユーザ端末装置２－２と通信可能に接続されている。ユーザ端末装置２－１及びユーザ端末装置２－２の一方は対象物（撮像対象物）を提示する提示側となり、他方は提示側により提示された対象物を表示する表示側となる。画像補正システム１は、提示側により任意の光源下で撮像された対象物の撮像画像が、基準光源の環境光下で撮像された画像に近づくように撮像画像の色を補正し、表示側に補正後の撮像画像を供給する。以下の説明においては、ユーザ端末装置２－１が提示側であり、ユーザ端末装置２－２が表示側であるものとして説明する。
ここで、ネットワーク５は、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む。 <First Embodiment>
First, the first embodiment will be described.
FIG. 1 is a block diagram showing a configuration example of the image correction system 1 according to the first embodiment. The image correction system 1 includes, for example, an image correction server 11 and a color correction object database 12. Further, the image correction system 1 is communicably connected to the user terminal device 2-1 and the user terminal device 2-2 via the network 5. One of the user terminal device 2-1 and the user terminal device 2-2 is the presenting side that presents the object (imaging object), and the other is the display side that displays the object presented by the presenting side. The image correction system 1 corrects the color of the captured image so that the captured image of the object captured under an arbitrary light source by the presenting side approaches the image captured under the ambient light of the reference light source, and displays the image on the display side. The corrected image is supplied. In the following description, it is assumed that the user terminal device 2-1 is the presenting side and the user terminal device 2-2 is the display side.
Here, the network 5 includes, for example, a part or all of a WAN (Wide Area Network), a LAN (Local Area Network), the Internet, a provider device, a wireless base station, a dedicated line, and the like.

ユーザ端末装置２－１及びユーザ端末装置２－２の各々は、ユーザが使用するネットワーク端末であり、例えばパーソナルコンピュータ、携帯電話、スマートフォン、タブレット端末などである。また、ユーザ端末装置２－１及びユーザ端末装置２－２には、画像共有アプリケーションがインストールされる。画像共有アプリケーションは、例えば、ユーザがスマートフォンのカメラを使って撮像した対象物Ｔの撮像画像を、他のユーザと共有することができるアプリケーションソフトウェアである。画像共有アプリケーションが動作するユーザ端末装置の間では、例えば、商品として出品された対象物Ｔの撮像画像をユーザ端末装置に表示させることで共有することができる。商品を出品したユーザは、その対象物Ｔの撮像画像を見て気に入った他のユーザに対して商品を販売することができる。 Each of the user terminal device 2-1 and the user terminal device 2-2 is a network terminal used by the user, and is, for example, a personal computer, a mobile phone, a smartphone, a tablet terminal, or the like. Further, an image sharing application is installed in the user terminal device 2-1 and the user terminal device 2-2. The image sharing application is, for example, application software that allows a user to share a captured image of an object T captured by a smartphone camera with another user. It can be shared between the user terminal devices on which the image sharing application operates, for example, by displaying the captured image of the object T exhibited as a product on the user terminal device. A user who has put up a product can sell the product to another user who likes it by looking at the captured image of the object T.

撮像装置３－１は、ユーザ端末装置２－１に接続された撮像機能を有する機器であり、例えばデジタルカメラ、ユーザ端末装置２－１が持つ撮像機能などである。同様に、撮像装置３－２は、ユーザ端末装置２－２に接続された撮像機能を有する機器であり、例えばデジタルカメラ、ユーザ端末装置２－２が持つ撮像機能などである。
表示装置４－１は、ユーザ端末装置２－１に接続された表示機能を有する機器であり、例えば液晶ディスプレイ、ユーザ端末装置２－１が持つ表示機能などである。同様に、表示装置４－２は、ユーザ端末装置２－２に接続された表示機能を有する機器であり、例えば液晶ディスプレイ、ユーザ端末装置２－２が持つ表示機能などである。 The image pickup device 3-1 is a device having an image pickup function connected to the user terminal device 2-1 and is, for example, a digital camera, an image pickup function possessed by the user terminal device 2-1 and the like. Similarly, the image pickup device 3-2 is a device having an image pickup function connected to the user terminal device 2-2, for example, a digital camera, an image pickup function possessed by the user terminal device 2-2, and the like.
The display device 4-1 is a device having a display function connected to the user terminal device 2-1 and is, for example, a liquid crystal display, a display function of the user terminal device 2-1 and the like. Similarly, the display device 4-2 is a device having a display function connected to the user terminal device 2-2, such as a liquid crystal display and a display function of the user terminal device 2-2.

色補正用物体データベース１２には、本実施形態においてカラーチャートの代わりに使用する色補正用物体の色情報及び物体認識情報の各々が予め書き込まれて記憶されている。本実施形態において、色補正用物体は、一般に流通している商品の容器、パッケージ、外観、ラベル及びポスターを含む印刷物であり、カラーとしての色味を有している物体である。つまり、色補正用物体は、ユーザが一般的に所持し易い物体であって、色が参照可能な物体である。 In the color correction object database 12, each of the color information and the object recognition information of the color correction object used instead of the color chart in the present embodiment is written and stored in advance. In the present embodiment, the color correction object is a printed matter including a container, a package, an appearance, a label, and a poster of a generally distributed product, and is an object having a color tint. That is, the color correction object is an object that is generally easy for the user to possess, and the color can be referred to.

図２は、第１の実施形態に係る画像補正サーバ１１の構成例を示すブロック図である。画像補正サーバ１１は、撮像画像取得部１１１、色補正用物体認識部１１２、色補正部１１３、未登録物体認識部１１４、追加登録部１１５及び記憶部１１６の各々を備える。 FIG. 2 is a block diagram showing a configuration example of the image correction server 11 according to the first embodiment. The image correction server 11 includes a captured image acquisition unit 111, a color correction object recognition unit 112, a color correction unit 113, an unregistered object recognition unit 114, an additional registration unit 115, and a storage unit 116.

撮像画像取得部１１１は、撮像画像を外部装置から取得し、記憶部１１６に書き込んで記憶させる。例えば、撮像画像取得部１１１は、ユーザ端末装置２－１から撮像装置３－１で撮像された撮像画像を取得し、取得した撮像画像を記憶部１１６に書き込む。 The captured image acquisition unit 111 acquires the captured image from an external device, writes it in the storage unit 116, and stores it. For example, the captured image acquisition unit 111 acquires the captured image captured by the imaging device 3-1 from the user terminal device 2-1 and writes the acquired captured image in the storage unit 116.

色補正用物体認識部１１２は、撮像画像における色補正用物体の画像領域の認識処理を行い、撮像画像に含まれる色補正用物体の画像を抽出する。色補正用物体認識部１１２は、色補正用物体データベース１２における色補正用物体テーブルを参照し、物体認識情報を読み出して、この物体認識情報に対応する画像を撮像画像において抽出する。ここで、物体認識情報は、例えば、色補正用物体の画像（テンプレート画像）、又は色補正用物体の特徴情報（形状及び色などの特徴）である。 The color correction object recognition unit 112 performs recognition processing of an image area of a color correction object in a captured image, and extracts an image of the color correction object included in the captured image. The color correction object recognition unit 112 refers to the color correction object table in the color correction object database 12, reads out the object recognition information, and extracts the image corresponding to the object recognition information in the captured image. Here, the object recognition information is, for example, an image of a color correction object (template image) or feature information of a color correction object (features such as shape and color).

色補正用物体認識部１１２は、物体認識情報が色補正用物体の画像である場合、色補正用物体の認識率として、撮像画像における輪郭抽出した画像と、テンプレート画像との類似度を求める。一方、色補正用物体認識部１１２は、物体認識情報が色補正用物体の特徴情報（形状及び色などの特徴）である場合、撮像画像における輪郭抽出した画像から特徴情報を抽出し、色補正用物体テーブルにおける特徴情報と比較し、類似度の算出を行う。 When the object recognition information is an image of a color correction object, the color correction object recognition unit 112 obtains the similarity between the contour-extracted image in the captured image and the template image as the recognition rate of the color correction object. On the other hand, when the object recognition information is the feature information (characteristics such as shape and color) of the color correction object, the color correction object recognition unit 112 extracts the feature information from the contour-extracted image in the captured image and performs color correction. The degree of similarity is calculated by comparing with the feature information in the object table.

また、色補正用物体認識部１１２は、表示装置４－１の表示画面に表示されている撮像画像において、輪郭抽出して色補正用物体と認識された画像の輪郭に色補正用物体であることを示すマーク（例えば、実線による輪郭線）を表示するようにしてもよい。 Further, the color correction object recognition unit 112 is a color correction object in the contour of the image recognized as the color correction object by extracting the contour in the captured image displayed on the display screen of the display device 4-1. A mark indicating that (for example, a contour line by a solid line) may be displayed.

色補正部１１３は、撮像画像取得部１１１により取得された撮像画像から基準光源の環境光下で撮像された撮像画像を生成する。色補正部１１３は、色補正用物体データベース１２の色補正用物体テーブルを参照し、撮像画像における色補正用物体に対応する色情報を読み出す。ここで色情報は、例えば、標準光源の環境光下で撮像された色補正用物体のＲＧＢ画像（以下、基準ＲＧＢ画像という）の画像データ、或いは色補正用物体における位置（例えば、画素毎、画像における同一色の領域）毎の分光反射率及び／又は分光画像である。ここでの色補正用物体の分光反射率は、分光反射率を測定するための機材を用いて測定された測定値であってもよいし、色補正用物体の製版情報（製版データとベタ指定色の測色値）から推定される推定分光反射率であってもよい。 The color correction unit 113 generates an image captured under ambient light of a reference light source from the image acquired by the image acquisition unit 111. The color correction unit 113 refers to the color correction object table of the color correction object database 12 and reads out the color information corresponding to the color correction object in the captured image. Here, the color information is, for example, image data of an RGB image (hereinafter referred to as a reference RGB image) of a color correction object captured under ambient light of a standard light source, or a position (for example, pixel by pixel) in the color correction object. It is a spectral reflectance and / or a spectral image for each region of the same color in the image. The spectral reflectance of the color correction object here may be a measured value measured by using equipment for measuring the spectral reflectance, or plate making information (plate making data and solid designation) of the color correction object. It may be an estimated spectral reflectance estimated from the color measurement value).

色補正部１１３は、色補正用物体データベース１２の色補正用物体テーブルを参照し、使用することとなった色補正用物体に対応する基準ＲＧＢ画像を読み出す。そして、色補正部１１３は、以下の（１）式を用いて、色補正用物体データベース１２から読み出した色補正用物体の基準ＲＧＢ画像の画素値が解となるように、撮像画像の画素値から、色補正マトリクスＭを重回帰分析などにより算出する。
（１）式において、Ｒ、Ｇ及びＢの各々は、色補正用物体データベース１２から読み出した色補正用物体の基準ＲＧＢ画像のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの色成分毎の画素値である。また、Ｒ’、Ｇ’、Ｂ’の各々は、撮像画像から認識された補正物体のＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの色成分毎の画素値である。Ｍは、光源Ａの環境光下で撮像された撮像画像の画素値を、基準光源の環境光下で撮像された撮像画像の画素値に変換する３×３行列であり、（２）式のように表すことができる。色補正部１１３は、算出した色補正マトリクスＭを用いて撮像画像から基準ＲＧＢ画像を生成する。 The color correction unit 113 refers to the color correction object table of the color correction object database 12 and reads out the reference RGB image corresponding to the color correction object to be used. Then, the color correction unit 113 uses the following equation (1) to solve the pixel value of the reference RGB image of the color correction object read from the color correction object database 12, so that the pixel value of the captured image is solved. Therefore, the color correction matrix M is calculated by multiple regression analysis or the like.
In the equation (1), each of R, G, and B is a pixel value for each color component of Red, Green, and Blue of the reference RGB image of the color correction object read from the color correction object database 12. Further, each of R', G', and B'is a pixel value for each color component of Red, Green, and Blue of the correction object recognized from the captured image. M is a 3 × 3 matrix that converts the pixel value of the captured image captured under the ambient light of the light source A into the pixel value of the captured image captured under the ambient light of the reference light source, and is the equation (2). Can be expressed as The color correction unit 113 generates a reference RGB image from the captured image using the calculated color correction matrix M.

Figure 0007047596000001
Figure 0007047596000001

Figure 0007047596000002
Figure 0007047596000002

或いは、色補正部１１３は、色補正用物体データベース１２の色補正用物体テーブルを参照し、使用することとなった色補正用物体に対応する分光反射率を読み出す。そして、色補正部１１３は、以下の（３）式を用いて、撮像画像の画素値が解となるように、撮像装置の分光感度特性、色補正用物体の分光反射率から、光源の分光エネルギー分布を重回帰分析などにより算出する。上記説明において、撮像装置の分光感度特性が既知であることを前提としているが、光源の分光エネルギー分布とともに、分光感度特性を重回帰分析により推定しても良い。また、光源の平均的な分光エネルギー分布を、重回帰分析における最適化計算の初期値として用いても良い。
（３）式において、Ｒ、Ｇ、Ｂの各々は、撮像画像から認識された色補正用物体の画素値である。また、Ｓｋ（λ）は、撮像した撮像装置の分光感度特性（ｒλ，ｇλ，ｂλ）である。Ｅ（λ）は、撮像した光源の分光エネルギー分布（推定値）である。Ｒ（λ）は、色補正用物体の分光反射率である。ｉは色の種類の数（色数）である。 Alternatively, the color correction unit 113 refers to the color correction object table of the color correction object database 12 and reads out the spectral reflectance corresponding to the color correction object to be used. Then, the color correction unit 113 uses the following equation (3) to disperse the light source from the spectral sensitivity characteristics of the image pickup device and the spectral reflectance of the color correction object so that the pixel value of the captured image becomes a solution. The energy distribution is calculated by multiple regression analysis. In the above description, it is assumed that the spectral sensitivity characteristics of the image pickup apparatus are known, but the spectral sensitivity characteristics may be estimated by multiple regression analysis together with the spectral energy distribution of the light source. Further, the average spectral energy distribution of the light source may be used as the initial value of the optimization calculation in the multiple regression analysis.
In the equation (3), each of R, G, and B is a pixel value of the color correction object recognized from the captured image. Further, Sk (λ) is a spectral sensitivity characteristic (rλ, gλ, bλ) of the image pickup apparatus that has taken an image. E (λ) is the spectral energy distribution (estimated value) of the imaged light source. R (λ) is the spectral reflectance of the color correction object. i is the number of color types (number of colors).

Figure 0007047596000003
Figure 0007047596000003

色補正部１１３は、推定した光源の分光エネルギー分布と、撮像装置の分光感度特性を用いて、撮像画像における色補正用物体の画像における画素の画素値（ＲＧＢデータ）から、色補正用物体の各画素における分光反射率をメタマ推定法により推定する（長谷川 他、”メタマ推定に基づく、ＲＧＢ画像からの被写体測色値予測（第一報：理論）”、画像電子学会誌、ｖｏｌ．３８、ｐｐ．３６５－３７４、２００９を参照）。 The color correction unit 113 uses the estimated spectral energy distribution of the light source and the spectral sensitivity characteristics of the image pickup device to obtain the pixel values (RGB data) of the pixels in the image of the color correction object in the captured image of the color correction object. Estimate the spectral reflectance of each pixel by the metama estimation method (Hasegawa et al., "Prediction of subject colorimetric values from RGB images based on metama estimation (first report: theory)", Journal of the Institute of Image Electronics, Vol. 38, See pp. 365-374, 2009).

色補正部１１３は、色補正用物体の各画素における分光反射率を推定することにより、撮像画像から所定のサンプリング数（所定の波長幅を有するチャンネル数）の分光画像（離散分光画像）を生成する（特開２００６－０６０７７６号公報を参照）。ここで、分光画像は、任意の光源の分光エネルギー分布により、この任意の光源の環境光下での色味を認識できるように、撮像画像の色再現を行うために用いられる。 The color correction unit 113 generates a spectral image (discrete spectral image) having a predetermined sampling number (number of channels having a predetermined wavelength width) from the captured image by estimating the spectral reflectance in each pixel of the color correction object. (Refer to JP-A-2006-060776). Here, the spectral image is used to reproduce the color of the captured image so that the color tint of the arbitrary light source under ambient light can be recognized by the spectral energy distribution of the arbitrary light source.

色補正部１１３は、推定した任意の光源の分光エネルギー分布を用い、生成した分光画像から、撮像画像に対応した対象物Ｔが任意の光源の環境光下で視認される色味で観察される表示画像を生成する。 The color correction unit 113 uses the estimated spectral energy distribution of an arbitrary light source, and observes the object T corresponding to the captured image from the generated spectral image with a color tint that can be visually recognized under the ambient light of the arbitrary light source. Generate a display image.

未登録物体認識部１１４は、撮像画像に色補正用物体データベース１２に記録されていない未登録物体が撮像されているか否かを判定し、撮像画像に未登録物体が撮像されている場合、撮像画像における未登録物体の画像領域の認識処理を行い、撮像画像に含まれる未登録物体の画像を抽出する。未登録物体認識部１１４は、色補正用物体データベース１２における色補正用物体テーブルを参照し、物体認識情報を読み出して、この物体認識情報の何れにも対応しない画像を未登録物体として抽出する。 The unregistered object recognition unit 114 determines whether or not an unregistered object that is not recorded in the color correction object database 12 is captured in the captured image, and if the unregistered object is captured in the captured image, the image is captured. The image area of the unregistered object in the image is recognized, and the image of the unregistered object included in the captured image is extracted. The unregistered object recognition unit 114 refers to the color correction object table in the color correction object database 12, reads out the object recognition information, and extracts an image that does not correspond to any of the object recognition information as an unregistered object.

未登録物体認識部１１４は、物体認識情報が色補正用物体の画像である場合、未登録物体の認識率として、撮像画像における輪郭抽出した画像と、色補正用物体テーブルにある色補正用物体の画像（テンプレート画像）との類似度を求め、何れのテンプレート画像とも所定閾値未満の類似度である画像を未登録画像とする。一方、未登録物体認識部１１４は、物体認識情報が色補正用物体の特徴情報（形状及び色などの特徴）である場合、撮像画像における輪郭抽出した画像から特徴情報を抽出し、色補正用物体テーブルにおける特徴情報と比較し、類似度の算出を行う。未登録物体認識部１１４は、何れの特徴情報とも所定閾値未満の類似度となる特徴情報を有する画像を未登録物体の画像とする。 When the object recognition information is an image of a color correction object, the unregistered object recognition unit 114 sets the recognition rate of the unregistered object as the contour-extracted image in the captured image and the color correction object in the color correction object table. The degree of similarity with the image (template image) of the above is obtained, and an image having a degree of similarity less than a predetermined threshold with any of the template images is regarded as an unregistered image. On the other hand, when the object recognition information is the feature information (characteristics such as shape and color) of the object for color correction, the unregistered object recognition unit 114 extracts the feature information from the contour-extracted image in the captured image and performs color correction. The degree of similarity is calculated by comparing with the feature information in the object table. The unregistered object recognition unit 114 sets an image having characteristic information having a similarity of less than a predetermined threshold value as an image of an unregistered object.

また、未登録物体認識部１１４は、表示装置４－１の表示画面に表示されている撮像画像において、輪郭抽出して未登録物体と認識された画像の輪郭に未登録物体であることを示すマーク（例えば、点線による輪郭線）を表示するようにしてもよい。 Further, the unregistered object recognition unit 114 indicates that the captured image displayed on the display screen of the display device 4-1 is an unregistered object in the contour of the image recognized as an unregistered object by extracting the contour. A mark (for example, a contour line by a dotted line) may be displayed.

追加登録部１１５は、撮像画像に未登録物体が撮像されている場合、未登録物体を色補正用物体データベース１２に記録することにより追加登録する。追加登録部１１５は、例えば、色補正部１１３から補正後の画像データを取得し、取得した画像データを用いて未登録物体のＲＧＢ画像を取得する。追加登録部１１５は、取得したＲＧＢ画像を未登録物体の色情報（基準ＲＧＢ画像）として未登録物体の画像情報、又は形状や色の特徴情報を認識情報として、色補正用物体データベース１２に記録する。 When an unregistered object is captured in the captured image, the additional registration unit 115 additionally registers the unregistered object by recording the unregistered object in the color correction object database 12. The additional registration unit 115 acquires, for example, the corrected image data from the color correction unit 113, and acquires an RGB image of an unregistered object using the acquired image data. The additional registration unit 115 records the acquired RGB image as color information (reference RGB image) of the unregistered object as image information of the unregistered object, or shape and color feature information as recognition information in the color correction object database 12. do.

或いは、追加登録部１１５は、撮像画像に未登録物体が撮像されている場合、色補正部１１３から補正後の画像データを取得し、取得した画像データを用いて未登録物体の分光反射率を推定してもよいし、未登録物体４０の分光画像を生成するようにしてもよい。追加登録部１１５は、例えば、未登録物体４０の画像データ、及び（３）式を用いて色補正部１１３により推定された分光エネルギー分布から未登録物体の各画素における分光反射率を推定する。追加登録部１１５は、推定した分光反射率を用いて未登録物体４０の分光画像を生成する。また、追加登録部１１５は、推定された分光エネルギー分布、及び生成した分光画像から、未登録物体４０の基準ＲＧＢ画像を生成する。追加登録部１１５は、未登録物体４０の基準ＲＧＢ画像、分光反射率及び／又は分光画像を未登録物体の色情報とし、未登録物体の画像情報、又は形状や色の特徴情報などと共に色補正用物体データベース１２に記録する。 Alternatively, when the unregistered object is captured in the captured image, the additional registration unit 115 acquires the corrected image data from the color correction unit 113, and uses the acquired image data to determine the spectral reflectance of the unregistered object. It may be estimated, or a spectral image of the unregistered object 40 may be generated. The additional registration unit 115 estimates the spectral reflectance of each pixel of the unregistered object from, for example, the image data of the unregistered object 40 and the spectral energy distribution estimated by the color correction unit 113 using the equation (3). The additional registration unit 115 generates a spectral image of the unregistered object 40 using the estimated spectral reflectance. Further, the additional registration unit 115 generates a reference RGB image of the unregistered object 40 from the estimated spectral energy distribution and the generated spectral image. The additional registration unit 115 uses the reference RGB image, the spectral reflectance and / or the spectral image of the unregistered object 40 as the color information of the unregistered object, and performs color correction together with the image information of the unregistered object, the shape and color feature information, and the like. Record in the object database 12.

記憶部１１６は、画像補正サーバ１１において処理される撮像画像及び色補正マトリクスＭ、或いは分光画像などのデータを一時的に記憶する。 The storage unit 116 temporarily stores data such as a captured image and a color correction matrix M or a spectroscopic image processed by the image correction server 11.

図３は、第１の実施形態に係る色補正用物体データベース１２に記録される色補正用物体テーブルの構成例を示す図である。色補正用物体テーブルは、レコード毎に、色補正用物体識別情報、色情報、物体認識情報及び色情報取得元情報の各々の項目が記載されている。
色補正用物体識別情報は、色補正用物体の各々を個別に識別するための識別情報である。
色情報は、基準ＲＧＢ画像と、分光反射率とこの分光反射率を示す色補正用物体における位置（例えば、画素毎、画像における同一色の領域毎）を示す位置情報、及び／又は分光画像から構成されている。基準ＲＧＢ画像は、例えば標準光源には標準光源Ｄ５０や標準光源Ｄ６５などの特定のひとつの環境光下で撮像された画像である。また、標準光源は、特定のひとつの光源に統一されているならば任意の光源を使用してもよい。分光反射率は、分光反射率を測定するための機材を用いて測定された測定値であってもよいし、製版情報（製版データとベタ指定色の測色値）から推定される推定分光反射率でも良い。
物体認識情報は、色補正用物体の画像情報、または形状及び色の特徴情報のいずれかである。
色情報取得元情報は、色補正用物体の各々における色情報を取得する元となった情報である。
例えば、色情報としての基準ＲＧＢ画像が、標準光源の環境光下で撮像された画像である場合、色情報取得元情報には色情報が正規の基準ＲＧＢ画像であることを示す「デフォルト」が記録される。或いは、標準光源を特定する標準光源Ｄ５０や標準光源Ｄ６５などを示す情報が記録されてもよい。
一方、色情報としての基準ＲＧＢ画像が、他の色補正用物体の色情報に基づいて補正された撮像画像から抽出されたＲＧＢ画像である場合、色情報取得元情報には色情報が推定された基準ＲＧＢ画像であることが記録され、例えば補正元となった色補正用物体の色補正用物体識別情報が記録される。
また、色情報としての分光反射率が、分光反射率を測定するための機材を用いて測定された測定値である場合、色情報取得元情報には、色情報が測定された分光反射率であることを示す「測定」が記録される。分光反射率が製版情報から推定された推定分光反射率である場合、色情報取得元情報には、色情報が製版情報から推定された分光反射率であることが記録され、例えば製版情報が記録される。分光反射率が他の色補正用物体の色情報に基づいて補正された撮像画像から取得された場合、色情報取得元情報には、色情報が補正した画像から推定された分光反射率であることが記録され、例えば補正元となった色補正用物体の色補正用物体識別情報が記録される。 FIG. 3 is a diagram showing a configuration example of a color correction object table recorded in the color correction object database 12 according to the first embodiment. In the color correction object table, each item of color correction object identification information, color information, object recognition information, and color information acquisition source information is described for each record.
The color correction object identification information is identification information for individually identifying each of the color correction objects.
The color information is derived from the reference RGB image, the position information indicating the spectral reflectance and the position in the color correction object indicating the spectral reflectance (for example, for each pixel, for each region of the same color in the image), and / or the spectral image. It is configured. The reference RGB image is an image taken under one specific ambient light such as a standard light source D50 or a standard light source D65 as the standard light source. Further, as the standard light source, any light source may be used as long as it is unified to one specific light source. The spectral reflectance may be a measured value measured by using a device for measuring the spectral reflectance, or an estimated spectral reflectance estimated from plate making information (plate making data and a solid color measurement value). The rate is fine.
The object recognition information is either image information of an object for color correction or feature information of shape and color.
The color information acquisition source information is the information that is the source of acquiring the color information in each of the color correction objects.
For example, when the reference RGB image as color information is an image captured under the ambient light of a standard light source, the color information acquisition source information has a "default" indicating that the color information is a regular reference RGB image. Recorded. Alternatively, information indicating a standard light source D50, a standard light source D65, or the like that specifies the standard light source may be recorded.
On the other hand, when the reference RGB image as the color information is an RGB image extracted from the captured image corrected based on the color information of another color correction object, the color information is estimated as the color information acquisition source information. It is recorded that it is a reference RGB image, and for example, the color correction object identification information of the color correction object that is the correction source is recorded.
Further, when the spectral reflectance as color information is a measured value measured by using a device for measuring the spectral reflectance, the color information acquisition source information is the spectral reflectance on which the color information is measured. A "measurement" is recorded to indicate that there is. When the spectral reflectance is the estimated spectral reflectance estimated from the plate making information, it is recorded in the color information acquisition source information that the color information is the spectral reflectance estimated from the plate making information, for example, the plate making information is recorded. Will be done. When the spectral reflectance is acquired from an image captured image corrected based on the color information of another color correction object, the color information acquisition source information is the spectral reflectance estimated from the image corrected by the color information. Is recorded, for example, the color correction object identification information of the color correction object that is the correction source is recorded.

図４は、第１の実施形態に係る画像補正システム１による撮像画像から追加登録物体を登録する流れを説明する概念図である。
図４（ａ）は、任意の光源の環境光下において、対象物Ｔとともに色補正用物体３０及び未登録物体４０の各々を、撮像装置３－１で撮像した撮像画像２０を示している。すなわち、撮像画像２０は、対象物Ｔの画像、色補正用物体３０及び未登録物体４０の各々が含まれた同一画像として撮像された撮像画像である。 FIG. 4 is a conceptual diagram illustrating a flow of registering an additional registered object from an image captured by the image correction system 1 according to the first embodiment.
FIG. 4A shows a captured image 20 obtained by capturing each of the color correction object 30 and the unregistered object 40 together with the object T under the ambient light of an arbitrary light source by the imaging device 3-1. That is, the captured image 20 is an captured image captured as the same image including each of the image of the object T, the color correction object 30, and the unregistered object 40.

図４（ｂ）は、色補正用物体データベース１２に記録された色補正用物体５１～５５…を示している。
色補正用物体認識部１１２は、色補正用物体データベース１２を参照することにより、撮像画像２０に含まれる物体の中に、色補正用物体として登録された物体（例えば、色補正用物体３０）を認識する。この例では、色補正用物体データベース１２に登録された色補正用物体５３が撮像画像２０に撮像された色補正用物体３０に対応する。
未登録物体認識部１１４は、色補正用物体データベース１２を参照することにより、撮像画像２０に含まれる物体の中に未登録物体４０を認識し、未登録物体が撮像された撮像領域を特定する。 FIG. 4B shows the color correction objects 51 to 55 ... Recorded in the color correction object database 12.
By referring to the color correction object database 12, the color correction object recognition unit 112 refers to an object registered as a color correction object (for example, a color correction object 30) among the objects included in the captured image 20. Recognize. In this example, the color correction object 53 registered in the color correction object database 12 corresponds to the color correction object 30 captured in the captured image 20.
The unregistered object recognition unit 114 recognizes the unregistered object 40 among the objects included in the captured image 20 by referring to the color correction object database 12, and identifies the image pickup region in which the unregistered object is imaged. ..

図４（ｃ）は、表示装置４－１の表示画面２１に、対象物Ｔの画像ＴＧと、色補正用物体３０及び未登録物体４０の各々の画像３１、４１が表示され例を示している。また、画像３１の輪郭線が実線で強調されたマークが示され、色補正用物体認識部１１２が画像３１を色補正用物体として認識していることが示されている。また、画像４１の輪郭線が点線で強調されたマークが示され、未登録物体認識部１１４が画像４１を未登録物体として認識していることが示されている。 FIG. 4C shows an example in which the image TG of the object T and the images 31 and 41 of the color correction object 30 and the unregistered object 40 are displayed on the display screen 21 of the display device 4-1. There is. Further, a mark in which the outline of the image 31 is emphasized by a solid line is shown, and it is shown that the color correction object recognition unit 112 recognizes the image 31 as a color correction object. Further, a mark in which the outline of the image 41 is emphasized by a dotted line is shown, and it is shown that the unregistered object recognition unit 114 recognizes the image 41 as an unregistered object.

図４（ｄ）は、色補正部１１３が撮像画像２０を色補正することにより、標準光源の環境光下のＲＧＢ画像を生成する処理を示している。 FIG. 4D shows a process in which the color correction unit 113 color-corrects the captured image 20 to generate an RGB image under ambient light of a standard light source.

図４（ｅ）は、色補正部１１３が色補正を行うことにより、標準光源の環境光下での色の見えを再現した撮像画像２０に基づく表示画像を示している。 FIG. 4 (e) shows a display image based on the captured image 20 that reproduces the appearance of colors under ambient light of a standard light source by performing color correction by the color correction unit 113.

図４（ｆ）は、画像４１における色情報として取得された分光画像４１Ａと基準ＲＧＢ画像４１Ｂ、及び画像４１における物体認識情報として取得された特徴情報４１Ｃを示している。画像４１における色情報及び物体認識情報は、色補正部１１３により色補正が行われた後の撮像画像２０の画像データを用いて取得される。例えば、基準ＲＧＢ画像４１Ｂは、分光画像４１Ａを用いて推定された画像である。また、この例に示すように、特徴情報として、画像の輝度分布や、色のヒストグラム、エッジ情報などが用いられてもよい。 FIG. 4 (f) shows the spectral image 41A acquired as the color information in the image 41, the reference RGB image 41B, and the feature information 41C acquired as the object recognition information in the image 41. The color information and the object recognition information in the image 41 are acquired by using the image data of the captured image 20 after the color correction is performed by the color correction unit 113. For example, the reference RGB image 41B is an image estimated using the spectroscopic image 41A. Further, as shown in this example, the luminance distribution of the image, the color histogram, the edge information, and the like may be used as the feature information.

図４（ｇ）は、未登録物体４０の画像４１が、追加登録部１１５により、追加登録物体６１として登録される状態を示している。追加登録部１１５は、未登録物体４０の色情報（例えば、分光画像４１Ａを用いて推定された画像４１の基準ＲＧＢ画像４１Ｂ）を、未登録物体４０の色補正用物体識別情報、物体認識情報及び色情報取得元情報と共に色補正用物体データベース１２に記録することにより、未登録物体４０の画像４１を、追加登録物体６１として登録する。この場合、追加登録物体６１の色情報取得元情報には、撮像画像２０の色補正に用いられた色補正用物体３０（色補正用物体データベース１２に記録された色補正用物体５３）の色補正用物体識別情報が記録される。 FIG. 4 (g) shows a state in which the image 41 of the unregistered object 40 is registered as the additional registered object 61 by the additional registration unit 115. The additional registration unit 115 uses the color information of the unregistered object 40 (for example, the reference RGB image 41B of the image 41 estimated using the spectral image 41A) as the color correction object identification information and the object recognition information of the unregistered object 40. The image 41 of the unregistered object 40 is registered as the additional registered object 61 by recording in the color correction object database 12 together with the color information acquisition source information. In this case, the color information acquisition source information of the additionally registered object 61 includes the color of the color correction object 30 (color correction object 53 recorded in the color correction object database 12) used for the color correction of the captured image 20. The correction object identification information is recorded.

図５は、第１の実施形態に係る画像補正システム１による撮像画像から追加登録物体を登録する流れを説明するフローチャートである。ここでは、画像補正システム１が色補正用物体の分光反射率を用いて色補正を行う場合を例示して説明する。 FIG. 5 is a flowchart illustrating a flow of registering an additional registered object from an image captured by the image correction system 1 according to the first embodiment. Here, a case where the image correction system 1 performs color correction using the spectral reflectance of the color correction object will be described as an example.

ステップＳ１０１：
ユーザが撮像装置３－１により、図４（ａ）に示すように、撮像画像２０を撮像し、ユーザ端末装置２－１により撮像画像２０を、画像補正サーバ１１に対して、ネットワーク５を介して送信する。 Step S101:
As shown in FIG. 4A, the user captures the captured image 20 by the image pickup device 3-1 and the captured image 20 is captured by the user terminal device 2-1 with respect to the image correction server 11 via the network 5. And send.

ステップＳ１０２：
画像補正サーバ１１は、撮像画像２０の色補正を行う。具体的に、撮像画像取得部１１１は、撮像画像２０を取得し、記憶部１１６に書き込んで記憶させる。色補正用物体認識部１１２は、撮像画像２０に含まれている物体の中から色補正用物体データベース１２の色補正用物体テーブルに登録されている色補正用物体を認識する。色補正部１１３は、撮像画像２０に含まれている色補正用物体の色情報に基づいて、（３）式を用いて撮像画像２０が撮像された光源の分光エネルギー分布を推定する。色補正部１１３は、推定した分光エネルギー分布から分光画像を生成し、分光エネルギー分布と生成した分光画像とを用いて撮像画像２０の色を補正した表示画像を生成する。色補正部１１３が生成する表示画像は、対象物Ｔが基準光源の環境光下で視認される色味で表示される画像である。 Step S102:
The image correction server 11 corrects the color of the captured image 20. Specifically, the captured image acquisition unit 111 acquires the captured image 20 and writes it in the storage unit 116 for storage. The color correction object recognition unit 112 recognizes a color correction object registered in the color correction object table of the color correction object database 12 from the objects included in the captured image 20. The color correction unit 113 estimates the spectral energy distribution of the light source in which the captured image 20 is captured by using the equation (3) based on the color information of the color correction object included in the captured image 20. The color correction unit 113 generates a spectral image from the estimated spectral energy distribution, and generates a display image in which the color of the captured image 20 is corrected by using the spectral energy distribution and the generated spectral image. The display image generated by the color correction unit 113 is an image in which the object T is displayed in a color that is visually recognized under the ambient light of the reference light source.

ステップＳ１０３：
画像補正サーバ１１の未登録物体認識部１１４は、撮像画像２０に含まれている物体の中に、色補正用物体データベース１２の色補正用物体テーブルに登録されていない未登録物体４０があるか否かを判定する。未登録物体認識部１１４は、撮像画像２０における各画像の輪郭抽出を行い、輪郭内における画像を抽出し、抽出した画像をテンプレート画像との比較、あるいは特徴量の各々との比較により、それぞれ類似度を算出する。未登録物体認識部１１４は、抽出した画像の各々なかに色補正用物体データベース１２に記憶されている何れのテンプレート画像とも類似度が予め設定されている類似度閾値未満である画像が存在する場合、撮像画像２０に未登録物体が含まれていると判定する。
画像補正サーバ１１は、撮像画像２０に含まれている物体の中に未登録物体４０がある場合、処理をステップＳ１０４へ進める。一方、画像補正サーバ１１は、撮像画像２０に含まれている物体の中に未登録物体４０がない場合、処理を終了させる。 Step S103:
Does the unregistered object recognition unit 114 of the image correction server 11 include an unregistered object 40 that is not registered in the color correction object table of the color correction object database 12 among the objects included in the captured image 20? Judge whether or not. The unregistered object recognition unit 114 extracts the contour of each image in the captured image 20, extracts the image in the contour, and compares the extracted image with the template image or the feature amount, respectively. Calculate the degree. When the unregistered object recognition unit 114 has an image in which the similarity is less than the preset similarity threshold with any of the template images stored in the color correction object database 12 among the extracted images. , It is determined that the captured image 20 contains an unregistered object.
If the unregistered object 40 is among the objects included in the captured image 20, the image correction server 11 advances the process to step S104. On the other hand, the image correction server 11 ends the process when there is no unregistered object 40 among the objects included in the captured image 20.

ステップＳ１０４：
未登録物体認識部１１４は、撮像画像２０から未登録物体４０が撮像された領域を抽出する。この場合、未登録物体認識部１１４は、色補正部１１３により補正された後の撮像画像２０から未登録物体４０が撮像された領域を抽出する。 Step S104:
The unregistered object recognition unit 114 extracts a region in which the unregistered object 40 is captured from the captured image 20. In this case, the unregistered object recognition unit 114 extracts the region in which the unregistered object 40 is captured from the captured image 20 after being corrected by the color correction unit 113.

ステップＳ１０５：
追加登録部１１５は、未登録物体４０の画像データ、ステップＳ１０２において推定された分光エネルギー分布を用いて未登録物体の各画素における分光反射率を推定する。追加登録部１１５は、推定した分光反射率を用いて未登録物体４０の分光画像を生成する。 Step S105:
The additional registration unit 115 estimates the spectral reflectance of each pixel of the unregistered object using the image data of the unregistered object 40 and the spectral energy distribution estimated in step S102. The additional registration unit 115 generates a spectral image of the unregistered object 40 using the estimated spectral reflectance.

ステップＳ１０６：
追加登録部１１５は、分光エネルギー分布、及び生成した分光画像から、未登録物体４０の基準ＲＧＢ画像を生成する。 Step S106:
The additional registration unit 115 generates a reference RGB image of the unregistered object 40 from the spectral energy distribution and the generated spectral image.

ステップＳ１０７：
追加登録部１１５は、未登録物体４０の画像４１から形状や色の特徴、輝度分布、色ヒストグラム、エッジ情報などの特徴情報を取得する。 Step S107:
The additional registration unit 115 acquires feature information such as shape and color features, luminance distribution, color histogram, and edge information from the image 41 of the unregistered object 40.

ステップＳ１０８：
追加登録部１１５は、未登録物体４０の基準ＲＧＢ画像、分光反射率及び／又は分光画像を未登録物体の色情報とし、未登録物体の画像情報、又は特徴情報などと共に色補正用物体データベース１２に記録する。これにより、追加登録部１１５は、未登録物体４０を追加登録物体６１として色補正用物体テーブルに登録する。 Step S108:
The additional registration unit 115 uses the reference RGB image, the spectral reflectance and / or the spectral image of the unregistered object 40 as the color information of the unregistered object, and the color correction object database 12 together with the image information or the feature information of the unregistered object. Record in. As a result, the additional registration unit 115 registers the unregistered object 40 as the additional registered object 61 in the color correction object table.

以上説明したように、第１の実施形態の画像補正システム１は、カラーチャートに換え、一般的に流通している商品のパッケージや包装など、あらかじめ色補正用物体データベース１２に記憶されている色補正用物体の色情報（基準ＲＧＢ画像や分光反射率（推定分光反射率））を用いて、撮像画像２０の色を補正する際、撮像画像２０に色補正用物体データベース１２に記録されていない未登録物体が撮像されている場合には、未登録物体を色補正用物体の候補として色補正用物体データベース１２に登録することができる。
これにより、第１の実施形態の画像補正システム１は、色補正用物体データベース１２に登録済みの色補正用物体が販売中止等により市場に出回らなくなるなどして、入手できなかった場合でも、追加登録物体を対象物である被写体と共に撮像すれば、撮像画像の色を補正して実物の色の見えに近い、対象物の画像を画面に表示することができる。 As described above, the image correction system 1 of the first embodiment replaces the color chart with colors stored in the color correction object database 12 in advance, such as packages and packaging of generally distributed products. When the color of the captured image 20 is corrected using the color information of the correction object (reference RGB image or spectral reflectance (estimated spectral reflectance)), it is not recorded in the color correction object database 12 in the captured image 20. When an unregistered object is imaged, the unregistered object can be registered in the color correction object database 12 as a candidate for a color correction object.
As a result, the image correction system 1 of the first embodiment is added even if the color correction object registered in the color correction object database 12 is not available on the market due to discontinuation of sales or the like. If the registered object is imaged together with the subject that is the object, the color of the captured image can be corrected and the image of the object that is close to the appearance of the actual color can be displayed on the screen.

また、第１の実施形態の画像補正システム１では、追加登録部１１５は、色補正用物体データベース１２に未登録物体を登録する際、未登録物体における色情報の取得元を示す色情報取得元情報として、撮像画像２０の色補正に用いられた色補正用物体の識別情報を記録する。これにより、第１の実施形態の画像補正システム１は、色補正用物体データベース１２に登録した追加登録物体の色情報が、何れの色補正用物体に基づいて取得されたかを判定することができる。 Further, in the image correction system 1 of the first embodiment, when the additional registration unit 115 registers an unregistered object in the color correction object database 12, the color information acquisition source indicating the acquisition source of the color information in the unregistered object As the information, the identification information of the color correction object used for the color correction of the captured image 20 is recorded. Thereby, the image correction system 1 of the first embodiment can determine which color correction object the color information of the additionally registered object registered in the color correction object database 12 is based on. ..

＜第１の実施形態の変形例＞
次に、第１の実施形態の変形例について説明する。本変形例では、追加登録部１１５が、未登録物体が所定の要件を満たす場合に、追加登録物体として色補正用物体データベース１２に登録する点において、上記第１の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。 <Modified example of the first embodiment>
Next, a modification of the first embodiment will be described. This modification is different from the first embodiment in that the additional registration unit 115 registers the unregistered object in the color correction object database 12 as the additional registration object when the unregistered object satisfies a predetermined requirement. Hereinafter, the points different from those of the above-described embodiment will be described, and the same reference numerals will be given to the configurations having the same or similar functions as those of the above-described embodiments, and the description thereof will be omitted.

図６は、第１の実施形態の変形例に係る画像補正サーバ１１が行う処理を説明するための図である。
図６（ａ）は、撮像画像２０において未登録物体４０として認識された物体が動物である場合の例を示している。動物は、印刷物とは大きく異なり、形状や色味が見る方向によって毎回異なって見えるのが通常であるため、色補正用物体として用いることは適切ではない。
図６（ｂ）は、撮像画像２０において未登録物体４０として認識された物体が単純な方形（箱型）の形状である場合の例を示している。 FIG. 6 is a diagram for explaining the processing performed by the image correction server 11 according to the modified example of the first embodiment.
FIG. 6A shows an example in which the object recognized as the unregistered object 40 in the captured image 20 is an animal. Animals are not suitable for use as color correction objects because they are very different from printed matter and usually look different each time in shape and color depending on the viewing direction.
FIG. 6B shows an example in which the object recognized as the unregistered object 40 in the captured image 20 has a simple square shape (box shape).

追加登録部１１５は、未登録物体認識部１１４により認識された未登録物体４０を、例えば、未登録物体４０の輪郭の形状に基づいて、色補正用物体データベース１２に登録するか否か判定する。追加登録部１１５は、例えば、図６（ａ）のように未登録物体４０の輪郭の形状に曲線部が多く、商品パッケージなどに多くみられる単純な方形や略方形の形状でない場合、未登録物体４０を登録しない。一方、追加登録部１１５は、図６（ｂ）のように商品パッケージなどに多くみられる単純な方形や略方形の形状（箱型）である場合、未登録物体４０を色補正用物体データベース１２に登録する。 The additional registration unit 115 determines whether or not to register the unregistered object 40 recognized by the unregistered object recognition unit 114 in the color correction object database 12 based on, for example, the shape of the contour of the unregistered object 40. .. As shown in FIG. 6A, the additional registration unit 115 is unregistered when the contour shape of the unregistered object 40 has many curved portions and is not a simple square or abbreviated square shape often seen in product packages and the like. Do not register the object 40. On the other hand, when the additional registration unit 115 has a simple square or abbreviated square shape (box shape) often seen in product packages as shown in FIG. 6B, the unregistered object 40 is used as a color correction object database 12 To register with.

なお、追加登録部１１５は、未登録物体４０の形状が商品パッケージの形状であるか否かを、未登録物体４０の形状の特徴量を検出する検出部（不図示）により判定してもよい。検出部は、例えば、予め記憶した商品パッケージ（箱型やスタンディングパウチ型など）の形状と未登録物体４０の形状と比較し、類似度の算出を行う。或いは、検出部は、一般的な商品パッケージをあらゆる角度からみた形状を学習した学習済みモデルを用いて未登録物体４０の形状が商品パッケージの形状であるか否かを判定してもよい。 The additional registration unit 115 may determine whether or not the shape of the unregistered object 40 is the shape of the product package by a detection unit (not shown) that detects the feature amount of the shape of the unregistered object 40. .. For example, the detection unit compares the shape of the product package (box type, standing pouch type, etc.) stored in advance with the shape of the unregistered object 40, and calculates the degree of similarity. Alternatively, the detection unit may determine whether or not the shape of the unregistered object 40 is the shape of the product package by using a trained model that learns the shape of a general product package viewed from all angles.

また、検出部は、未登録物体４０が商品パッケージの形状を有していると判定した場合、その未登録物体４０が一般的に流通しているものか否かを判定し、一般的に流通しているものである場合に、その未登録物体４０を色補正用物体データベース１２に登録するようにしてもよい。このとき、検出部は、例えば、未登録物体４０の形状や未登録物体４０の画像から読み取れるキーワードにてインターネット上の画像検索を行う。そして、検出部は、検索件数が所定の閾値以上であった場合、或いは未登録物体４０の画像や形状とほぼ一致する検索結果が多数得られた場合に、その未登録物体４０を色補正用物体データベース１２に登録する。 Further, when the detection unit determines that the unregistered object 40 has the shape of the product package, the detection unit determines whether or not the unregistered object 40 is generally distributed, and generally distributes the unregistered object 40. If this is the case, the unregistered object 40 may be registered in the color correction object database 12. At this time, the detection unit performs an image search on the Internet using, for example, a keyword that can be read from the shape of the unregistered object 40 or the image of the unregistered object 40. Then, when the number of searches is equal to or greater than a predetermined threshold value, or when a large number of search results that substantially match the image or shape of the unregistered object 40 are obtained, the detection unit uses the unregistered object 40 for color correction. Register in the object database 12.

図７は、第１の実施形態の変形例に係る画像補正サーバ１１が行う処理を説明するための図である。
図７（ａ）は、撮像画像２０において色補正用物体３０から離れた位置に未登録物体４０として認識された物体が撮像されている場合の例を示している。このように色補正用物体３０と未登録物体４０とが離れている場合、色補正用物体３０と未登録物体４０とで、撮像画像２０が撮像された際の光源の分布状態（光源分布）が異なる場合があり得る。例えば、スポットライトのように指向性を有する光源下で撮像された場合、色補正用物体３０には真上から光が照射されているが、色補正用物体３０から離れている未登録物体４０にはほとんど光があてられていない状態で撮像される場合がある。このような場合、色補正用物体３０と未登録物体４０とで光源分布が異なる。このような撮像画像２０において、撮像画像の全体が、色補正用物体３０の光源分布と同様の光源分布であるとみなされて分光エネルギー分布が推定された場合には、色補正用物体３０の近くの領域については推定精度が高いが、色補正用物体３０から離れた未登録物体４０が撮像された領域においては推定精度が悪くなると考えられる。 FIG. 7 is a diagram for explaining the processing performed by the image correction server 11 according to the modified example of the first embodiment.
FIG. 7A shows an example in which an object recognized as an unregistered object 40 is imaged at a position away from the color correction object 30 in the captured image 20. When the color correction object 30 and the unregistered object 40 are separated from each other in this way, the light source distribution state (light source distribution) when the captured image 20 is captured by the color correction object 30 and the unregistered object 40. May be different. For example, when the image is taken under a light source having directivity such as a spotlight, the color correction object 30 is irradiated with light from directly above, but the unregistered object 40 away from the color correction object 30. May be imaged with little light. In such a case, the light source distribution differs between the color correction object 30 and the unregistered object 40. In such a captured image 20, when the entire captured image is considered to have a light source distribution similar to the light source distribution of the color correction object 30, and the spectral energy distribution is estimated, the color correction object 30 The estimation accuracy is high in the nearby region, but it is considered that the estimation accuracy is poor in the region where the unregistered object 40 away from the color correction object 30 is imaged.

図７（ｂ）は、撮像画像２０において色補正用物体３０に近い位置に未登録物体４０として認識された物体が撮像されている場合の例を示している。このように色補正用物体３０と未登録物体４０とが近い位置に撮像されている場合、色補正用物体３０と未登録物体４０とで、撮像画像２０が撮像された際の光源分布はほぼ同一とみなすことができる。この場合、色補正用物体３０を用いて推定した撮像画像２０の分光エネルギー分布について、未登録物体４０が撮像された領域においても推定精度が悪くなることはほぼない。 FIG. 7B shows an example in which an object recognized as an unregistered object 40 is imaged at a position close to the color correction object 30 in the captured image 20. When the color correction object 30 and the unregistered object 40 are imaged at close positions in this way, the light source distribution when the captured image 20 is imaged by the color correction object 30 and the unregistered object 40 is almost the same. Can be considered the same. In this case, the estimation accuracy of the spectral energy distribution of the captured image 20 estimated by using the color correction object 30 does not deteriorate even in the region where the unregistered object 40 is captured.

追加登録部１１５は、未登録物体認識部１１４により認識された未登録物体４０と色補正用物体３０との相対的な位置関係基づいて、未登録物体４０を色補正用物体データベース１２に登録するか否か判定する。 The additional registration unit 115 registers the unregistered object 40 in the color correction object database 12 based on the relative positional relationship between the unregistered object 40 recognized by the unregistered object recognition unit 114 and the color correction object 30. Judge whether or not.

追加登録部１１５は、例えば、図７（ａ）のように色補正用物体３０の重心座標と未登録物体４０の重心座標との間の撮像画像２０の横幅方向（ｘ軸方向）の距離ｘ１が所定の閾値以上である場合、未登録物体４０を色補正用物体データベース１２に登録しない。また、追加登録部１１５は、色補正用物体３０の重心座標と未登録物体４０の重心座標との間の撮像画像２０の縦方向（ｙ軸方向）の距離ｙ１が所定の閾値以上である場合、未登録物体４０を色補正用物体データベース１２に登録しない。 For example, as shown in FIG. 7A, the additional registration unit 115 is a distance x1 in the width direction (x-axis direction) of the captured image 20 between the center of gravity coordinates of the color correction object 30 and the center of gravity coordinates of the unregistered object 40. When is equal to or greater than a predetermined threshold value, the unregistered object 40 is not registered in the color correction object database 12. Further, in the additional registration unit 115, when the distance y1 in the vertical direction (y-axis direction) of the captured image 20 between the center of gravity coordinates of the color correction object 30 and the center of gravity coordinates of the unregistered object 40 is equal to or more than a predetermined threshold value. , The unregistered object 40 is not registered in the color correction object database 12.

一方、追加登録部１１５は、図７（ｂ）のように、色補正用物体３０の重心座標と未登録物体４０の重心座標との間のｘ軸方向の距離ｘ２が所定の閾値未満であり、尚且つ、ｙ軸方向の距離ｙ２が所定の閾値未満である場合、未登録物体４０を色補正用物体データベース１２に登録する。 On the other hand, in the additional registration unit 115, as shown in FIG. 7B, the distance x2 in the x-axis direction between the center of gravity coordinates of the color correction object 30 and the center of gravity coordinates of the unregistered object 40 is less than a predetermined threshold value. Moreover, when the distance y2 in the y-axis direction is less than a predetermined threshold value, the unregistered object 40 is registered in the color correction object database 12.

以上説明したように、第１の実施形態の変形例の画像補正システム１では、撮像画像２０に撮像されている未登録物体４０の形状に基づいて、未登録物体４０を色補正用物体データベース１２に記録するか否かを判定する。これにより、第１の実施形態の変形例の画像補正システム１は、色補正用物体として扱い易い形状を有する未登録物体（例えば、商品パッケージ）を色補正用物体データベース１２に登録し、色補正用物体として扱い難い形状（例えば動物等）の未登録物体を色補正用物体データベース１２に登録しないことができる。 As described above, in the image correction system 1 of the modification of the first embodiment, the unregistered object 40 is used as the color correction object database 12 based on the shape of the unregistered object 40 captured in the captured image 20. Judge whether to record in. As a result, the image correction system 1 of the modified example of the first embodiment registers an unregistered object (for example, a product package) having a shape that is easy to handle as a color correction object in the color correction object database 12, and performs color correction. It is possible not to register an unregistered object having a shape (for example, an animal or the like) that is difficult to handle as an object in the color correction object database 12.

また、第１の実施形態の変形例の画像補正システム１では、撮像画像２０に撮像されている未登録物体４０と色補正用物体３０との相対的な位置関係に基づいて、未登録物体４０を色補正用物体データベース１２に記録するか否かを判定する。これにより、第１の実施形態の変形例の画像補正システム１は、色補正用物体として精度よく色情報が推定可能な未登録物体（例えば、色補正用物体３０の近くで撮像され、分光エネルギー分布が色補正用物体３０の分光エネルギー分布と同等とみなせる未登録物体４０）を色補正用物体データベース１２に登録し、色補正用物体として精度よく色情報が推定できないと考えられる未登録物体（例えば、色補正用物体３０から離れた位置で撮像され、分光エネルギー分布が色補正用物体３０の分光エネルギー分布と同等とみなすことができない未登録物体４０）を色補正用物体データベース１２に登録しないことができる。 Further, in the image correction system 1 of the modified example of the first embodiment, the unregistered object 40 is based on the relative positional relationship between the unregistered object 40 captured in the captured image 20 and the color correction object 30. Is determined to be recorded in the color correction object database 12. As a result, the image correction system 1 of the modified example of the first embodiment is imaged near an unregistered object (for example, the color correction object 30) whose color information can be estimated accurately as a color correction object, and has spectral energy. An unregistered object 40) whose distribution can be regarded as equivalent to the spectral energy distribution of the color correction object 30 is registered in the color correction object database 12, and it is considered that color information cannot be estimated accurately as a color correction object (unregistered object (). For example, an unregistered object 40) that is imaged at a position away from the color correction object 30 and whose spectral energy distribution cannot be regarded as equivalent to the spectral energy distribution of the color correction object 30 is not registered in the color correction object database 12. be able to.

＜第２の実施形態＞
次に、第２の実施形態について説明する。本実施形態では、画像補正システム１Ａが色補正用物体データベース１２を管理するデータベース管理サーバ１３を備える点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。 <Second embodiment>
Next, the second embodiment will be described. The present embodiment differs from the other embodiments in that the image correction system 1A includes a database management server 13 that manages the color correction object database 12. Hereinafter, the points different from those of the above-described embodiment will be described, and the same reference numerals will be given to the configurations having the same or similar functions as those of the above-described embodiments, and the description thereof will be omitted.

図８は、第２の実施形態に係る画像補正システム１Ａの構成例を示すブロック図である。画像補正システム１Ａは、データベース管理サーバ１３を備える。 FIG. 8 is a block diagram showing a configuration example of the image correction system 1A according to the second embodiment. The image correction system 1A includes a database management server 13.

データベース管理サーバ１３は、色補正用物体データベース１２を管理する。具体的に、データベース管理サーバ１３は、色補正用物体データベース１２に登録された追加登録物体のうち、色補正用物体として用いてよい物体と、色補正用物体として用いない物体とに分けて管理する。つまり、データベース管理サーバ１３は、追加登録物体として登録された物体のうち、色情報の精度が悪い（色補正を行う場合に必要な精度に達していない）と判定するものを、色補正用物体として用いないように制限する。 The database management server 13 manages the color correction object database 12. Specifically, the database management server 13 manages the additionally registered objects registered in the color correction object database 12 separately as an object that may be used as a color correction object and an object that is not used as a color correction object. do. That is, among the objects registered as the additional registered objects, the database management server 13 determines that the accuracy of the color information is poor (the accuracy required for color correction has not been reached) is the object for color correction. It is restricted not to be used as.

また、データベース管理サーバ１３は、製版情報や分光反射率の測定値を取得し、取得した情報に応じて、色補正用物体データベース１２を更新する。具体的に、データベース管理サーバ１３は、取得した製版情報や分光反射率の測定値に基づいて基準ＲＧＢ画像を生成し、生成した基準ＲＧＢ画像に対応する色補正用物体を新たに登録する。この際、データベース管理サーバ１３は、新たに登録しようとした物体が、すでに追加登録物体として登録されていれば、当該追加登録物体の登録内容を更新する。 Further, the database management server 13 acquires plate making information and measured values of spectral reflectance, and updates the color correction object database 12 according to the acquired information. Specifically, the database management server 13 generates a reference RGB image based on the acquired plate making information and the measured value of the spectral reflectance, and newly registers the color correction object corresponding to the generated reference RGB image. At this time, if the newly registered object is already registered as an additional registered object, the database management server 13 updates the registered contents of the additionally registered object.

図９は、第２の実施形態に係るデータベース管理サーバ１３の構成例を示すブロック図である。データベース管理サーバ１３は、例えば、製版情報取得部１３１、測定情報取得部１３２、登録情報算出部１３３、色情報再取得部１３４、データベース更新部１３５、及び利用制限部１３６を備える。 FIG. 9 is a block diagram showing a configuration example of the database management server 13 according to the second embodiment. The database management server 13 includes, for example, a plate making information acquisition unit 131, a measurement information acquisition unit 132, a registration information calculation unit 133, a color information reacquisition unit 134, a database update unit 135, and a usage restriction unit 136.

製版情報取得部１３１は、製版情報を取得する。製版情報取得部１３１は、例えば、商品パッケージにインキの印刷を行う印刷所などから製版情報を取得する。 The plate-making information acquisition unit 131 acquires plate-making information. The plate-making information acquisition unit 131 acquires plate-making information from, for example, a printing shop that prints ink on a product package.

測定情報取得部１３２は、商品パッケージの分光反射率の測定値を取得する。商品パッケージの分光反射率の測定値は、例えば、色補正用物体データベース１２に登録された追加登録物体のうち、同一の商品パッケージが多数登録され、その追加登録物体の色情報の精度を向上させることで精度よく色補正を行うことができると判定された場合など、画像補正システム１Ａの管理者等が必要と判断した場合に取得される。 The measurement information acquisition unit 132 acquires the measured value of the spectral reflectance of the product package. As for the measured value of the spectral reflectance of the product package, for example, among the additionally registered objects registered in the color correction object database 12, many identical product packages are registered, and the accuracy of the color information of the additionally registered object is improved. This is acquired when the administrator of the image correction system 1A or the like determines that it is necessary, such as when it is determined that color correction can be performed with high accuracy.

登録情報算出部１３３は、製版情報取得部１３１により取得された製版情報、及び測定情報取得部１３２により取得された分光反射率の測定値に基づいて、色補正用物体データベース１２に登録する情報を算出する。
登録情報算出部１３３は、製版情報と、印刷されるインキの濃度と、その順番とに対応して印刷色を予測する特色プロファイル及び基準プロファイルに基づき、製版データにより印刷される色を、ＲＧＢデータで示した基準ＲＧＢ画像を生成する。ここで、基準プロファイルは、ｓＲＧＢやＡｄｏｂｅＲＧＢなどの標準的なＲＧＢ座標系のＩＣＣ（ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｌｏｒ Ｃｏｎｓｏｒｔｉｕｍ）プロファイルである。 The registration information calculation unit 133 registers the information to be registered in the color correction object database 12 based on the plate making information acquired by the plate making information acquisition unit 131 and the measured value of the spectral reflectance acquired by the measurement information acquisition unit 132. calculate.
The registration information calculation unit 133 converts the colors printed by the plate making data into RGB data based on the plate making information, the density of the ink to be printed, and the spot color profile and the reference profile that predict the printing color according to the order. The reference RGB image shown in 1 is generated. Here, the reference profile is an ICC (international Color Consortium) profile of a standard RGB coordinate system such as sRGB or Adobe RGB.

また、登録情報算出部１３３は、生成した基準ＲＧＢ画像を色補正用物体のテンプレート画像とし、基準ＲＧＢ画像から色補正用物体の画像の形状あるいは色などの特徴量の抽出することにより物体認識情報の生成処理を行う。 Further, the registration information calculation unit 133 uses the generated reference RGB image as a template image of the color correction object, and extracts the feature amount such as the shape or color of the image of the color correction object from the reference RGB image to obtain the object recognition information. Is generated.

登録情報算出部１３３は、製版情報に対応して、インキを印刷する順番に印刷色の予測を行い、それぞれのインキの濃度階調に対応した分光反射率、及びそのインキを印刷する下地の層（印刷媒体あるいはインキの層）の分光反射率から、印刷結果である複数のインキの層からなる着色層における各部分の分光反射率を、推定分光反射率として算出する。 The registration information calculation unit 133 predicts the print color in the order in which the inks are printed according to the plate making information, the spectral reflectance corresponding to the density gradation of each ink, and the layer of the base on which the ink is printed. From the spectral reflectance of (printing medium or ink layer), the spectral reflectance of each portion of the colored layer composed of a plurality of ink layers as a printing result is calculated as an estimated spectral reflectance.

データベース更新部１３５は、登録情報算出部１３３により生成された基準ＲＧＢ画像に対応する色補正用物体を色補正用物体データベース１２に新たに登録することにより、データベースを更新する。データベース更新部１３５は、新たに登録しようとする色補正用物体が、追加登録物体として色補正用物体データベース１２にすでに登録されていた場合、当該追加登録物体の基準ＲＧＢ画像を更新する。この際、データベース更新部１３５は、当該追加登録物体の分光反射率や、特徴情報、及び色情報取得元情報などの登録内容も併せて更新する。 The database update unit 135 updates the database by newly registering the color correction object corresponding to the reference RGB image generated by the registration information calculation unit 133 in the color correction object database 12. When the color correction object to be newly registered is already registered in the color correction object database 12 as an additional registration object, the database update unit 135 updates the reference RGB image of the additional registration object. At this time, the database update unit 135 also updates the registered contents such as the spectral reflectance of the additionally registered object, the feature information, and the color information acquisition source information.

色情報再取得部１３４は、すでに登録されていた追加登録物体の登録内容が更新された場合、色補正用物体データベース１２に登録されている追加登録物体のうち、当該追加登録物体に紐づく追加登録物体について色情報を再度取得し直す。具体的に、色情報再取得部１３４は、色補正用物体データベース１２を参照し、更新された追加登録物体の識別番号が色情報取得元情報に記録されている追加登録物体を抽出する。色情報再取得部１３４により抽出された追加登録物体は、今回登録内容が更新された追加登録物体の色情報を用いて色補正を行った撮像画像２０から色情報が取得された物体である。 When the registered contents of the additionally registered object that has already been registered are updated, the color information reacquisition unit 134 adds an additional registered object associated with the additionally registered object among the additional registered objects registered in the color correction object database 12. Re-acquire the color information for the registered object. Specifically, the color information reacquisition unit 134 refers to the color correction object database 12 and extracts the additionally registered object in which the updated identification number of the additionally registered object is recorded in the color information acquisition source information. The additionally registered object extracted by the color information reacquisition unit 134 is an object whose color information has been acquired from the captured image 20 obtained by performing color correction using the color information of the additionally registered object whose registration contents have been updated this time.

色情報再取得部１３４は、抽出した追加登録物体の色情報を、今回更新された追加登録物体を用いて取得し直す。これにより、今回更新されたより精度のよい登録内容を用いて、より精度よく色情報を取得することができる。 The color information re-acquisition unit 134 reacquires the color information of the extracted additionally registered object by using the newly updated additionally registered object. As a result, the color information can be acquired more accurately by using the more accurate registration contents updated this time.

利用制限部１３６は、色補正用物体データベース１２に補正用候補物体として登録された物体のうち、色情報の精度が悪いと判定するものを、色補正用物体として用いないように利用を制限する。以下では、利用制限部１３６が利用を制限する方法について図１０を用いて説明する。 The usage restriction unit 136 restricts the use of objects registered as correction candidate objects in the color correction object database 12 so as not to use those that are determined to have poor color information accuracy as color correction objects. .. In the following, a method of restricting the use by the usage restriction unit 136 will be described with reference to FIG.

図１０は、第２の実施形態に係るデータベース管理サーバ１３が行う処理を説明するための図である。図１０では、色補正用物体データベース１２に登録された色補正用物体５１～５３、及び追加登録物体６２、６３、７１、８１、８２、９１の各々が、世代ごとに管理されている様子を模式的に示している。ここでの世代とは、色情報取得元情報に基づく世代であり、色情報が何れの色補正用物体又は追加登録物体を用いて取得されたかに応じて分類される世代である。 FIG. 10 is a diagram for explaining the processing performed by the database management server 13 according to the second embodiment. In FIG. 10, each of the color correction objects 51 to 53 registered in the color correction object database 12 and the additionally registered objects 62, 63, 71, 81, 82, 91 are managed for each generation. It is shown schematically. The generation here is a generation based on the color information acquisition source information, and is a generation classified according to which color correction object or additionally registered object the color information was acquired.

この例では、「デフォルト」世代は、製版情報から推定された分光反射率や、測定された分光反射率を用いて色情報が取得された色補正用物体で構成される。この世代は、製版情報から直接推定されたり、測定されたりした分光反射率そのものが色情報として記録されているため、色情報を取得する過程で分光反射率の精度が悪くなることがない。 In this example, the "default" generation consists of a color correction object whose color information has been acquired using the spectral reflectance estimated from the plate making information and the measured spectral reflectance. In this generation, the spectral reflectance itself estimated or measured directly from the plate making information is recorded as color information, so that the accuracy of the spectral reflectance does not deteriorate in the process of acquiring the color information.

「第１世代」は、デフォルト世代に属する色補正用物体を用いて色情報が取得された色補正用物体で構成される。この世代は、色補正用物体を用いて分光反射率が取得されているため、製版情報から直接推定されたり、測定されたりした分光反射率、つまりデフォルト世代と比較すると、分光反射率の精度が悪いと考えられる。この例では、追加登録物体６２、６３が「第１世代」に該当する。また、追加登録物体６２、６３は、色補正用物体５３と紐づいて（矢印で接続されて）いる。これは、追加登録物体６２、６３が、ともに色補正用物体５３を用いて色情報が推定されていることを示している。 The "first generation" is composed of a color correction object whose color information is acquired by using a color correction object belonging to the default generation. Since this generation has the spectral reflectance obtained using a color correction object, the spectral reflectance is accurately estimated or measured directly from the plate making information, that is, compared to the default generation. It is considered bad. In this example, the additional registered objects 62 and 63 correspond to the "first generation". Further, the additional registered objects 62 and 63 are linked (connected by arrows) to the color correction object 53. This indicates that the color information of the additional registered objects 62 and 63 is estimated by using the color correction object 53.

「第２世代」は、第１世代に属する追加登録物体を用いて色情報が取得された色補正用物体で構成される。この世代は、第１世代の追加登録物体を用いて分光反射率が取得されているため、第１世代と比較して、分光反射率の精度が悪くなると考えられる。この例では、追加登録物体７１が「第２世代」に該当する。追加登録物体７１は、追加登録物体６３と矢印で接続され、追加登録物体６３を用いて色情報が推定されていることを示している。 The "second generation" is composed of a color correction object whose color information is acquired by using an additionally registered object belonging to the first generation. In this generation, since the spectral reflectance is acquired by using the additionally registered object of the first generation, it is considered that the accuracy of the spectral reflectance is worse than that of the first generation. In this example, the additional registered object 71 corresponds to the "second generation". The additional registration object 71 is connected to the additional registration object 63 by an arrow, and indicates that the color information is estimated using the additional registration object 63.

「第３世代」は、第２世代に属する追加登録物体を用いて色情報が取得された色補正用物体で構成される。この世代は、第２世代の追加登録物体を用いて分光反射率が取得されているため、第２世代と比較して、分光反射率の精度が悪くなると考えられる。この例では、追加登録物体８１、８２が「第３世代」に該当する。追加登録物体８１、８２は、共に追加登録物体７１と矢印で接続され、追加登録物体７１を用いて色情報が推定されていることを示している。 The "third generation" is composed of a color correction object whose color information is acquired by using an additionally registered object belonging to the second generation. In this generation, since the spectral reflectance is acquired by using the additionally registered object of the second generation, it is considered that the accuracy of the spectral reflectance is worse than that of the second generation. In this example, the additional registered objects 81 and 82 correspond to the "third generation". Both the additional registration objects 81 and 82 are connected to the additional registration object 71 by an arrow, indicating that the color information is estimated using the additional registration object 71.

「第４世代」は、第３世代に属する追加登録物体を用いて色情報が取得された色補正用物体で構成される。この世代は、第３世代の追加登録物体を用いて分光反射率が取得されているため、第３世代と比較して、分光反射率の精度が悪くなると考えられる。この例では、追加登録物体９１が「第４世代」に該当する。追加登録物体９１は、追加登録物体８１と矢印で接続され、追加登録物体８１を用いて色情報が推定されていることを示している。 The "fourth generation" is composed of a color correction object whose color information is acquired by using an additionally registered object belonging to the third generation. In this generation, since the spectral reflectance is acquired by using the additionally registered object of the 3rd generation, it is considered that the accuracy of the spectral reflectance is worse than that of the 3rd generation. In this example, the additional registered object 91 corresponds to the "fourth generation". The additional registration object 91 is connected to the additional registration object 81 by an arrow, and indicates that the color information is estimated using the additional registration object 81.

利用制限部１３６は、デフォルト世代から何れの世代までを色補正用物体として利用することができるようにし、その下の世代の利用を制限する。利用制限部１３６は、何れの世代までを利用可能とするかを、色補正用物体データベース１２に記録された追加登録物体の個数や、追加登録物体の色情報の精度に応じて任意に決定してよい。これにより、色情報の精度が悪くなると考えられる追加登録物体を用いて色補正が行われてしまうことを抑制できる。 The usage restriction unit 136 makes it possible to use any generation from the default generation as a color correction object, and restricts the use of the generations below it. The usage restriction unit 136 arbitrarily determines which generation can be used according to the number of additionally registered objects recorded in the color correction object database 12 and the accuracy of the color information of the additionally registered objects. It's okay. As a result, it is possible to prevent color correction from being performed using an additionally registered object that is considered to have poor accuracy of color information.

図１１は、第２の実施形態に係るデータベース管理サーバ１３が行う処理を説明するための図である。図１１ではデータベース更新部１３５により色補正用物体データベース１２が更新される様子を模式的に示しており、図１０において、第２世代に属していた追加登録物体７１の製版情報が取得された場合を例示している。
この場合、製版情報取得部１３１により追加登録物体７１の製版情報が取得され、登録情報算出部１３３により取得された製版情報を用いて推定分光反射率が算出されたり、基準ＲＧＢ画像が生成されたりして、更新される追加登録物体７１の色情報が算出される。そして、データベース更新部１３５により、色補正用物体データベース１２における追加登録物体７１の登録内容が更新される。この例では、第２世代に属していた追加登録物体７１が、デフォルト世代に属する色補正用物体５６として更新された場合を示している。この場合、追加登録物体７１を用いて色情報が推定されていた追加登録物体８１、８２は第１世代に移動し、それぞれ追加登録物体６４、６５となる。また、追加登録物体８１を用いて色情報が推定されていた追加登録物体９１は第２世代に移動して追加登録物体７２となる。つまり、登録内容が更新された追加登録物体７１に紐づいていた追加登録物体は、更新に伴って世代が移動する。世代が移動する際には、追加登録物体７１に紐づいていた追加登録物体の色情報は、更新された追加登録物体７１（つまり、色補正用物体５６）を用いて再度取得される。 FIG. 11 is a diagram for explaining the processing performed by the database management server 13 according to the second embodiment. FIG. 11 schematically shows how the color correction object database 12 is updated by the database update unit 135, and in FIG. 10, when the plate making information of the additionally registered object 71 belonging to the second generation is acquired. Is illustrated.
In this case, the plate-making information acquisition unit 131 acquires the plate-making information of the additional registered object 71, and the plate-making information acquired by the registration information calculation unit 133 is used to calculate the estimated spectral reflectance or generate a reference RGB image. Then, the color information of the additionally registered object 71 to be updated is calculated. Then, the database update unit 135 updates the registered contents of the additional registered object 71 in the color correction object database 12. In this example, the case where the additionally registered object 71 belonging to the second generation is updated as the color correction object 56 belonging to the default generation is shown. In this case, the additional registration objects 81 and 82 whose color information has been estimated using the additional registration object 71 move to the first generation and become the additional registration objects 64 and 65, respectively. Further, the additional registration object 91 whose color information has been estimated using the additional registration object 81 moves to the second generation and becomes the additional registration object 72. That is, the generation of the additionally registered object associated with the additionally registered object 71 whose registration contents have been updated moves with the update. When the generation moves, the color information of the additionally registered object associated with the additionally registered object 71 is acquired again by using the updated additional registered object 71 (that is, the color correction object 56).

以上説明したように、第２の実施形態の画像補正システム１Ａは、色補正部１１３により行われる色補正に追加登録物体を利用するか否かを、追加登録物体の色情報取得元情報に基づいて判定する利用制限部１３６を更に備える。これにより、追加登録物体の色情報の精度が撮像画像２０の色補正を行うために必要な精度に達していないと考えられる場合に、その追加登録物体を色補正用物体として利用することを制限でき、撮像画像２０の色補正の精度が悪くなることを抑制できる。 As described above, the image correction system 1A of the second embodiment determines whether or not to use the additionally registered object for the color correction performed by the color correction unit 113 based on the color information acquisition source information of the additionally registered object. It is further provided with a usage restriction unit 136 for determining. As a result, when it is considered that the accuracy of the color information of the additionally registered object does not reach the accuracy required for performing the color correction of the captured image 20, the use of the additionally registered object as the color correction object is restricted. Therefore, it is possible to prevent the accuracy of color correction of the captured image 20 from deteriorating.

また、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１の色情報（例えば、分光反射率）を測定した測定値が取得された場合、色補正用物体データベース１２に記録された追加登録物体７１の色情報を測定値に基づいて更新するデータベース更新部１３５を更に備える。これにより、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１について、色情報が測定された場合にはその測定された色情報に更新でき、登録済みの追加登録物体の色情報の精度を向上させていくことができる。 Further, in the image correction system 1A of the second embodiment, when the measured value obtained by measuring the color information (for example, spectral reflectance) of the additionally registered object 71 is acquired, the addition recorded in the color correction object database 12 is added. Further, a database update unit 135 for updating the color information of the registered object 71 based on the measured value is provided. As a result, in the image correction system 1A of the second embodiment, when the color information of the additional registered object 71 is measured, it can be updated to the measured color information, and the color information of the registered additional registered object can be updated. The accuracy can be improved.

また、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１の製版情報が取得された場合、色補正用物体データベース１２に記録された追加登録物体７１の色情報を、製版情報を用いて推定される色情報に更新するデータベース更新部１３５を更に備える。これにより、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１について、製版情報が取得された場合には製版情報を用いて分光反射率を推定することにより色情報を更新でき、登録済みの追加登録物体の色情報の精度を向上させていくことができる。 Further, in the image correction system 1A of the second embodiment, when the plate making information of the additionally registered object 71 is acquired, the color information of the additionally registered object 71 recorded in the color correction object database 12 is used as the plate making information. Further, a database update unit 135 for updating the estimated color information is provided. As a result, in the image correction system 1A of the second embodiment, when the plate making information is acquired, the color information of the additional registered object 71 can be updated by estimating the spectral reflectance using the plate making information and registered. It is possible to improve the accuracy of the color information of the additionally registered object that has already been registered.

また、第２の実施形態の画像補正システム１Ａでは、色補正用物体データベース１２に追加登録物体が複数登録されており、色補正用物体データベース１２に登録された追加登録物体７１（「第１追加登録物体」の一例）の色情報が更新された場合、色補正用物体データベース１２に登録された追加登録物体のうち、追加登録物体７１の識別情報が色情報取得元情報として記録された追加登録物体８１、８２（「第２追加登録物体」の一例）について、追加登録物体８１、８２の色情報を、追加登録物体７１において更新された色情報を用いて再度取得し直す色情報再取得部１３４を更に備える。これにより、第２の実施形態の画像補正システム１Ａでは、追加登録物体７１の色情報が変更された場合に、追加登録物体７１に紐づく追加登録物体８１、８２の色情報を更新でき、色情報が更新された追加登録物体のみならず、色情報が更新された追加登録物体に紐づく追加登録物体の色情報をより精度のよい色情報に更新させることができる。 Further, in the image correction system 1A of the second embodiment, a plurality of additionally registered objects are registered in the color correction object database 12, and the additional registration object 71 registered in the color correction object database 12 (“first addition”). When the color information of "example of registered object") is updated, the identification information of the additionally registered object 71 among the additionally registered objects registered in the color correction object database 12 is recorded as the color information acquisition source information. For the objects 81 and 82 (an example of the "second additional registration object"), the color information reacquisition unit that reacquires the color information of the additional registration objects 81 and 82 using the color information updated in the additional registration object 71. 134 is further provided. As a result, in the image correction system 1A of the second embodiment, when the color information of the additional registration object 71 is changed, the color information of the additional registration objects 81 and 82 associated with the additional registration object 71 can be updated, and the color can be updated. Not only the additionally registered object whose information has been updated, but also the color information of the additionally registered object associated with the additionally registered object whose color information has been updated can be updated to more accurate color information.

上述した実施形態における画像補正システム１（１Ａ）の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 All or part of the image correction system 1 (1A) in the above-described embodiment may be realized by a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed. The term "computer system" as used herein includes hardware such as an OS and peripheral devices. Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, and a storage device such as a hard disk built in a computer system. Further, a "computer-readable recording medium" is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. It may also include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that is a server or a client in that case. Further, the above program may be for realizing a part of the above-mentioned functions, and may be further realized for realizing the above-mentioned functions in combination with a program already recorded in the computer system. It may be realized by using a programmable logic device such as FPGA.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes designs and the like within a range that does not deviate from the gist of the present invention.

１…画像補正システム
２－１，２－２…ユーザ端末装置
３－１，３－２…撮像装置
４－１，４－２…表示装置
５…ネットワーク
１１…画像補正サーバ
１２…色補正用物体データベース
１３…データベース管理サーバ
１１１…撮像画像取得部
１１２…色補正用物体認識部
１１３…色補正部
１１４…未登録物体認識部
１１５…追加登録部
１３１…製版情報取得部
１３２…測定情報取得部
１３３…登録情報算出部
１３４…色情報再取得部
１３５…データベース更新部
１３６…利用制限部 1 ... Image correction system 2-1, 2-2 ... User terminal device 3-1, 3-2 ... Image pickup device 4-1, 4-2 ... Display device 5 ... Network 11 ... Image correction server 12 ... Color correction object Database 13 ... Database management server 111 ... Captured image acquisition unit 112 ... Color correction object recognition unit 113 ... Color correction unit 114 ... Unregistered object recognition unit 115 ... Additional registration unit 131 ... Plate making information acquisition unit 132 ... Measurement information acquisition unit 133 … Registration information calculation unit 134… Color information reacquisition unit 135… Database update unit 136… Usage restriction unit

Claims (8)

ユーザが一般的に所持し、色が参照可能な物体である色補正用物体の物体認識情報及び色情報の各々が記録された色補正用物体データベースと、
少なくとも撮像対象物と前記色補正用物体とが同一画像として撮像された撮像画像の色補正を、色補正用物体データベースに記録された前記色補正用物体の色情報を用いて行う色補正部と、
前記色補正用物体データベースに記録されていない未登録物体が、前記撮像画像に撮像されているか否かを判定する未登録物体認識部と、
前記未登録物体が前記撮像画像に撮像されている場合、前記未登録物体の物体認識情報、及び前記色補正部により色補正された前記撮像画像の画像データを用いて取得された前記未登録物体の色情報を、前記色補正用物体データベースに記録し、前記色補正用物体データベースに登録された前記未登録物体である追加登録物体について、前記追加登録物体における色情報の取得元を示す色情報取得元情報として、前記撮像画像の色補正に用いられた前記色補正用物体の識別情報を記録する追加登録部
を備えることを特徴とする画像補正システム。 A color correction object database in which each of the object recognition information and the color information of a color correction object, which is generally possessed by a user and whose color can be referred to, is recorded.
At least with a color correction unit that performs color correction of an captured image captured as the same image of an image-taking object and the color-correcting object by using the color information of the color-correcting object recorded in the color-correcting object database. ,
An unregistered object recognition unit that determines whether or not an unregistered object that is not recorded in the color correction object database is captured in the captured image, and
When the unregistered object is captured in the captured image, the unregistered object acquired by using the object recognition information of the unregistered object and the image data of the captured image color-corrected by the color correction unit. The color information of the above is recorded in the color correction object database, and for the additionally registered object which is the unregistered object registered in the color correction object database, the color information indicating the acquisition source of the color information in the additionally registered object is shown. An image correction system including an additional registration unit that records identification information of the color correction object used for color correction of the captured image as acquisition source information . 前記追加登録部は、前記撮像画像に撮像されている前記未登録物体の形状に基づいて、前記未登録物体を前記色補正用物体データベースに記録するか否かを判定する
ことを特徴とする請求項１に記載の画像補正システム。 The claim is characterized in that the additional registration unit determines whether or not to record the unregistered object in the color correction object database based on the shape of the unregistered object captured in the captured image. Item 1. The image correction system according to item 1. 前記追加登録部は、前記撮像画像に撮像されている前記未登録物体と前記色補正用物体との相対的な位置関係に基づいて、前記未登録物体を前記色補正用物体データベースに記録するか否かを判定する
ことを特徴とする請求項１又は請求項２に記載の画像補正システム。 Whether the additional registration unit records the unregistered object in the color correction object database based on the relative positional relationship between the unregistered object captured in the captured image and the color correction object. The image correction system according to claim 1 or 2, wherein it is determined whether or not. 前記色補正部により行われる色補正に前記追加登録物体を利用するか否かを、前記追加登録物体の前記色情報取得元情報に基づいて判定する利用制限部
を更に備えることを特徴とする請求項１から請求項３のいずれか一項に記載の画像補正システム。 A claim further comprising a usage restriction unit that determines whether or not to use the additionally registered object for color correction performed by the color correction unit based on the color information acquisition source information of the additionally registered object. The image correction system according to any one of claims 1 to 3 . 前記追加登録物体の色情報を測定した測定値が取得された場合、前記色補正用物体データベースに記録された当該追加登録物体の色情報を前記測定値に基づいて更新するデータベース更新部
を更に備えることを特徴とする請求項１から請求項４のいずれか一項に記載の画像補正システム。 When the measured value obtained by measuring the color information of the additionally registered object is acquired, the database update unit for updating the color information of the additionally registered object recorded in the color correction object database based on the measured value is further provided. The image correction system according to any one of claims 1 to 4, wherein the image correction system is characterized in that. 前記追加登録物体の製版情報が取得された場合、前記色補正用物体データベースに記録された当該追加登録物体の色情報を、前記製版情報を用いて推定される色情報に更新するデータベース更新部
を更に備えることを特徴とする請求項１から請求項５のいずれか一項に記載の画像補正システム。 When the plate making information of the additionally registered object is acquired, a database update unit that updates the color information of the additionally registered object recorded in the color correction object database to the color information estimated by using the plate making information is provided. The image correction system according to any one of claims 1 to 5, further comprising. 前記色補正用物体データベースに前記追加登録物体が複数登録されており、前記色補正用物体データベースに登録された第１追加登録物体の色情報が更新された場合、前記色補正用物体データベースに登録された前記追加登録物体のうち、前記第１追加登録物体の識別情報が前記色情報取得元情報として記録された第２追加登録物体について、前記第２追加登録物体の色情報を、前記第１追加登録物体において更新された色情報を用いて再度取得し直す色情報再取得部
を更に備えることを特徴とする請求項１から請求項６のいずれか一項に記載の画像補正システム。 When a plurality of the additionally registered objects are registered in the color correction object database and the color information of the first additionally registered object registered in the color correction object database is updated, the color information is registered in the color correction object database. Among the additional registered objects, the color information of the second additional registered object is obtained for the second additional registered object in which the identification information of the first additional registered object is recorded as the color information acquisition source information. The image correction system according to any one of claims 1 to 6, further comprising a color information reacquisition unit for reacquiring the additionally registered object using the updated color information. ユーザが一般的に所持し、色が参照可能な物体である色補正用物体の物体認識情報及び色情報の各々が記録された色補正用物体データベースを参照可能な画像補正システムの画像補正方法であって、
色補正部が、少なくとも撮像対象物と前記色補正用物体とが同一画像として撮像された撮像画像の色補正を、色補正用物体データベースに記録された前記色補正用物体の色情報を用いて行う色補正過程と、
未登録物体認識部が、前記色補正用物体データベースに記録されていない未登録物体が、前記撮像画像に存在するか否かを判定する未登録物体認識過程と、
追加登録部が、前記未登録物体が前記撮像画像に撮像されている場合、前記未登録物体の物体認識情報、及び前記色補正部により色補正された前記撮像画像の画像データを用いて取得された前記未登録物体の色情報を、前記色補正用物体データベースに記録し、前記色補正用物体データベースに登録された前記未登録物体である追加登録物体について、前記追加登録物体における色情報の取得元を示す色情報取得元情報として、前記撮像画像の色補正に用いられた前記色補正用物体の識別情報を記録する追加登録過程と
を含むことを特徴とする画像補正方法。 An image correction method of an image correction system that can refer to a color correction object database in which each of the object recognition information and the color information of a color correction object, which is generally possessed by a user and whose color can be referred to, is recorded. There,
The color correction unit uses the color information of the color correction object recorded in the color correction object database to perform color correction of the captured image in which at least the image pickup object and the color correction object are captured as the same image. The color correction process to be performed and
An unregistered object recognition process in which the unregistered object recognition unit determines whether or not an unregistered object not recorded in the color correction object database exists in the captured image.
When the unregistered object is captured in the captured image, the additional registration unit is acquired using the object recognition information of the unregistered object and the image data of the captured image color-corrected by the color correction unit. The color information of the unregistered object is recorded in the color correction object database, and the color information of the additionally registered object, which is the unregistered object registered in the color correction object database, is acquired. An image correction method comprising an additional registration process of recording identification information of the color correction object used for color correction of the captured image as color information acquisition source information indicating the origin .
JP2018100940A 2018-05-25 2018-05-25 Image correction system and image correction method Active JP7047596B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018100940A JP7047596B2 (en) 2018-05-25 2018-05-25 Image correction system and image correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018100940A JP7047596B2 (en) 2018-05-25 2018-05-25 Image correction system and image correction method

Publications (2)

Publication Number Publication Date
JP2019205142A JP2019205142A (en) 2019-11-28
JP7047596B2 true JP7047596B2 (en) 2022-04-05

Family

ID=68727462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018100940A Active JP7047596B2 (en) 2018-05-25 2018-05-25 Image correction system and image correction method

Country Status (1)

Country Link
JP (1) JP7047596B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269560A (en) 2004-03-22 2005-09-29 Fuji Xerox Co Ltd Image processor, image processing method, and program
JP2006222899A (en) 2005-02-14 2006-08-24 Toyota Motor Corp Image processing apparatus and image processing method
JP2016219935A (en) 2015-05-18 2016-12-22 シャープ株式会社 Image processing system, image processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269560A (en) 2004-03-22 2005-09-29 Fuji Xerox Co Ltd Image processor, image processing method, and program
JP2006222899A (en) 2005-02-14 2006-08-24 Toyota Motor Corp Image processing apparatus and image processing method
JP2016219935A (en) 2015-05-18 2016-12-22 シャープ株式会社 Image processing system, image processing method, and program

Also Published As

Publication number Publication date
JP2019205142A (en) 2019-11-28

Similar Documents

Publication Publication Date Title
RU2567863C2 (en) Method and system for image colour definition
US9900472B2 (en) Color conversion table creation device and method, program, and recording medium
JP4285290B2 (en) Image processing apparatus, image processing method, and program
JP7272349B2 (en) Color correspondence information generation system, program, and color correspondence information generation method
EP3557857A1 (en) Color conversion table creation device and method, color conversion device, and program
US20040228528A1 (en) Image editing apparatus, image editing method and program
JP6317839B2 (en) Color conversion table creation device and method, and program
JP6150779B2 (en) Color conversion table creation device and method, and program
CN114070953A (en) Image processing apparatus, image processing method, and image processing system
JP6298387B2 (en) Color conversion table creation device and method, and program
JP6342824B2 (en) Color conversion table creation device, color conversion table creation method, and color conversion table creation program
JP7047596B2 (en) Image correction system and image correction method
JP5824423B2 (en) Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program
WO2015072542A1 (en) Color conversion table creation device and method, program, and recording medium
JP2000050318A (en) Method for characterizing response function of output device, program product and system
JP2019083445A (en) Image processing apparatus, image processing method, image processing system, and program
JP2012028973A (en) Illumination light estimation device, illumination light estimation method, and illumination light estimation program
JP2005203865A (en) Image processing system
JP6776139B2 (en) Print color evaluation system and print color evaluation method
WO2021131806A1 (en) Information processing device, information processing method, and information processing program
JP4633979B2 (en) Method and color image processor for determining colorimetry of an image
JP2007088993A (en) Image correcting method and apparatus
JP3260293B2 (en) Color information exchange method and device characteristic adjustment method
TW576104B (en) Method for automatically monitoring color saturation
JP2017073099A (en) Eyelash Extension Evaluation Device, Eyelash Extension Evaluation Method, Eyelash Extension Evaluation System, and Program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R150 Certificate of patent or registration of utility model

Ref document number: 7047596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150