JP2022000623A - カラーチャート - Google Patents
カラーチャート Download PDFInfo
- Publication number
- JP2022000623A JP2022000623A JP2021039110A JP2021039110A JP2022000623A JP 2022000623 A JP2022000623 A JP 2022000623A JP 2021039110 A JP2021039110 A JP 2021039110A JP 2021039110 A JP2021039110 A JP 2021039110A JP 2022000623 A JP2022000623 A JP 2022000623A
- Authority
- JP
- Japan
- Prior art keywords
- color
- patch
- color chart
- patches
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 20
- 238000012937 correction Methods 0.000 abstract description 65
- 238000000034 method Methods 0.000 abstract description 40
- 230000008569 process Effects 0.000 description 20
- 238000013459 approach Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000001528 Coronaviridae Infections Diseases 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004089 microcirculation Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000000088 plastic resin Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- SWGJCIMEBVHMTA-UHFFFAOYSA-K trisodium;6-oxido-4-sulfo-5-[(4-sulfonatonaphthalen-1-yl)diazenyl]naphthalene-2-sulfonate Chemical compound [Na+].[Na+].[Na+].C1=CC=C2C(N=NC3=C4C(=CC(=CC4=CC=C3O)S([O-])(=O)=O)S([O-])(=O)=O)=CC=C(S([O-])(=O)=O)C2=C1 SWGJCIMEBVHMTA-UHFFFAOYSA-K 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
- H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/462—Computing operations in or between colour spaces; Colour management systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/463—Colour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6016—Conversion to subtractive colour signals
- H04N1/6019—Conversion to subtractive colour signals using look-up tables
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J2003/466—Coded colour; Recognition of predetermined colour; Determining proximity to predetermined colour
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J2003/467—Colour computing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0264—Electrical interface; User interface
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Spectrometry And Color Measurement (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Abstract
Description
例えば、被写体の撮影時に、カラーチャート(色見本)も一緒に撮影しておき、得られたデジタル画像に含まれるカラーチャートでの画素値を用いることで、デジタル画像を色補正する技術が提案されている(例えば、特許文献1参照)。
[1] 複数のパッチと、前記複数のパッチの少なくとも一つを自動認識するための自動認識用マーカとを有することを特徴とするカラーチャート。
[2] 模様が異なる前記自動認識用マーカを2つ以上有する、[1]に記載のカラーチャート。
[3] 前記複数のパッチが、以下の第1パッチから第7パッチからなる群から選択される少なくとも3つのパッチを有する、[1]又は[2]に記載のカラーチャート。
第1パッチ:L*a*b*値においてL*=72、a*=8、及びb*=22で表される第1色、又は第1色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第2パッチ:L*a*b*値においてL*=78、a*=30、及びb*=15で表される第2色、又は第2色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第3パッチ:L*a*b*値においてL*=58、a*=27、及びb*=7で表される第3色、又は第3色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第4パッチ:L*a*b*値においてL*=60、a*=20、及びb*=5で表される第4色、又は第4色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第5パッチ:L*a*b*値においてL*=48、a*=25、及びb*=2で表される第5色、又は第5色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第6パッチ:L*a*b*値においてL*=52、a*=50、及びb*=13で表される第6色、又は第6色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第7パッチ:L*a*b*値においてL*=33、a*=40、及びb*=30で表される第7色、又は第7色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
[4] 前記複数のパッチが、明度が異なる複数の無彩色のパッチを有する、[1]〜[3]のいずれかに記載のカラーチャート。
[5] 前記複数のパッチが、前記第1色から前記第7色とは異なる複数の有彩色のパッチを有する、[3]又は[4]に記載のカラーチャート。
[6] 面積が40cm2以上150cm2以下である、[1]〜[5]のいずれかに記載のカラーチャート。
[7] 前記複数のパッチの各面積が、0.25cm2以上4cm2以下である、[1]〜[6]のいずれかに記載のカラーチャート。
[8] 主面の右下部に空白部を有する[1]〜[7]のいずれかに記載のカラーチャート。
本発明のカラーチャートは、複数のパッチと、自動認識用マーカとを少なくとも有する。
各パッチの形状としては、例えば、正方形などが挙げられる。
自動認識用マーカの形状、大きさとしては、特に限定されないが、例えば、パッチと同程度の形状、大きさであることが好ましい。例えば、自動認識用マーカの大きさは、0.25cm2以上4cm2以下が好ましい。また、自動認識用マーカは、通常、各パッチが有さない模様を有している。
カラーチャートは、模様が異なる自動認識用マーカを2つ以上有することが好ましい。2つ以上の自動認識用マーカを用いる場合には、2つ以上の自動認識用マーカの相対的な位置関係を考慮して各パッチの自動認識が行われることから、各パッチの自動認識性が向上する。
まず、カラーチャートを撮影して得られた画像の中から、自動認識用マーカを検知する。自動認識用マーカの検知は、例えば、汎用の画像認識処理ソフトウェアを備える画像認識手段を用いて行うことができる。具体的には、画像認識手段を用いて、あらかじめ画像認識手段に記憶されている自動認識用マーカの画像と、カラーチャートを撮影して得られた画像とのパターンマッチングを行うことにより、カラーチャートを撮影して得られた画像の中から、自動認識用マーカを検知する。
他方、カラーチャートにおける自動認識用マーカと各パッチとの位置関係を、あらかじめ画像認識手段に記憶させておく。例えば、模様が異なる2つの自動認識用マーカを用いる場合には、2つの自動認識用マーカそれぞれと各パッチとの位置関係を、あらかじめ画像認識手段の記憶部に記憶させておく。ここで、画像認識手段としては、CPUとメモリとの組み合わせが挙げられる。
そして、検知した自動認識用マーカを用いて、撮影して得られた画像のカラーチャートに、把握しておいた位置関係を当てはめることで、撮影して得られた画像のカラーチャート中の各パッチを自動認識することができる。
歯科における歯茎の色の観察、皮膚科における皮膚の色の観察、耳鼻咽喉科における喉の色の観察、漢方医学で行われている、顔の肌色、舌色などによる診察(望診)など、診療においては、色を重視する診療が行われる場合がある。このような診療においては、色の認識が正しく行われないことが診断に影響を与えることがある。
そのため、そのような診療を遠隔診療で行う際には、色を正確に認識することが重要である。
これら第1パッチから第7パッチの組み合わせとして、7つのパッチから選択される2つ以上であれば特に制限されるものではないが、紫赤、薄赤紫、濃い黄赤のように色調が異なるバッチを3つ以上選択することが好ましい。
第2パッチ:L*a*b*値においてL*=78、a*=30、及びb*=15で表される第2色、又は第2色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第3パッチ:L*a*b*値においてL*=58、a*=27、及びb*=7で表される第3色、又は第3色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第4パッチ:L*a*b*値においてL*=60、a*=20、及びb*=5で表される第4色、又は第4色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第5パッチ:L*a*b*値においてL*=48、a*=25、及びb*=2で表される第5色、又は第5色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第6パッチ:L*a*b*値においてL*=52、a*=50、及びb*=13で表される第6色、又は第6色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第7パッチ:L*a*b*値においてL*=33、a*=40、及びb*=30で表される第7色、又は第7色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第2パッチが有する色は、炎症肌色に対応する。
第3パッチが有する色は、淤血の(微小循環が悪い)舌の色に対応する。
第4パッチが有する色は、健康な舌苔のある部分の色に対応する。
第5パッチが有する色は、舌深静脈の怒張=淤血の色に対応する。
第6パッチが有する色は、健康な舌の色に対応する。
第7パッチが有する色は、熱がある舌の色に対応する。
これらの色を有するカラーチャートを用いることで、患者の肌色、舌色などの色情報を用いた診断を行いやすくできる。
図1は、カラーチャートの一例の模式図である。
なお、図1のカラーチャートは、グレースケールであるが、実際のカラーチャートは、有彩色のパッチを含んでいる。
図1のカラーチャートは、縦約90mm、横約55mmの長方形であり、その主面の上方の右上部(正面視した際の左上部)、及び下方の左下部(正面視した際の右下部)に、10mm四方の自動認識用マーカ11a、11bが配されている。2つの自動認識用マーカ11a、11bは、黒地に白模様を有している。自動認識用マーカ11aの白模様と自動認識用マーカ11bと白模様とは異なる。上方及び下方に挟まれた中央部には、10mm四方の各パッチが6(A〜F)行5(a〜e)列で間隔を空けずに並んでいる。主面の最右列(第1列:正面視した際の最左列)には、無彩色のパッチが、明度順に並んでいる。
図1に示すカラーチャートの各パッチのL*a*b*値を表1−1に示す。また、図1に示すカラーチャートの各パッチの色の概略を、表1−2に示す。また、第1パッチから第7パッチについて肌色、舌色との関係を表1−3に示す。
本発明に関する画像表示システムは、カラーチャートと、撮影手段と、表示手段とを少なくとも有し、更に必要に応じて、その他の手段を有する。
本発明に関する画像表示方法は、撮影工程と、表示工程とを少なくとも有し、更に必要に応じて、その他の工程を有する。
図2に画像表示システムの一例の構成図を示す。図2の画像表示システムは、カラーチャート1と、撮影手段2と、表示手段3とを有する。
撮影手段は、カラーチャート及び撮影対象者を同時に撮影し、画像データを取得するための手段である。
撮影工程では、カラーチャート及び撮影対象者が同時に撮影され、画像データが取得される。
撮影工程は、例えば、撮影手段により行われる。
撮影対象者は、例えば、遠隔診療を受診する患者である。
カメラ機能付き電子機器としては、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ、監視カメラ、医療診断装置に付帯するカメラシステム(例えば、f−MRIに付帯するカメラシステム)などが挙げられる。なお、撮影手段としてのパーソナルコンピュータにおけるカメラは、内臓カメラであってもよいし、外付けのカメラであってもよい。
撮影手段が有する撮像素子としては、例えば、CCD(電荷結合素子)、CMOS(相補性金属酸化膜半導体)などが挙げられる。
送信部による画像データの送信は、無線通信で行われてもよいし、有線通信で行われてもよい。
無線送信としては、例えば、Wi−Fi、LTE、5Gなど、使用可能な任意の方式の無線通信を利用することができる。
表示手段は、画像データを受け取り、画像データを画像として表示部に表示するための手段であり、表示部を少なくとも有し、更に必要に応じて色補正部などのその他の部を有する。
表示工程では、画像データが受け取られ、画像データが画像として表示部に表示される。
表示工程では、更に色補正処理が行われてもよい。
表示工程は、例えば、表示手段により行われる。
図3に表示手段の一例の機能構成図を示す。図3の表示手段3は、表示部3aと、色補正部3bとを有する。
画像データは、例えば、撮影手段から送信され、表示手段で受信される。画像データの送受信は、通常、インターネット回線を通じて行われる。
また、画像データが動画である場合、送受信は、例えば、Skype、Zoom、Microsoft Teamsなどのweb会議システムを用い、画像データに加えて、音声データを送受信してもよい。
また、撮影手段から表示手段へ画像データを伝える方法は、外部メモリを介した物理的な移動によって行われてもよい。例えば、撮影手段で取得された画像データがUSBメモリなどの外部メモリに保存され、外部メモリが郵送などにより物理的に移動された後、外部メモリを表示手段に接続することで、表示手段は画像データを受け取ることができる。
更に、表示手段に、受け取った複数回の画像データが保存されることで、それら画像データを用いて、撮影対象者の経時変化の確認を行うこともできる。
色補正部は、表示部に表示される画像におけるカラーチャート内の少なくとも一つのパッチの色が、表示部が置かれた場所の光源下において測定されるカラーチャート内の対応する少なくとも一つのパッチの色に近づく乃至は一致するように、表示部の表示色、及び画像データの色情報を補正するための部である。
色補正処理では、表示部に表示される画像におけるカラーチャート内の少なくとも一つのパッチの色が、表示部が置かれた場所の光源下において測定されるカラーチャート内の対応する少なくとも一つのパッチの色に近づく乃至は一致するように、表示部の表示色、及び画像データの色情報が補正される。
色補正処理は、例えば、色補正部により行われる。
色補正部は、例えば、色補正を行うプログラムを実行するCPUである。
ここで、色補正によってどの程度色を近づけるかは、目的に応じて適宜選択すればよい。
このような色補正は、カラーチャート内のパッチの一つのみを用いて行ってもよいし、複数を用いて行ってもよい。
第1補正部は、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、表示部の対応する表示色が近づく乃至は一致するように、表示部の表示色を補正するための部である。
第2補正部は、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、画像データのカラーチャート内の対応する少なくとも一つのパッチの色が近づく乃至は一致するように、画像データの色情報を補正するための部である。
第1補正処理では、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、表示部の対応する表示色が近づく乃至は一致するように、表示部の表示色が補正される。
第2補正処理では、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、画像データのカラーチャート内の対応する少なくとも一つのパッチの色が近づく乃至は一致するように、画像データの色情報が補正される。
第1補正処理は、例えば、第1補正部により行われる。
第2補正処理は、例えば、第2補正部により行われる。
撮影環境の違いとしては、例えば、室内での撮影の場合は、照明の光源の種類、照明の明るさなどが挙げられる。また、光源と、撮影対象(カラーチャート及び撮影対象者)との位置関係の違いも、得られる画像データにおける色情報に影響を与える。
撮影手段の種類の違いとしては、例えば、撮像素子の種類の違い、画像処理エンジンの違いなどが挙げられる。画像処理エンジンは、例えば、撮像素子から出力される生画像に処理を加え、人間が観察するのに適した画像に変換するシステムLSIである。画像処理エンジンであるシステムLSIは、例えば、組み込みCPU、組み込みDSP、顔検出などを行う専用演算回路、プログラムメモリ、データメモリ、画像メモリなどで構成される。
例えば、カラーチャートを撮影する場合、撮影手段としてのスマートフォンの種類の違い、室内照明の種類の違いなどにより、得られる画像データ毎にカラーチャートのパッチの色情報が異なる場合がある。そのため、それを同じ表示部で表示した場合でも、画像におけるカラーチャートのパッチの色は異なる場合がある。この違いは、遠隔診療に影響を与える場合がある。
また、カラーチャートを観察した場合に人が認識するカラーチャートのパッチの色は、観察する環境(例えば、光源)に依存する。これは、カラーチャートを照らす光の分光分布が、光源に依存するためである。そのため、光源が異なれば、カラーチャートを観察した際に認識又は測定されるカラーチャートのパッチの色は異なる。そのため、表示部にカラーチャートの各パッチの色のRGB値を正確に表示しても、表示部に表示されるカラーチャートの各パッチの色と、表示部が置かれた場所の光源下において人に認識されるカラーチャートの各パッチの色とは異なることがある。
そこで、前述の色補正部、及び色補正処理が有用になる。
色補正の目的は、医師が使用する表示部(例えば、PCのディスプレイ)に表示される画像におけるカラーチャート(患者とともに撮影されたカラーチャート)の色を、正解値である医師の手元にあるカラーチャートの色(ある光源下において医師が認識するカラーチャートの色)に合わせることである。
色補正は、医師が使用するディスプレイの表示色の色補正(第1補正処理)、及び患者が撮影して得られた画像の色補正(第2補正処理)の順で行う。
第1補正処理では、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、表示部の対応する表示色が近づく乃至は一致するように、表示部の表示色が補正される。
具体的には、まず、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色を測色する。次に、測色された色に近づく乃至は一致するように、ディスプレイの表示色を補正する。
人は、色を3刺激値XYZにより認識する。そのため、正解値のXYZ値を、医師の照明環境と同様の照明環境下で、測色計により測定して求める。測色計としては、例えば、コニカミノルタ 色彩輝度計CS−100Aが用いられる。
ディスプレイの補正は、以下の非特許文献を参考にして、具体的には以下のように実施する。
Matsushita, F., Kiyomitsu, K., Ogawa, K., & Tsumura, N. (2019). Evaluation of Kampo disease states using facial images. Artificial Life and Robotics, 24(1), pp.44−51
式(2)、及び式(3)から、次の式(4)が得られる。
第2補正処理では、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、画像データのカラーチャート内の対応する少なくとも一つのパッチの色が近づく乃至は一致するように、画像データの色情報が補正される。
具体的には、カラーチャート及び患者を撮影して得られた画像の画像データにおけるカラーチャートの少なくとも一つのパッチのRGB値を、第1処理補正で算出した、対応する基準RGB値に補正する。
更に具体的には、撮影して得られた画像から、自動認識用マーカを使ってカラーチャートのそれぞれのパッチの部分を抽出し、それぞれのパッチについて、パッチ内の各画素のRGB値の平均値を求める。平均化された数字(RGB値)と、対応する基準RGB値との違いから、重回帰によってモデルを作成する。そのモデルに基づき、画像データの全画素を変換して、撮影された人の顔、舌などの色の補正を行う。
補正は、患者が撮影して得られた画像の画像データにおけるカラーチャートのパッチのRGB値と、対応する基準RGB値との相関を調べることで行われる。
補正では、まず、撮影して得られた画像のカラーチャートのパッチにおける無彩色を利用して、画像データのガンマ補正を行う。次に、カラーチャートのパッチにおける全ての有彩色を利用して、画像データのRGB値の補正を行う。
ガンマ補正の詳細を説明する。まず、第1補正処理においてカラーチャートのパッチにおける無彩色部分を測色計で測色したときの輝度をもとに、撮影して得られた画像における当該無彩色部分のRGB値に対して、ガンマ補正を行う。同様に、これを基準RGB値のグレースケール部分についても行う。
次に、ガンマ補正をRGB値それぞれに対して行う。Rの場合には式(6)のような形となる。
図4は、画像表示方法の一例のフローチャートである。
まず、図5に示すように、撮影手段2であるスマートフォンを用いて、カラーチャート1と撮影対象者21とを同時に撮影する(S11)。
次に、撮影により得られた画像データを、撮影手段2から表示手段3に送信する(S12)。
次に、撮影手段2から送信された画像データを表示手段3で受信する(S13)。送受信は、例えば、E−メールに画像データを添付して行われる。
他方、表示部3aの表示色の補正を行う(S14)。具体的には、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、表示部の対応する表示色が近づく乃至は一致するように、表示部の表示色を補正する。この色補正は、色補正部3bが行う。
次に、画像データの補正を行う(S15)。具体的には、表示部が置かれた場所の光源下において測定されるカラーチャート内の少なくとも一つのパッチの色に、画像データのカラーチャート内の対応する少なくとも一つのパッチの色が近づく乃至は一致するように、画像データの色情報を補正する(S15)。この色補正は、色補正部3bが行う。色補正を行う際、画像中のカラーチャートの各パッチは、自動認識用マーカを用いて自動認識される。
最後に、図6に示すように、表示手段3であるPCの表示部3a(ディスプレイ)に補正された画像データを画像として表示する(S16)。
以上により、画像表示方法の一例が行われる。なお、工程S14は、工程S13の後に行う必要はなく、工程S14と他の工程とを行う順序は任意でよい。
更に、画像表示方法を用いた遠隔診療を行う場合には、図7に示すように、診断者である医師4が、撮影対象者21である患者が持っているカラーチャート1と同じカラーチャート1を持ちながら、表示部3aに表示された患者の顔の肌色や舌色を観察して、診断を行う。
この例では、色補正が行われているため、画像内の患者の顔の肌色は、色補正が行われない場合と比べて、対面診療を行ったと仮定した際の患者の顔の肌色に近い状態となっている。そのため、医師は、患者の肌色、舌色を望診する際、対面診療を行うのと近い状態で遠隔診療を行うことができる。
なお、本発明のカラーチャートは、上記のような色補正を行わない場合においても利用することができる。すなわち、本発明のカラーチャートは、人間の色順応の能力(色を対比し脳内で色の補正を行う能力)を利用して遠隔診療を行う場合にも利用できる。その場合、例えば、遠隔診療は、以下のように行うことができる。
医師は、手元にカラーチャートを持ちながら、患者から送られてきた画像(カラーチャートと患者とが同時に撮影された画像)をパーソナルコンピュータに表示させ、当該画像を見ながら患者の顔の肌色を観察して診断を行う。その際、医師は、手元のカラーチャートの色と、パーソナルコンピュータに表示された画像のカラーチャートとの色を対比し、それらの色の差を画像の患者の色に反映させることを脳内で行いながら、患者の顔の肌色を観察する。
図4に示すフローチャートに従って、画像表示を行った。
カラーチャートとして、図1に示すカラーチャートを用いた。
画像の色補正は、式(1)〜(7)を用いて、前述の方法で行った。
色補正を行うためのプログラムは、Pythonで作成した。
結果として、表示部に表示された画像の患者の顔の肌色は、対面診療を行ったと仮定した際の顔の肌色と同様であった。
1名の漢方医が、表示部に表示された画像を評価した。評価結果では、診療において信頼できる範囲の色補正がなされているとの意見が得られた。
2 撮影手段
3 表示手段
3a 表示部
4 医師
11a、11b 自動認識用マーカ
21 撮影対象者
Claims (8)
- 複数のパッチと、前記複数のパッチの少なくとも一つを自動認識するための自動認識用マーカとを有することを特徴とするカラーチャート。
- 模様が異なる前記自動認識用マーカを2つ以上有する、請求項1に記載のカラーチャート。
- 前記複数のパッチが、以下の第1パッチから第7パッチからなる群から選択される少なくとも3つのパッチを有する、請求項1又は2に記載のカラーチャート。
第1パッチ:L*a*b*値においてL*=72、a*=8、及びb*=22で表される第1色、又は第1色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第2パッチ:L*a*b*値においてL*=78、a*=30、及びb*=15で表される第2色、又は第2色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第3パッチ:L*a*b*値においてL*=58、a*=27、及びb*=7で表される第3色、又は第3色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第4パッチ:L*a*b*値においてL*=60、a*=20、及びb*=5で表される第4色、又は第4色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第5パッチ:L*a*b*値においてL*=48、a*=25、及びb*=2で表される第5色、又は第5色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第6パッチ:L*a*b*値においてL*=52、a*=50、及びb*=13で表される第6色、又は第6色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域
第7パッチ:L*a*b*値においてL*=33、a*=40、及びb*=30で表される第7色、又は第7色に対してL*a*b*色空間において色差ΔE*が5以下の色、を有する領域 - 前記複数のパッチが、明度が異なる複数の無彩色のパッチを有する、請求項1〜3のいずれかに記載のカラーチャート。
- 前記複数のパッチが、前記第1色から前記第7色とは異なる複数の有彩色のパッチを有する、請求項3又は4に記載のカラーチャート。
- 面積が40cm2以上150cm2以下である、請求項1〜5のいずれかに記載のカラーチャート。
- 前記複数のパッチの各面積が、0.25cm2以上4cm2以下である、請求項1〜6のいずれかに記載のカラーチャート。
- 主面の右下部に空白部を有する請求項1〜7のいずれかに記載のカラーチャート。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21826845.6A EP4170304A4 (en) | 2020-06-17 | 2021-06-15 | COLOR CHART |
US18/010,596 US20230258501A1 (en) | 2020-06-17 | 2021-06-15 | Color chart |
KR1020227035668A KR20230025380A (ko) | 2020-06-17 | 2021-06-15 | 컬러 차트 |
PCT/JP2021/022641 WO2021256458A1 (ja) | 2020-06-17 | 2021-06-15 | カラーチャート |
CN202180032483.1A CN115516284A (zh) | 2020-06-17 | 2021-06-15 | 比色图表 |
CA3182622A CA3182622A1 (en) | 2020-06-17 | 2021-06-15 | Color chart |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020104762 | 2020-06-17 | ||
JP2020104762 | 2020-06-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6981561B1 JP6981561B1 (ja) | 2021-12-15 |
JP2022000623A true JP2022000623A (ja) | 2022-01-04 |
Family
ID=79190961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021039110A Active JP6981561B1 (ja) | 2020-06-17 | 2021-03-11 | カラーチャート |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230258501A1 (ja) |
EP (1) | EP4170304A4 (ja) |
JP (1) | JP6981561B1 (ja) |
KR (1) | KR20230025380A (ja) |
CN (1) | CN115516284A (ja) |
CA (1) | CA3182622A1 (ja) |
WO (1) | WO2021256458A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023153223A1 (ja) * | 2022-02-10 | 2023-08-17 | 内藤弘子 | デジタルカラー診断システム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2004044639A1 (ja) * | 2002-10-18 | 2006-03-16 | 浜松ホトニクス株式会社 | スライドガラス、カバーガラス及び病理診断システム |
US20080068625A1 (en) * | 2006-09-15 | 2008-03-20 | Eastman Kodak Company | Image control system and method incorporating a graininess correction |
US20110064307A1 (en) * | 2007-07-20 | 2011-03-17 | Karen Kalla | Methods for recommending personal care product and tools therefor |
US20140209682A1 (en) * | 2013-01-25 | 2014-07-31 | Hewlett-Packard Development Company, L.P. | Characterization of color charts |
US20140232923A1 (en) * | 2013-02-20 | 2014-08-21 | Hewlett-Packard Development Company, Llp | Device independent color differences |
WO2016076165A1 (ja) * | 2014-11-14 | 2016-05-19 | コニカミノルタ株式会社 | 測色装置および測色方法 |
JPWO2015005152A1 (ja) * | 2013-07-09 | 2017-03-02 | Dicグラフィックス株式会社 | 色見本生成システム、色見本生成方法及びそのプログラム |
JP2017515106A (ja) * | 2014-04-15 | 2017-06-08 | ガウス サージカル, インコーポレイテッドGauss Surgical, Inc. | 液体キャニスタ内の血液成分量の推定方法 |
JPWO2016163266A1 (ja) * | 2015-04-06 | 2018-02-08 | コニカミノルタ株式会社 | 測色装置および測色方法 |
JP2018523818A (ja) * | 2015-07-22 | 2018-08-23 | アルフローマ アイピー ゲゼルシャフト ミット ベシュレンクテル ハフツング | 色情報を提供するための色見本装置、その製造の方法、及び色情報を読み取るためのデータ処理装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0646448A (ja) | 1992-07-21 | 1994-02-18 | Sony Corp | 画像処理方法および装置 |
US7006246B1 (en) * | 1999-09-17 | 2006-02-28 | Canon Kabushiki Kaisha | Image processing method, apparatus, recording medium and chart therefor |
JP2001260407A (ja) * | 2000-03-22 | 2001-09-25 | Konica Corp | 画像処理装置校正用カラーチャート、校正用色彩データ作成方法および校正用色彩データ処理方法ならびに画像処理装置 |
GB201000835D0 (en) * | 2010-01-19 | 2010-03-03 | Akzo Nobel Coatings Int Bv | Method and system for determining colour from an image |
JP6455764B2 (ja) * | 2014-05-30 | 2019-01-23 | パナソニックIpマネジメント株式会社 | 色補正パラメータ算出方法、色補正パラメータ算出装置および画像出力システム |
-
2021
- 2021-03-11 JP JP2021039110A patent/JP6981561B1/ja active Active
- 2021-06-15 KR KR1020227035668A patent/KR20230025380A/ko unknown
- 2021-06-15 EP EP21826845.6A patent/EP4170304A4/en active Pending
- 2021-06-15 CA CA3182622A patent/CA3182622A1/en active Pending
- 2021-06-15 US US18/010,596 patent/US20230258501A1/en active Pending
- 2021-06-15 CN CN202180032483.1A patent/CN115516284A/zh active Pending
- 2021-06-15 WO PCT/JP2021/022641 patent/WO2021256458A1/ja unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2004044639A1 (ja) * | 2002-10-18 | 2006-03-16 | 浜松ホトニクス株式会社 | スライドガラス、カバーガラス及び病理診断システム |
US20080068625A1 (en) * | 2006-09-15 | 2008-03-20 | Eastman Kodak Company | Image control system and method incorporating a graininess correction |
US20110064307A1 (en) * | 2007-07-20 | 2011-03-17 | Karen Kalla | Methods for recommending personal care product and tools therefor |
US20140209682A1 (en) * | 2013-01-25 | 2014-07-31 | Hewlett-Packard Development Company, L.P. | Characterization of color charts |
US20140232923A1 (en) * | 2013-02-20 | 2014-08-21 | Hewlett-Packard Development Company, Llp | Device independent color differences |
JPWO2015005152A1 (ja) * | 2013-07-09 | 2017-03-02 | Dicグラフィックス株式会社 | 色見本生成システム、色見本生成方法及びそのプログラム |
JP2017515106A (ja) * | 2014-04-15 | 2017-06-08 | ガウス サージカル, インコーポレイテッドGauss Surgical, Inc. | 液体キャニスタ内の血液成分量の推定方法 |
WO2016076165A1 (ja) * | 2014-11-14 | 2016-05-19 | コニカミノルタ株式会社 | 測色装置および測色方法 |
JPWO2016163266A1 (ja) * | 2015-04-06 | 2018-02-08 | コニカミノルタ株式会社 | 測色装置および測色方法 |
JP2018523818A (ja) * | 2015-07-22 | 2018-08-23 | アルフローマ アイピー ゲゼルシャフト ミット ベシュレンクテル ハフツング | 色情報を提供するための色見本装置、その製造の方法、及び色情報を読み取るためのデータ処理装置 |
Non-Patent Citations (1)
Title |
---|
高橋康弘、外2名: "遠隔医療における色補正", 第5回画像センシングシンポジウム講演論文集, JPN6021040736, 17 June 1999 (1999-06-17), pages 321 - 324, ISSN: 0004618411 * |
Also Published As
Publication number | Publication date |
---|---|
EP4170304A1 (en) | 2023-04-26 |
CN115516284A (zh) | 2022-12-23 |
EP4170304A4 (en) | 2024-07-10 |
WO2021256458A1 (ja) | 2021-12-23 |
KR20230025380A (ko) | 2023-02-21 |
CA3182622A1 (en) | 2021-12-23 |
US20230258501A1 (en) | 2023-08-17 |
JP6981561B1 (ja) | 2021-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dimauro et al. | A new method and a non-invasive device to estimate anemia based on digital images of the conjunctiva | |
US10674953B2 (en) | Skin feature imaging system | |
JP6545658B2 (ja) | ビリルビンレベルを推定すること | |
EP1450287A2 (en) | Method of extracting region of interest from tongue image and health monitoring method and apparatus using the tongue image | |
US8319857B2 (en) | Apparatus and method for correcting digital color photographs | |
US20090092297A1 (en) | Image processing apparatus, image processing system and image processing program | |
US20170164888A1 (en) | Organ imaging device | |
WO2021256459A1 (ja) | 画像表示システム、及び画像表示方法 | |
JP7062926B2 (ja) | 呈色反応検出システム、呈色反応検出方法及びプログラム | |
US20170238843A1 (en) | Degree-of-health outputting device, degree-of-health outputting system, and program | |
JP6981561B1 (ja) | カラーチャート | |
JP2010214055A (ja) | 歯色の時系列表示装置及びその方法 | |
CN102419861A (zh) | 基于均匀色空间拓扑剖分的彩色图像校正方法 | |
JP6266948B2 (ja) | 黄疸測定システム | |
TW201731460A (zh) | 血色素與血球比容之檢測系統及方法 | |
CN106127675B (zh) | 颜色一致性方法和装置 | |
KR20180061629A (ko) | 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치 | |
KR102226943B1 (ko) | 검출 방법 및 검출 패드 | |
US12022048B2 (en) | Display unit color-correction method | |
US20160242678A1 (en) | Organ image photographing apparatus | |
WO2019168372A1 (ko) | 의료 영상 처리 장치 및 그 동작 방법 | |
CN109273071A (zh) | 一种建立白色物体对比模型的方法 | |
WO2015063940A1 (ja) | 血行度測定装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210312 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210312 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6981561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |