JP2020096219A - 情報処理装置、撮像装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、撮像装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2020096219A
JP2020096219A JP2018230778A JP2018230778A JP2020096219A JP 2020096219 A JP2020096219 A JP 2020096219A JP 2018230778 A JP2018230778 A JP 2018230778A JP 2018230778 A JP2018230778 A JP 2018230778A JP 2020096219 A JP2020096219 A JP 2020096219A
Authority
JP
Japan
Prior art keywords
image
correction value
subject
identification tag
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018230778A
Other languages
English (en)
Inventor
茂 鳥井原
Shigeru Toriihara
茂 鳥井原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018230778A priority Critical patent/JP2020096219A/ja
Priority to US16/704,527 priority patent/US11012671B2/en
Publication of JP2020096219A publication Critical patent/JP2020096219A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6094Colour correction or control depending on characteristics of the input medium, e.g. film type, newspaper
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】 利用者の負担を低減しつつ被写体の画像の色味を毎撮像再現する。【解決手段】 撮像装置1は、患者Pの識別情報が印刷されている識別票Lを撮像して識別票画像を取得し、識別票画像から、その後に撮像される画像に対する補正を行うための色補正値を取得する。そして、撮像装置1は、患部Wを撮像した患部画像に対し、当該色補正値に従って補正を行う。【選択図】 図1

Description

本発明は、情報処理装置、撮像装置、情報処理方法、およびプログラムに関し、特に、被写体を撮像した画像に対し補正を行うために用いて好適なものである。
医療の現場では、医師や看護師が、撮像装置を利用することがある。例えば、医師や看護師は、皮膚の外傷や、長期の寝たきりで生じた褥瘡を、撮像装置を用いて定期的に撮像する。後に、医師や看護師は、撮像した画像群を並べて見れば、患部の良化あるいは悪化の経過を観察しやすい。撮像装置は、数日から数年に渡って変化する患部を診療する用途に好適である。
以下の説明では、撮像装置を利用する医師や看護師などを、必要に応じて利用者と呼ぶ。また、患部を撮像した画像を、必要に応じて患部画像と呼ぶ。特別な工夫なしに患部画像を蓄積すると、利用者は、目的の画像を探しにくい、或いは、誤った画像を参照し得る。一方、特別な配慮なしに患部を撮像すると、暗い、明るい、朝日、夕日など、環境光はばらつく。撮像の度に、患部画像の色味が変わると、利用者は、患部を診断しにくい、或いは、誤診し得る。
このような背景の下、特許文献1には以下の技術が開示されている。特許文献1に記載の技術では、患部を撮像する前に、患者の識別票を撮像することを、利用者に要求する。そして、入力装置は、患者の識別票の文字やバーコードを認識し、コンピュータは、入力した情報と、患者群のデータベースとを照合する。撮像装置は、データベースから取得された情報を表示すると共に、患部画像に埋め込む。
また、特許文献2は、以下の技術が開示されている。特許文献2に記載の撮像装置は、遠隔診療に利用することを想定した撮像装置である。送信側の撮像装置で、患部と基準色見本とを同時に撮像する。受信側の撮像装置で、患部画像に含まれた基準色見本の画素値が、実物の基準色見本に近づくよう、ホワイトバランス補正を行う。
特許第4344956号公報 特開平11−19050号公報
特許文献1に記載の技術では、患部画像に埋め込まれた患者の情報を利用して、同一の患者、同一の患部の画像を羅列することができる。しかし、それらの患部画像群の色味が揃っている保証がない。例えば、褥瘡なら、真皮、皮下組織、壊死などを色で区別し、症状の進退が判別される。患部画像の色味が信用できないと、利用者は、患部の色の変化が、経過によるものか、それとも、環境光によるものかを判別することができない。よって、診断できないか、誤診する可能性がある。
また、特許文献2に記載の技術では、患部の撮像時に、送信側の撮像装置と受信側の撮像装置との双方で基準色見本を必要とする。従って、利用者に、基準色見本の設置という、特別な負担が発生する可能性がある。更に、遠隔医療、在宅医療が進展する中、医療機関ではない場所で、医療従事者でない者が、患部を撮像することもあり得る。この場合、それぞれの現場で、基準色見本の手配という、負担が発生する可能性がある。
本発明は、以上のような問題点に鑑みてなされたものであり、利用者の負担を低減しつつ被写体の画像の色味を毎撮像再現することができるようにすることを目的とする。
本発明の情報処理装置は、被写体が存在する環境下で撮像手段を用いて当該被写体に固有の識別票を撮像することにより得られた画像に基づく色補正値を取得する第1取得手段と、撮像手段を用いて撮像された前記被写体の画像を、前記第1取得手段により取得された前記色補正値を用いて補正する補正手段と、を有することを特徴とする。
本発明によれば、利用者の負担を低減しつつ被写体の画像の色味を毎撮像再現することができる。
画像処理システムの構成を示す図である。 撮像装置および画像処理装置の構成を示す図である。 撮像装置および画像処理装置が実行する処理を示すフローチャートである。 患者の識別票を示す図である。 患部画像群の表示例を示す図である。
以下、図面を参照しながら、本発明の一実施形態を説明する。
本実施形態では、撮像装置および画像処理装置が、医療の現場で利用される場合を例に挙げて説明する。この場合、撮像装置により撮像される被写体には患者(の患部)が含まれる。撮像装置は、例えば、患者の皮膚の外傷や、長期の寝たきりで生じた褥瘡を、定期的に撮像して、記録する。利用者は、後に、撮像した画像群を並べて見れば、患部の良化あるいは悪化の経過を観察しやすい。本実施形態の撮像装置および画像処理装置は、例えば、数日から数年に渡って変化する患部を診療する用途に、好適である。一方で、本実施形態は、医療の現場に限らず、様々な用途で利用される撮像装置に、広く適用できる。
図1は、画像処理システムの構成の一例を示す図である。図1では、撮像装置、画像処理装置、表示装置、患者、患部、および識別票の全景を示す。図1では、撮像装置1、画像処理装置2、表示装置3、患者P、患部W、識別票Lが視認できる。図1に示す例では、画像処理システムは、撮像装置1、画像処理装置2、および表示装置3を含む。
図1を用いて、利用者による、撮像装置1の利用方法の一例を説明する。撮像装置1、画像処理装置2、および表示装置3は、無線または有線で相互に通信可能に接続されており、相互に情報の送受信が可能な状態にある。利用者は、撮像装置1で、患者Pの患部Wや識別票Lを撮像する。患部Wを撮像した患部画像や、識別票Lを撮像した識別票画像は、撮像装置1から画像処理装置2へ送られる。
画像処理装置2は、患部画像や識別票画像に、適切な画像処理を行い、画像処理後の患部画像および識別票画像を、画像処理装置2に内蔵されているストレージ24に記録する。
表示装置3は、利用者の表示装置3に対する操作に基づいて、ストレージ24に記録されている患部画像群を表示する。利用者は、表示装置3で、ストレージ24の患部画像群を閲覧することができ、患部Wを診察できる。
尚、図1では、撮像装置1、画像処理装置2、および表示装置3が別体である場合を例に挙げて示す。しかし、撮像装置1、画像処理装置2、および表示装置3の少なくとも何れか2つは結合して一つの装置として構成されていても良い。
図2は、撮像装置1および画像処理装置2の構成の一例を示すブロック図である。撮像装置1は、デジタルスチルカメラやデジタルムービーカメラに限定されず、例えば、携帯電話やタブレット等であっても良い。また、撮像装置1は、利用者が手持ち可能なポータブルデバイスであるのが好ましいが、必ずしも利用者が手持ち可能なポータブルデバイスでなくても良い。撮像装置1は、工業用カメラ、または医療用カメラなどでも良い。
図2を用いて、撮像装置1の構成の一例を説明する。撮像装置1は、コントローラ11、イメージセンサ12、ボタン群13、タッチパネル14、ディスプレイ15、ストレージ16、ズームレンズ17、シャッター18、およびネットワークインターフェース19を含む。
コントローラ11は、撮像装置1内の情報処理を総括し、他のユニットを制御する。イメージセンサ12は、光子を取り込み、電気信号に変換する。ボタン群13およびタッチパネル14は、利用者の操作を受け付ける。ディスプレイ15は、画像やパラメータなどを表示する。ストレージ16は、画像などのデータを、一時的あるいは恒久的に保存する。ズームレンズ17は、撮像時の画角やピントを調整する。シャッター18は、イメージセンサ12に入る光を制御する。ネットワークインターフェース19は、画像処理装置2などの外部装置との間で、画像や制御量などのデータを送受信する。
尚、撮像装置1は、撮像装置本体と着脱可能なレンズユニットであって、撮像素子を備えるレンズユニットを用いて構成されても良い。この場合、撮像装置本体は、撮像素子を有さない。
図2を用いて、画像処理装置2の構成の一例を説明する。画像処理装置2は、CPU21、GPU22、メモリ23、ストレージ24、ネットワークインターフェース25、およびユーザインターフェース26を含む。
CPU21は、画像処理装置2内の情報処理を総括する。GPU22は、画像の画質改善および認識などの処理を支援する。メモリ23は、処理中の一時情報を格納する。ストレージ24は、画像などのデータを一時的あるいは恒久的に保存する。ユーザインターフェース26は、例えば、キーボード、およびマウスなどのポインティングデバイスを含み、利用者の操作を受け付ける。ネットワークインターフェース25は、撮像装置1などの外部装置との間で、画像や制御量などのデータを送受信する。本実施形態では、ネットワークインターフェース25は、撮像装置1のネットワークインターフェース19および表示装置3と、相互に通信可能となるように接続される。
尚、表示装置3の構成は、例えば、図2に示す画像処理装置2の構成に対し、コンピュータディスプレイを追加したもの、または、図2に示す撮像装置1が有するディスプレイ15を用いることにより実現することができる。従って、ここでは、表示装置3の詳細な説明を省略する。
図3は、撮像装置1および画像処理装置2が実行する処理の一例を示すフローチャートである。図3において、ステップをSと示す。例えば、ステップ301をS301と示す。
S301において、利用者がボタン群13(電源スイッチなど)を操作することで、撮像装置1の電源がオンする。S302において、利用者がユーザインターフェース26を操作することで、画像処理装置2の電源がオンする。
S303およびS304によって、撮像装置1と画像処理装置2との接続が確立され、相互に情報の送受信が可能になる。
その後、S305において、撮像装置1は、利用者によるボタン群13(レリーズボタンなど)の操作に基づいて、患者Pの識別票Lを撮像する。そして、撮像装置1は、撮像した画像から識別票Lの情報(文字やマーク)を読み取ることで、患者Pの情報を取得する。
次に、S306において、撮像装置1は、識別票画像の白色部を抽出する。識別票画像の白色部は、識別票Lの白色部に対応する領域である。識別票画像の白色部の抽出は、例えば、識別票Lに印刷された文字やマークなどを基準に行われる。
尚、S305およびS306の処理では、識別票Lに含まる患者Pの情報や、識別票画像の白色部の輝度を取得できれば良く、必ずしも識別票画像を保存する必要はない。
次に、S307において、撮像装置1は、S306で得た、識別票画像の白色部の輝度を、適切に補正することができるホワイトバランス補正値を算出し、ホワイトバランスの補正処理を行う。
次に、S308において、撮像装置1は、S307で得た、ホワイトバランス補正値を固定したまま、利用者によるボタン群13(レリーズボタンなど)の操作に基づいて、患部Wを撮像する。こうすることで、識別票画像の白色部に基づくホワイトバランス処理を適用した患者画像を取得する。
次に、S309において、撮像装置1は、S305で得た患者Pの情報と、S307で得たホワイトバランス補正値と、S308で得た患部画像などを、画像処理装置2へ送信する。
S310において、画像処理装置2は、S309で送信された情報を受信する。
次に、S311において、画像処理装置2は、患部画像に含まれる、患部Wを抽出する。患部Wと、患者Pの皮膚との判別には、例えば、演繹的な画像処理、または、事前に学習したニューラルネットを用いたセグメンテーションが用いられる。
次に、S312において、画像処理装置2は、S311で抽出された患部Wの形および色から、患部Wの特徴量を算出する。例えば、褥瘡の場合、患部Wを内包する最小の矩形の長辺と短辺などが、診断に用いられる。このため、例えば、当該長辺および短辺の長さが、患部Wの特徴量として算出される。
次に、S313において、画像処理装置2は、患部画像、ホワイトバランス補正値、患部Wの形・色、および患部Wの特徴量などを、相互に関連付けてストレージ24に保存する。このとき、画像処理装置2は、S305で得られ、S310で受信した患者Pの情報を用いて、フォルダ名、ファイル名、およびタグの少なくとも1つを、利用者が患者Pを識別することができるように作成する。このようにすることで、患者画像、ホワイトバランス補正値、患部Wの形・色、および患部Wの特徴量が、患者Pに属するものであることを利用者が判別可能となるように保存される。なお、撮像装置1で撮像された患部画像のホワイトバランスが補正済みであれば、ホワイトバランス補正値は保存しなくともよい。ただし、患部画像と合わせてホワイトバランス補正値を合わせて保存すれば、後で患部画像の色味を修正する際に、撮像時のホワイトバランス補正値を参考データとして参照することができる。
次に、S314において、画像処理装置2は、患部画像、患部Wの形・色、および患部Wの特徴量などの情報を、撮像装置1へ送信する。
次に、S315において、撮像装置1は、S314で送信された情報を受信する。
次に、S316において、撮像装置1は、患部画像に、患部Wの形や特徴量を重畳した画像を作成し、作成した画像を、ディスプレイ15に表示する。利用者は、ディスプレイ15に表示された画像を見て、患部Wの認識具合や、特徴を認知することができる。撮像装置1に代えて、表示装置3において、患部Wの形や特徴量を重畳した患部画像を表示させるようにしてもよい。
以上が図3のフローチャートによる処理である。
図4は、患者Pの識別票Lの一例を示す図である。図4を用いて、患者Pの識別票Lの利用方法の一例を説明する。図4に示す何れの識別票Lも、患者Pに固有の識別情報が表示されており、患者Pが存在する環境下にある。
図4(a)は、患者Pの手首に装着することを想定した識別票41の一例を示す図である。識別票41の基材は白く、識別票41には少なくともバーコード411が印刷されている。前述した図3のS305において、撮像装置1は、バーコード411を含む識別票41を撮像して識別票画像を取得する。撮像装置1は、識別票画像に含まれるバーコード411を認識して、患者Pに割り当てられた番号や氏名などを、患者Pの情報として取得する。撮像装置1は、識別票画像内の、バーコード411の位置も取得する。
バーコード411の、黒色部と黒色部との間には、白色部412がある。撮像装置1は、S306において、白色部412を抽出し、S307において、白色部412のRGB輝度値から、ホワイトバランス補正値を算出する。このようにすることで、撮像装置1は、S308において患部Wを撮像するのと略同一の環境光の下で、白色の物体の撮像結果から、確からしいホワイトバランス補正値を取得することができる。白色部412は、特定の一か所でなく、各所に分散していてもよい。この場合、例えば、各所のRGB輝度値の平均値が、ホワイトバランス補正値の算出に用いられる。尚、各所のRGB輝度値の平均値以外の代表値(例えば中央値)を、ホワイトバランス補正値の算出に用いても良い。
図4(b)は、患者Pの近傍(例えば同一の部屋内)に設置することを想定した識別票42の一例を示す図である。識別票42の基材は白く、識別票42には少なくとも患者Pの氏名が印刷されている。前述した図3のS305において、撮像装置1は、患者Pの氏名を含む識別票42を撮像して識別票画像を取得する。撮像装置1は、識別票画像に含まれる患者Pの氏名を文字認識して、患者Pの氏名を、患者Pの情報として取得する。撮像装置1は、識別票画像内の、患者Pの氏名が印刷された位置も取得する。
識別票42において、患者Pの氏名から適切な相対位置(患者Pの氏名の位置を基準とする相対的な位置)に、白色部421がある。適切な相対位置としては、例えば、患者Pの氏名の外接矩形から所定の距離だけ所定の方向に離れた位置が挙げられる。また、例えば、患者Pの氏名を示す文字と文字との間の領域を白色部としても良い。図4(a)の場合と同様に、撮像装置1は、S306において、白色部421を抽出し、S307において、白色部421のRGB輝度値から、ホワイトバランス補正値を算出する。白色部421は、患者Pの氏名を構成するインクが乗っていない箇所なら、どこでも良く、複数個所であっても良い。
図4(c)も、図4(b)と同様に、患者Pの近傍に設置することを想定した識別票43の一例を示す図である。識別票43の基材は白く、識別票43には少なくとも2次元コード431が印刷されている。撮像装置1は、図4(a)に示すバーコード411、図4(b)に示す患者Pの氏名と同様に、S305において、2次元コード431の情報と位置とを取得する。撮像装置1は、2次元コード431から適切な相対位置に白色部があると想定して、図4(a)および図4(b)と同様に、S306において、白色部を抽出し、S307において、白色部のRGB輝度値から、ホワイトバランス補正値を算出する。例えば、2次元コード431の余白部分や、2次元コード431の外接矩形から所定の距離だけ所定の方向に離れた領域を、白色部とすることができる。白色部は、2次元コード431および患者Pの氏名を構成するインクが乗っていない箇所なら、どこでも良く、複数個所であっても良い。
図4(d)は、患者Pの近傍に設置することを想定した識別票42と、基準色見本44の一例を示す図である。撮像装置1が初めてホワイトバランス補正値を算出する場合であって、識別票Lの基材が白くない場合や、識別票Lの基材の白色が経年で変色した場合などに、基準色見本44を参照するのが好ましい。S305において、撮像装置1は、基準色見本44のRGB輝度値が適正になるホワイトバランス補正値で、識別票42の画像を撮像する。そして、このときに得られた識別票Lの白色部のRGB輝度値を目標値として記憶する。以後、基準色見本44が無い場合でも、撮像装置1は、S307において、識別票42の白色部421のRGB輝度値が、前述したようにして取得した目標値になるような、ホワイトバランス補正値を算出する。以上のようにすることによって、初めてホワイトバランス補正値を算出する場合、識別票Lの基材が白くない場合、経年で変色した場合などでも、より確からしいホワイトバランス補正値が得られる。
更に、撮像装置1は、S307において算出したホワイトバランス補正値が、予め設定された一定の値域を逸脱しているか否かを判定しても良い。撮像装置1は、ホワイトバランス補正値が、一定の値域を逸脱している場合、識別票42の白色部421は、補正に適さない色であることを、利用者に報知することができる。また、撮像装置1は、S308で得られた患者画像のメタデータに、ホワイトバランス補正値が適切でない可能性があることを示すフラグを記録する記憶制御を行う。このようにする場合、S316において、撮像装置1は、ホワイトバランス補正値が適切でない可能性があることを示す情報を、患者画像と共にディスプレイ15に表示することができる。
また、ホワイトバランス補正値が適切でない可能性があることを示す情報を、患者画像と共に表示することに代えてまたは加えて、例えば、以下のようにしても良い。即ち、S307において、撮像装置1は、ホワイトバランス補正値が適切でない可能性があることを示す情報をS305で得た患者Pの情報に関連付ける。そして、S313において、画像処理装置2は、ホワイトバランス補正値が適切でない可能性があることを示す情報と患者Pの情報とを相互に関連付けてストレージ24に保存する。そして、画像処理装置2は、その後のS310において受信した患者Pの情報と同一の患者Pの情報に対し、ホワイトバランス補正値が適切でない可能性があることを示す情報が関連付けられてストレージ24に保存されているか否かを判定する。この判定の結果、患者Pの情報と同一の患者Pの情報に、ホワイトバランス補正値が適切でない可能性があることを示す情報がストレージ24に保存されている場合、画像処理装置2は、S314において、そのことを示す情報を撮像装置1に送信する。当該情報を受信した撮像装置1は、S316において、識別票Lを新しくする必要があることを示す情報を、患者画像と共にディスプレイ15に表示する。
図5は、表示装置3で、患部画像群を並べて表示した様子の一例を示す図である。図5を用いて、利用者が患部画像群を閲覧する様子の一例を説明する。
表示装置3は、画像処理装置2と、通信可能に接続されている。表示装置3には、画像ビューア51が表示される。画像ビューア51には、利用者が患者Pおよび患部Wを指定するアドレスバー52が含まれる。画像処理装置2は、ストレージ24に保存されている画像のうち、アドレスバー52で指定された患者Pおよび患部Wを限定した画像だけを抽出することができる。画像ビューア51には、画像表示領域53aおよび画像表示領域53bが含まれる。画像表示領域53aには比較的古い患部画像が表示され、画像表示領域53bには比較的新しい患部画像が表示されている。古い患部画像は古い患部Wa、新しい患部画像は新しい患部Wbを含む。前述した、識別票の白色部を用いたホワイトバランス補正によって、古い患部Waと新しい患部Wbは略同一の色味で撮像されている。利用者は、古い患部Waと新しい患部Wbとを比較して、確からしい診断を行うことができる。
以上のように本実施形態では、撮像装置1は、患者Pの識別情報が表示されている識別票Lを撮像して識別票画像を取得し、識別票画像の基準の色の領域から、その後に撮像される画像に対する補正を行うための色補正値を導出する。そして、撮像装置1は、患部Wを撮像した患部画像を取得する際に、当該色補正値に従って補正を行う。従って、利用者が、基準色見本を用意しなくても、毎撮像、患部画像の色味を再現することができる。よって、利用者の負担を低減しつつ患部画像の色味を毎撮像再現することができる。
また、本実施形態では、撮像装置1は、基準色見本44を撮像し、撮像した基準色見本44の画像における基準色見本44の色が、実際の基準色見本44に示される色に近づくように色補正値を設定する。そして、撮像装置1は、識別票Lを撮像して識別票画像を取得する際に、設定した色補正値に従って補正を行い、このときの識別票Lの白色部のRGB輝度値を目標値として記憶する。従って、識別票Lの色が、想定されている色(本実施形態では白色)でない場合や、経年で変色した場合などであっても、利用者は、患部Wを撮像する度に用意することなく、患部画像の色味を毎撮像再現することができる。
また、本実施形態では、撮像装置1は、識別票画像から導出した色補正値が基準の範囲内でない場合、色補正値が適切でない可能性があることを示す情報を、利用者に報知する。従って、例えば、信頼性が低い患部画像に基づく診断を利用者が行うことを抑制することができる。
なお、本実施形態では、撮像装置1が識別票の情報の読み取り、ホワイトバランス補正値の算出、および、患部Wの特徴量を重畳した画像の表示を行う例をあげて説明を行ったが、これに限られるものではない。
撮像装置1は識別票と患部Wの撮像のみを行い、これらのRAW画像を画像処理装置2に送信し、他の処理はすべて画像処理装置2で行うようにしてもよい。あるいは、撮像装置1は識別票と患部Wの撮像と、ホワイトバランス補正値の算出のみを行い、これらのRAW画像とホワイトバランス補正値を画像処理装置2が取得し、他の処理はすべて画像処理装置2で行うようにしてもよい。
撮像された画像を解析する処理であれば、撮像装置1と画像処理装置2のどちらが担当してもよく、撮像装置1と画像処理装置2のそれぞれの機能に応じて、それぞれに分担させる処理を設定してもよい。また、撮像装置1単体で、画像の撮像、患者Pの情報の取得、ホワイトバランス補正値の算出、ホワイトバランスの補正処理、患部Wの特徴量の抽出、および、患部Wの特徴量を重畳した画像の表示の全てを行うようにしてもよい。
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば、生花市場において、それぞれの花に付与された商品タグの白色部に基づいて算出したホワイトバランス補正値を用いて、花を撮像するようにすれば、場所や時刻によらず、一定の条件下において花の色味を比較することができる。
あるいは、工場において、各部品や製造品を示すタグに基づいて算出したホワイトバランス補正値を用いて、部品や製造品を撮像するようにすれば、生産ラインの場所に依らず、一定の条件下において部品や製造品の色味に関係する欠陥判定を行うことができる。
(その他の実施例)
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1:撮像装置、2:画像処理装置、3:表示装置

Claims (12)

  1. 被写体が存在する環境下で撮像手段を用いて当該被写体に固有の識別票を撮像することにより得られた画像に基づく色補正値を取得する第1取得手段と、
    撮像手段を用いて撮像された前記被写体の画像を、前記第1取得手段により取得された前記色補正値を用いて補正する補正手段と、を有することを特徴とする情報処理装置。
  2. 前記識別票には、前記被写体に固有の識別情報が表示されていることを特徴とする請求項1に記載の情報処理装置。
  3. 前記第1取得手段は、前記識別票における基準の色の領域に基づいて、前記色補正値を算出することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記第1取得手段は、被写体が存在する環境下で撮像手段を用いて当該被写体に固有の識別票を撮像することにより得られた画像から、当該被写体を識別する情報を認識し、認識した当該被写体を識別する情報の位置に基づいて、前記基準の色の領域を抽出し、抽出した領域の前記基準の色の情報に基づいて、前記色補正値を算出することを特徴とする請求項3に記載の情報処理装置。
  5. 被写体が存在する環境下で基準の色を含む基準色見本を撮像することにより得られた画像における前記基準の色の情報に基づく色補正値を取得する第2取得手段を更に有し、
    前記第1取得手段は、被写体が存在する環境下で撮像手段を用いて当該被写体に固有の識別票を撮像することにより得られた画像を、前記第2取得手段により取得された前記色補正値を用いて補正することを特徴とする請求項1〜4の何れか1項に記載の情報処理装置。
  6. 前記第1取得手段により取得された前記色補正値が基準の範囲内でない場合、そのことに関する情報を報知手段に報知させることを特徴とする請求項1〜5の何れか1項に記載の情報処理装置。
  7. 前記第1取得手段により取得された前記色補正値が基準の範囲内でない場合、そのことを示す情報を、前記色補正値を用いて補正が行われた前記被写体の画像に関連付けて記憶させる記憶制御手段を更に有することを特徴とする請求項1〜6の何れか1項に記載の情報処理装置。
  8. 前記第1取得手段は、被写体が存在する環境下で撮像手段を用いて当該被写体に固有の識別票を撮像することにより得られた画像に基づいて、当該識別票における白色部を抽出し、抽出した白色部の情報に基づいて、前記色補正値としてホワイトバランス補正値を算出することを特徴とする請求項1または2に記載の情報処理装置。
  9. 前記被写体の画像は、患者の患部を含む画像であることを特徴とする請求項1〜8の何れか1項に記載の情報処理装置。
  10. 請求項1〜9の何れか1項に記載の情報処理装置を有することを特徴とする撮像装置。
  11. 被写体が存在する環境下で撮像手段を用いて当該被写体に固有の識別票を撮像することにより得られた画像に基づく色補正値を取得する第1取得工程と、
    撮像手段を用いて撮像された前記被写体の画像を、前記第1取得工程により取得された前記色補正値を用いて補正する補正工程と、を有することを特徴とする情報処理方法。
  12. 請求項1〜9の何れか1項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
JP2018230778A 2018-12-10 2018-12-10 情報処理装置、撮像装置、情報処理方法、およびプログラム Pending JP2020096219A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018230778A JP2020096219A (ja) 2018-12-10 2018-12-10 情報処理装置、撮像装置、情報処理方法、およびプログラム
US16/704,527 US11012671B2 (en) 2018-12-10 2019-12-05 Information processing apparatus, image capturing apparatus, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018230778A JP2020096219A (ja) 2018-12-10 2018-12-10 情報処理装置、撮像装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2020096219A true JP2020096219A (ja) 2020-06-18

Family

ID=70970304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018230778A Pending JP2020096219A (ja) 2018-12-10 2018-12-10 情報処理装置、撮像装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US11012671B2 (ja)
JP (1) JP2020096219A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7065738B2 (ja) * 2018-09-18 2022-05-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03171989A (ja) * 1989-11-30 1991-07-25 Canon Inc 画像入力装置
JP2003211875A (ja) * 2002-01-18 2003-07-30 Konica Corp Idカード作成システム、及びidカード作成システムにおける色修正方法
JP2006254309A (ja) * 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd 撮影システム
JP2009032044A (ja) * 2007-07-27 2009-02-12 Panasonic Corp 車色判定装置
JP2011015199A (ja) * 2009-07-02 2011-01-20 Nikon Corp 電子カメラ
JP2017153047A (ja) * 2016-02-26 2017-08-31 キヤノン株式会社 表示装置及びその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1119050A (ja) 1997-07-01 1999-01-26 Nippon Colin Co Ltd 医療用画像伝送装置
CN100389428C (zh) * 2001-10-24 2008-05-21 Nik软件公司 用于利用图像基准点处理数字图像的方法和设备
WO2006106509A2 (en) * 2005-04-04 2006-10-12 Hadasit Ltd. Medical imaging method and system
JP4344956B2 (ja) 2007-01-09 2009-10-14 富士フイルム株式会社 画像記録方法及び画像記録装置
US8027533B2 (en) * 2007-03-19 2011-09-27 Sti Medical Systems, Llc Method of automated image color calibration
US8831299B2 (en) * 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
US7972266B2 (en) * 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
EP3481041A4 (en) * 2016-06-30 2019-07-24 Prosper Creative Co., Ltd. COLOR CONVERSION SYSTEM, COLOR CONVERSION DEVICE, AND COLOR CONVERSION METHOD

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03171989A (ja) * 1989-11-30 1991-07-25 Canon Inc 画像入力装置
JP2003211875A (ja) * 2002-01-18 2003-07-30 Konica Corp Idカード作成システム、及びidカード作成システムにおける色修正方法
JP2006254309A (ja) * 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd 撮影システム
JP2009032044A (ja) * 2007-07-27 2009-02-12 Panasonic Corp 車色判定装置
JP2011015199A (ja) * 2009-07-02 2011-01-20 Nikon Corp 電子カメラ
JP2017153047A (ja) * 2016-02-26 2017-08-31 キヤノン株式会社 表示装置及びその制御方法

Also Published As

Publication number Publication date
US20200186766A1 (en) 2020-06-11
US11012671B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
US8655068B1 (en) Color correction system
US10162935B2 (en) Efficient management of visible light still images and/or video
KR101998595B1 (ko) 이미지 기반 황달 진단 방법 및 장치
JP4751776B2 (ja) 電子撮像装置及び個人特定システム
JP2014036801A (ja) 生体状態観察システム、生体状態観察方法、およびプログラム
JPWO2006064635A1 (ja) 診断システム
JP2011034133A (ja) 人物照合装置及び人物照合方法
US9569838B2 (en) Image processing apparatus, method of controlling image processing apparatus and storage medium
US20140354830A1 (en) System and method for adding scale to photographic images
KR101789166B1 (ko) 이미지 기반 황달 진단 방법 및 장치, 이미지 기반 황달 진단 보조 장치
KR20150074459A (ko) 사용자단말기 및 사용자단말기의 제어방법
US20130256405A1 (en) Digital Image Barcode Scanner
KR20200019616A (ko) 표시 제어 장치, 표시 제어 방법 및 표시 제어 프로그램
JP2020194493A (ja) 介護設備又は病院用の監視システム及び監視方法
CN112638239A (zh) 图像处理***、摄像设备、图像处理设备、电子装置及其控制方法和存储控制方法的存储介质
JP2008209306A (ja) カメラ
JP2020096219A (ja) 情報処理装置、撮像装置、情報処理方法、およびプログラム
WO2019230724A1 (ja) 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体
JP2020160853A (ja) 画像処理装置、画像処理方法、及びプログラム
CN206166899U (zh) 视力检测装置
KR20230025656A (ko) 화상 표시 시스템 및 화상 표시 방법
JP2005269473A (ja) 監視システム
CN210043980U (zh) 一种色卡
JP6115693B1 (ja) 対象物検出装置および対象物検出方法ならびに被監視者監視装置
WO2022080185A1 (ja) 表示部の色補正方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230530