JP2020118596A - 生体試料検出装置 - Google Patents

生体試料検出装置 Download PDF

Info

Publication number
JP2020118596A
JP2020118596A JP2019011216A JP2019011216A JP2020118596A JP 2020118596 A JP2020118596 A JP 2020118596A JP 2019011216 A JP2019011216 A JP 2019011216A JP 2019011216 A JP2019011216 A JP 2019011216A JP 2020118596 A JP2020118596 A JP 2020118596A
Authority
JP
Japan
Prior art keywords
biological sample
interest
color
colored label
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019011216A
Other languages
English (en)
Other versions
JP2020118596A5 (ja
JP7071301B2 (ja
Inventor
真侑 佐尾
Mayu Sao
真侑 佐尾
亘由 島根
Tsuneyoshi Shimane
亘由 島根
文恭 佐藤
Fumiyasu Sato
文恭 佐藤
川村 友人
Tomohito Kawamura
友人 川村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Corp filed Critical Hitachi High Tech Corp
Priority to JP2019011216A priority Critical patent/JP7071301B2/ja
Priority to CN202080008151.5A priority patent/CN113302472B/zh
Priority to US17/421,450 priority patent/US11971346B2/en
Priority to PCT/JP2020/000904 priority patent/WO2020153177A1/ja
Priority to EP20744988.5A priority patent/EP3916375B1/en
Publication of JP2020118596A publication Critical patent/JP2020118596A/ja
Publication of JP2020118596A5 publication Critical patent/JP2020118596A5/ja
Application granted granted Critical
Publication of JP7071301B2 publication Critical patent/JP7071301B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251Colorimeters; Construction thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

【課題】色付ラベルの色の誤抽出による色抽出精度の低下を起こさせず、分析対象の色情報を取得し、液量の測定と検体種別を判別することを可能とする技術を提供する。【解決手段】生体試料検出装置は、生体試料管のカラー画像の色情報に基づいて、生体試料管に色付ラベルが存在するか否かを判定する色付ラベル有無判定処理と、色付ラベル有無判定処理によって存在すると判定された色付ラベルをカラー画像から抽出するラベル抽出処理と、カラー画像から色付ラベルを除去して、生体試料における検出対象領域を抽出する検出対象領域抽出処理と、検出対象領域の色情報を取得し、液量と生体試料の種別を解析する解析処理と、を実行する。【選択図】図14

Description

本開示は、複数の成分により構成される生体試料に対し当該成分の色及び量を検出する生体試料検出装置に関する。
血液検査など臨床検査の効率化を目的として生化学分析前の検体チェックを自動化する技術が提案されている。検体チェックの際には、従来目視確認により実施されていた、液量の測定や血清種別(正常、溶血、黄疸、乳びなど)などの検体状態の判別を行うことが求められている。
このような検体状態の判別技術として、例えば、特許文献1は、ラベルが貼付された生体試料管内の生体試料の情報を検出する検出装置について開示する。より詳細には、当該検出装置は、生体試料管を撮像する撮像部と、撮像部によって撮像された画像から検出対象領域を抽出する検出対象領域抽出部と、撮像部によって撮像された画像から撮像部の撮像面側に位置するラベルを抽出するラベル抽出部と、ラベル抽出部により抽出されたラベルの境界位置に基づいて、検出対象領域抽出部により抽出された検出対象領域内の前記ラベルの境界位置を特定する解析部と、を備え、液量の測定と検体の画像から抽出した検出対象領域の色情報から検体種別の情報を取得するものである。
また、例えば、特許文献2は、採血管に赤外光を当て透過光を検出しその一次微分値に基づいてラベルの境界を求め、採血管の血清量を推定する液体検出装置について開示する。
特開2016−8927号公報 特開2004−37322号公報
特許文献1に開示の技術は、抽出されたラベルの境界位置に基づいて抽出された検出対象領域内のラベルの境界位置を特定することによって検出領域の色情報を抽出する方式に関するものである。
しかしながら、特許文献1では、検出対象の色と類似した色付ラベルが貼付された検体について、色付ラベルの色と検出対象領域の色を識別し、色付ラベル領域と検出対象領域を分離することが考慮されておらず、色付ラベルの色を誤抽出することによって色抽出精度が低下してしまうという課題がある。
また、特許文献2によれば、ラベルの境界を求めて血清量を測定するが、分析対象の色情報を取得し、検体種別を判別することはできない。
本開示はこのような状況に鑑みてなされたものであり、色付ラベルの色の誤抽出による分析対象領域の抽出精度の低下を起こさせず、分析対象領域の色情報を取得し、検体の液量の測定と検体種別を判別することを可能とする技術について提案する。
上記課題を解決するために、本開示は、色付ラベルが貼付された生体試料管に収容された生体試料を分析する生体試料検出装置であって、生体試料管のカラー画像を撮像し、出力する撮像デバイスと、カラー画像に対して所定の画像処理を実行するためのプログラムを格納する記憶デバイスと、記憶デバイスからプログラムを読み込み、所定の画像処理を実行するプロセッサと、を備え、プロセッサは、カラー画像の色情報に基づいて、生体試料管に色付ラベルが存在するか否かを判定する色付ラベル有無判定処理と、色付ラベル有無判定処理によって存在すると判定された色付ラベルをカラー画像から抽出するラベル抽出処理と、カラー画像から前記色付ラベルを除去して、生体試料における検出対象領域を抽出する検出対象領域抽出処理と、検出対象領域の色情報を取得し、生体試料の液量測定と種別の分類を行う解析処理と、を実行する、生体試料検出装置について提案する。
本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。
本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではないことを理解する必要がある。
本開示によれば、色付ラベルが貼付された検体において複数の成分により構成される試料の色、量を高精度に検出することができる。
本実施形態による生体試料検出装置100の概略構成例を示す図である。 メモリ705あるいは記憶装置706に格納されたプログラムがコントローラ(プロセッサ)704内で展開され実現される概略機能を示す図である。 画像処理部210の内部構成例を示す図である。 色付ラベル解析部310の内部構成例を示す図である。 本実施形態による生体試料検出装置100で実行される生体試料分析処理の概要を説明するためのフローチャートである。 生体試料管202の色付ラベル203の貼付位置と撮像部201の位置関係を示す図である。 図5のステップ502(画像処理)の詳細内容を説明するためのフローチャートである。 関心領域の設定例を示す図である。 固定閾値1を用いた解析対象の関心領域の抽出の概念を示す図である。 解析対象の関心領域と解析対象外の関心領域の差異を示す図である。 各画像の関心領域における平均明度値の分布を示している。 各画像の関心領域における色相の分布を示す図である。 検出対象領域204抽出マスク(血清領域抽出マスク)の例を示す図である。 採血管(生体試料管202)の撮像方向と血清抽出領域面積(検出対象領域204面積)との関係を示す図である。 変形例による関心領域の設定例を示す図である。 本実施形態の生体試料検出装置100において実行される画像処理の変形例をしめす図である。
以下、添付図面を参照して本開示の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った具体的な実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
また、本実施形態においては、便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する場合がある。
<生体試料検出装置の装置構成>
図1は、本実施形態による生体試料検出装置100の概略構成例を示す図である。図1に示されるように、生体試料検出装置100は、撮像部201と、背景板404と、光源701aおよび701bと、光源用ドライバ702aおよび702bと、生体試料管ホルダ703と、コントローラ704と、メモリ705と、記憶装置706と、入出力インタフェース707と、データバス708と、把持機構1001と、移動機構1002と、上下制御ドライバ1003と、回転機構1004と、回転制御ドライバ1005と、を備えている。
コントローラ704は、例えばプロセッサ(CPUやMPUなど)によって構成され、メモリ705あるいは記憶装置706に格納されている各種プログラムを読み込み、それを内部メモリ(図示せず)に展開して後述の画像処理部および関心領域設定部を生成し、所定のタイミングで(後述のフローチャート(図5など)に従って)実行する。
入出力インタフェース707は、キーボード、タッチパネル、マイクやスイッチ、および表示装置、プリンタ、スピーカなどで構成され、検出された生体試料種別や生体試料量の表示のために用いられる。また、入出力インタフェース707は、後述の関心領域(ROI)の設定値や、データの伝送、生体試料種別、および/または生体試料量などに用いられるパラメータの入力を受け付ける。
把持機構1001は、生体試料管ホルダ703に設置された生体試料管202を把持する。
上下制御ドライバ1003は、移動機構1002を制御することで、把持機構1001を上下方向に移動させる。
ここで、生体試料管ホルダ703は搬送ラインにより搬送され、停止機構(不図示)等により停止される。移動機構1002は、把持機構1001により把持された生体試料管202を、生体試料管202全体が撮像部201により撮像される位置まで移動させる。把持機構1001が、生体試料管202を上方に移動させることによって、生体試料管202全体に光源701bの光が照射されるようになる。より具体的には、生体試料管ホルダ703に設置された解析対象の生体試料管202は、把持機構1001によって把持され、移動機構1002によって撮像部201の視野内に移動する。このとき、上下制御ドライバ1003が移動機構1002の移動量を制御することによって生体試料管202の上下位置を調整する。ここで、撮像部201は、生体試料管202の少なくとも検出対象領域204を撮像する必要がある。そこで、上下制御ドライバ1003が生体試料管202の長さに応じて移動機構1002の移動量を決定することにより、生体試料管202の長さによらず、検出対象領域204に光源701bの光を照射することと検出対象領域204を撮像部201の視野内に移動させて撮像することができる。
回転制御ドライバ1005は、回転機構1004を制御することで、把持機構1001により把持された生体試料管202を、回転させる。回転機構1004は、把持機構1001により把持された生体試料管202を、回転させることで、生体試料管202に貼付された色付ラベル203と撮像部201との位置関係を変化させる。そして、回転機構1004が、生体試料管202に貼付されたラベル(色付ラベル)203と撮像部201との位置関係を変化させることで、撮像部201は、生体試料管202を一周撮像できるようになる。
撮像部201は、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどの撮像デバイスによって構成される。撮像部201は、背景板404を背景に光源701aおよび701bによって照明された生体試料管202の二次元カラー画像を取得し、コントローラ704(画像処理部210)に入力する。ここで、自然光ではなく光源701aおよび701bによる照明を利用する点と、背景板404を利用することによって、例えば血清のように、検出対象領域204の色が透明な場合にも、解析用に抽出する検出対象領域204の色の測定間のばらつきや外光の影響によるばらつきを低減し、解析精度を高めることができるようになる。
また、光源701aおよび701bは、例えば白色LEDで構成され、光源用ドライバ702aおよび702bによって制御される。ここで、光源701aおよび701bの輝度は、生体試料管202のカラー画像の色に影響する。光源の輝度がばらつくと、同じ生体試料管202の解析結果にもばらつきが発生してしまう。そこで、例えば、色の退色がない校正用の治具を撮像した画像や、生体試料管202の背景画像の色を抽出した結果から、光源701aおよび701bの光を調整するキャリブレーションを測定前に行うことによって、常に同じ照明下で測定が可能となり、解析精度を高める効果がある。
以上の構成によって取得したカラー画像は、コントローラ704(画像処理部210)によって、後述する画像処理と解析処理に利用され、検出対象領域204の色と量が算出(検知)される。メモリ705あるいは記憶装置706は、検出対象領域204の色を解析するのに必要な、例えば血清の色特徴量などを記憶しており、検出対象領域204の色の情報や解析結果などの情報は、データバス708を通じてコントローラ704に渡され、入出力インタフェース707から出力される(例えば、表示装置の表示画面上に表示される)。
<コントローラ704内で実現される機能>
図2は、メモリ705あるいは記憶装置706に格納されたプログラムがコントローラ(プロセッサ)704内で展開され実現される概略機能を示す図である。図2に示されるように、コントローラ704は、ソフトウェア的に実現される機能として、画像処理部210と関心領域設定部220とを備える。
画像処理部210は、撮像部201によって取得された複数の画像から検出対象領域204(例えば、血清領域)を抽出し、検出対象の色および検体種別の特定や溶液量の算出などの処理を実行する。
関心領域設定部220は、ユーザ(オペレータ)が後述の関心領域(ROI:Region Of Interest)を設定・変更することを可能にする機能を実現する処理部である。例えば、ユーザが、入出力インタフェース707であるタッチパネルを用いて、ROIの個数、各ROIの撮像画像内の基準座標値、領域サイズ、ピッチなどを指定すると、関心領域設定部220は、対象の画像に対して、複数個のROI(例えば、生体試料管202の長手方向および/または短手方向に)を設定する。または、メモリ705あるいは記憶装置706にROIの個数、各ROIの撮像画像内の基準座標値、領域サイズ、ピッチなどを記述した設定ファイルを格納し、設定ファイルの情報をプログラムから読み込むことによってROIを設定・変更することを可能にする。複数の画像のそれぞれに設定された関心領域からは画素の情報(ROI内の画素数、RGB値、色相値、彩度値、明度値など)が取得される。また、関心領域設定部220は、ユーザ(オペレータ)の入力指示に応答して、関心領域の長手方向および/または短手方向の個数を変更する処理や関心領域の大きさを変更する処理を実行するようにしてもよい。
<画像処理部の内部構成>
図3は、画像処理部210の内部構成例を示す図である。図3に示されるように、画像処理部210は、色付ラベル解析部310と、ラベル抽出部320と、検出対象領域抽出部330と、解析部340と、を含んでいる。各処理部の動作の詳細については後述する(図7など)が、簡単に説明すると、それぞれ以下のような処理を実行する。
色付ラベル解析部310は、色付ラベル解析処理1および2を実行する。それぞれの詳細については後述するが、色付ラベル解析処理1は、関心領域設定部220で設定された複数の関心領域から解析対象の関心領域を抽出し、解析対象の関心領域の色情報(RGB値、色相値、彩度値、明度値など)から色付ラベル(例えば、検出対象が血清の場合には、血清色と類似した黄色から赤色の色相領域のラベル)の有無を判定して、存在する場合には、生体試料管202のカラー画像のうち色付ラベル領域を除去し、検出対象領域204を抽出するためのマスク(検出対象領域204抽出マスク)を生成する処理である。また、色付ラベル解析処理2は、例えば、黄色から赤色の色相領域以外の色のラベル(例えば、青色や緑色のラベル)の色付ラベル領域を抽出する処理である。
ラベル抽出部320は、色付ラベル解析部310で生成された検出対象領域204抽出マスクを用いて、生体試料管202のカラー画像から色付ラベル領域を抽出する処理を実行する。
検出対象領域抽出部330は、色付ラベル解析部310で生成された検出対象領域204抽出マスクを用いて、生体試料管202のカラー画像から検出対象領域204(例えば、血清領域)を抽出する処理を実行する。
解析部340は、検出対象領域抽出部330で抽出された検出対象領域204の色を特定し、当該色の情報から生体試料の種別を判定する処理と、検出対象領域抽出部330で抽出された検出対象領域204から生体試料の液量を計算する処理を行う。
<色付ラベル解析部の内部構成例>
図4は、色付ラベル解析部310の内部構成例を示す図である。図4に示されるように、色付ラベル解析部310は、色情報取得部410と、解析対象関心領域抽出部420と、色分布取得部430と、色付ラベル有無判定部440と、動的閾値設定部450と、色付ラベル領域除去部460と、を含んでいる。各処理部の動作の詳細については後述する(図7など)が、簡単に説明すると、それぞれ以下のような処理を実行する。
色情報取得部410は、撮像され取得された画像のデータから、関心領域設定部220で設定された各関心領域の色相(H:Hue)、彩度(S:Saturation)、および明度(V:Value)の情報を取得する処理を実行する。
解析対象関心領域抽出部420は、関心領域設定部220で設定された複数の関心領域の中から、色情報取得部410で取得された各関心領域の色情報(HSV値)に基づいて、解析対象の関心領域を抽出する(複数の関心領域から解析に使用する関心領域を絞る)処理を実行する。
色分布取得部430は、解析対象関心領域抽出部420で抽出された解析対象の関心領域の色分布(例えば、図11参照)を生成する処理を実行する。
色付ラベル有無判定部440は、色分布取得部430で生成された色分布に基づいて、色付ラベル(例えば、所定色範囲(色相および明度)に含まれる色:黄色から赤色など)が存在するか判定する処理を実行する。また、色付ラベル有無判定部440は、例えば、黄色から赤色などの所定色範囲に含まれる色の色付ラベルが無いと判定した場合には、所定色範囲以外の色付ラベルの有無を判定する処理を実行する。
動的閾値設定部450は、例えば、黄色から赤色などの所定色範囲に含まれる色の色付ラベルがあると判定された場合に、上述の解析対象の関心領域の色分布から、動的に明度の閾値(明度動的閾値)および色相の閾値(色相動的閾値)を算出する処理を実行する。また、動的閾値設定部450は、解析対象の関心領域の彩度の情報(平均彩度値や最小または最大彩度値)に基づいて、動的に彩度の閾値(彩度動的閾値)を設定する処理を実行する。
色付ラベル領域除去部460は、動的閾値設定部450で設定された動的閾値を用いて検出対象領域204抽出マスクを生成し、解析対象の画像(後述のベストフレーム)から色付ラベルを除去する処理を実行する。
<生体試料分析処理概要>
図5は、本実施形態による生体試料検出装置100で実行される生体試料分析処理の概要を説明するためのフローチャートである。以下の説明において、各ステップの動作主体を、対応する各処理部としているが、各処理部はメモリ705あるいは記憶装置706に格納されたプログラムによって実現されているため、当該プログラムの実行主体であるコントローラ(プロセッサ)704を各ステップの動作主体として説明を読み替えても良い。本実施形態による生体試料分析処理によれば、生体試料管202に色付ラベル203が貼付されている場合にも、検出対象領域204を撮像し、二次元のカラー画像を取得して、画像処理部210において検出対象領域204の色と量を解析することが可能となる。また、色付ラベル203が貼付された生体試料管202において、検出対象領域204に類似した色の色付ラベル203を検出対象領域204の一部として誤抽出することを回避し、検出対象領域204の色と量の解析精度を向上する効果がある。
(i)ステップ501
画像処理部210は、撮像部201によって撮像された、生体試料管202の複数のカラー画像(各画像の各ピクセルの位置情報、HSV値などを含む)を取得する。ここで、生体試料管202の撮像方法について説明する。図6は、生体試料管202の色付ラベル203の貼付位置と撮像部201の位置関係を示す図である。色付ラベル203が貼付された生体試料管202のカラー画像から検出対象領域204の色と量を解析するためには、図6Aのようにバーコード部分を撮像したカラー画像ではなく、図6Bおよび図6Cのように、色付ラベル203の隙間から検出対象領域204が露出した領域を撮像したカラー画像が必要である。また、検出対象領域204の色と当該検出対象領域204の色に類似した色付ラベル203の色とを解析し、検出対象領域204の色のみを抽出するためには、図6Bのように色付ラベル領域を撮像したカラー画像も必要である。このため、生体試料管202を回転させることにより、同じ生体試料管202の図6Bおよび図6Cのように、検出対象領域204を撮像したカラー画像と色付ラベル領域を撮像したカラー画像の両方を取得する必要がある。
そこで、コントローラ704の指令に基づいて回転機構1004および回転制御ドライバ1005が生体試料管202の回転を制御することにより、生体試料管202を回転させながら複数のカラー画像を撮像する。例えば、回転機構1004は、生体試料管202を回転させ、回転制御ドライバ1005によって回転の速度または加速度、回転角度、回転数、回転後の静止時間および回転開始のタイミングを制御する。撮像部201の画像取り込みのタイミングと回転後の静止時間および回転開始のタイミングとを同期させることで、静止しピントが合った状態の生体試料管202を撮像することができる。例えば、10度ずつの回転動作および静止動作を繰り返して36枚(36フレーム)の静止画像を取得することができる。また、回転角度および回転の速度または加速度は一定で無くても良く、例えば、1フレームと2フレーム間は低速度から加速させ、31フレームと32フレーム間は減速させるなどして計32枚のフレームで生体試料管202の全周を撮像しても良い。以上によって、生体試料管202を回転させて検出対象領域204が撮像部201の正面を向いた状態で撮像することが可能である。また、生体試料検出装置100に生体試料管202を投入する際に、ユーザ(オペレータ)によって向きを揃える必要がなく、分析効率を向上させることができる。
(ii)ステップ502
画像処理部210は、色付ラベル解析部310、ラベル抽出部320、および検出対象領域抽出部330における各画像処理(詳細については後述する)を実行し、ステップ501で取得したカラー画像から検出対象領域204を抽出する。
例えば、色付ラベル解析部310は、入力された生体試料管202のカラー画像から、生体試料管202に貼付されている色付ラベル203の色を検出する。ラベル抽出部320は、色付ラベル解析部310で検出した色付ラベルを抽出する。検出対象領域抽出部330は、検出対象領域204のみを抽出する。なお、ステップ502(画像処理)の詳細な処理内容については後述する(図7参照)。
(iii)ステップ503
画像処理部210は、解析部340の処理を実行し、検出対象領域204で取得した検出対象の色と量などの情報を取得(演算で求める)する。例えば、メモリ705あるいは記憶装置706に生体試料の種別に対応する色情報を事前に格納しておき、取得した色情報とメモリ705等に予め格納している色情報とを解析部340によって照合することにより、検出対象領域204の色情報から生体試料の種別を判別することができる。例えば、検出対象領域204が血清の場合、血清状態(正常、溶血、黄疸、乳び)によって血清色に特徴がある。このため、色特徴量と分類に使用する色空間の範囲と閾値をメモリ705等に格納し、解析部340で取得した色情報を照合することで、検体の血清状態を判別することができる。また、検出対象領域204の高さ方向(カラー画像の鉛直方向)の画素数の情報と、生体試料管202の直径の情報から検出対象の溶液量を算出することができる。生体試料管202の直径は、例えば、ユーザが入出力インタフェース707であるタッチパネルを用いて、使用する生体試料管202の型番または生体試料管202の直径などの情報を直接入力するなどによって取得する。
このような検体種別の判別を、例えば生化学分析前に行うことで、異常血清(溶血、黄疸、乳び)などのように生化学分析の精度に影響がある検体については事前にフラグ立てを行うことが可能となる。また、解析部340で検出対象領域204の溶液量を算出することにより、分析に十分な溶液量が確保できるかを事前に確認することができ、不足する場合には、例えば再採血を行うなどの対応が可能となり、生化学分析の効率を向上する効果がある。ここで、例えば、血清色の黄色や赤色のように、検出対象領域204の色と類似した色付ラベル203が貼付された生体試料管202の場合には、色付ラベル203の色を抽出し、メモリ705等に格納したデータと照合することで検体種別を誤判別する可能性がある。また、色付ラベル203の領域を検出対象領域204と誤抽出することで、溶液量を誤算出する可能性がある。そこで、色付ラベル解析部340によって色付ラベル203を検出し、検出対象領域204の色と分離することで、色付ラベル204を検出対象とみなすことによる検体種別の誤判別と溶液量の誤算出を回避し、検体種別の判別精度と溶液量の測定精度向上することができる。
<画像処理の詳細内容>
図7は、図5のステップ502(画像処理)の詳細内容を説明するためのフローチャートである。以下の説明において、各ステップの動作主体を、対応する各処理部としているが、各処理部はメモリ705あるいは記憶装置706に格納されたプログラムによって実現されているため、当該プログラムの実行主体であるコントローラ(プロセッサ)704を各ステップの動作主体として説明を読み替えても良い。
(i)ステップ701
関心領域設定部220は、ユーザによる関心領域(ROI)の設定入力またはメモリ705あるいは記憶装置706に格納してある設定ファイルに応答して、ステップ501で取得した複数のカラー画像のそれぞれに対して関心領域を設定する。ユーザによる設定入力または設定ファイルの記述内容は、上述のように、例えば、ROIの個数、各ROIの撮像画像内の基準座標値、領域サイズ(ROIの画素数)、各ROIのピッチなどの情報である。設定入力される情報によって、色付ラベルの検出感度が変わる。まず、長手方向の個数を増やすことで検出可能な色付ラベルの最大の長さ(長手方向の幅)が長くなり、長手方向のROIのピッチを小さくすることで検出可能な色付ラベルの最小の長さ(長手方向の幅)を短くすることができる。また、短手方向の個数を増やしピッチを狭くすることで、例えば、生体試料管202の回転時に回転軸が安定しない場合にも色付ラベルを検出でき、検出可能な色付ラベルの最小の幅(短手方向の幅)を小さくできる。このように関心領域の個数は多いほど検出感度は高くなるが、多すぎると処理速度(スループット)が低下してしまう。そこで、生体試料管202の長さによって、生体試料管202の長手方向に例えば4個から50個、短手方向に例えば1個から5個の関心領域を設定する(例えば、長手方向に20個以下、短手方向に3個以下としてもよい)。また、設定値を変更することにより比較的短い生体試料管202にも対応することが可能である。
図8は、関心領域の設定例を示す図である。図8では、取得された各画像に対して長手方向に4個、短手方向に1個の関心領域が設定されている例が示されているが、これに限定されるものではない。図8に示されるように、ステップ501で取得された各カラー画像に対して関心領域が設定される。また、図8では、例えば、ラベルのバーコード部分(図8A)、色付ラベル部分(図8B)、および検出対象領域204(例えば、血清領域)を含む生体試料部分(図8C)に関心領域が設定された様子が示されている。本実施形態では、例えば、生体試料管202を10度ずつ回転させて36枚のカラー画像が取得されるので、各画像に対して、図8Aから8Cに示されるような複数の関心領域が設定されることになる。
(ii)ステップ702
色情報取得部410は、ステップ701で設定された各関心領域の、少なくとも色相(H:Hue)、彩度(S:Saturation)、および明度(V:Value)の情報を取得する。
(iii)ステップ703
解析対象関心領域抽出部420は、色相(H:Hue)、彩度(S:Saturation)、および明度(V:Value)の固定閾値1をメモリ705あるいは記憶装置706から取得し、当該固定閾値に基づいて、設定された複数の関心領域から解析対象とすべき関心領域を抽出する。固定閾値1は、例えば、検出対象(例:血清)が取り得るHSV値の範囲(最小値と最大値)を規定するものである(例えば、赤色から黄色)。色付ラベルの色が検出対象のとり得るHSV値の範囲に該当する場合(例えば、検出対象が血清で色付ラベルの色が赤色や黄色の場合)には、それらを分離するための処理(色付ラベル解析処理1:ステップ701からステップ710)が実行されることになる。また、色付ラベルの色が検出対象のとり得るHSV値の範囲に該当しない場合には、別途その色付ラベル(例えば、青色や緑色)を抽出する処理(色付ラベル解析処理2:ステップ714からステップ716)が実行される。
図9は、固定閾値1を用いた解析対象の関心領域の抽出(複数の関心領域から解析対象の関心領域を絞る)の概念を示す図である。設定された各関心領域における各画素のHSV値と固定閾値1とを比較することにより、固定閾値1の範囲内のHSV値を有する画素を抽出し、抽出した画素数をもとに後述する方法で複数の関心領域から解析対象の関心領域を抽出する。図9では、領域901に抽出する解析対象の関心領域を示し、領域901以外の関心領域は解析に使用しないことが示されている。固定閾値1と関心領域を構成する各画素のHSV値の比較によって、領域901の関心領域を解析対象の関心領域として抽出した結果、領域901に該当する関心領域は、検出対象(例えば、血清)領域、あるいは色付ラベルを関心領域が解析対象として抽出されることになる。また、領域901以外の領域に含まれる関心領域は固定閾値1の色範囲に該当しないとして、解析対象とはならない。
また、図10は、解析対象の関心領域と解析対象外の関心領域の差異を示す図である。図10において、正方形の各領域は、1つの関心領域における画素を示している。各画素のHSV値と固定閾値1を比較した結果、HSV値が固定閾値1の範囲内に含まれる画素を白色で示し、固定閾値1の範囲外となる画素を黒色で示している。そして、白色となる(HSV値が固定閾値1の範囲内にある)画素の割合が所定値以上(例えば、50%から80%以上)の関心領域を解析対象として抽出する。
なお、例えば、検出対象領域204が血清の場合、検出対象領域204がとり得る色範囲としては、正常血清の黄色、溶血の赤色や乳びの白色であり血清がとり得る色の範囲を事前に把握し閾値を設定することが可能である。また、閾値(固定閾値1、固定閾値2、色相動的閾値、明度動的閾値、および彩度動的閾値)はRGB色空間で設定してもよいし、色相、明度、彩度のHSV色空間で設定してもよい。HSV色区間の閾値の場合には、カラー画像をHSV色空間に変換した上で設定した閾値を基に検出対象領域204の候補領域を抽出する。また、この閾値は、生体試料管202の種類や光源701aおよび701bの光量などの撮像環境によって変更してもよい。
(iv)ステップ704
色分布取得部430は、ステップ701で設定された各関心領域の色相、明度、および彩度の情報を取得し、各画像(フレーム)に対するそれぞれの要素(HSVそれぞれ)の分布(色分布)を作成する。図11は、例として、ひとつの関心領域を各画像に設定した場合の関心領域における平均明度値の分布を示している。回転角度10度ずつ生体試料管202を回転させながら生体試料管202全周のカラー画像を取得する場合には、36枚のカラー画像が得られるため、ひとつの関心領域を各画像に設定すると、36個の関心領域の明度情報が取得され、平均明度値の分布が生成される。図11Aは、固定閾値1で前述した解析対象の関心領域を抽出する前の分布を示し、図11Bは、固定閾値1で解析対象の関心領域を限定した後の分布を示している。また、図12は、各画像の関心領域における色相の分布範囲を示す図である。なお、図12の例では、固定閾値1で色相範囲を限定した後の分布が示されている。
(v)ステップ705
色付ラベル有無判定部440は、解析対象の関心領域に色相差があるか判断する。例えば、色付ラベル有無判定部440は、ステップ704で生成した色相平均値の分布(図12)を参照して関心領域の色相の最小値および最大値を特定し、“色相の最大値−色相の最小値”が所定の閾値(色相差有無判断の閾値TH_)よりも大きいか否か判断する。色相差があると判断された場合(ステップ705でYesの場合:“色相の最大値−色相の最小値”≧TH_の場合には、色相差があり、固定閾値1で指定する色範囲内の色を有する色付ラベルが存在すると判断される)、処理はステップS707に移行する。色相差がないと判断された場合(ステップ705でNoの場合:“色相の最大値−色相の最小値”<所定の閾値の場合には、色相差がなく、固定閾値1で指定する範囲の色付ラベルは存在しないと判断される)、処理はステップ706に移行する。
(vi)ステップ706
色付ラベル有無判定部440は、解析対象の関心領域に明度差があるか判断する。例えば、色付ラベル有無判定部440は、ステップ704で生成した明度平均値の分布(図11B:固定閾値1で明度領域を限定した後の分布)を参照して関心領域の明度の最小値および最大値を特定し、“明度の最大値−明度の最小値”が所定の閾値(明度差有無判断の閾値TH_)よりも大きいか否か判断する。明度差があると判断された場合(ステップ706でYesの場合:“明度の最大値−明度の最小値”≧TH_の場合には、明度差があり、固定閾値1で指定する色範囲内の色を有する色付ラベルが存在すると判断される)、処理はステップS708に移行する。明度差がないと判断された場合(ステップ706でNoの場合:“明度の最大値−明度の最小値”<TH_の場合には、明度差がなく、固定閾値1で指定する色範囲内の色を有する色付ラベルは存在しないと判断される)、処理はステップ713に移行する。ステップ713以降の処理(色付ラベル解析処理2)によって、固定閾値1で指定する色範囲外の色を有する色付ラベル(例えば、検出対象が血清の場合は青や緑)の有無が判断されることになる。
(vii)ステップ707
動的閾値設定部450は、色相に関して、固定閾値1とは異なる新たな閾値を設定する。つまり、複数の生体試料管202について検体情報を取得する場合、各生体試料管202について動的に色相の閾値が設定されることになる。新たな閾値(動的閾値)は、例えば、(色相最大値+色相最小値)/2や(色相最大値+色相最小値)/2+所定のオフセット値によって設定することができる。つまり、図12において色相動的閾値は関心領域の色相最小値と最大値で指定される色相の色範囲を分割する値となる。ここで、色相は一般的に0〜180°や0〜360°の円環で表されるため、固定閾値1に対して動的閾値を上限の閾値とする(動的閾値で指定する色範囲を固定閾値1から動的閾値までとする:領域1)か、動的閾値を下限の閾値とする(動的閾値で指定する色範囲を動的閾値から固定閾値1までとする:領域2)か決定し、検出対象の色相範囲と色付ラベルの色相範囲がどちらの領域になるか判別する必要がある。判別する方法としては、例えば、検出対象が血清の場合には、まず、2つの領域それぞれの色相範囲に該当する色相をもつ解析対象の関心領域を抽出し、抽出した関心領域の明度平均値を求める。求めた明度平均値を比較し、血清では明度が低く色付ラベルでは明度が高くなる傾向を利用して、明度平均値が高い領域を色付ラベルの色相範囲とし、低い領域を血清の色相範囲とするなどの方法がある。または、検出対象領域204の面積と色付ラベルの面積に差があり、例えば、色付ラベルの面積が検出対象領域204の面積より小さいなどの条件がある場合には、2つの領域それぞれの色相範囲に該当する色相をもつ解析対象の関心領域の個数を比較し、多い方を検出対象領域204とするなどの方法などがある。また、使用する色付ラベルの色情報をユーザが、例えば入出力インタフェース707であるタッチパネルなどを用いて入力し、取得した色付ラベルの色情報から色付ラベルの色相範囲を決定しても良い。なお、ステップ705で色相差がないと判断された場合には、固定閾値1に含まれる色相の閾値が引き続き用いられることになる。
(viii)ステップ708
動的閾値設定部450は、明度に関して、固定閾値1とは異なる新たな閾値を設定する。つまり、複数の生体試料管202について検体情報を取得する場合、各生体試料管202について動的に明度の閾値が設定されることになる。新たな閾値(動的閾値)は、例えば、(明度最大値+明度最小値)/2や(明度最大値+明度最小値)/2+所定のオフセット値によって設定することができる。なお、ステップ706で明度差がないと判断された場合には、固定閾値1に含まれる明度の閾値が引き続き用いられることになる。
(ix)ステップ709
動的閾値設定部450は、解析対象の関心領域における彩度平均値または彩度最小値などを算出し、彩度平均値または彩度最小値が彩度に関する固定閾値1よりも小さいか否か判断する。彩度平均値または彩度最小値が固定閾値1よりも小さい場合、動的閾値設定部450は、固定閾値1よりも小さい、予め決められた固定閾値TH_S2(例えば、血清と分離剤とを分離できる閾値)に変更する。彩度平均値または彩度最小値が固定閾値1以上の場合には、彩度に関して閾値1がそのまま用いられる。
(x)ステップ710
色付ラベル領域除去部460は、ステップ707からステップ709で設定された閾値を用いて、画像から検出対象領域204を抽出するためのマスク(検出対象領域204抽出マスク)を作成する。当該検出対象領域204抽出マスクは、取得された画像から、動的閾値で指定する色相範囲内の色相値および明度値が動的明度閾値よりも小さく、彩度値が固定閾値TH_S2あるいは固定閾値1以上の画素のみを抽出するためのマスクとなる。
図13は、検出対象領域204抽出マスク(血清領域抽出マスク)の例を示す図である。図13Aは、後述のベストフレームの画像を示す。また、図13Bは、色付ラベル除去機能なしのマスクを示し、図13Cは、色付ラベル除去機能ありのマスクを示している。図13Bに示すマスクは、例えば、固定閾値1でHSV値が取りうる範囲を限定するだけのものである。従って、図13Cのマスクをベストフレームの画像に適用すれば、直接的に検出対象領域204を抽出することができる。つまり、色空間の閾値を用いて予め設定した閾値の範囲内の色を検出対象領域204の候補領域として抽出する際に、色付ラベル領域の色が検出対象領域204の候補領域を抽出する色の範囲内である場合(固定閾値1のみを用いる場合)、図13Bのように、色空間の閾値では色付ラベル領域と検出対象領域204の両方を抽出することになり、色付ラベル領域の色と検出対象領域204の色を識別し検出対象領域204のみを抽出することができない。一方、図13Cのマスクをベストフレームの画像に適用すれば、図13Bのマスク使用による課題を解決することができるだけでなく、抽出された検出対象領域204の情報を用いて、色付ラベル領域をさらに抽出することも可能である。色付ラベルの領域を抽出することができれば、上記マスクで検出対象領域204を抽出する方法以外にエッジ抽出などによって検出対象領域204を抽出する場合にも、解析対象の画像から色付ラベル領域を事前に除去することができ、色付ラベルを誤抽出することによる検出精度の低下を回避できる。また、ラベル色によって検査項目や検体の種類を識別している場合には、色付ラベルの色を抽出することによってこれらの情報を取得することが可能である。
(xi)ステップ711
ラベル抽出部320は、ステップ501で取得した複数のカラー画像のうち、検出対象領域204の面積が一番大きい画像をベストフレームとして選択する(ベストフレーム選択処理1)。例えば、ラベル抽出部320は、ステップ710で作成した検出対象領域抽出マスクを用いて、複数のカラー画像について色付ラベル領域を除去した検出対象領域204の面積を算出し、当該面積が最大の画像をベストフレームとする。図14は、採血管(生体試料管202)の撮像方向と血清抽出領域面積(検出対象領域204面積)との関係を示す図である。図14Aから図14Fは、生体試料管202の撮像時の向き(撮像方向)を示す図であり、図14Gはそれらに対応する検出対象領域204の面積を示す図である。図14Gに示されるように、生体試料管202の回転角度に応じて検出対象領域204の面積は変化(増加)するが、色付ラベル領域を除去しない場合には、色付ラベルの領域を検出対象領域204と誤検出してしまい、図14Eの画像がベストフレーム(検出対象領域204の面積が最大)として選択されてしまう。一方、色付ラベル領域を除去する場合には、図14Dの画像がベストフレームとして選択される。
(xii)ステップ712
検出対象領域抽出部330は、ステップ711でベストフレームとして選択された画像に対して、ステップ710で作成した検出対象領域204抽出マスクを適用し、検出対象領域204と色付ラベル領域205を分離して、それぞれの領域の情報をメモリ705あるいは記憶装置706に格納する。
(xiii)ステップ713
ラベル抽出部320は、固定閾値1を用いて、取得した複数のカラー画像の中からベストフレームを選択する。ステップ706で明度差がないと判断された場合、生体試料管202に固定閾値1で規定される範囲の色(例えば、黄色から赤色:検出対象領域204の色に類似する色)を有する色付ラベルは存在しない。そのため、固定閾値1による検出対象領域抽出マスク(図13B)を適用すれば、この場合の検出対象領域204の領域を抽出することができる。よって、単純に、固定閾値1で限定された領域の大きさを比較し、面積が最大となる画像をベストフレームとして選択することができる。
(xiv)ステップ714
ラベル抽出部320は、ステップ713で選択されたベストフレームの画像に対して、色相、明度、および彩度のそれぞれの固定閾値1を適用して、検出対象領域候補1を抽出する。
(xv)ステップ715
ラベル抽出部320は、ステップ713で選択されたベストフレームの画像に対して、固定閾値2を適用して、検出対象領域候補2を抽出する。ここで、固定閾値2は、明度および彩度については固定閾値1と同じ値であり、色相については全ての値を取得するものである。
(xvi)ステップ716
色付ラベル有無判定部440は、ステップ714で抽出した検出対象領域候補1とステップ715で抽出した検出対象領域候補2とを比較することにより、色付ラベル領域の有無を判断すると共に、色付ラベル領域が存在すると判断した場合には、色付ラベル領域を抽出する。抽出された色付ラベル領域の情報は、メモリ705あるいは記憶装置706に格納される。
そして、色付ラベル領域除去部460は、ステップ713でベストフレームとして選択された画像から色付ラベル領域を除去する。
(xvii)ステップ717
検出対象領域抽出部330は、ステップ716で色付ラベル領域が除去された画像に対してエッジ検出処理など検出対象領域204抽出マスク以外の検出対象領域204処理を実行し、例えば、各領域のエッジを識別することにより検出対象領域204と分離剤などの領域とを分離し、検出対象領域204を抽出する。
<変形例>
(1)変形例1:画像処理
図15は、本実施形態の生体試料検出装置100において実行される画像処理の変形例を示す図である。当該変形例では、ユーザ(オペレータ)によって生体試料管202に貼付された色付ラベルの色情報が入力された場合には、図7の画像処理を実行するのではなく、その代わりに、入力された色情報に応じて、画像処理A(図15A参照)あるいは画像処理B(図15B参照)を実行するようにする。
図15Aにおいて、ステップ511の色付ラベル解析処理1は、図7のステップ701からステップ710の処理に該当し、ステップ512のベストフレーム選択処理1は、図7のステップ711の処理に該当し、ステップ513の検出対象領域抽出処理1は、図7のステップ712に該当する。一方、図15Bにおいて、ステップ521のベストフレーム選択処理2は、図7のステップ713に該当し、ステップ522の色付ラベル解析処理2は、図7のステップ714からステップ716に該当し、ステップ523の検出対象領域抽出処理2は、図7のステップ717に該当する。
(2)変形例2:関心領域の設定例
図16は、変形例による関心領域の設定例を示す図である。図16AおよびBに示されるように、関心領域の設定数は、ユーザが入出力インタフェース707を用い、関心領域設定部220を介して、生体試料管202毎に適宜変更することが可能である。また、生体試料管202の長さが短い場合にも、関心領域の設定数を適宜設定(生体試料管202の長さに応じて調整)することが可能である。または、例えば生体試料管が短い場合の関心領域の設定パターンと長い場合の設定パターンなど予め関心領域の複数の設定パターンをメモリ705あるいは記憶装置706に記憶しておき、ユーザが入力する生体試料管の種類や検査項目などに応答して設定パターンを読み出すことも可能である。
<まとめ>
(i)本実施形態による生体試料検出装置は、生体試料管のカラー画像(例えば、複数フレーム)を取得し、その色情報(色相、明度、彩度)に基づいて、生体試料管に色付ラベルが存在するか否かを判定する色付ラベル有無判定処理と、色付ラベル有無判定処理によって存在すると判定された色付ラベルをカラー画像から抽出するラベル抽出処理と、カラー画像から色付ラベルを除去して、生体試料における検出対象領域を抽出する検出対象領域抽出処理と、検出対象領域の色情報を取得し、生体試料の種別と溶液量を解析する解析処理と、を実行する。このように、生体試料管に貼付された色付ラベルを識別して除去するので、色付ラベルと検出対象領域(例えば、血清領域)とを高精度に分離して検出対象領域に含まれる検体を解析することが可能となる。
(ii)さらに、本実施形態による生体試料検出装置は、色情報が固定閾値で定められる所定の範囲内にある関心領域を解析対象関心領域として抽出する解析対象関心領域抽出処理を実行し、色付ラベル有無判定処理において、解析対象関心領域の色相あるいは明度の情報を用いて、解析対象関心領域に色付ラベルの領域が含まれるか判定する。さらに、具体的には、当該生体試料検出装置は、色付ラベル有無判定処理において、解析対象関心領域の色相と明度の変化の分布を取得し、明度あるいは色相の分布(例えば、色相の変化幅(最大値と最小値の差分値)あるいは明度の変化幅(最大値と最小値の差分値))に基づいて色付ラベルの有無を判定する。このようにすることにより、色付ラベル領域の色と検出対象領域の色とが同じ色の範囲をとり得る場合(色付ラベルが黄色で検出対象領域(血清領域)が黄味色や赤味色のときや色付ラベルが赤色で検出対象領域が黄味色や赤味色のとき)に、色付ラベルと検出対象領域とを精度良く分離することができるようになる。
(iii)本実施形態による生体試料検出装置は、カラー画像から色付ラベルを除去し、検出対象領域を抽出するための閾値を、生体試料管ごとに動的に設定する処理を実行する。より具体的には、当該生体試料検出装置は、解析対象関心領域の色相の変化分布と明度の変化の分布から、色相の最大値と最小値および明度の最大値および最小値を抽出し、これらの最大値および最小値を用いて検出対象領域を抽出するための色相動的閾値および明度動的閾値を設定する。例えば、(最大値+最小値)/2や(最大値+最小値)/2+オフセット値を演算することにより、動的閾値を設定することができる。一方、彩度の動的閾値に関しては、解析対象関心領域の彩度値(平均彩度値や最小彩度値)と彩度に関する固定閾値1との大小関係(例)に基づいて、設定される。例えば、平均彩度値または最小彩度値が固定閾値1よりも小さい場合、予め用意されている固定閾値2であって、平均彩度値よりも小さい、例えば分離剤と血清とを分離することができるように設定された固定閾値2に設定することができる。平均彩度値が固定閾値1以上の場合には、固定閾値1がそのまま用いられる。これら3つの動的閾値を用いて、検出対象領域を抽出するマスク(検出対象領域抽出マスク)が生成される。このように動的に閾値を設定するので、色付ラベル領域の色と検出対象領域の色との相対的関係によって最適な閾値を適宜設定することができ、両者を正確に分離することができるようになる。
(iv)本実施形態による生体試料検出装置は、検出対象領域抽出マスクを用いて、複数フレームのカラー画像について色付ラベル領域を除去して得られる検出対象領域の面積を算出し、当該面積が最大の画像をベストフレーム(図14参照)とし、当該ベストフレームの検出対象領域に対して解析処理を実行する。本実施形態では、色付ラベルと検出対象領域を混同することがなくなるため、検出対象領域の面積(カラー画像上での面積)が最大となるベストフレーム(真のベストフレーム)を解析対象として選択することができ、より正確な解析結果が得られることを期待することができる。
(v)本実施形態の機能は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM、ハードディスク、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD−RW、CD−R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
100 生体試料検出装置
201 撮像部
202 生体試料管
203 色付ラベル
204 検出対象領域
205 色付ラベル領域
404 背景板
701a、701b 光源
702a、702b 光源用ドライバ
703 生体試料管ホルダ
704 コントローラ
705 メモリ
706 記憶装置
707 入出力インタフェース
708 データバス
1001 把持機構
1002 移動機構
1003 上下制御ドライバ
1004 回転機構
1005 回転制御ドライバ

Claims (14)

  1. 色付ラベルが貼付された生体試料管に収容された生体試料を分析する生体試料検出装置であって、
    前記生体試料管のカラー画像を撮像し、出力する撮像デバイスと、
    前記カラー画像に対して所定の画像処理を実行するためのプログラムを格納する記憶デバイスと、
    前記記憶デバイスから前記プログラムを読み込み、前記所定の画像処理を実行するプロセッサと、を備え、
    前記プロセッサは、
    前記カラー画像の色情報に基づいて、前記生体試料管に色付ラベルが存在するか否かを判定する色付ラベル有無判定処理と、
    前記色付ラベル有無判定処理によって存在すると判定された前記色付ラベルを前記カラー画像から抽出するラベル抽出処理と、
    前記カラー画像から前記色付ラベルを除去して、前記生体試料における検出対象領域を抽出する検出対象領域抽出処理と、
    前記検出対象領域の色情報を取得し、前記生体試料の液量と種別を解析する解析処理と、
    を実行する、生体試料検出装置。
  2. 請求項1において、
    前記撮像デバイスは、前記生体試料管の複数フレームのカラー画像を撮像して出力し、
    前記プロセッサは、前記複数フレームのカラー画像のそれぞれに、指定された画素サイズの関心領域を複数個設定し、各関心領域の前記色情報であって、明度、色相、および彩度の情報を含む色情報を取得する色情報取得処理を実行する、生体試料検出装置。
  3. 請求項2において、
    前記プロセッサは、前記色情報が固定閾値で定められる所定の範囲内にある前記関心領域を解析対象関心領域として抽出する解析対象関心領域抽出処理を実行し、
    前記プロセッサは、前記色付ラベル有無判定処理において、前記解析対象関心領域の色相あるいは明度の情報を用いて、前記解析対象関心領域に前記色付ラベルの領域が含まれるか判定する、生体試料検出装置。
  4. 請求項3において、
    前記プロセッサは、前記色付ラベル有無判定処理において、前記解析対象関心領域の前記色相と前記明度の変化の分布を取得し、前記明度あるいは前記色相の分布に基づいて前記色付ラベルの有無を判定する、生体試料検出装置。
  5. 請求項4において、
    前記プロセッサは、前記色付ラベル有無判定処理において、前記解析対象関心領域の前記色相の変化幅あるいは前記明度の変化幅に基づいて前記色付ラベルの有無を判定する、生体試料検出装置。
  6. 請求項5において、
    前記プロセッサは、前記カラー画像から前記色付ラベルを除去し、前記検出対象領域を抽出するための閾値を、前記生体試料管ごとに動的に設定する処理を実行する、生体試料検出装置。
  7. 請求項6において、
    前記プロセッサは、前記解析対象関心領域の前記色相の変化分布と前記明度の変化の分布から、前記色相の最大値と最小値および前記明度の最大値および最小値を抽出し、これらの最大値および最小値を用いて前記検出対象領域を抽出するための色相動的閾値または明度動的閾値を設定する、生体試料検出装置。
  8. 請求項7において、
    前記プロセッサは、さらに、前記解析対象関心領域の彩度値と彩度に関する前記固定閾値との関係に基づいて、彩度動的閾値を設定する、生体試料検出装置。
  9. 請求項8において、
    前記プロセッサは、前記色相動的閾値、前記明度動的閾値、および前記彩度動的閾値を用いて、前記検出対象領域を抽出するマスクを生成する、生体試料検出装置。
  10. 請求項9において、
    前記プロセッサは、前記マスクを用いて、前記複数フレームのカラー画像について前記色付ラベルの領域を除去して得られる前記検出対象領域の面積を算出し、当該面積が最大の画像をベストフレームとし、当該ベストフレームに対して前記解析処理を実行する、生体試料検出装置。
  11. 請求項2において、
    前記プロセッサは、前記生体試料管の長手方向に前記関心領域を複数個設定する、生体試料検出装置。
  12. 請求項11において、
    前記プロセッサは、前記生体試料管の短手方向に前記関心領域を複数個設定する、生体試料検出装置。
  13. 請求項12において、
    前記プロセッサは、入力された指示に応答して、前記関心領域の前記長手方向および/または短手方向の個数を変更する処理を実行する、生体試料検出装置。
  14. 請求項12において、
    前記プロセッサは、入力された指示に応答して、前記関心領域の大きさを変更する処理を実行する、生体試料検出装置。
JP2019011216A 2019-01-25 2019-01-25 生体試料検出装置 Active JP7071301B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019011216A JP7071301B2 (ja) 2019-01-25 2019-01-25 生体試料検出装置
CN202080008151.5A CN113302472B (zh) 2019-01-25 2020-01-14 生物体试样检测装置
US17/421,450 US11971346B2 (en) 2019-01-25 2020-01-14 Biological sample detection device
PCT/JP2020/000904 WO2020153177A1 (ja) 2019-01-25 2020-01-14 生体試料検出装置
EP20744988.5A EP3916375B1 (en) 2019-01-25 2020-01-14 Biological sample detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019011216A JP7071301B2 (ja) 2019-01-25 2019-01-25 生体試料検出装置

Publications (3)

Publication Number Publication Date
JP2020118596A true JP2020118596A (ja) 2020-08-06
JP2020118596A5 JP2020118596A5 (ja) 2021-05-06
JP7071301B2 JP7071301B2 (ja) 2022-05-18

Family

ID=71736028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019011216A Active JP7071301B2 (ja) 2019-01-25 2019-01-25 生体試料検出装置

Country Status (5)

Country Link
US (1) US11971346B2 (ja)
EP (1) EP3916375B1 (ja)
JP (1) JP7071301B2 (ja)
CN (1) CN113302472B (ja)
WO (1) WO2020153177A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339046B (zh) * 2021-12-30 2023-10-03 中元汇吉生物技术股份有限公司 基于自动旋转试管的图像采集方法、装置、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005119706A (ja) * 2003-10-16 2005-05-12 Kirin Techno-System Corp ラベルの検査装置
JP2013072806A (ja) * 2011-09-28 2013-04-22 Aoi Seiki Kk 検査前処理装置、検査前処理方法、及び検体処理装置
JP2015014506A (ja) * 2013-07-04 2015-01-22 株式会社日立ハイテクノロジーズ 検出装置および生体試料分析装置
WO2015072358A1 (ja) * 2013-11-12 2015-05-21 株式会社日立ハイテクノロジーズ 検体検査自動化システムおよび生体試料チェックモジュールならびに生体試料のチェック方法
US20150241457A1 (en) * 2012-08-20 2015-08-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit
JP2016008927A (ja) * 2014-06-25 2016-01-18 株式会社日立ハイテクノロジーズ 検出装置および生体試料分析装置
WO2016181572A1 (ja) * 2015-05-11 2016-11-17 株式会社安川電機 分注システム、コントローラ及び制御方法
WO2017132171A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for characterizing a specimen container and specimen
WO2017132172A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for imaging a specimen container and/or specimen using multiple exposures
JP2018096740A (ja) * 2016-12-09 2018-06-21 株式会社日立ハイテクノロジーズ 生体試料分析装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133687A (ja) * 1995-11-13 1997-05-20 Meiji Denki Kogyo Kk 採血試験管における血清量測定装置
JP3733087B2 (ja) 2002-07-04 2006-01-11 アロカ株式会社 検体分析装置
JP2008168927A (ja) 2007-01-12 2008-07-24 Yazaki Corp テープ貼り機構とそれを備えたテープ巻き装置及びテープ巻き方法
US8170271B2 (en) * 2008-06-25 2012-05-01 Jadak Llc System and method for test tube and cap identification
JP5208868B2 (ja) * 2008-10-31 2013-06-12 シスメックス株式会社 検体処理装置
JP5205354B2 (ja) * 2009-09-30 2013-06-05 富士フイルム株式会社 クロマトグラフ測定装置
US8319823B2 (en) * 2009-11-03 2012-11-27 Jadak, Llc System and method for panoramic image stitching
JP2013242246A (ja) * 2012-05-22 2013-12-05 Hitachi High-Technologies Corp 生体試料の分析装置および生体試料の分析方法
US8781062B2 (en) * 2012-06-26 2014-07-15 Analogic Corporation Dynamic adjustment of X-ray acquisition parameters
WO2014138533A1 (en) * 2013-03-08 2014-09-12 Siemens Healthcare Diagnostics Inc. Tube characterization station
JP6282060B2 (ja) * 2013-08-20 2018-02-21 株式会社日立ハイテクノロジーズ 検体検査自動化システム
CA2976769C (en) * 2015-02-17 2023-06-13 Siemens Healthcare Diagnostics Inc. Model-based methods and apparatus for classifying an interferent in specimens
JP6422824B2 (ja) * 2015-05-29 2018-11-14 株式会社日立ハイテクノロジーズ 検体前処理方法及び検体前処理装置
WO2017132166A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005119706A (ja) * 2003-10-16 2005-05-12 Kirin Techno-System Corp ラベルの検査装置
JP2013072806A (ja) * 2011-09-28 2013-04-22 Aoi Seiki Kk 検査前処理装置、検査前処理方法、及び検体処理装置
US20150241457A1 (en) * 2012-08-20 2015-08-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit
JP2015014506A (ja) * 2013-07-04 2015-01-22 株式会社日立ハイテクノロジーズ 検出装置および生体試料分析装置
WO2015072358A1 (ja) * 2013-11-12 2015-05-21 株式会社日立ハイテクノロジーズ 検体検査自動化システムおよび生体試料チェックモジュールならびに生体試料のチェック方法
JP2016008927A (ja) * 2014-06-25 2016-01-18 株式会社日立ハイテクノロジーズ 検出装置および生体試料分析装置
WO2016181572A1 (ja) * 2015-05-11 2016-11-17 株式会社安川電機 分注システム、コントローラ及び制御方法
WO2017132171A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for characterizing a specimen container and specimen
WO2017132172A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for imaging a specimen container and/or specimen using multiple exposures
JP2018096740A (ja) * 2016-12-09 2018-06-21 株式会社日立ハイテクノロジーズ 生体試料分析装置

Also Published As

Publication number Publication date
US11971346B2 (en) 2024-04-30
CN113302472B (zh) 2024-03-08
EP3916375A1 (en) 2021-12-01
JP7071301B2 (ja) 2022-05-18
CN113302472A (zh) 2021-08-24
US20220082492A1 (en) 2022-03-17
EP3916375A4 (en) 2022-10-26
EP3916375B1 (en) 2023-10-18
WO2020153177A1 (ja) 2020-07-30

Similar Documents

Publication Publication Date Title
JP4595705B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2017096750A (ja) 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体
CN110892272B (zh) 装置、试料的状态的判别方法以及分析***
JP2012159318A (ja) 分析装置
US20230097384A1 (en) Biological sample analysis device
JP6894335B2 (ja) 部品計数装置、部品計数方法およびプログラム
WO2020153177A1 (ja) 生体試料検出装置
JP2010025597A (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP6422824B2 (ja) 検体前処理方法及び検体前処理装置
US20210209740A1 (en) Inspection system, information processing apparatus, and non-transitory computer-readable medium
JP6180889B2 (ja) 印字検査装置
JPS5830049B2 (ja) 網赤血球自動計測装置
JP7407282B2 (ja) 管アセンブリタイプを識別する装置および方法
JPH10274652A (ja) 物体識別装置
WO2023248789A1 (ja) 試料状態判定装置、試料状態判定方法及び試料検査装置
JP2006035505A (ja) 印刷物の検査方法及び装置
JP7438345B2 (ja) 診断分析器のモデルを訓練する装置および方法
CN115876785B (zh) 一种用于产品缺陷检测的视觉识别***
WO2023276853A1 (ja) 画像処理装置、方法及び画像処理システム
CN114339046A (zh) 基于自动旋转试管的图像采集方法、装置、设备及介质
KR20160074837A (ko) 리턴 스프링 자동 조립 장치 및 방법
CN114332059A (zh) 基于试管图像的血清样本分析方法、装置、设备及介质
JP2004301776A (ja) 画像検査装置、画像検査方法、制御プログラム、可読記録媒体および被検査部材の製造方法
US20100119142A1 (en) Monitoring Multiple Similar Objects Using Image Templates
JPH0610676B2 (ja) 網赤血球自動計数装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210326

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220506

R150 Certificate of patent or registration of utility model

Ref document number: 7071301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150