JPWO2019023376A5 - - Google Patents

Description

ここで、ボリューム定量装置５００の機能的構成要素を記述する図５Ａを参照する。ボリューム定量装置５００は、５０２内の撮像位置４３２において、検体２１２を含む検体容器１０２を提供することによって、画像取得を含むことができる。その後、ＨＤＲ画像は、上記のように５０４内で撮影される。データ入力量を減らすために、ＨＤＲ画像の画像データを５０５で前処理してもよい。前処理には、例えば、各スペクトルについて異なる露光での複数の取得画像から最適に露光された画素を選択し、各画像取得装置４４０Ａ～４４０Ｃについてその正規化を行い、各スペクトル（例えば、Ｒ、Ｇ、Ｂ）および各画像取得装置４４０Ａ～４４０Ｃについて最適に露光された撮像データを生成するようにすることが含まれる。この前処理フェーズでは、画像をより少なく処理する必要があるように、画像の統合が行われる。 Reference is now made to FIG. 5A which describes the functional components of volumetric device 500 . Volume determination device 500 can include image acquisition by providing specimen container 102 containing specimen 212 at imaging location 432 in 502 . An HDR image is then captured in 504 as described above. Image data for HDR images may be preprocessed at 505 to reduce the amount of data input. Preprocessing may include, for example, selecting optimally exposed pixels from multiple acquired images at different exposures for each spectrum, normalizing them for each image acquisition device 440A-440C, and performing each spectrum (e.g., R, G, B) and trying to generate optimally exposed imaging data for each image acquisition device 440A-440C. In this pre-processing phase, image consolidation is performed so that less images need to be processed.

統合は、各画像撮影装置４４０Ａ～４４０Ｃからの露光時間の画像各対応画素に対して、複数の露光時間の画像それぞれから最適な画像強度を示す画素を選択することを含む。最適な画像強度は、例えば、所定の強度範囲（例えば、０～２５５のスケールで１８０～２５４の強度）内に入る画素として定義され得る。しかし、他の適当な範囲を用いることができる。２つの画像の対応する位置の１つ以上の画素が最適に露光されていると判定された場合、２つのうちより高い方を選択することができる。その結果、全ての画素が最適に露光される（例えば、スペクトルあたり１つの画像データセット（例えば、Ｒ、Ｇ、およびＢ）および画像取得装置４４０Ａ－４４０Ｃ）各画像取得装置４４０Ａ－４４０Ｃについて、複数の統合されたカラー画像データセット（例えば、Ｒ、Ｇ、Ｂ）が得られる。次に、各画素の最適に露光された強度値を露光時間によって正規化することができ、その結果、各統合画像の全ての画素が露光時間に関係なく正規化される。 The integration involves selecting the pixel exhibiting the optimal image intensity from each of the plurality of exposure time images for each corresponding pixel of the exposure time image from each image capture device 440A-440C. Optimal image intensity may be defined, for example, as pixels falling within a predetermined intensity range (eg, intensity 180-254 on a scale of 0-255). However, other suitable ranges can be used. If it is determined that one or more pixels at corresponding locations in the two images are optimally exposed, then the higher of the two can be selected. As a result, all pixels are optimally exposed (eg, one image data set per spectrum (eg, R, G, and B) and image capture devices 440A-440C). of integrated color image data sets (eg, R, G, B) are obtained. The optimally exposed intensity value of each pixel can then be normalized by exposure time, so that all pixels in each integrated image are normalized regardless of exposure time.

最適に露光された画素を含む統合された画像データセットのそれぞれに対して、１）ボリュームを直接、または、２）ボリュームクラスを、出力するために特徴付け方法が実行され、当該ボリュームクラスはルックアップテーブルなどの任意の適切な手段によって容易にボリューム値に変換され得る。特に、画像データセットは、ニューラルネットワーク５３５を含むボリューム決定モデルへの直接入力として提供される。図５Ｂおよび５Ｃに示されているように、ＣＮＮ_Ａ、ＣＮＮ_Ｂ、および／またはＣＮＮ_Ｃなどの１つまたは複数の畳み込みニューラルネットワークを含むニューラルネットワーク５３５を備えることができる。ＣＮＮは、それぞれ、検体２１２の１つまたは複数の成分のボリュームまたはボリュームクラスを定量化するようにトレーニングされた、予めトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）であってもよい。 For each of the integrated image datasets containing the optimally exposed pixels, a characterization method is performed to output either 1) the volume directly, or 2) a volume class , which is the look It can be easily converted to a volume value by any suitable means such as an uptable. In particular, the image dataset is provided as direct input to a volume determination model that includes neural network 535 . As shown in FIGS. 5B and 5C, a neural network 535 including one or more convolutional neural networks such as CNN _A , CNN _B , and/or CNN _C may be provided. The CNNs may be pretrained convolutional neural networks (CNNs) trained to quantify volumes or classes of volumes of one or more components of specimen 212, respectively.

各場合において、ＣＮＮ５３５、６３５のトレーニングは、それぞれに関連するトレーニングアノテーションを含む大量のトレーニング画像（例えば、５００～１０，０００以上のデジタル画像データセット）を入力することを含む。例えば、各ＣＮＮに対するトレーニングアノテーション５０８は、画像内でトレーニングされている特定の生体液成分（例えば、血清または血漿部分２１２ＳＰ、沈降血液部分２１２ＳＢＰ、およびゲルセパレータ３１３）の画像上の位置を同定するために、図５Ｄに点線で示されるように、トレーニング境界ボックス２３６Ａ、２３６Ｂ、２３６Ｃ（例えば、長方形）などの画像上の輪郭を含むことができる。トレーニングアノテーション５０８は、さらに、各特定のトレーニング境界ボックス２３６Ａ、２３６Ｂ、２３６Ｃ内に含まれるボリュームを表すボリュームのスカラ値を含むことができる。従って、トレーニングアノテーション５０８は、各トレーニング境界ボックス２３６Ａ、２３６Ｂ、２３６Ｃに対するスカラボリューム値と共に、既知ボリュームの多数のトレーニング検体中の様々な領域（例えば、２１２ＳＰＰ、２１２ＳＢＰ、３１３）を画像上に輪郭形成することを含むことができる。トレーニング検体は、血清または血漿部分２１２ＳＰ、沈降血液部分２１２ＳＢ、およびゲルセパレータ３１３の様々な検体ボリューム、ゲルセパレータ３１３を含む、または含まない様々な範囲のラベル２１８による遮蔽、異なるサイズの検体容器１０２（例えば、異なる直径および高さ）などを有し得る。 In each case, training the CNN 535, 635 involves inputting a large number of training images (eg, 500-10,000 or more digital image datasets) each containing training annotations associated therewith. For example, the training annotations 508 for each CNN are trained in the image to identify the location on the image of the particular biofluid component (e.g., serum or plasma portion 212SP, sedimented blood portion 212SBP, and gel separator 313). , can include contours on the image such as training bounding boxes 236A, 236B, 236C (eg, rectangles), as indicated by dashed lines in FIG. 5D. The training annotation 508 may further include a volume scalar value representing the volume contained within each particular training bounding box 236A, 236B, 236C. Thus, the training annotation 508 contours on the image various regions (e.g., 212SPP, 212SBP, 313) in multiple training specimens of known volume, along with a scalar volume value for each training bounding box 236A, 236B, 236C. can include The training samples consisted of serum or plasma portion 212SP, sedimented blood portion 212SB, and various sample volumes of gel separator 313, various ranges of label 218 shielding with or without gel separator 313, different size sample containers 102 ( different diameters and heights), etc.

図５Ｂに示されるように、実施形態は、血清または血漿部分２１２ＳＰのボリュームクラス（例えば、ＳＰＰ１からＳＰＰｎ）を出力するように構成される。より詳細には、ＣＮＮ５３５は、深部学習を提供するのに適当な数の操作層（ｏｐｅｒａｔｉｎｇ ｌａｙｅｒｓ）を含むことができる。記載されたＣＮＮアーキテクチャは、例えば、６４×６４パッチ（６４画素×６４画素）を用いてボリューム分類に使用することができる。しかしながら、例えば３１画素×３１画素のような他のパッチサイズを使用してもよい。ボリューム定量化作業のために、例えば、ＣＮＮ５３５の３つの主要な操作層を選択することができる。畳み込み層およびプーリング層を含む第１操作層５３８は、非常に局所的な構造縁を抽出することができ、畳み込み層およびプーリング層も含む第２操作層５４０は、縁の組合せであるテクスチャを学習することができ、一部の実施形態においては、第３操作層５４２（任意でよい）でも領域の一部を形成することができる。ＣＮＮ５３５の層５３８、５４０、５４２のそれぞれは、ＨＤＲ画像処理から提供された多チャネル（例えば、多スペクトル、多重露光）撮像データから恩恵を受ける。３つの入力層（例えば、ＨＤＲを含むＲＧＢスペクトル成分）が使用される時のように、様々な入力チャネルにわたるこれらの計算は、本質的に扱うことができ、ディープラーニングネットワークによって表現することができる。このフレームワークは、低レベル、中レベル、および高レベルの特徴を自然に集約し、５２６において種々ボリュームクラス出力オプションに適切な分類を提供するために操作可能である。 As shown in FIG. 5B, embodiments are configured to output volume classes (eg, SPP1 through SPPn) of the serum or plasma portion 212SP. More specifically, CNN 535 can include any suitable number of operating layers to provide deep learning. The described CNN architecture can be used for volume classification, for example, using 64×64 patches (64 pixels×64 pixels). However, other patch sizes may be used, such as 31 pixels by 31 pixels. For volume quantification tasks, for example, three main operating layers of CNN 535 can be selected. A first operational layer 538, which includes convolutional and pooling layers, can extract very local structural edges, and a second operational layer 540, which also includes convolutional and pooling layers, learns textures that are combinations of edges. , and in some embodiments, the third operational layer 542 (which may be optional) may also form part of the region. Each of layers 538, 540, 542 of CNN 535 benefits from multi-channel (eg, multi-spectral, multi-exposure) imaging data provided from HDR imaging. As when three input layers (e.g., RGB spectral components with HDR) are used, these computations across various input channels can be handled intrinsically and represented by a deep learning network. . This framework naturally aggregates low-level, medium-level, and high-level features and is operable at 526 to provide appropriate classifications for various volume class output options.

適切にトレーニングされた後、検査される各検体２１２について、統合されたデータセット５３７は、ＣＮＮ_Ａ５３５、６３５Ｂに入力され、操作される。グランドトゥルースラベル５０７は、以前に入力され、トレーニング中に確立されている。ＣＮＮ５３５、６３５Ｂは、比較的高い信頼性（例えば＞９８％）で、グランドトゥルースラベル５０７によって確立されたボリュームクラス結果５２６またはボリューム６２６の１つに収束する。例えば、図５Ｂの図示例では、投票方式はチャネル７を選択している。このように、ＣＮＮ_Ａ５３５は、全てのチャネル出力１－ｎの最も高い信頼度（例えば、信頼度０．９９１）で、ボリュームクラス結果ＳＰＰ７に収束している。次に、ルックアップテーブル５３９を参照して、各ボリュームクラス結果５２６についてルックアップテーブル５３９に事前に入力された対応するボリューム５２９を抽出することができる。 After being properly trained, for each specimen 212 tested, the integrated data set 537 is input to CNN _A 535, 635B and manipulated. The ground truth label 507 was previously entered and established during training. The CNNs 535, 635B converge to one of the volume class results 526 or volumes 626 established by the ground truth label 507 with relatively high confidence (eg >98%). For example, in the illustrated example of FIG. 5B, the voting scheme has selected channel seven. Thus, CNN _A 535 converges on volume class result SPP7 with the highest confidence (eg, confidence 0.991) of all channel outputs 1-n. The lookup table 539 can then be consulted to extract the corresponding volume 529 previously entered in the lookup table 539 for each volume class result 526 .

８０４の前処理データでは、照明の各波長（例えば、４～８の露光量）における各画像データセットのデータを統合することができる。統合には、露光ごとに最適に露光される画素を選択し、選択されたすべての画像データを波長ごとおよび視点ごとに１つの画像データセットに統合した後、上述のように選択されたすべてのデータを正規化することが含まれる。画像統合処理の間、各スペクトル（例えば、Ｒ、Ｇ、およびＢ）および各画像取得装置４４０Ａ－４４０Ｃでの様々な露光画像が、最適に露光されたそれらの画素を決定するために、画素毎にレビューされる。各対応する画素位置に対して、最適に露光された画素のうち最も良好なものが選択され、正規化され、各スペクトルおよび画像取得装置４００Ａ－４４０Ｃのための最適に露光された画像データセットに含まれる。このように、前処理データ８０４における画像の統合に続いて、各スペクトル（例えば、Ｒ、Ｇ、およびＢ）および各画像取得装置４４０Ａ－４４０Ｃに対して、最適に露光される画像データセットが１つ生成される。ＨＤＲ画像処理の使用は、反射および吸収に関する画像の詳細を濃縮するために機能する可能性がある。これにより、ボリュームの定量化がより正確になる可能性がある。 Pre-processed data at 804 may integrate the data for each image data set at each wavelength of illumination (eg, 4-8 exposures). Integration involves selecting the optimally exposed pixels for each exposure, integrating all selected image data into one image data set per wavelength and per viewpoint, and then combining all selected image data as described above. It involves normalizing the data. During the image integration process, each spectrum (eg, R, G, and B) and various exposure images at each image acquisition device 440A-440C are processed pixel by pixel to determine those pixels that are optimally exposed. reviewed by For each corresponding pixel location, the best of the optimally exposed pixels is selected and normalized into the optimally exposed image data set for each spectral and image acquisition device 400A-440C. included. Thus, following integration of the images in preprocessed data 804, for each spectrum (eg, R, G, and B) and each image acquisition device 440A-440C, one optimally exposed image data set is available. generated. The use of HDR image processing can serve to enrich image details for reflection and absorption. This may result in more accurate volume quantification.

Images