DE202016008010U1 - Image Analysis System - Google Patents

Image Analysis System Download PDF

Info

Publication number
DE202016008010U1
DE202016008010U1 DE202016008010.6U DE202016008010U DE202016008010U1 DE 202016008010 U1 DE202016008010 U1 DE 202016008010U1 DE 202016008010 U DE202016008010 U DE 202016008010U DE 202016008010 U1 DE202016008010 U1 DE 202016008010U1
Authority
DE
Germany
Prior art keywords
image
grayscale
analysis system
binary
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE202016008010.6U
Other languages
German (de)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thermo Electron Scientific Instruments LLC
Original Assignee
Thermo Electron Scientific Instruments LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thermo Electron Scientific Instruments LLC filed Critical Thermo Electron Scientific Instruments LLC
Publication of DE202016008010U1 publication Critical patent/DE202016008010U1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N21/03Cuvette constructions
    • G01N2021/0346Capillary cells; Microcells
    • G01N2021/035Supports for sample drops
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Bildanalysesystem, umfassend: a. eine Videokamera, die YUV-Farbbilder einer zwischen einem oberen Sockel und einem unteren Sockel befindlichen Flüssigkeitsprobe aufnimmt, wobei die Farbbilder aufgenommen werden, während eine Lichtquelle Licht durch einen optischen Strahlengang zwischen oberem und unterem Sockel hindurch scheint; und b. einen Prozessor, der so eingerichtet ist, um i) ein Bild mit Graustufenkomponenten und ein Bild mit lichtstreuenden Komponenten aus den YUV-Farbbildern zu erlangen und ii) wenigstens ein Binärbild des Bilds mit Graustufenkomponenten und wenigstens ein Binärbild des Bilds mit lichtstreuenden Komponenten zu erlangen.An image analysis system comprising: a. a video camera that captures YUV color images of a liquid sample located between an upper pedestal and a lower pedestal, the color images being captured while a light source is shining light through an optical path between the upper and lower pedestals; and b. a processor adapted to i) obtain an image with grayscale components and an image with light diffusing components from the YUV color images, and ii) obtain at least one binary image of the image with grayscale components and at least one binary image of the image with light scattering components.

Description

GEBIET DER ERFINDUNGFIELD OF THE INVENTION

Die Erfindung betrifft allgemein die Analyse eines Bilds einer Säule einer Flüssigkeitsprobe.The invention relates generally to the analysis of an image of a column of a liquid sample.

HINTERGRUNDBACKGROUND

Flüssigkeiten, Gemische, Lösungen und Reaktionsgemische werden häufig durch optische Verfahren wie beispielsweise die Spektrophotometrie untersucht. Um Proben dieser Flüssigkeiten zu untersuchen, ist die Flüssigkeit in der Regel in einem als Zelle oder Küvette bezeichneten Gefäß enthalten, deren zwei oder mehrere Seiten von optischer Qualität sind und die zur Untersuchung der darin enthaltenen Flüssigkeit notwendigen Wellenlängen durchlassen. Beim Umgang mit sehr kleinen Probenvolumina, zum Beispiel von 1 bis 2 Mikrolitern, ist es schwierig, Zellen oder Küvetten zu erzeugen, die klein genug sind, um befüllt zu werden und die Verwendung des als Industrienorm geltenden optischen Wegs von 1 cm zu gestatten. Es ist außerdem schwierig und/oder zeitaufwändig, diese Zellen oder Küvetten zur Verwendung mit einer weiteren Probe zu reinigen.Liquids, mixtures, solutions and reaction mixtures are frequently examined by optical methods such as spectrophotometry. In order to examine samples of these liquids, the liquid is typically contained in a vessel called a cell or cuvette, the two or more sides of which are of optical quality and pass the wavelengths necessary to study the liquid contained therein. When dealing with very small sample volumes, for example from 1 to 2 microliters, it is difficult to produce cells or cuvettes that are small enough to be filled and allow use of the industry standard 1 cm optical path. It is also difficult and / or time-consuming to cleanse these cells or cuvettes for use with another sample.

Wie in 1A gezeigt, messen Mikrovolumen-UV/Vis-Spektrophotometer, wie sie zum Beispiel im US-Patent Nr. 6.628.382 B2 beschrieben sind, das am 30. September 2003 an Robertson erteilt wurde und dessen Offenlegung hiermit in ihrer Gänze als Verweis einbezogen wird (wobei jedoch bei Widersprüchen zwischen Aussagen im einbezogenen Verweis und Aussagen in der vorliegenden Anmeldung die vorliegende Anmeldung Vorrang hat), die Extinktion von Mikrolitermengen von Flüssigkeitsproben mithilfe einer Probenretentionstechnologie, die es ermöglicht, eine Flüssigkeitsprobe durch ihre Oberflächenspannung zwischen den Oberflächen 2 und 7 zu halten. Die Flüssigkeitsprobe bildet eine Säule 9 zwischen einer lichtempfangenden Probenschnittstelle 7, die üblicherweise mit einer Lichtleitfaser 11 gekoppelt ist, und einer lichtübertragenden Probenschnittstelle 2, die üblicherweise mit einer weiteren optischen Lichtleitfaser 6 gekoppelt ist. Die oberen 2 und unteren 7 Probenschnittstellen können im Verhältnis zueinander bewegt werden, um mehrere bekannte Weglängen zu erzeugen, die üblicherweise weniger als oder gleich 1 mm betragen. Licht 3 aus einer Lichtquelle, das durch die Faser 6 kommt, die in und bündig mit der Oberfläche 2 (hier auch als die obere Probenschnittstelle oder oberer Sockel bezeichnet) gehalten wird, strahlt nach unten durch die Flüssigkeitsprobensäule 9 hindurch und wird von der Faser 11 in der unteren Oberfläche 7 der unteren Probenschnittstelle 4 (hier auch als der untere Sockel bezeichnet) gesammelt und zum Analysespektrometer zu Extinktionsmessungen weitergeleitet. Der obere und der untere Sockel sind jeweils der obere und untere Teil einer Säule.As in 1A shown to measure microvolume UV / Vis spectrophotometers, such as those used in the U.S. Patent No. 6,628,382 B2 The disclosure of this disclosure to Robertson on September 30, 2003, the disclosure of which is hereby incorporated by reference in its entirety (however, in the event of contradictions between statements in the incorporated reference and statements in the present application, the present application takes precedence), the extinction of Microliter amounts of liquid samples using a sample retention technology that allows a liquid sample to be measured by its surface surface tension 2 and 7 to keep. The liquid sample forms a column 9 between a light-receiving sample interface 7 usually with an optical fiber 11 coupled, and a light-transmitting sample interface 2 usually with another optical fiber 6 is coupled. The upper ones 2 and lower 7 Sample interfaces may be moved relative to one another to produce a plurality of known path lengths, which are typically less than or equal to 1 mm. light 3 from a light source passing through the fiber 6 that comes in and flush with the surface 2 (also referred to herein as the upper sample interface or upper socket), radiates downward through the liquid sample column 9 through and gets off the fiber 11 in the lower surface 7 the lower sample interface 4 (also referred to here as the lower base) collected and forwarded to the analysis spectrometer to Extinktionsmessungen. The upper and lower pedestals are respectively the upper and lower part of a column.

Die Platzierung der Flüssigkeitsprobe wird erreicht, indem der Anwender manuell eine Probe (üblicherweise einen Mikroliter oder zwei) direkt auf die untere Probenschnittstelle pipettiert. Die Extinktion der Probe wird gemessen, indem der negative Logarithmus des Verhältnisses zwischen der Lichtmenge (I0), die in Abwesenheit der Probe durch das System übertragen wird, und der Lichtmenge (I), die bei Vorhandensein der Probe in der Probenschnittstelle durch das System übertragen wird, erfasst wird. Nach dem Lambert-Beerschen Gesetz ist unter normalen Bedingungen die Lichtmenge, die bei Vorhandensein der Probe in der Probenschnittstelle durch das System übertragen wird, direkt proportional zur Weglänge und Konzentration der Probe.Placement of the fluid sample is accomplished by manually pipetting a sample (typically one microliter or two) directly onto the lower sample interface. The absorbance of the sample is measured by transmitting the negative logarithm of the ratio between the amount of light (I0) transmitted through the system in the absence of the sample and the amount of light (I) passing through the system in the presence of the sample in the sample interface is, is detected. Under Lambert-Beer's law, under normal conditions, the amount of light transmitted through the system when the sample is present in the sample interface is directly proportional to the pathlength and concentration of the sample.

Gelegentlich jedoch liegt ein Zustand vor, bei dem die durch das System übertragene Lichtmenge von physikalischen Faktoren beeinflusst wird, unter anderem unterbrochene oder deformierte Probensäulen, Fehlplatzierung der Probe auf der Schnittstelle und Blasen in der Probe. In den meisten Fällen werden diese Faktoren durch Benutzerfehler beim Pipettieren verursacht. In diesen Fällen wird das Licht aus der lichtübertragenden Schnittstelle sowohl von der Probe absorbiert als auch entweder gestreut oder von seinem ursprünglichen Strahlengang abgelenkt, was dazu führt, dass eine Lichtmenge in die lichtempfangende Schnittstelle einfällt, die nicht mehr proportional zur Weglänge und Konzentration der Probe ist. Das Endresultat ist eine ungenaue photometrische Messung der interessierenden Flüssigkeitsprobe.Occasionally, however, there is a condition in which the amount of light transmitted through the system is affected by physical factors, including broken or deformed sample columns, misplacement of the sample on the interface, and bubbles in the sample. In most cases these factors are caused by user errors during pipetting. In these cases, the light from the light-transmitting interface is both absorbed by the sample and either scattered or deflected from its original beam path, resulting in an amount of light entering the light-receiving interface that is no longer proportional to the pathlength and concentration of the sample , The end result is an inaccurate photometric measurement of the liquid sample of interest.

Die Detektion dieser Zustände ist schwierig, teilweise aufgrund der sehr kurzen Weglänge. Daher besteht ein Bedarf an einem Bildanalysesystem zur Bildanalyse der Säule der Flüssigkeitsprobe.The detection of these conditions is difficult, in part because of the very short path length. Therefore, a need exists for an image analysis system for image analysis of the column of the liquid sample.

ZUSAMMENFASSUNGSUMMARY

In einer Ausführungsform beinhaltet ein Bildanalysesystem eine Videokamera, die YUV-Farbbilder einer zwischen einem oberen Sockel und einem unteren Sockel befindlichen Flüssigkeitsprobe aufnimmt, wobei die Farbbilder aufgenommen werden, während eine Lichtquelle Licht durch einen optischen Strahlengang zwischen oberem und unterem Sockel hindurch scheint, und einen Prozessor, der so eingerichtet ist, um i) von den YUV-Farbbildern ein Bild mit Graustufenkomponenten und ein Bild mit lichtstreuenden Komponenten zu erhalten und ii) wenigstens ein Binärbild des Bilds mit Graustufenkomponenten und wenigstens ein Binärbild des Bilds mit lichtstreuenden Komponenten zu erhalten. Der Prozessor kann ferner so eingerichtet werden, um einen Bereich von Interesse zu detektieren, der eine Position des oberen und des unteren Sockels anhand eines Bilds mit Graustufenkomponenten beinhaltet. Das Bildanalysesystem kann einen homogenen reflektierenden Hintergrund beinhalten, wie beispielsweise einen hellgrauen homogenen reflektierenden Hintergrund, zum Beispiel einen hellgrauen homogenen reflektierenden Hintergrund mit 82% Helligkeit und 12% Glanz.In one embodiment, an image analysis system includes a video camera that captures YUV color images of a liquid sample located between an upper pedestal and a lower pedestal, wherein the color images are captured while a light source receives light through an optical path between the upper and lower pedestals, and a processor arranged to i) obtain from the YUV color images a gray scale component image and a light scattering component image, and ii) at least one binary image of the gray level component image and at least one Get binary image of the image with light-scattering components. The processor may be further configured to detect a region of interest that includes a position of the top and bottom pedestals based on an image having gray scale components. The image analysis system may include a homogeneous reflective background, such as a light gray homogeneous reflective background, for example a light gray homogeneous reflective background with 82% brightness and 12% gloss.

In einigen Ausführungsformen kann die Videokamera die YUV-Farbbilder aus einem Kamera-Videostream aufnehmen. In diesen spezifischen Ausführungsformen kann der Prozessor ferner so eingerichtet werden, um das Bild mit Graustufenkomponenten anhand eines Durchschnitts von Y-Komponenten der YUV-Farbbilder und das Bild mit lichtstreuenden Komponenten anhand einer Maximum-U-Komponente der YUV-Farbbilder zu erhalten.In some embodiments, the video camera may capture the YUV color images from a camera video stream. In these specific embodiments, the processor may be further configured to obtain the gray level component image based on an average of Y components of the YUV color images and the image with light scattering components based on a maximum U component of the YUV color images.

Bei bestimmten Ausführungsformen kann das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein erstes Binärbild des Bilds mit Graustufenkomponenten beinhalten, das durch Anwendung eines dynamischen Schwellenwerts erhalten wird, der durch eine Interpolation zwischen Schwankungs-Schwellenwerten des linken und rechten Hintergrunds im Bild mit Graustufenkomponenten erhalten wird. In diesen spezifischen Ausführungsformen kann das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zweites Binärbild eines isotropen Graustufen-Gradientenbilds beinhalten, wobei das isotrope Graustufen-Gradientenbild durch Verwendung des Bilds mit Graustufenkomponenten und einem statischen Schwellenwert erhalten wird, der auf Rauschstatistiken zum Hintergrund isotroper Gradientenbilder beruht. Bei einigen dieser spezifischen Ausführungsformen kann das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zusammengesetztes Binärbild beinhalten, das anhand einer Kombination des ersten und zweiten Binärbildes erhalten wird. Der Prozessor kann ferner so eingerichtet werden, um die Position einer Säule der Flüssigkeitsprobe und die Position des optischen Strahlengangs anhand des zusammengesetzten Binärbilds zu detektieren. Der Prozessor kann ferner auch so eingerichtet werden, um die Schiefe und/oder Unversehrtheit der Säule der Flüssigkeitsprobe anhand des zusammengesetzten Binärbilds zu detektieren.In certain embodiments, the at least one binary image of the grayscale component image may include a first binary image of the grayscale component image obtained by applying a dynamic threshold obtained by interpolating between left and right background fluctuation thresholds in the grayscale component image. In these specific embodiments, the at least one binary image of the grayscale component image may include a second binary image of an isotropic grayscale gradient image, wherein the grayscale isotropic gradient image is obtained by using the grayscale component image and a static threshold based on background isotropic gradient image noise statistics , In some of these specific embodiments, the at least one binary image of the gray level component image may include a composite binary image obtained from a combination of the first and second binary images. The processor may be further configured to detect the position of a column of the liquid sample and the position of the optical beam path based on the composite binary image. The processor may also be arranged to detect the skewness and / or integrity of the column of fluid sample from the composite binary image.

In einer anderen Ausführungsform beinhaltet ein Verfahren zur Bildanalyse die Aufnahme von YUV-Farbbildern einer zwischen einem oberen Sockel und einem unteren Sockel befindlichen Flüssigkeitsprobe, wobei die Farbbilder aufgenommen werden, während eine Lichtquelle Licht durch einen optischen Strahlengang zwischen oberem und unterem Sockel hindurch scheint. Das Verfahren beinhaltet ferner die Erlangung eines Bilds mit Graustufenkomponenten und eines Bilds mit lichtstreuenden Komponenten aus den YUV-Farbbildern und die Erlangung wenigstens eines Binärbildes des Bilds mit Graustufenkomponenten und wenigstens eines Binärbildes des Bilds mit lichtstreuenden Komponenten. Das Verfahren beinhaltet dann die Detektion eines Bereichs von Interesse, der eine Position des oberen und des unteren Sockels anhand des Bilds mit Graustufenkomponenten beinhaltet sowie die Weitergabe einer zusammenfassenden Bildanalyse an ein Display. Das Aufnehmen von YUV-Farbbildern kann das Aufnehmen der YUV-Farbbilder aus einem Kamera-Videostream beinhalten. Das Erlangen des Bilds mit Graustufenkomponenten kann die Mittelung der Y-Komponenten der YUV-Farbbilder beinhalten. Das Erlangen des Bilds mit lichtstreuenden Komponenten kann das Auswählen einer Maximum-U-Komponente aus den YUV-Farbbildern beinhalten. Die Verarbeitung des Bilds mit Graustufenkomponenten, des Bilds mit lichtstreuenden Komponenten und der Binärbilder, die daraus erhalten werden, wird oben beschrieben.In another embodiment, an image analysis method includes capturing YUV color images of a liquid sample located between an upper pedestal and a lower pedestal, wherein the color images are captured while a light source shines light through an optical path between the upper and lower pedestals. The method further includes obtaining an image having gray scale components and an image having light scattering components from the YUV color images, and obtaining at least one binary image of the image having gray level components and at least one binary image of the image having light scattering components. The method then includes detecting an area of interest that includes a position of the top and bottom pedestals from the image with gray scale components, and passing a summary image analysis to a display. Capturing YUV color images may include capturing the YUV color images from a camera video stream. Obtaining the image with grayscale components may include averaging the Y components of the YUV color images. Obtaining the image with light scattering components may include selecting a maximum U component from the YUV color images. The processing of the image with grayscale components, the image with light scattering components, and the binary images obtained therefrom is described above.

In noch einer weiteren Ausführungsform beinhaltet ein Bildanalysesystem eine Videokamera, die Bilder einer zwischen einem oberen Sockel und einem unteren Sockel befindlichen Flüssigkeitsprobe aufnimmt, wobei die Bilder aufgenommen werden, während eine Lichtquelle Licht durch einen optischen Strahlengang zwischen oberem und unterem Sockel hindurch scheint, und einen Prozessor, der so eingerichtet ist, jegliche Blase in einer Säule der Flüssigkeitsprobe unter Verwendung der Bilder zu detektieren. In jeder der hier beschriebenen Ausführungsformen ist ein Beispiel für die Lichtquelle, die Licht durch den optischen Strahlenweg zwischen oberem und unterem Sockel hindurch scheint, die Lichtquelle, die Licht quer durch den optischen Strahlenweg zwischen oberem und unterem Sockel hindurch scheint. Die Bilder können YUV-Farbbilder sein und der Prozessor kann ferner so eingerichtet sein, um i) ein Bild mit Graustufenkomponenten und ein Bild mit lichtstreuenden Komponenten aus den YUV-Farbbildern zu erlangen ii) wenigstens ein Binärbild des Bilds mit Graustufenkomponenten und wenigstens ein Binärbild des Bilds mit lichtstreuenden Komponenten zu erlangen. Das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten kann ein erstes Binärbild des Bilds mit Graustufenkomponenten beinhalten, das durch Anwendung eines dynamischen Schwellenwerts erhalten wird, der durch eine Interpolation zwischen Schwankungs-Schwellenwerten des linken und rechten Hintergrunds im Bild mit Graustufenkomponenten erhalten wird. Bei einigen Ausführungsformen kann das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zweites Binärbild eines isotropen Graustufen-Gradientenbilds beinhalten, wobei das isotrope Graustufen-Gradientenbild durch Verwendung des Bilds mit Graustufenkomponenten und einem statischen Schwellenwert erhalten wird, der auf Rauschstatistiken zum Hintergrund isotroper Gradientenbilder beruht. Das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten kann ein zusammengesetztes Binärbild beinhalten, das aus einer Kombination des ersten und zweiten Binärbildes erhalten wird. Der Prozessor kann ferner so eingerichtet werden, um die Position der Säule der Flüssigkeitsprobe und die Position des optischen Strahlengangs anhand des zusammengesetzten Binärbilds zu detektieren. In einigen Ausführungsformen kann der Prozessor ferner so eingerichtet werden, um jegliche Blase in der Säule der Flüssigkeitsprobe zu detektieren unter Anwendung sowohl des Bilds mit Graustufenkomponenten und des wenigstens einen Binärbilds des Bilds mit lichtstreuenden Komponenten. Die Anwendung des Bilds mit Graustufenkomponenten kann die Anwendung eines Ringdetektionsfilters auf ein anhand eines Bilds mit Graustufenkomponenten erhaltenes isotropes Graustufen-Gradientenbild beinhalten. Die Anwendung des wenigstens einen binären Bilds mit lichtstreuenden Komponenten kann die Anwendung eines morphologischen Filters auf das wenigstens eine Binärbild des Bilds mit lichtstreuenden Komponenten beinhalten. Bei bestimmten Ausführungsformen kann der Prozessor ferner so eingerichtet werden, um eine Blase in dem optischen Strahlengang von einer Blase außerhalb des optischen Strahlengangs zu unterscheiden unter Verwendung des Bilds mit Graustufenkomponenten, des wenigstens einen Binärbilds des Bilds mit lichtstreuenden Komponenten und der berechneten Position des optischen Strahlengangs.In yet another embodiment, an image analysis system includes a video camera that captures images of a fluid sample located between an upper pedestal and a lower pedestal, the images being taken while a light source is shining through an optical path between the upper and lower pedestals, and a video camera A processor configured to detect any bubble in a column of the liquid sample using the images. In each of the embodiments described herein, an example of the light source that shines light through the optical beam path between the upper and lower pedestals is the light source that shines light across the optical beam path between the upper and lower pedestals. The images may be YUV color images, and the processor may be further configured to obtain i) a grayscale component image and a light scattering component image from the YUV color images ii) at least one binary image of the grayscale component image and at least one binary image Obtain image with light-scattering components. The at least one binary image of the grayscale component image may include a first binary image of the grayscale component image obtained by applying a dynamic threshold obtained by interpolating between left and right threshold fluctuation thresholds Background in the image is obtained with grayscale components. In some embodiments, the at least one binary image of the grayscale component image may include a second binary image of an isotropic grayscale gradient image, wherein the grayscale isotropic gradient image is obtained by using the grayscale component image and a static threshold based on background isotropic gradient image noise statistics. The at least one binary image of the gray level component image may include a composite binary image obtained from a combination of the first and second binary images. The processor may be further configured to detect the position of the column of the fluid sample and the position of the optical beam path from the composite binary image. In some embodiments, the processor may be further configured to detect any bubble in the column of the liquid sample using both the image with gray scale components and the at least one binary image of the image with light scattering components. The application of the image with grayscale components may involve the application of a ring detection filter to an isotropic grayscale gradient image obtained from a grayscale component image. The application of the at least one binary image with light scattering components may include applying a morphological filter to the at least one binary image of the light scattering image image. In certain embodiments, the processor may be further configured to distinguish a bubble in the optical path from a bubble outside the optical path using the image with gray scale components, the at least one binary image of the image with light scattering components, and the calculated position of the optical path ,

In noch einer weiteren Ausführungsform beinhaltet ein Verfahren zur Analyse eines Bilds die Aufnahme von Bildern einer zwischen einem oberen und einem unteren Sockel befindlichen Flüssigkeitsprobe, wobei die Bilder aufgenommen werden, während eine Lichtquelle Licht durch einen optischen Strahlengang zwischen oberem und unterem Sockel hindurch scheint und die Position einer Säule der Flüssigkeitsprobe und die Position des optischen Strahlengangs anhand der Bilder detektiert und jegliche Blase in der Säule der Flüssigkeitsprobe unter Verwendung der Bilder detektiert und eine zusammenfassende Bildanalyse an ein Display weitergibt. Die Aufnahme von Bildern der Flüssigkeitsprobe kann die Aufnahme von YUV-Farbbildern beinhalten, wobei ein Bild mit Graustufenkomponenten und ein Bild mit lichtstreuenden Komponenten aus den YUV-Farbbildern erhalten wird und wenigstens ein Binärbild des Bilds mit Graustufenkomponenten und wenigstens ein Binärbild des Bilds mit lichtstreuenden Komponenten erhalten wird. Das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten kann ein erstes Binärbild des Bilds mit Graustufenkomponenten beinhalten, das durch Anwendung eines dynamischen Schwellenwerts erhalten wird, der durch eine Interpolation zwischen Schwankungs-Schwellenwerten des linken und rechten Hintergrunds im Bild mit Graustufenkomponenten erhalten wird. Bei einigen Ausführungsformen kann das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zweites Binärbild eines isotropen Graustufen-Gradientenbilds beinhalten, wobei das isotrope Graustufen-Gradientenbild durch Verwendung des Bilds mit Graustufenkomponenten und einem statischen Schwellenwert erhalten wird, der auf Rauschstatistiken zum Hintergrund isotroper Gradientenbilder beruht. Bei bestimmten Ausführungsformen kann das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zusammengesetztes Binärbild beinhalten, das aus einer Kombination des ersten und zweiten Binärbildes erhalten wird. In einigen Ausführungsformen kann das Verfahren ferner das Detektieren der Position einer Säule der Flüssigkeitsprobe und die Position des optischen Strahlengangs anhand des zusammengesetzten Binärbilds beinhalten. In bestimmten Ausführungsformen kann das Detektieren jeglicher Blase in der Säule der Flüssigkeitsprobe die Anwendung sowohl des Bilds mit Graustufenkomponenten als auch des wenigstens einen Binärbilds des Bilds mit lichtstreuenden Komponenten beinhalten. Die Anwendung des Bilds mit Graustufenkomponenten kann die Anwendung eines Ringdetektionsfilters auf ein anhand eines Bilds mit Graustufenkomponenten erhaltenes isotropes Graustufen-Gradientenbild beinhalten. Die Anwendung des wenigstens einen binären Bilds mit lichtstreuenden Komponenten kann die Anwendung eines morphologischen Filters auf das wenigstens eine Binärbild des Bilds mit lichtstreuenden Komponenten beinhalten. Bei bestimmten Ausführungsformen kann das Verfahren ferner beinhalten, eine Blase in dem optischen Strahlengang von einer Blase außerhalb des optischen Strahlengangs zu unterscheiden unter Verwendung des Bilds mit Graustufenkomponenten, des wenigstens einen Binärbilds des Bilds mit lichtstreuenden Komponenten und der berechneten Position des optischen Strahlengangs.In yet another embodiment, a method of analyzing an image includes capturing images of a liquid sample located between upper and lower pedestals, wherein the images are captured while a light source shines through an optical path between the upper and lower pedestals and the light source Detects the position of a column of liquid sample and the position of the optical beam path from the images and detects any bubble in the column of the liquid sample using the images and passes a summary image analysis to a display. The acquisition of images of the liquid sample may include taking YUV color images to obtain an image having grayscale components and an image having light scattering components from the YUV color images and at least one binary image of the image having grayscale components and at least one binary image of the image having light scattering components is obtained. The at least one binary image of the grayscale component image may include a first binary image of the grayscale component image obtained by applying a dynamic threshold obtained by interpolating between left and right background fluctuation thresholds in the grayscale component image. In some embodiments, the at least one binary image of the grayscale component image may include a second binary image of an isotropic grayscale gradient image, wherein the grayscale isotropic gradient image is obtained by using the grayscale component image and a static threshold based on background isotropic gradient image noise statistics. In certain embodiments, the at least one binary image of the gray level component image may include a composite binary image obtained from a combination of the first and second binary images. In some embodiments, the method may further include detecting the position of a column of the liquid sample and the position of the optical beam path based on the composite binary image. In certain embodiments, detecting any bubble in the column of the fluid sample may involve applying both the image with grayscale components and the at least one binary image of the image with light scattering components. The application of the image with grayscale components may involve the application of a ring detection filter to an isotropic grayscale gradient image obtained from a grayscale component image. The application of the at least one binary image with light scattering components may include applying a morphological filter to the at least one binary image of the light scattering image image. In certain embodiments, the method may further include distinguishing a bubble in the optical path from a bubble outside the optical path using the image with gray scale components, the at least one binary image of the image with light scattering components, and the calculated position of the optical path.

Diese Erfindung hat viele Vorteile, beispielsweise ermöglicht sie die Detektion von Zuständen, bei denen die durch das System übertragene Lichtmenge von physikalischen Faktoren beeinflusst wird, unter anderem unterbrochene oder deformierte Probensäulen, Fehlplatzierung der Probe auf der Schnittstelle und Blasen in der Probe.This invention has many advantages, for example, it enables the detection of conditions where the amount of light transmitted through the system is affected by physical factors, including broken or deformed sample columns, misplacement of the sample on the interface, and bubbles in the sample.

Ein Bildanalysesystem beinhaltet eine Videokamera, die YUV-Farbbilder einer zwischen einem oberen Sockel und einem unteren Sockel befindlichen Flüssigkeitsprobe aufnimmt, wobei die Farbbilder aufgenommen werden, während eine Lichtquelle Licht durch einen optischen Strahlengang zwischen oberem und unterem Sockel hindurch scheint, und einen Prozessor, der so eingerichtet ist, um i) von den YUV-Farbbildern ein Bild mit Graustufenkomponenten und ein Bild mit lichtstreuenden Komponenten zu erhalten und ii) wenigstens ein Binärbild des Bilds mit Graustufenkomponenten und wenigstens ein Binärbild des Bilds mit lichtstreuenden Komponenten zu erhalten.An image analysis system includes a video camera that captures YUV color images of a liquid sample located between an upper pedestal and a lower pedestal, capturing the color images while a light source shines light through an optical beam path between upper and lower pedestals, and a processor arranged to i) obtain a grayscale image image and a light scattering image image from the YUV color images, and ii) to obtain at least one binary image of the image with gray scale components and at least one binary image of the image with light scattering components.

Offenbart wird auch ein Verfahren zur Analyse eines Bilds, umfassend:

  • a. das Aufnehmen von YUV-Farbbildern einer zwischen einem oberen Sockel und einem unteren Sockel befindlichen Flüssigkeitsprobe, wobei die Farbbilder aufgenommen werden, während eine Lichtquelle Licht durch einen optischen Strahlengang zwischen oberem und unterem Sockel hindurch scheint;
  • b. das Erhalten eines Bilds mit Graustufenkomponenten und eines Bilds mit lichtstreuenden Komponenten anhand der YUV-Farbbilder;
  • c. das Erhalten wenigstens eines Binärbilds des Bilds mit Graustufenkomponenten und wenigstens eines Binärbilds des Bilds mit lichtstreuenden Komponenten; und
  • d. das Melden einer zusammenfassenden Bildanalyse an ein Display. Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das Aufnehmen von YUV-Farbbildern das Aufnehmen der YUV-Farbbilder aus einem Kamera-Videostream beinhaltet. Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das Erlangen des Bilds mit Graustufenkomponenten die Mittelung von Y-Komponenten der YUV-Farbbilder beinhaltet.
Also disclosed is a method of analyzing an image, comprising:
  • a. capturing YUV color images of a fluid sample located between an upper pedestal and a lower pedestal, wherein the color images are captured while a light source is shining light through an optical path between the upper and lower pedestals;
  • b. obtaining an image with grayscale components and an image with light scattering components from the YUV color images;
  • c. obtaining at least one binary image of the image with gray scale components and at least one binary image of the image with light scattering components; and
  • d. reporting a summary image analysis to a display. A method of analyzing an image as disclosed above, wherein capturing YUV color images includes capturing the YUV color images from a camera video stream. A method of analyzing an image as disclosed above, wherein obtaining the image with grayscale components includes averaging Y components of the YUV color images.

Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das Erlangen des Bilds mit lichtstreuenden Komponenten die Auswahl einer Maximum-U-Komponente der YUV-Farbbilder beinhaltet. Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein erstes Binärbild des Bilds mit Graustufenkomponenten beinhaltet, das durch Anwendung eines dynamischen Schwellenwerts erhalten wird, der durch eine Interpolation zwischen Schwankungs-Schwellenwerten des linken und rechten Hintergrunds im Bild mit Graustufenkomponenten erhalten wird. Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zweites Binärbild eines isotropen Graustufen-Gradientenbilds beinhaltet, wobei das isotrope Graustufen-Gradientenbild durch Verwendung des Bilds mit Graustufenkomponenten und einem statischen Schwellenwert erhalten wird, der auf Rauschstatistiken zum Hintergrund isotroper Gradientenbilder beruht. Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zusammengesetztes Binärbild beinhaltet, das aus einer Kombination des ersten und zweiten Binärbildes erhalten wird. Verfahren zur Analyse eines Bilds wie oben offenbart, ferner beinhaltend das Detektieren der Position einer Säule der Flüssigkeitsprobe und der Position des optischen Strahlengangs anhand des zusammengesetzten Binärbilds. Verfahren zur Analyse eines Bilds wie oben offenbart, ferner beinhaltend das Detektieren der Schiefe der Säule der Flüssigkeitsprobe anhand des zusammengesetzten Binärbilds. Verfahren zur Analyse eines Bilds wie oben erwähnt, ferner beinhaltend das Bewerten der Unversehrtheit der Säule der Flüssigkeitsprobe anhand des zusammengesetzten Binärbilds.A method of analyzing an image as disclosed above, wherein obtaining the image with light scattering components includes selecting a maximum U component of the YUV color images. A method of analyzing an image as disclosed above, wherein the at least one binary image of the gray level component image includes a first binary image of the gray level component image obtained by applying a dynamic threshold value determined by interpolation between left and right background fluctuation thresholds in FIG Image is obtained with grayscale components. A method of analyzing an image as disclosed above, wherein the at least one binary image of the grayscale component image includes a second binary image of an isotropic grayscale gradient image, wherein the grayscale isotropic gradient image is obtained by using the grayscale component image and a static threshold based on noise statistics to the background isotropic gradient images. A method of analyzing an image as disclosed above, wherein the at least one binary image of the image having gray scale components includes a composite binary image obtained from a combination of the first and second binary images. A method of analyzing an image as disclosed above, further comprising detecting the position of a column of the liquid sample and the position of the optical beam path from the composite binary image. A method of analyzing an image as disclosed above, further comprising detecting the skewness of the column of the liquid sample from the composite binary image. A method of analyzing an image as mentioned above, further comprising evaluating the integrity of the column of liquid sample from the composite binary image.

Offenbart wird auch ein Verfahren zur Analyse eines Bilds, umfassend:

  • a. das Aufnehmen von Bildern einer zwischen einem oberen Sockel und einem unteren Sockel eines Spektrometers befindlichen Flüssigkeitsprobe, wobei die Bilder aufgenommen werden, während eine Lichtquelle Licht durch einen optischen Strahlengang zwischen dem oberen und dem unteren Sockel zur photometrischen oder spektrometrischen Messung hindurch scheint;
  • b. das Detektieren der Position einer Säule der Flüssigkeitsprobe und der Position des optischen Strahlengangs anhand der Bilder;
  • c. das Detektieren jeglicher Blase in der Säule der Flüssigkeitsprobe unter Verwendung der Bilder;
  • d. das Melden einer zusammenfassenden Bildanalyse an ein Display.
Also disclosed is a method of analyzing an image, comprising:
  • a. taking pictures of a liquid sample located between an upper pedestal and a lower pedestal of a spectrometer, the images being taken while a light source is transmitting light through an optical path between the upper and lower pedestals for photometric or spectrometric measurement;
  • b. detecting the position of a column of the liquid sample and the position of the optical beam path from the images;
  • c. detecting any bubble in the column of the liquid sample using the images;
  • d. reporting a summary image analysis to a display.

Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das Aufnehmen von Bildern der Flüssigkeitsprobe die Aufnahme von YUV-Farbbildern beinhaltet, wobei ein Bild mit Graustufenkomponenten und ein Bild mit lichtstreuenden Komponenten aus den YUV-Farbbildern erhalten wird und wenigstens ein Binärbild des Bilds mit Graustufenkomponenten und wenigstens ein Binärbild des Bilds mit lichtstreuenden Komponenten erhalten wird.A method of analyzing an image as disclosed above, wherein taking images of the liquid sample includes taking YUV color images to obtain an image having gray level components and an image having light scattering components from the YUV color images and at least one binary image of the image having gray level components and at least one binary image of the image with light scattering components is obtained.

Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein erstes Binärbild des Bilds mit Graustufenkomponenten beinhaltet, das durch Anwendung eines dynamischen Schwellenwerts erhalten wird, der durch eine Interpolation zwischen Schwankungs-Schwellenwerten des linken und rechten Hintergrunds im Bild mit Graustufenkomponenten erhalten wird. A method of analyzing an image as disclosed above, wherein the at least one binary image of the gray level component image includes a first binary image of the gray level component image obtained by applying a dynamic threshold value determined by interpolation between left and right background fluctuation thresholds in FIG Image is obtained with grayscale components.

Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zweites Binärbild eines isotropen Graustufen-Gradientenbilds beinhaltet, wobei das isotrope Graustufen-Gradientenbild durch Verwendung des Bilds mit Graustufenkomponenten und einem statischen Schwellenwert erhalten wird, der auf Rauschstatistiken zum Hintergrund isotroper Gradientenbilder beruht.A method of analyzing an image as disclosed above, wherein the at least one binary image of the grayscale component image includes a second binary image of an isotropic grayscale gradient image, wherein the grayscale isotropic gradient image is obtained by using the grayscale component image and a static threshold based on noise statistics to the background isotropic gradient images.

Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zusammengesetztes Binärbild beinhaltet, das aus einer Kombination des ersten und zweiten Binärbildes erhalten wird.A method of analyzing an image as disclosed above, wherein the at least one binary image of the image having gray scale components includes a composite binary image obtained from a combination of the first and second binary images.

Verfahren zur Analyse eines Bilds wie oben offenbart, ferner beinhaltend das Detektieren der Position einer Säule der Flüssigkeitsprobe und der Position des optischen Strahlengangs anhand des zusammengesetzten Binärbilds.A method of analyzing an image as disclosed above, further comprising detecting the position of a column of the liquid sample and the position of the optical beam path from the composite binary image.

Verfahren zur Analyse eines Bilds wie oben offenbart, wobei das Detektieren jeglicher Blase in der Säule der Flüssigkeitsprobe die Anwendung sowohl des Bilds mit Graustufenkomponenten als auch des wenigstens einen Binärbilds des Bilds mit lichtstreuenden Komponenten beinhaltet.A method of analyzing an image as disclosed above, wherein detecting any bubble in the column of the liquid sample includes applying both the image with grayscale components and the at least one binary image of the image with light scattering components.

Verfahren zur Analyse eines Bilds wie oben offenbart, wobei die Anwendung des Bilds mit Graustufenkomponenten die Anwendung eines Ringdetektionsfilters auf ein anhand eines Bilds mit Graustufenkomponenten erhaltenes isotropes Graustufen-Gradientenbild beinhaltet.A method of analyzing an image as disclosed above, wherein the use of the image with gray scale components includes applying a ring detection filter to an isotropic grayscale gradient image obtained from a grayscale component image.

Verfahren zur Analyse eines Bilds wie oben offenbart, wobei die Anwendung des wenigstens einen binären Bilds mit lichtstreuenden Komponenten die Anwendung eines morphologischen Filters auf das wenigstens eine Binärbild des Bilds mit lichtstreuenden Komponenten beinhaltet.A method of analyzing an image as disclosed above, wherein the application of the at least one binary image having light scattering components includes applying a morphological filter to the at least one binary image of the light scattering image image.

Verfahren zur Analyse eines Bilds wie oben offenbart, ferner beinhaltend die Unterscheidung einer Blase in dem optischen Strahlengang von einer Blase außerhalb des optischen Strahlengangs unter Verwendung des Bilds mit Graustufenkomponenten, des wenigstens einen Binärbilds des Bilds mit lichtstreuenden Komponenten und der berechneten Position des optischen Strahlengangs.A method of analyzing an image as disclosed above, further comprising distinguishing a bubble in the optical path from a bubble outside the optical path using the image with gray scale components, the at least one binary image of the image with light scattering components, and the calculated position of the optical path.

KURZE BESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

Das Patent bzw. die Datei der Patentanmeldung enthält wenigstens eine in Farbe ausgeführte Zeichnung. Kopien dieses Patents bzw. dieser Veröffentlichung der Patentanmeldung mit Farbzeichnung(en) werden vom Patentamt auf Anfrage und gegen Zahlung der erforderlichen Gebühr bereitgestellt.The patent or file of the patent application contains at least one color drawing. Copies of this patent or this publication of the patent application with color drawing (s) will be provided by the Patent Office upon request and payment of the required fee.

1A ist eine Darstellung eines ausgeschnittenen Abschnitts des optischen Wegs in einem Spektrophotometer nach dem Stand der Technik. 1A Fig. 12 is an illustration of a cut-away portion of the optical path in a prior art spectrophotometer.

1B ist eine schematische Darstellung eines Spektrophotometers, wobei eine Probe in Form eines Flüssigkeitstropfens (Säule) in einem Kompartiment zwischen zwei ebenen Schnittstellenoberflächen gehalten wird. Eine UV-Lichtquelle befindet sich auf dem oberen Teil (oberer Sockel) und ein spektrometrischer Detektor befindet sich unterhalb des unteren Teils (unterer Sockel) der Vorrichtung. Ein optischer Weg kann zwischen der Quelle und dem Detektor hergestellt werden. Eine Videokamera nimmt Farbbilder des Flüssigkeitstropfens vor einem Hintergrund auf. 1B Figure 3 is a schematic representation of a spectrophotometer wherein a sample in the form of a liquid drop (column) is held in a compartment between two planar interface surfaces. A UV light source is located on the upper part (upper pedestal) and a spectrometric detector is located below the lower part (lower pedestal) of the device. An optical path can be established between the source and the detector. A video camera takes color images of the liquid drop in front of a background.

2 zeigt ein hochauflösendes Kamerabild des Messkompartiments im Original. Der gekennzeichnete rechteckige Bereich zeigt den ursprünglichen Bereich von Interesse (ROI), der groß genug ist, um sämtliche notwendigen Strukturen des Bilds, einschließlich eines Großteils seines grauen Hintergrunds, zu erfassen. 2 shows a high-resolution camera image of the measuring compartment in the original. The designated rectangular area indicates the original area of interest (ROI) that is large enough to capture all the necessary structures of the image, including much of its gray background.

3A3C zeigen Beispiele für normale Flüssigkeitssäulen, die gute optische Wege zwischen den zwei Schnittstellenoberflächen (oberer und unterer Sockel) bereitstellen. 3A - 3C show examples of normal liquid columns that provide good optical paths between the two interface surfaces (top and bottom pedestals).

4A4C zeigen Beispiele einer ersten möglichen Fehlerart der Flüssigkeitssäule – schiefe (4A) und seitlich versetzte (4C) Säulen, die nur teilweise einen oder gar keinen optischen Weg zwischen den zwei Schnittstellenoberflächen bereitstellen. 4A - 4C show examples of a first possible type of failure of the liquid column - crooked ( 4A ) and laterally offset ( 4C ) Columns that provide only partial or no optical path between the two interface surfaces.

5A5C zeigen Beispiele einer zweiten Fehlerart-Streulicht, das durch die Reflexion von der Oberfläche der Blasen oder anderer Einschlüsse hervorgerufen wird. Blasen bestehen aus Luft (oder Gas) und gelten als Fehler, welch die spektrophotometrische Messung verschlechtern. 5A - 5C show examples of a second type of error scattered light, which is caused by the reflection from the surface of the bubbles or other inclusions. Bubbles are made of air (or gas) and are considered to be defects which degrade the spectrophotometric measurement.

6A6C zeigen Beispiele von zwei Abbruchzuständen – eine unterbrochene Säule (in zwei Tropfen aufgespalten) (6A und 6B) oder einen Leerraum (6C) zwischen den zwei Schnittstellenoberflächen. Unter diesen Bedingungen kann keine spektrophotometrische Messung erfolgen. 6A - 6C show examples of two demolition states - one broken column (split into two drops) ( 6A and 6B ) or a white space ( 6C ) between the two interface surfaces. Under these conditions, no spectrophotometric measurement can be performed.

7A7C stellen die Extraktion des Komponentenbilds dar, das für die Bildanalyse verwendet wird. 7A ist der ROI-Teil des ursprünglichen Kamerafarbbilds. 7B ist die Graustufen(Intensität)komponente, die aus 7A extrahiert wird. 7C ist ihre extrahierte komplementäre lichtstreuende Komponente (die zur Messung des Streulichts verwendet wird). 7A - 7C represent the extraction of the component image used for image analysis. 7A is the ROI part of the original camera color image. 7B is the grayscale (intensity) component that made up 7A is extracted. 7C is its extracted complementary light-scattering component (used to measure the scattered light).

8A ist ein Ablaufdiagramm der Bildaufnahme aus dem Kamera-Videostream sowie der Extraktion des Bilds mit Graustufenkomponenten und lichtstreuenden Komponenten aus den YUV-Farbbildern. 8A Figure 4 is a flowchart of image capture from the camera video stream and extraction of the image with grayscale components and light scattering components from the YUV color images.

8B ist ein Ablaufdiagramm des Verfahrens zur Säulenbildanalyse. 8B is a flow chart of the method for column image analysis.

9 zeigt das extrahierte ursprüngliche ROI-Bild, das die Graustufen(Luma)komponente des Original-Kamerabilds enthält. 9 shows the extracted original ROI image that contains the grayscale (luma) component of the original camera image.

10 zeigt das Histogramm des ursprünglichen Graustufen-ROI-Bilds (von 9). Der höchste Peak stellt die Hintergrundintensität dar. Der umschriebene rote Bereich zwischen Tmin und Tmax zeigt den ausgewählten Intensitätsbereich des Hintergrunds. 10 shows the histogram of the original grayscale ROI image (from 9 ). The highest peak represents the background intensity. The circumscribed red area between T min and T max shows the selected intensity range of the background.

11 stellt den Hintergrundbereich auf dem Graustufenbild dar. Hintergrundpixel sind rot gekennzeichnet unter Verwendung der Schwellenwerte, die dem ausgewählten Bereich entsprechen. Zu beachten ist, dass der Intensitätsbereich des Hintergrunds unterschätzt ist, um zu verhindern, dass die Merkmale von Interesse als Hintergrund gekennzeichnet werden. 11 represents the background area on the grayscale image. Background pixels are marked in red using the thresholds corresponding to the selected area. It should be noted that the intensity range of the background is underestimated in order to prevent the features of interest from being marked as background.

12 stellt dar, wie der horizontale Teil des ROI mit den Merkmalen unter Verwendung des kumulativen Profils aus dem Graustufenbild (11) extrahiert wird. Das Profil ergibt sich aus der Summierung der Pixelwerte für jede vertikale Säule des Bilds. Der Hintergrundwert wird von den Pixelwerten subtrahiert, um ein gutes Verhältnis zwischen Tiefen und Höhen auf dem Profil-Plot zu erhalten. Der Zielbereich stellt das erhöhte mittlere Plateau im Profil dar. 12 represents how the horizontal part of the ROI with the features using the cumulative profile from the grayscale image ( 11 ) is extracted. The profile results from summing the pixel values for each vertical column of the image. The background value is subtracted from the pixel values to get a good balance between depths and heights on the profile plot. The target area represents the elevated median plateau in the profile.

13 zeigt den extrahierten horizontalen Teil des Graustufenbilds, das für die Verarbeitung und weitere Extraktion des ROI der Kompartimentmerkmale wie dem oberen und unteren Sockel verwendet wird. 13 shows the extracted horizontal part of the grayscale image used for processing and further extracting the ROI of the compartment features such as the top and bottom pedestals.

14 stellt das Ergebnis der Anwendung des horizontalen Gradientenfilters auf das Graustufenbild dar (von 13). Es hebt zwei hauptsächliche Kanten hervor – eine für den oberen Sockel (obere horizontale Kante 1420) und die zweite für den unteren Sockel (untere horizontale Kante 1410). 14 represents the result of applying the horizontal gradient filter to the grayscale image (from 13 ). It highlights two major edges - one for the top base (upper horizontal edge 1420 ) and the second for the lower base (lower horizontal edge 1410 ).

15 stellt dar, wie der horizontale Teil des ROI unter Verwendung des kumulativen Profils aus dem Graustufenbild (11) extrahiert wird. Das Profil ergibt sich aus der Summierung der Pixelwerte für jede horizontale Säule des Bilds. Der vertikale Teil des Ziel-ROI liegt zwischen den zwei höchsten Spitzen, welche die horizontalen Kanten des oberen und des unteren Sockels darstellen. 15 represents how the horizontal part of the ROI is extracted from the grayscale image using the cumulative profile ( 11 ) is extracted. The profile results from summing the pixel values for each horizontal column of the image. The vertical part of the target ROI is between the two highest peaks representing the horizontal edges of the upper and lower pedestals.

16 zeigt das extrahierte Graustufen-ROI-Bild, das zur weiteren Extraktion des Schnittstellenbereichs des Instruments verwendet wird. 16 shows the extracted grayscale ROI image used to further extract the interface area of the instrument.

17 zeigt das resultierende Bild nach Anwendung des diagonalen (45 Grad) Gradientenfilters und zeigt die extrahierte rechte diagonale Kante der oberen konischen Oberfläche des oberen Sockels, die durch eine Strecke (in Gelb) eingezeichnet ist. 17 shows the resulting image after application of the diagonal (45 degree) gradient filter and shows the extracted right diagonal edge of the upper conical surface of the upper pedestal, indicated by a distance (in yellow).

18 zeigt das resultierende Bild nach Anwendung des diagonalen (135 Grad) Gradientenfilters und zeigt die extrahierte rechte diagonale Kante der linken konischen Oberfläche des oberen Sockels, die durch eine Strecke (in Gelb) eingezeichnet ist. Der Abstand (in Pixeln) zwischen den beiden Enden der extrahierten Kantenstrecken dient als Maß des in 11 gezeigten Durchmessers 1110 des oberen Sockels. Der gemessene Durchmesser 1110 des oberen Sockels wird dann zur exakten Extraktion des Probenkompartimentbereichs verwendet. 18 shows the resulting image after application of the diagonal (135 degrees) gradient filter and shows the extracted right diagonal edge of the left conical surface of the upper pedestal, which is drawn by a distance (in yellow). The distance (in pixels) between the two ends of the extracted edge sections serves as a measure of the in 11 shown diameter 1110 of the upper base. Of the measured diameters 1110 of the upper pedestal is then used for exact extraction of the sample compartment region.

19 zeigt das endgültige extrahierte ROI-Graustufenbild, das sich in der Mitte (relativ zur Achse des Lichtwegs) befindet und nur den Bereich enthält, wo sich die Flüssigkeitssäule (Tröpfchen) befinden soll, mit genügend Hintergrundbereich beidseits des Bilds. 19 shows the final extracted ROI grayscale image, which is in the center (relative to the axis of the light path) and contains only the area where the liquid column (droplets) should be located, with enough background area on both sides of the image.

20 stellt die Binarisierung (durch Schwellenwertbildung) eines Säulen-Graustufenbilds dar. Es zeigt die rechteckigen Bereiche (grüne Rechtecke) auf beiden horizontalen Seiten des Bilds, wo die Hintergrundparameter berechnet werden. Diese Parameter werden dazu verwendet, die Binarisierungs-Schwellenwerte vorzugeben. Zu beachten ist, dass der resultierende hervorgehobene rote Bereich (der den Vordergrund des Binärbilds darstellt) viele unzusammenhängende Segmente aufweist. Es ist schwierig, diese Segmente säulenförmig zu verbinden. 20 represents the binarization (by thresholding) of a column grayscale image. It shows the rectangular areas (green rectangles) on both horizontal sides of the image where the background parameters are calculated. These parameters are used to specify the binarization thresholds. Note that the resulting highlighted red area (which is the foreground of the binary image) has many disjoint segments. It is difficult to connect these segments in a columnar shape.

21 stellt das dynamische Schwellenwertverfahren für nur eine Reihe des Graustufenbilds dar. Das Schwellenband wird erzeugt, indem Mittelwerte und die kumulative Standardabweichung (σ) der Pixelintensitätswerte aus zwei Hintergrundregionen (links und rechts, grün gekennzeichnet) und eine lineare Interpolation zwischen oberer und unterer Bandschwelle verwendet werden. Die Bandbreite beträgt 6σ. Pixel mit einer Intensität ober- (und unterhalb) des Bands werden einem binären Vordergrund zugeordnet. Zu beachten ist der Unterschied in der Bildhelligkeit zwischen dem linken und rechten Bildteil. 21 The threshold band is generated by using averages and the cumulative standard deviation (σ) of the pixel intensity values from two background regions (left and right, marked green) and a linear interpolation between the upper and lower band thresholds , The bandwidth is 6σ. Pixels with an intensity above (and below) the band are assigned to a binary foreground. Note the difference in image brightness between the left and right parts of the image.

22 zeigt ein Gradientenbild, das durch Anwendung eines isotropen Gradientenfilters erhalten wird. Die Standardabweichung der Gradientenintensitäten wird unter Verwendung der Hintergrundbereiche errechnet und zur Berechnung eines Schwellenwerts für die Binarisierung des Bilds verwendet. Jedes Pixel, dessen Intensität über dem berechneten Schwellenwert liegt, wird einem binären Vordergrund zugeordnet (der als rote Überlagerung auf dem Gradientenbild gezeigt wird). 22 shows a gradient image obtained by using an isotropic gradient filter. The standard deviation of the gradient intensities is calculated using the background areas and used to calculate a threshold for binarizing the image. Each pixel whose intensity is above the calculated threshold is assigned a binary foreground (shown as a red overlay on the gradient image).

23 zeigt das Ergebnis der Kombination von zwei binären Vordergrundbildern, eines aus dem Graustufenbild und ein anderes aus dem Gradientenbild (22), um ein zusammengesetztes Binärbild zu ergeben. Das resultierende Binärbild wird verbessert – es ist nun viel leichter, die Säulenform wieder herzustellen. 23 shows the result of combining two binary foreground images, one from the grayscale image and another from the gradient image (FIG. 22 ) to give a composite binary image. The resulting binary image is improved - it is now much easier to restore the column shape.

24 zeigt das zusammengesetzte Binärbild, das über das Graustufenbild gelegt wird unter zusätzlicher Verwendung von zwei horizontalen Vordergrundstreifen an der oberen und unteren Kante des Binärbilds. Dadurch wird es ferner möglich, den linken und rechten Rand der Säule zu verbinden. 24 Figure 12 shows the composite binary image superimposed over the grayscale image, with the additional use of two horizontal foreground strips at the top and bottom edges of the binary image. This also makes it possible to connect the left and right edges of the column.

25 zeigt das Ergebnis der Anwendung des Auffüllungs-Operators auf das Binärbild und der Entfernung der dicht an den Kanten liegenden künstlichen Streifen. Die darauffolgende morphologische Filterung entfernt Residuen und glättet die Vordergrundkanten. 25 Figure 12 shows the result of applying the padding operator to the binary image and the removal of the near-edge artificial stripes. The subsequent morphological filtering removes residuals and smoothes the foreground edges.

26 zeigt das Ergebnis des Einsetzens eines Rechtecks in die Säulenform, das den theoretischen optischen Weg darstellt (ein Querschnitt eines Zylinders im dreidimensionalen Raum). 26 shows the result of inserting a rectangle into the columnar shape representing the theoretical optical path (a cross section of a cylinder in three-dimensional space).

27 zeigt ein Beispiel für einen Fehler in einer Flüssigkeitssäule mit einer deutlich erkennbaren Blase oben im Bild. 27 shows an example of a fault in a liquid column with a clearly visible bubble at the top of the picture.

28 zeigt ein Gradientenbild des Graustufenbilds mit einer Blase oben, die zu einer ringförmigen Struktur wird. 28 shows a gradient image of the gray scale image with a bubble on top, which becomes an annular structure.

29A29B stellen den Kernel des Ringdetektionsfilters dar (Größe 9×9 Pixel). 29A stellt eine dreidimensionale geometrische Form des Filters dar, während 29B seine digitale Näherung als eine 9×9 Matrix ist (zu Darstellungszwecken werden die Matrixwerte mit 100 multipliziert). Die dreidimensionale Form des Filters stellt ein erhöhtes, rundum verlaufendes, kreisförmiges Plateau dar sowie einen negativen kreisförmigen Hohlraum in der Mitte. Der restliche Kernel wird auf den Intensitätswert 0 gesetzt. Der Filter ist so ausgelegt, um mit den ringähnlichen Partikeln auf dem Intensitäts-Gradientenbild zu korrelieren (siehe 27), das es ermöglicht, die ringförmige Strukturintensität zu messen. 29A - 29B represent the kernel of the ring detection filter (size 9 × 9 pixels). 29A represents a three-dimensional geometric shape of the filter while 29B its digital approximation is a 9x9 matrix (for purposes of illustration, matrix values are multiplied by 100). The three-dimensional shape of the filter represents an elevated, circular, circular plateau and a negative circular cavity in the middle. The rest of the kernel is set to the intensity value 0. The filter is designed to correlate with the ring-like particles on the intensity gradient image (see 27 ), which makes it possible to measure the annular structure intensity.

30A30B stellen die Anwendung des Ringfilters auf eine einzelne Bildreihe dar: das Gradientenbild (30A-1) mit seinem Reihenprofil (30A-2) wird oben links gezeigt. Der Ringfilter (oben rechts) wird auf alle Reihenpixel unter Verwendung der unten gezeigten Formel angewendet, wobei Kj ein Kernel-Koeffizient in Kernelposition j ist, Pi eine Pixelintensität in Reihenposition i und Fj ein Ergebniswert in Position i ist. Der Ringfilter wird auf alle Bildreihen angewendet. 30B-1 zeigt das resultierende Bild mit seiner Querschnittreihe. Zu beachten ist der resultierende, in 30B–2 gezeigte Peak, der der ringförmigen Struktur auf dem Gradientenbild entspricht (mit einem roten Pfeil oben gekennzeichnet). 30A - 30B illustrate the application of the ring filter to a single image row: the gradient image ( 30A-1 ) with its row profile ( 30A-2 ) is shown at the top left. The ring filter (top right) is applied to all row pixels using the formula shown below, where K j is a kernel coefficient in kernel position j, P i is a pixel intensity in row position i and F j is a result value in position i is. The ring filter is applied to all image rows. 30B-1 shows the resulting image with its cross-section row. Note the resulting, in 30B-2 shown peak, which corresponds to the annular structure on the gradient image (marked with a red arrow above).

31 stellt dar, wie ein lichtstreuendes Binärbild anhand des blau-chromatischen Komponentenbilds erhalten wird. Zunächst werden die Schwellenwerte der Binarisierung unter Verwendung der Standardabweichung des Hintergrundbereichs berechnet und das Bild wird unter Verwendung des Schwellenwerts binarisiert. Das resultierende Binärbild wird durch den morphologischen Closing-Filter gefiltert und anschließend werden kleine Strukturen im Vordergrund entfernt. 31 illustrates how a light-scattering binary image is obtained from the blue-chromatic component image. First, the binarization thresholds are calculated using the standard deviation of the background area and the image is binarized using the threshold. The resulting binary image is filtered by the morphological closing filter and then small structures in the foreground are removed.

32A32B stellen den Fall einer unterbrochenen Säule dar. 32A ist ein ursprüngliches extrahiertes ROI-Bild. 32B ist ein (Binär)Bild, welches das Ergebnis der Anwendung des Analysealgorithmus zeigt, die richtig zwei unterbrochene Stücke (hervorgehoben) zeigt. 32A - 32B represent the case of a broken column. 32A is an original extracted ROI image. 32B is a (binary) image showing the result of the application of the analysis algorithm, which correctly shows two broken pieces (highlighted).

33 ist ein beispielhaftes Bild einer Flüssigkeitssäule. 33 is an exemplary image of a liquid column.

34 ist ein sich aus dem in 33 gezeigten Bild ergebendes Gradientenbild. 34 is an out of the in 33 shown gradient image.

35 ist ein sich aus dem in 33 gezeigten Bild ergebendes Binärbild. 35 is an out of the in 33 shown image resulting binary image.

36 ist ein beispielhaftes Bild einer Flüssigkeitssäule mit Blasen. 36 is an exemplary image of a liquid column with bubbles.

Gleiche Bezugszeichen bezeichnen entsprechende Teile in allen verschiedenen Ansichten der Zeichnungen.Like reference numerals designate corresponding parts throughout the several views of the drawings.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMENDETAILED DESCRIPTION OF EMBODIMENTS

In der Beschreibung der vorliegenden Erfindung sollte verständlich sein, dass ein im Singular verwendetes Wort auch dessen Plural-Gegenstück umfasst und ein im Plural verwendetes Wort auch dessen Singular-Gegenstück umfasst, sofern das nicht anderweitig implizit oder explizit verständlich gemacht oder angegeben wird. Außerdem sollte verständlich sein, dass für jede gegebene hier beschriebene Komponente oder Ausführungsform im Allgemeinen jede der für diese Komponenten aufgelisteten möglichen Kandidaten oder Alternativen einzeln oder in Kombination miteinander verwendet werden kann, sofern das nicht anderweitig implizit oder explizit verständlich gemacht oder angegeben wird. Darüber hinaus sollte anerkannt werden, dass die hier gezeigten Figuren nicht notwendigerweise maßstabsgerecht sind, wobei einige der Elemente lediglich zur Erklärung der Erfindung gezeichnet sein können. Auch werden möglicherweise Bezugszeichen innerhalb der verschiedenen Figuren wiederholt, um entsprechende oder analoge Elemente darzustellen. Außerdem sollte verständlich sein, dass jede Liste solcher Kandidaten oder Alternativen lediglich der Veranschaulichung dient und keine Einschränkung darstellt, sofern das nicht anderweitig implizit oder explizit verständlich gemacht oder angegeben wird. Außerdem sollen, sofern nicht anderweitig angegeben, in der Beschreibung und den Ansprüchen verwendete Zahlen zur Angabe von Mengen von Bestandteilen, Inhaltsstoffen, Reaktionsbedingungen und so weiter so verstanden werden, dass sie durch den Begriff „ungefähr” modifiziert werden.In the description of the present invention, it should be understood that a word used in the singular also includes its plural counterpart and a plural used word also includes its singular counterpart unless otherwise implied or explicitly understood or indicated. In addition, it should be understood that for any given component or embodiment described herein, generally, any of the potential candidates or alternatives listed for those components may be used alone or in combination, unless otherwise explicitly or explicitly stated or stated. In addition, it should be appreciated that the figures shown herein are not necessarily to scale, and some of the elements may be drawn only to explain the invention. Also, reference numerals may be repeated within the various figures to represent corresponding or analogous elements. In addition, it should be understood that any list of such candidates or alternatives is illustrative only and not restrictive unless otherwise expressly or explicitly stated or stated. In addition, unless otherwise indicated, numbers used in the specification and claims to indicate amounts of ingredients, ingredients, reaction conditions and so on are to be understood to be modified by the term "about".

Dementsprechend handelt es sich, sofern nicht gegenteilig angegeben, bei den in der Beschreibung und den beigefügten Ansprüchen angegebenen numerischen Parameter um Näherungen, die abhängig von den gewünschten Eigenschaften, die durch den hier präsentierten Gegenstand der Erfindung erzielt werden sollen, abweichen können. Zumindest sollte, und das ist nicht als Versuch zu verstehen, die Anwendung der Äquivalenzdoktrin auf den Umfang der Ansprüche einzuschränken, jeder numerische Parameter mindestens vor dem Hintergrund der Anzahl der angegebenen signifikanten Ziffern und unter Anwendung gewöhnlicher Rundungstechniken ausgelegt werden. Ungeachtet der Tatsache, dass es sich bei den numerischen Bereichen und Parameter, welche den allgemeinen Umfang des hier präsentierten Gegenstands der Erfindung festlegen, um Näherungen handelt, werden die in den konkreten Beispielen genannten numerischen Werte so genau wie möglich angegeben. Alle Zahlenwerte enthalten jedoch inhärent bestimmte Fehler, die notwendigerweise aus der Standardabweichung resultieren, welche in ihren jeweiligen Testmessungen vorlagen.Accordingly, unless indicated to the contrary, the numerical parameters set forth in the specification and the appended claims are approximations that may vary depending on the desired characteristics to be achieved by the subject matter of the invention presented herein. At a minimum, and not to be construed as an attempt to limit the application of the equivalence doctrine to the scope of the claims, each numerical parameter should be construed at least against the background of the number of significant digits indicated and using ordinary rounding techniques. Notwithstanding the fact that the numerical ranges and parameters defining the general scope of the subject matter presented herein are approximations, the numerical values given in the specific examples are given as accurately as possible. However, all numerical values inherently contain certain errors that necessarily result from the standard deviation that existed in their respective test measurements.

In dem Maße, wie die Beliebtheit von UV/Vis-Spektrometern wie beispielsweise dem NanoDropTM (Thermo Electron Scientific Instruments, Madison WI) zunimmt, besteht der Bedarf, die Zuverlässigkeit ihrer Messtechnik zu verbessern, die sich, wie oben erörtert, auf die Oberflächenspannung einer Flüssigkeitsprobe (Tropfen) stützt. Ein Problem ist, dass sich die spektrale Messung des Flüssigkeitstropfens (Säule) durch Unebenheit der Form der Flüssigkeitssäule und ihre Position während der Messung verschlechtern kann. Die Flüssigkeitssäule kann deformiert (schief), seitlich versetzt (relativ zum Lichtweg des Instruments) sein, Blasen oder andere Einschlüsse enthalten oder die Flüssigkeitssäule kann gar unterbrochen sein. Derzeit verfügbare Instrumente sind nicht in der Lage, diese Probleme automatisch zu erkennen und zu melden, während die Sichtprüfung der Form des Flüssigkeitstropfens sehr begrenzt und unzuverlässig ist. Die hier beschriebene Ausführung beinhaltet eine hochauflösende Videokamera vor dem Probenkompartiment, mit Fokus auf der Flüssigkeitssäule, und nutzt Bilderkennungsalgorithmen zur automatischen Erkennung der Fehler der Flüssigkeitssäule und zu deren Meldung an den Anwender des Instruments. Das Bildanalysesystem beinhaltet auch die Messung und Meldung von Streulicht, das durch Blasen enthaltende Flüssigkeit entsteht, was die Messung verschlechtert. Die Videokamera und das Spektrometer sind miteinander synchronisiert und jede spektrale Messung geht mit einer Qualitätsmetrik des Säulenbilds einher.As the popularity of UV / Vis spectrometers such as the NanoDrop (Thermo Electron Scientific Instruments, Madison WI) increases, there is a need to improve the reliability of their metrology, which, as discussed above, is sensitive to surface tension a liquid sample (drops). One problem is that the spectral measurement of the liquid drop (column) may deteriorate due to unevenness in the shape of the liquid column and its position during the measurement. The Liquid column may be deformed (skewed), laterally offset (relative to the light path of the instrument), contain bubbles or other inclusions, or the liquid column may even be broken. Currently available instruments are unable to automatically detect and report these issues, while visual inspection of the shape of the liquid drop is very limited and unreliable. The embodiment described herein includes a high resolution video camera in front of the sample compartment, with focus on the liquid column, and uses image recognition algorithms to automatically detect the fluid column errors and report them to the instrument user. The image analysis system also includes the measurement and reporting of stray light produced by bubbles containing liquid, which degrades the measurement. The video camera and the spectrometer are synchronized with each other and each spectral measurement is accompanied by a quality metric of the column image.

1B zeigt ein Spektrophotometer 100, wobei eine Probe in Form eines Flüssigkeitstropfens (Säule 9) zwischen zwei ebenen Schnittstellenoberflächen 2 und 7 (Kompartiment) gehalten wird. Die Lichtquelle 10 befindet sich im oberen Teil (oberer Sockel 2) und ein spektrophotometrischer Detektor 20 unterhalb des unteren Teils (unterer Sockel 4) der Vorrichtung und zwischen ihnen kann ein optischer Weg 30 hergestellt werden. 1B shows a spectrophotometer 100 , wherein a sample in the form of a liquid drop (column 9 ) between two flat interface surfaces 2 and 7 (Compartment) is held. The light source 10 located in the upper part (upper base 2 ) and a spectrophotometric detector 20 below the lower part (lower base 4 ) of the device and between them can be an optical path 30 getting produced.

Die Qualität der Messung hängt von der Qualität der gemessenen Flüssigkeitssäule 9 in dem Zeitraum ab, in dem der Lichtstrahl 3 durch sie hindurchgeht. Die Qualität der Säule 9 ist visuell sehr schwer zu analysieren, da die Lücke (Abstand zwischen zwei Schnittstellenoberflächen 2 und 7) zu schmal ist – 1 mm oder weniger.The quality of the measurement depends on the quality of the measured liquid column 9 in the period in which the light beam 3 goes through them. The quality of the column 9 is visually very difficult to analyze because the gap (distance between two interface surfaces 2 and 7 ) is too narrow - 1 mm or less.

Die möglichen Säulenfehler können in folgende Kategorien zusammengefasst werden:
Schiefe und seitlich versetzte Säule. Beispiele dieser Fehler sind in 4A4C dargestellt;
Blasen enthaltende Säule oder Säule mit Einschlüssen. Siehe 5A5C zu Beispielen.
The possible column errors can be summarized in the following categories:
Leaning and laterally offset column. Examples of these errors are in 4A - 4C shown;
Bubble-containing column or column with inclusions. Please refer 5A - 5C for examples.

Unterbrochene Säule oder leeres Kompartiment (kein Flüssigkeitstropfen). Dies ist ein Abbruchfehler – es wird keine Messung der Säulenqualität vorgenommen. Siehe 6A6C zu Beispielen.Broken column or empty compartment (no drop of liquid). This is a termination error - no measurement of column quality is made. Please refer 6A - 6C for examples.

Wieder zurück zu 1B, nimmt eine Videokamera 40 YUV-Farbbilder einer zwischen einem oberen Sockel 2 und einem unteren Sockel 4 befindlichen Flüssigkeitsprobe 9 auf, wobei die Farbbilder aufgenommen werden, während eine Lichtquelle 10 Licht 3 durch einen optischen Strahlengang 30 zwischen oberem Sockel 2 und unterem Sockel 4 zur Kontrolle der Qualität der Flüssigkeitssäule 9 hindurch scheint. Die Kamera 40 ist auf dem Sockel 4 des Instruments angebracht und auf die Lücke zwischen den zwei lichtübertragenden Schnittstellen 2 und 7 fokussiert, in der sich die Flüssigkeitssäule 9 bilden soll. 2 zeigt ein typisches Bild der Videokamera. Wieder zurück zu 1B, wird die Kameraansicht vor direktem Umgebungslicht durch eine Abdeckung 50 geschützt, die ebenso einen Hintergrund 60 erzeugt. Die Oberfläche des Hintergrunds 60 besteht aus homogenem reflektierendem Material und hat eine helle (etwa 82% Helligkeit und 12% Glanz) graue Farbe. Die Oberfläche des Hintergrunds 60 ähnelt der grauen Karte, die in der Fotografie zur Erzeugung diffuser (Lambertscher) Reflexion verwendet wird. Die Oberfläche des Hintergrunds ist ein hellgrauer homogener reflektierender Hintergrund, die ein Glänzen vermindert und den Hintergrund homogen macht, was einen schmalen Peak in Form einer Gauß-Glocke auf dem Intensitäts-Histogramm erzeugt, wenn das Bild von einer Kamera gemacht wird.Back to back 1B , takes a video camera 40 YUV color images one between an upper socket 2 and a lower socket 4 located liquid sample 9 on, where the color images are taken while a light source 10 light 3 through an optical beam path 30 between upper base 2 and lower socket 4 to control the quality of the liquid column 9 shines through. The camera 40 is on the pedestal 4 attached to the instrument and to the gap between the two light-transmitting interfaces 2 and 7 focused, in which the liquid column 9 should form. 2 shows a typical picture of the video camera. Back to back 1B , the camera view is protected from direct ambient light by a cover 50 protected as well as a background 60 generated. The surface of the background 60 is made of homogeneous reflective material and has a bright (about 82% brightness and 12% gloss) gray color. The surface of the background 60 is similar to the gray map used in photography to create diffuse (Lambertian) reflection. The surface of the background is a light gray homogeneous reflective background that reduces glare and makes the background homogeneous, producing a narrow peak in the form of a Gaussian bell on the intensity histogram when the image is taken from a camera.

Das Kameravideo kann von dem Anwender des Instruments kontrolliert werden; ein genauerer und bequemerer Weg ist jedoch die Verwendung maschineller Bilderkennungsalgorithmen. Ein Prozessor 70 ist so eingerichtet, um ein Bild mit Graustufenkomponenten und ein Bild mit lichtstreuenden Komponenten aus den YUV-Farbbildern zu erlangen und ii) wenigstens ein Binärbild des Bilds mit Graustufenkomponenten und wenigstens ein Binärbild des Bilds mit lichtstreuenden Komponenten zu erlangen.The camera video can be controlled by the user of the instrument; however, a more accurate and convenient way is to use machine vision algorithms. A processor 70 is adapted to obtain an image with grayscale components and an image with light scattering components from the YUV color images; and ii) obtain at least a binary image of the image with grayscale components and at least one binary image of the image with light scattering components.

Es wird Streulicht abgestrahlt, während ein Spektrum an einer Säule mit Einschlüssen wie beispielsweise Gas- oder Luftblasen erhalten wird. Der blaue Wellenlängenbereich ist die vorherrschende Komponente der Lichtstreuung wegen der starken (λ–4) Wellenlängenabhängigkeit der Rayleigh-Streuung (kürzere Wellenlängen (blau) sind stärker Rayleigh-gestreut als längere Wellenlängen (rot)). Die resultierende Qualität des Spektrums kann sich infolge des Verlusts der Strahlenenergie, die von den Blasen reflektiert wird, verschlechtern und streut. Mittels Verwendung maschineller Bilderkennungsalgorithmen ist es möglich, die Menge an Streulicht quantitativ zu messen.Stray light is emitted while a spectrum is obtained on a column with inclusions such as gas or air bubbles. The blue wavelength range is the predominant component of light scattering because of the strong (λ -4 ) wavelength dependence of Rayleigh scattering (shorter wavelengths (blue) are more Rayleigh-scattered than longer wavelengths (red)). The resulting quality of the spectrum may degrade and scatter due to the loss of the beam energy reflected from the bubbles. By using machine vision algorithms, it is possible to quantitatively measure the amount of scattered light.

Obwohl es möglich ist, das Original-Farbbild an einem modernen Rechner zu analysieren, hat dies unnötige Komplexität und Redundanz zur Folge. Zur Bildanalyse werden zwei rein intensitätsbezogene (Graustufen-)Bilder auf drei mögliche Arten erzeugt:

  • 1. Hat man nur ein RGB-Farbbild (Schnappschuss), wird das Bild extrahiert und die zwei folgenden Komponentenbilder werden erzeugt:
  • a. Ein Bild (L) mit Graustufenkomponenten (Luma) wird durch Mittelung der roten (R) und grünen (G) Komponenten des Original-RGB-Bilds erzeugt. Für jedes x, y-positionierte Bildpixel wird folgende Berechnung angewendet: L(x, y) = (R(x, y) + G(x, y)/2;
  • b. Das blauchromatische Komponentenbild (S) (für die lichtstreuende Komponente) wird erzeugt durch Verwendung der blauen (B) Originalkomponente des RGB-Bilds und durch Berechnung des folgenden komplementären Bilds für jedes x, y-positionierte Pixel wie folgt: S(x, y) = max(0, B(x, y) – L(x, y));
  • 2. Bei dem YUV-Bildformat (das auf dem Android/Linux-System verfügbar ist) lautet die Berechnung der zwei Komponentenbilder wie folgt:
  • a. Das Bild mit Graustufenkomponenten ist die Y-(Luma-)Komponente des Original-YUV-Bilds, das heißt: L(x, y) = Y(x, y);
  • b. Das Bild mit lichtstreuender Komponente S wird erzeugt durch Verwendung der U-Chrominanz-Komponente aus dem YUV-Bild und durch Berechnung des folgenden komplementären Bilds für jedes x, y-positionierte Pixel: S(x, y) = max(0, U(x, y) – 128);
  • 3. Falls eine Sequenz von YUV-Bildern von unterschiedlichem Blitzlicht aus dem Kamera-Videostream verfügbar ist, der gemäß dem in 8A (Schritt 800 in 8B) gezeigten Diagramm erhalten wird, zum Beispiel 3 Bilder, erfolgt die Berechnung der zwei Komponentenbilder wie folgt:
  • a. Ein Bild mit Graustufenkomponenten wird als ein Durchschnitt sämtlicher verfügbarer Yi-(Luma)Komponenten der Original-YUV-Bilder der Sequenz errechnet (Schritt 801 in 8B), das heißt: L(x, y) = (Y1(x, y) + Y2(x, y) + Y3(x, y))/3
  • b. Angenommen, Si(x, y) ist die Lichtstreuungs(blauchromatische)intensität für das i-Bild in Pixel (x, y), die anhand der Ui-Komponente und Verwendung der oben genannten Formel (siehe 2.b) berechnet wird. Dann wird das S(x, y)-Bild mit der lichtstreuenden Komponente berechnet durch Annahme des Maximums sämtlicher vorhandener Si(x, y) für jedes Pixel (x, y) wie folgt: S(x, y) = max(S1(x, y) + S2(x, y) + S3(x, y));
Although it is possible to analyze the original color image on a modern computer, this results in unnecessary complexity and redundancy. For image analysis, two pure intensity (grayscale) images are generated in three possible ways:
  • 1. If you have only one RGB color image (snapshot), the image is extracted and the following two component images are created:
  • a. An image (L) with gray scale components (luma) is generated by averaging the red (R) and green (G) components of the original RGB image. For each x, y-positioned image pixel, the following calculation is applied: L (x, y) = (R (x, y) + G (x, y) / 2;
  • b. The blue-chromatic component image (S) (for the light-scattering component) is generated by using the blue (B) original component of the RGB image and calculating the following complementary image for each x, y-positioned pixel as follows: S (x, y) = max (0, B (x, y) - L (x, y));
  • 2. For the YUV image format (available on the Android / Linux system), the calculation of the two component images is as follows:
  • a. The grayscale component image is the Y (luma) component of the original YUV image, that is: L (x, y) = Y (x, y);
  • b. The image with light scattering component S is generated by using the U chrominance component from the YUV image and calculating the following complementary image for each x, y positioned pixel: S (x, y) = max (0, U ( x, y) - 128);
  • 3. If a sequence of YUV images of different flashes from the camera video stream is available, following the procedure in 8A (Step 800 in 8B ), for example 3 images, the calculation of the two component images is as follows:
  • a. An image with gray scale components is calculated as an average of all available Y i (luma) components of the original YUV images of the sequence (step 801 in 8B ), this means: L (x, y) = (Y 1 (x, y) + Y 2 (x, y) + Y 3 (x, y)) / 3
  • b. Suppose that S i (x, y) is the light scattering (blue-chromatic) intensity for the i-picture in pixels (x, y) calculated from the U i component and using the above formula (see 2.b) , Then, the S (x, y) image with the light scattering component is calculated by taking the maximum of all the existing S i (x, y) for each pixel (x, y) as follows: S (x, y) = max (S 1 (x, y) + S 2 (x, y) + S3 (x, y));

Das Maximum von Si(x, y) wird dazu verwendet, um das maximale Streulicht zu erhalten, das dem Zeitpunkt der Blitzlichtaufnahme entspricht.The maximum of S i (x, y) is used to obtain the maximum scattered light that corresponds to the time of taking the flash.

Siehe 7B und 7C zu Darstellungen der Zweikomponenten-Teilbilder. 7A ist das Fragment des ursprünglichen Kamerafarbbilds. 7B ist das Bild mit Graustufenkomponenten, das aus dem ursprünglichen RGB-Bild extrahiert wird und 7C ist seine lichtstreuende Komponente.Please refer 7B and 7C to representations of the two-component fields. 7A is the fragment of the original camera color image. 7B is the image with grayscale components extracted from the original RGB image and 7C is its light-scattering component.

Die folgenden Schritte bilden den Analysealgorithmus für die Flüssigkeitssäule:

  • 1. Angenommen, ein Graustufenbild L der Größe M×N besteht aus Pixeln gi,j, ∊[0, M – 1], j ∊[0, N – 1])0 ≤ gi,j ≤ 255. sodass Anders ausgedrückt ist gi,j der rechteckige Bereich des Bilds und sein Wert (Intensität) kann von 0 bis 255 variieren.
  • 2. Das extrahierte Graustufenbild L (9) zur Berechnung eines Histogramms, wie in 10 gezeigt, von allen Pixeln des Ursprungsbilds verwenden. Das Intensitätsspektrum des Bildhintergrunds (Tmin, Tmax) unter Verwendung des höchstens Intensitätspeaks des Bildhistogramms ermitteln (10). Der Hintergrund wird als homogen angenommen, mit einer Gauß'schen Intensitätsverteilung, und es wird angenommen, dass der Hintergrundbereich wenigstens 50% des extrahierten grauen Bilds einnimmt. Die Histogrammparameter kontrollieren: Peak-Position und ihre Breite, um die Hintergrundqualität zu verifizieren. Ist die Peak-Position geringer als 40 (zu dunkel) oder größer als 210 (zu hell) oder ist die Peak-Breite breiter als 80, dann ist der Hintergrund als schlecht zu melden und die restliche Bildanalyse zu überspringen. (Schritte 803 und 804 in 8B).
  • 3. Ein horizontales kumulatives Profil erstellen durch Summierung der absoluten Pixel-Minus-Hintergrundwerte entlang jeder Bildsäule. Das heißt, durch Berechnung von Σjδi,j wobei
    Figure DE202016008010U1_0002
  • 4. Siehe 12 zu einem Beispiel eines kumulativen Profils, das für das in 11 gezeigte Bild berechnet wird.
  • 5. Die linke und rechte Kante des oberen Sockels des Instruments ermitteln (oberer Teil, siehe 11), indem die Kanten der Plateauintensität im Profil ermittelt werden (siehe 12). Sie entsprechen der Position des oberen Sockels und dessen Durchmesser auf dem Graustufenbild und werden für die Extraktion des Bereichs von Interesse (ROI) verwendet.
  • 6. Ein neues ROI-Bild extrahieren, das die ermittelten Strukturen (der obere und untere Sockel) einfasst, mit zusätzlicher Verlängerung auf beiden Seiten wie in 13 gezeigt.
  • 7. Einen horizontalen Gradientenfilter ( Sobel-Operator, siehe Seite 578 in Digital Image Processing, Rafael C. Gonzalez und Richard E. Woods, 2nd Ed., Prentice Hall, 2002 , (im Folgenden ”Gonzalez” genannt), dessen gesamter Inhalt und Lehren hiermit in ihrer Gänze als Verweis einbezogen werden) auf das extrahierte ROI-Graustufenbild anwenden, um die untere horizontale Kante des oberen Sockels 1420 und die obere horizontale Kante des unteren Sockels 1410 zu ermitteln und dabei einen Bereich von Interesse zu detektieren, der eine Position des unteren und des oberen Sockels anhand des Bilds mit Graustufenkomponenten beinhaltet, wie in 14 gezeigt.
  • 8. Ein vertikales kumulatives Profil, wie in 15 gezeigt, des Gradientenbilds erzeugen, das in 14 gezeigt wird, durch Summierung von Pixelwerten entlang jeder Bildreihe, das heißt Σjg'i,j, wobei g'i,j eine Pixelintensität des Gradientenbilds in der i, j Position ist.
  • 9. Zwei hauptsächliche Intensitätspeaks 1510 und 1520 im vertikalen kumulativen Profil ermitteln (15). Sein rechter (höchster) Peak 1520 entspricht der unteren Kante des oberen Sockels (Obergrenze oder obere horizontale Kante), während der linke(zweiter Intensitäts-)Peak 1510 der oberen Kante des unteren Sockels entspricht (Untergrenze oder untere horizontale Kante).
  • 10. Die im vorherigen Schritt ermittelten Grenzen verwenden, den vertikalen Teil des ROI-Einzelbilds zur weiteren Verarbeitung extrahieren (16)
  • 11. Die rechte Kante des oberen Sockels oben auf dem ROI-Bild ermitteln (16). Einen diagonalen 45-Grad-Gradientenfilter auf das Bild anwenden. Den oberen rechten Satz der Gradientenintensitäts-Pixel mit einer diagonalen Strecke versehen, indem die beste Methode der kleinsten Quadrate (Least Squares Fit) für die rechte diagonale Kante 1710 gefunden wird (17).
  • 12. Weiter nach der linken Kante des oberen Sockels suchen. Einen diagonalen 135-Grad-Gradientenfilter anwenden. Den oberen linken Satz der Gradientenintensitäts-Pixel mit einer diagonalen 135-Grad-Strecke einsetzen, indem die beste Methode der kleinsten Quadrate (Least Squares Fit) gefunden wird. 18 zeigt sowohl die angepasste linke diagonale Kante 1810 als auch die rechte diagonale Kante 1820 des oberen Sockels. Unter Verwendung der linken und rechten Enden der gefundenen Segmente den Durchmesser des oberen Sockels in Pixeln 1830 und XC die Position der Mitte des optischen Wegs 1840 berechnen. Der berechnete Durchmesser des oberen Sockels 1830 erlaubt ein exaktes Abstimmen der realen Einheiten der Instrumentenkoordinaten mit den Bild(Pixel)einheiten. Die Mitte XC des optischen Wegs wird zur Bewertung der Position der Säulenstruktur verwendet.
  • 13. Die zuvor ermittelten diagonalen Kanten des oberen Sockels und die Kenntnis der tatsächlichen Größen von oberem und unterem Sockel verwenden, um das endgültige Arbeits-ROI-Bild zu extrahieren, das sowohl gegenüber dem oberen als auch dem unteren Sockel des Instruments zentriert wird (Schritt 805 in 8B). Zusätzlich Raum links und rechts des extrahierten ROI-Bilds hinzufügen, um mehr Hintergrundbereich einzuschließen, wie in 19 gezeigt.
  • 14. Hintergrundparameter für den linken und rechten Teil des Bilds berechnen unter Verwendung der rechteckigen linken Hintergrundbereiche 2010 und 2020 sowie der rechteckigen rechten Hintergrundbereiche 2030 und 2040, wo der Hintergrund sein soll (siehe grüne Rechtecke in 20). Die ausgewählten rechteckigen Hintergrundbereiche ermöglichen es, die Intensitätsspektren des Hintergrunds für die verschiedenen Teile des Graustufenbilds zu schätzen, während sie der Grund für die Belichtungsunterschiede zwischen den linken und rechten Bildteilen sind.
  • 15. Dann wird ein Schwellenwertverfahren angewendet, um geeignete Binärbilder zu erzeugen (ein Beispiel wird als rote Bildüberlagerung in 20 gezeigt), die für die Säulenpositionierung und Messung verwendet werden. Ein Binärbild ist ein digitales Bild, das nur zwei mögliche Werte für jedes Pixel hat. In der Regel werden diese zwei Werte Vordergrund (Wert = 1) und Hintergrund (Wert = 0) genannt. Siehe Gonzalez, Seite 595 , zu einer Beschreibung des Schwellenwertverfahrens.
  • 16. Ein erstes Binärbild des Graustufen-ROI-Bilds durch Anwendung der dynamischen Schwellenwertbildung erzeugen, die eine Interpolation zwischen den linken und rechten Hintergrundschwellenwerten verwendet, um einen Schwellenwert für jedes Pixel unabhängig zu berechnen. 21 stellt das dynamische Schwellenwertverfahren für nur eine Reihe 2110 des Graustufenbilds dar. Das Schwellenwertband wird durch Verwendung von Mittelwerten und der Gesamtstandardabweichung (σ) von Pixelintensitätswerten aus zwei Hintergrundregionen 2120 und 2130 (jeweils linke und rechte Rechtecke, die grün gekennzeichnet sind) und der Anwendung einer Interpolation zwischen den oberen und unteren Bandschwellenwerten erzeugt. Die Bandbreite beträgt 6σ. Pixel mit einer Intensität ober- (und unterhalb) des Bands werden einem binären Vordergrund zugeordnet. Zu beachten ist der Unterschied in der Bildhelligkeit zwischen dem linken und rechten Teil des Bilds in 21. Der linke untere Schwellenwert Tmin 2150 wird berechnet durch Verwendung des Mittelwerts des linken Hintergrundbereichs ML 2145 und dessen Standardabweichung (σ) als Tmin = ML – 3σ. Der linke obere Schwellenwert Tmax 2140 wird berechnet unter Verwendung derselben Werte wie bei Tmax = ML + 3σ. Die unteren rechten 2170 und oberen rechten 2160 Schwellenwerte werden berechnet unter Verwendung äquivalenter Formeln und des Mittelwerts MR 2165 des rechten Hintergrundbereichs und seiner Standardabweichung σ. In dem in 21 gezeigten Beispiel betragen die Werte ungefähr ML = 110, MR = 90 und σ = 3,3 für ML und für MR. Die unteren und oberen Bandschwellenwerte für alle Pixel in Reihe 2110 zwischen den zwei Bändern 2120 und 2130 werden durch Interpolation erhalten. Die Interpolation zwischen den oberen Bandschwellenwerten 2140 und 2160 sowie zwischen den unteren Bandschwellenwerten 2150 und 2170 können eine lineare Interpolation sein, wie in 21 gezeigt oder eine andere Funktion, wie beispielsweise ein quadratische Interpolation, wenn eine solche Funktion ein höher auflösendes Binärbild ergibt.
  • 17. Der hervorgehobene rote Bereich 2050, der in 20 gezeigt wird, ist der Vordergrund eines ersten Binärbilds des in 21 gezeigten Bilds mit Graustufenkomponenten, der nach Anwendung des oben beschriebenen dynamischen Schwellenwertverfahrens auf alle Reihen des Bilds mit Graustufenkomponenten erhalten wird, das in 21 gezeigt wird. Der Vordergrund 2050 des Binärbilds 2050 weist viele unzusammenhängende Segmente auf, die manchmal aus dem Bereich der tatsächlichen Säule streuen. In diesem Fall ist es schwierig, diese Segmente säulenförmig zu verbinden. Die . Verbindungen können durch Verwendung eines zweiten Binärbilds hergestellt werden.
  • 18. Ein zweites Binärbild durch Verwendung eines isotropen Gradienten desselben Bilds mit Graustufenkomponenten erzeugen und die statische Schwellenwertbildung auf Grundlage der Statistik zum Gradientenhintergrund anwenden. Für das isotrope Gradientenbild wird ein Mittelwert von Null angenommen, sodass die Standardabweichung unter Verwendung nur der ausgewählten linken und rechten Rechtecksätze berechnet wird. Eine statistische ± drei Sigma-(σ)Regel wird verwendet, um den Schwellenwert für die Binarisierung zu erzeugen. Das resultierende zweite Binärbild wird in 22 gezeigt, wo es oben auf dem isotropen Gradienten(Dunkel)bild überlagert wird.
  • 19. Die zwei Binärbilder kombinieren: das erste aus dem Bild mit Graustufenkomponenten und das zweite aus dem isotropen Gradientenbild (oben), um ein zusammengesetztes Binärbild zu ergeben. Die Kombination ermöglicht es, ein vollständigeres Vordergrund-Binärbild aus den unzusammenhängenden Vordergrundsegmenten zu erzeugen. 23 zeigt das auf das Gradientenbild überlagerte kombinierte Binärbild.
  • 20. Zur weiteren Detektion der Säulenform und zum Auffüllen der Vordergrundhohlräume werden zwei künstliche Vordergrundstreifen 2410 und 2420 hinzugefügt, einer oben 2410 und ein anderer unten 2420 (durch Setzen der Binärpixel auf den Wert 1). 24 zeigt das resultierende, auf das Original-Graustufenbild überlagerte Binärbild.
  • 21. Zum Auffüllen von Vordergrundlöchern und Glätten unebener Kanten werden morphologische Operationen und eine Auffülloperation verwendet. Siehe Gonzalez, Seite 528–536 25 zeigt das resultierende, auf das Original-Graustufenbild überlagerte Binärbild.
  • 22. Die zwei künstlichen Streifen werden entfernt, indem Binärpixel an die oberen und unteren horizontalen Kanten auf den Hintergrundwert (0, transparent) gesetzt werden. Danach wird ein Siebfilter angewendet, um kleine Strukturen zu entfernen, die Bildrauschen verursachen (Schritt 806 in 8B). Das resultieren Binärbild ergibt eine gute Übereinstimmung zwischen der Vordergrundüberlagerung und der Säulenform (siehe 26), wobei die Position einer Säule der Flüssigkeitsprobe und die Position des optischen Strahlengangs anhand des zusammengesetzten Binärbilds detektiert wird.
  • 23. Verbundene Vordergrundobjekt(e) werden extrahiert unter Verwendung eines Extraktionsalgorithmus für verbundene Komponenten (siehe Gonzalez, Seite 536 ), wobei die Unversehrtheit der Säule der Flüssigkeitsprobe anhand des zusammengesetzten Binärbilds bewertet wird. In der Regel passt nur ein Objekt zu der normalen Flüssigkeitssäule. Gibt es zwei oder mehr Objekte, dann handelt es sich um einen Fall von unterbrochener Säule (siehe 32 als Beispiel). Werden keine Objekte gefunden, ist es ein Fall von einem leeren Kompartiment. In den beiden letzten Fällen kann keine weitere Analyse erfolgen und es wird ein Fehlercode gemeldet, um den Anwender zu informieren (Schritt 807 und 808 in 8B).
  • 24. Den Bereich der Säulenform (in Pixeln) anhand des detektieren Binärobjekts 2610 berechnen, wie in 26 gezeigt. Zusätzlich die linke Randposition XL 2620 und die rechte Randposition XR 2630 des optischen Wegs berechnen, indem das maximale Bereichsrechteck gesucht wird, das in das Binärobjekt 2610 der detektierten Säule eingeschlossen ist. Der Unterschied XR – XL ist der Durchmesser des Lichtwegs (Schritt 809 in 8B). Die berechnete Mitte XC 1840 des optischen Wegs, ein theoretischer maximaler Radius RO des optischen Wegs (in einer Ausführungsform ist RO gleich etwa 1/20stel des berechneten Durchmesser 1110 des oberen Sockels), die Säule XL 2620 und XR 2630 (die vertikalen Randpositionen des eingeschlossenen Rechtecks) werden zur Berechnung des außermittigen Parameters verwendet. Der Zustand der Schiefe und des seitlichen Versatzes der Säule der Flüssigkeitsprobe werden von dem zusammengesetzten Binärbild detektiert, wenn der Abstand min(XC + RO, XR) – max(XC – RO, XL) geringer als 1,5 R0 ist. Der theoretische und bei XC zentrierte Lichtstrahlgang des Radius RO sollte in den berechneten Lichtweg der Säule (Rechteck) passen mit der Überlappung von wenigstens 1,5 Radiusbreite des Lichtstrahls.
The following steps form the analysis algorithm for the liquid column:
  • 1. Assuming that a gray scale image L of size M × N consists of pixels g i, j , Ε [0, M-1], j ε [0, N-1]) 0 ≦ g i, j ≦ 255. in other words, g i, j is the rectangular area of the image and its value (intensity) can vary from 0 to 255.
  • 2. The extracted gray scale image L ( 9 ) for calculating a histogram, as in 10 shown from all pixels of the source image. Determine the intensity spectrum of the image background (T min , T max ) using the maximum intensity peak of the image histogram ( 10 ). The background is assumed to be homogeneous, with a Gaussian intensity distribution, and it is assumed that the background area occupies at least 50% of the extracted gray image. The histogram parameters control: peak position and its width to verify the background quality. If the peak position is less than 40 (too dark) or greater than 210 (too bright), or if the peak width is wider than 80, then the background is bad and the remaining image analysis is skipped. (Steps 803 and 804 in 8B ).
  • 3. Create a horizontal cumulative profile by summing the absolute pixel-minus background values along each image column. That is, by calculating Σ j δ i, j where
    Figure DE202016008010U1_0002
  • 4. See 12 for an example of a cumulative profile used for the in 11 calculated image is calculated.
  • 5. Determine the left and right edges of the upper base of the instrument (upper part, see 11 ) by determining the edges of the plateau intensity in the profile (see 12 ). They correspond to the position of the top pedestal and its diameter on the grayscale image and are used for extraction of the area of interest (ROI).
  • 6. Extract a new ROI image that fits the identified structures (the top and bottom pedestals), with extra extension on both sides as in 13 shown.
  • 7. A horizontal gradient filter ( Sobel operator, see page 578 in Digital Image Processing, Rafael C. Gonzalez and Richard E. Woods, 2nd ed., Prentice Hall, 2002 , (hereinafter referred to as "Gonzalez"), the entire contents and teachings of which are hereby incorporated by reference in their entirety) to the extracted ROI grayscale image, around the lower horizontal edge of the upper pedestal 1420 and the upper horizontal edge of the lower base 1410 and thereby detect a region of interest that includes a position of the lower and upper pedestals from the image with gray scale components, as in 14 shown.
  • 8. A vertical cumulative profile, as in 15 show the gradient image generated in 14 by summing pixel values along each image row, that is, Σ j g ' i, j , where g' i, j is a pixel intensity of the gradient image in the i, j position.
  • 9. Two major intensity peaks 1510 and 1520 in the vertical cumulative profile ( 15 ). His right (highest) peak 1520 corresponds to the lower edge of the upper base (upper limit or upper horizontal edge), while the left (second intensity) peak 1510 the upper edge of the lower base corresponds to (lower limit or lower horizontal edge).
  • 10. Using the bounds found in the previous step, extract the vertical part of the ROI frame for further processing ( 16 )
  • 11. Determine the right edge of the top socket at the top of the ROI image ( 16 ). Apply a 45 degree diagonal gradient filter to the image. Provide the top right set of gradient intensity pixels with a diagonal stretch using the best least squares fit for the right diagonal edge 1710 Is found ( 17 ).
  • 12. Continue to search for the left edge of the upper socket. Use a diagonal 135 degree gradient filter. Use the upper left set of gradient intensity pixels with a 135 degree diagonal line by finding the best least squares fit. 18 shows both the adjusted left diagonal edge 1810 as well as the right diagonal edge 1820 of the upper base. Using the left and right ends of the segments found, the diameter of the top socket in pixels 1830 and X C is the position of the center of the optical path 1840 to calculate. The calculated diameter of the upper base 1830 allows exact tuning of the real units of the instrument coordinates with the image (pixel) units. The center X C of the optical path is used to evaluate the position of the pillar structure.
  • 13. Use the previously determined diagonal edges of the top socket and knowledge of the actual top and bottom socket sizes to extract the final working ROI image centered against both the top and bottom pedestal of the instrument (step 805 in 8B ). Additionally, add space to the left and right of the extracted ROI image to include more background area, as in 19 shown.
  • 14. Calculate background parameters for the left and right parts of the image using the rectangular left background areas 2010 and 2020 as well as the rectangular right background areas 2030 and 2040 where the background should be (see green rectangles in 20 ). The selected rectangular background areas make it possible to estimate the intensity spectra of the background for the different parts of the gray scale image, while they are the reason for the exposure differences between the left and right image parts.
  • 15. Then, a thresholding method is applied to generate suitable binary images (an example will be described as red image overlay in FIG 20 shown) used for column positioning and measurement. A binary image is a digital image that has only two possible values for each pixel. Typically these two values are called foreground (value = 1) and background (value = 0). Please refer Gonzalez, page 595 , for a description of the threshold procedure.
  • 16. Generate a first binary image of the grayscale ROI image by applying dynamic thresholding, which uses interpolation between the left and right background thresholds to independently calculate a threshold for each pixel. 21 sets the dynamic threshold method for only one row 2110 of the grayscale image. The threshold band is calculated by using averages and the total standard deviation (σ) of pixel intensity values from two background regions 2120 and 2130 (each left and right rectangles, marked green) and the application of an interpolation between the upper and lower band thresholds. The bandwidth is 6σ. Pixels with an intensity above (and below) the band are assigned to a binary foreground. Note the difference in image brightness between the left and right parts of the image in 21 , The lower left threshold T min 2150 is calculated by using the average of the left background area M L 2145 and its standard deviation (σ) as T min = M L - 3σ. The upper left threshold T max 2140 is calculated using the same values as T max = M L + 3σ. The lower right 2170 and upper right 2160 Thresholds are calculated using equivalent formulas and the mean M R 2165 of the right background area and its standard deviation σ. In the in 21 The values shown are approximately M L = 110, M R = 90 and σ = 3.3 for M L and for M R. The lower and upper band thresholds for all pixels in series 2110 between the two bands 2120 and 2130 are obtained by interpolation. The interpolation between the upper band thresholds 2140 and 2160 and between the lower band thresholds 2150 and 2170 can be a linear interpolation, as in 21 or another function, such as quadratic interpolation, if such function yields a higher resolution binary image.
  • 17. The highlighted red area 2050 who in 20 is the foreground of a first binary image of the in 21 with gray scale components obtained after applying the dynamic thresholding method described above to all rows of the gray level component image shown in FIG 21 will be shown. The foreground 2050 of the binary image 2050 has many disjoint segments, sometimes scattering from the real pillar area. In this case, it is difficult to connect these segments in a columnar shape. The . Connections can be made by using a second binary image.
  • 18. Generate a second binary image by using an isotropic gradient of the same image with gray scale components and apply static thresholding based on gradient background statistics. For the isotropic gradient image, a mean of zero is assumed so that the standard deviation is calculated using only the selected left and right rectangular sets. A statistical ± three sigma (σ) rule is used to generate the binarization threshold. The resulting second binary image is written in 22 shown superimposed on top of the isotropic gradient (dark) image.
  • 19. The two binary images combine: the first from the image with grayscale components and the second from the isotropic gradient image (top) to give a composite binary image. The combination makes it possible to produce a more complete foreground binary image from the disjoint foreground segments. 23 shows the combined binary image superimposed on the gradient image.
  • 20. For further detection of the columnar shape and for filling the foreground cavities, two artificial foreground strips are formed 2410 and 2420 added, one above 2410 and another below 2420 (by setting the binary pixels to the value 1). 24 shows the resulting binary image superimposed on the original grayscale image.
  • 21. For filling foreground holes and smoothing uneven edges, morphological operations and a fill operation are used. Please refer Gonzalez, pages 528-536 25 shows the resulting binary image superimposed on the original grayscale image.
  • 22. The two artificial stripes are removed by setting binary pixels at the upper and lower horizontal edges to the background value (0, transparent). Thereafter, a mesh filter is applied to remove small structures causing image noise (step 806 in 8B ). The resulting binary image gives a good match between the foreground overlay and the columnar shape (see 26 ), wherein the position of a column of the liquid sample and the position of the optical beam path is detected from the composite binary image.
  • 23. Connected foreground object (s) are extracted using a connected component extraction algorithm (see Gonzalez, page 536 ), whereby the integrity of the column of liquid sample is evaluated on the composite binary image. As a rule, only one object fits the normal column of liquid. If there are two or more objects, then this is a case of broken column (see 32 as an an example). If no objects are found, it is a case of an empty compartment. In the last two cases, no further analysis can be done and an error code is reported to inform the user (step 807 and 808 in 8B ).
  • 24. The area of the column shape (in pixels) from the detected binary object 2610 calculate how in 26 shown. In addition, the left edge position X L 2620 and the right edge position X R 2630 of the optical path by searching the maximum area rectangle that is in the binary object 2610 the detected column is included. The difference X R - X L is the diameter of the light path (step 809 in 8B ). The calculated center X C 1840 of the optical path, a theoretical maximum radius R O of the optical path (in one embodiment, R o is equal to about 1 / 20th of the calculated diameter 1110 of the upper base), the column X L 2620 and X R 2630 (the vertical edge positions of the enclosed rectangle) are used to calculate the off-center parameter. The state of skewness and lateral offset of the column of liquid sample are detected from the composite binary image when the distance min (X C + R O , X R ) -max (X C -R O , X L ) is less than 1.5 R is 0 . The theoretical and X C- centered light path of the radius R o should fit into the calculated light path of the column (rectangle) with the overlap of at least 1.5 radius radius of the light beam.

Alternative Bildanalyseverfahren zur Detektion der Form der Flüssigkeitssäule beinhalten die Detektion des interessierenden Objekts wie beispielsweise der Flüssigkeitssäule durch Verwendung von Operatoren zur Kantendetektion, um die Objektkontur zu extrahieren. Diese Operatoren basieren auf der Berechnung des Unterschieds der Pixelintensität zwischen hellen und dunklen Bereichen des Graustufenbilds. Es können mehrere grundlegende (Gradienten) Operatoren zur Kantendetektion angewendet werden: Sobel, Laplacian of Gaussian, Roberts, Prewitt oder ein zusammengesetzter Canny-Algorithmus. Letzterer besteht aus mehreren Schritten, darunter Rauschunterdrückung und dynamische Schwellenwertbildung/Binarisierung. Siehe Canny, J., ”A Computational Approach To Edge Detection”, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 8(6): 679–698, 1986 (im Folgenden ”Canny” genannt), deren Offenlegung hiermit in ihrer Gänze als Verweis einbezogen wird (wobei jedoch bei Widersprüchen zwischen Aussagen im einbezogenen Verweis und Aussagen in der vorliegenden Anmeldung die vorliegende Anmeldung Vorrang hat).Alternative image analysis methods for detecting the shape of the liquid column involve detecting the object of interest, such as the liquid column, by using edge-detection operators to extract the object contour. These operators are based on calculating the pixel intensity difference between light and dark areas of the grayscale image. Several basic (gradient) edge-detection operators can be used: Sobel, Laplacian of Gaussian, Roberts, Prewitt or a composite Canny algorithm. The latter consists of several steps, including noise reduction and dynamic thresholding / binarization. Please refer Canny, J., "A Computational Approach To Edge Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 8 (6): 679-698, 1986 (hereinafter referred to as "Canny"), the disclosure of which is hereby incorporated by reference in its entirety (however, in the case of contradictions between statements in the reference incorporated and statements in the present application, the present application takes precedence).

Alle diese Gradienten-Schwellenwertverfahren können bei verschwommenen und rauschenden Bildern zu kurz greifen, wie bei einem Beispiel für ein verschwommenes Bild einer Flüssigkeitssäule in 33 gezeigt wird. Das resultierende Gradientenbild, das nach Anwendung des Sobel-Operators zur Kantendetektion auf das verschwommene Bild erhalten wird, das in 33 gezeigt wird, das in 34 gezeigt wird, zeigt die Kanten (helle Streifen) der Säule, aber im unteren Teil sind sie verwaschen. Nach Schwellenwertbildung/Binarisierung enthält das resultierende Binärbild (rote Überlagerung), das in 35 gezeigt wird, mehrere unzusammenhängende Teile mit zusätzlichen Vorsprüngen. Der Grund für die Nichtdetektion einer fortlaufenden Kontur (Form) liegt darin, dass die Operatoren zur Gradienten- oder Kantendetektion in lokalen Bildbereichen (Fenstern) operieren wie beispielsweise in 3×3, 5×5, etc. bildpunktbreiten Bereichen und daher verfehlen diese Operatoren ,hoch' rangige strukturelle Informationen über die Objektkonturform.All of these gradient thresholding methods may be too blurry for blurry and noisy images, such as an example of a blurred image of a liquid column in FIG 33 will be shown. The resulting gradient image, obtained after application of the Sobel operator for edge detection on the blurred image that is in 33 that is shown in 34 shows the edges (light stripes) of the column, but in the lower part they are washed out. After thresholding / binarization, the resulting binary image (red overlay) contained in 35 is shown several discontinuous parts with additional protrusions. The reason for the non-detection of a continuous contour (shape) is that the operators for gradient or edge detection operate in local image areas (windows) such as 3x3, 5x5, etc. pixel-wide areas, and therefore these operators fail to high-level structural information about the object contour shape.

Das Verfahren zur aktiven Konturverfolgung (auch als „Snakes” bezeichnet) kann dazu verwendet werden, um das unzusammenhängende oder rauschende (vorspringende) Konturergebnis zu beheben. Siehe Kass, M.; Witkin, A.; Terzopoulos, D. „Snakes: Active contour models” International Journal of Computer Vision, Vol. 1(4): 321, 1988 , deren Offenlegung hiermit in ihrer Gänze als Verweis einbezogen wird (wobei jedoch bei Widersprüchen zwischen Aussagen im einbezogenen Verweis und Aussagen in der vorliegenden Anmeldung die vorliegende Anmeldung Vorrang hat). Das Verfahren zur aktiven Konturverfolgung ist eine Kombination aus den Operatoren zur Kantendetektion mit anschließender Konturverfolgung des Ergebnisses (binarisiert), das die Eigenschaften der Konturkurven nutzt, beispielsweise ihre Kontinuität und Glätte. Das Verfahren der aktiven Kontur basiert auf dem Konzept, eine Energiefunktion zu verwenden, die eine gewichtete Kombination aus internen und externen Energien darstellt, die auf die Konturkurve angewendet werden. Die internen Energien werden durch die physikalischen Eigenschaften der Kontur bestimmt (Elastizität und Biegung), während die äußeren Energien den Bildeigenschaften (Gradient) entstammen. Das Problem wird gelöst, indem ein Optimum (Minimum) der Energiefunktionalen gefunden wird. Die gesamte Energiefunktionale wird definiert als das folgende bestimmte Integral über den gesamten Bereich der parameterisierten Kontur C[0,1] E*v = ∫CEac(v(s))ds = JcEin(v(s)) + Eex(V(S))ds The active contour tracing method (also referred to as "snakes") can be used to resolve the discontinuous or rushing (protruding) contour result. Please refer Kass, M .; Witkin, A .; Terzopoulos, D. "Snakes: Active Contour Models" International Journal of Computer Vision, Vol. 1 (4): 321, 1988 the disclosure of which is hereby incorporated by reference in its entirety (however, in the case of contradictions between statements in the incorporated reference and statements in the present application, the present application takes precedence). The active contour tracing method is a combination of the edge detection operators with subsequent contour tracing of the result (binarized), which uses the properties of the contour curves, such as their continuity and smoothness. The active contour method is based on the concept of using an energy function that represents a weighted combination of internal and external energies applied to the contour curve. The internal energies are determined by the physical properties of the contour (elasticity and bending), while the external energies derive from the image properties (gradient). The problem is solved by finding an optimum (minimum) of the energy functional. The entire energy functional is defined as the following specific integral over the entire range of the parameterized contour C [0,1] E * v = ∫ C E ac (v (s)) ds = JcE in (v (s)) + E ex (V (S)) ds

Ein(v(s)) die interne Energie der aktiven Kontur infolge von Elastizität und Biegung darstellt und Eex(v(s)) die externen (Bild-)Energien darstellt, die auf die Kontur angewendet werden. Die interne Energie wird als die folgende Summe aus zwei Termen definiert: Ein = (α|v'(s)|2 + β|v''(s)|2)/2 E in (v (s)) represents the internal energy of the active contour due to elasticity and bending, and E ex (v (s)) represents the external (image) energies applied to the contour. The internal energy is defined as the following sum of two terms: E in = (α | v '(s) | 2 + β | v "(s) | 2 ) / 2

Der Term erster Ordnung, der durch den α-Koeffizienten kontrolliert wird, passt die Elastizität der aktiven Kontur an. Der Term zweiter Ordnung, der durch den β-Koeffizienten kontrolliert wird, passt die Steifigkeit der aktiven Kontur an. Anders ausgedrückt, der erste Teil hält die aktive Kontur kurz (unterdrückt Dehnen), während der zweite Teil sie gerade hält (unterdrückt Beugen). The first order term, controlled by the α coefficient, adjusts the elasticity of the active contour. The second-order term, controlled by the β-coefficient, adjusts the stiffness of the active contour. In other words, the first part keeps the active contour short (suppresses stretching) while the second part holds it (suppresses bending).

Bei einem Graustufenbild L(x, y), das eine Intensitätsfunktion in jeder (x, y)-Position des Bilds darstellt, wird die (externe) Bildenergie ausgewählt, um eine aktive Kontur zu den Objektkanten zu führen und kann durch zwei Funktionale dargestellt werden (siehe Canny): Eex (1) = –|∇L(x, y)|2 Eex (2) = –∇[Gδ(x, y)*L(x, y)]|2 wobei Gδ(x, y) eine zweidimensionale Gauß-Funktion ist mit Standardabweichung δ, ∇ ein Gradienten-Operator ist und * den Faltungs-Operator bezeichnet. Anders ausgedrückt, stellt Eex (2) einen Gradienten des geglätteten L(x, y)-Bilds dar.For a grayscale image L (x, y) representing an intensity function in each (x, y) position of the image, the (external) forming energy is selected to guide an active contour to the object edges and can be represented by two functionalities (see Canny): E ex (1) = - | ∇L (x, y) | 2 E ex (2) = -∇ [G δ (x, y) * L (x, y)] | 2 where G δ (x, y) is a two-dimensional Gaussian function with standard deviation δ, ∇ is a gradient operator and * denotes the convolution operator. In other words, E ex (2) represents a gradient of the smoothed L (x, y) image.

Im Fall des Binärbilds B(x, y) können die externen Energien wie folgt formuliert werden: Eex (1) = ~B(x, y) Eex (2) = Gδ(x, y)*~B(x, y) wobei ~B(x, y) ein invertiertes Binärbild darstellt.In the case of the binary image B (x, y), the external energies can be formulated as follows: E ex (1) = ~ B (x, y) E ex (2) = (x, y) * ~ B (x, y) where ~ B (x, y) represents an inverted binary image.

Der Parameter δ kontrolliert die Glätte entweder des Graustufen- oder des Binärbilds – je größer der δ-Parameter, umso verschwommener die Bilder und ihre Objektkanten. Der Zweck des Parameters δ besteht darin, den Suchbereich für die Optimierung der aktiven Kontur zu erweitern.The parameter δ controls the smoothness of either the grayscale or binary image - the larger the δ parameter, the blurry the images and their edges of the object. The purpose of the parameter δ is to extend the search range for the optimization of the active contour.

Das Minimum von E*v kann durch Verwendung der Euler-Lagrange-Gleichung ermittelt werden: αv''(s) – βv''''(s) – ∇Eex(v(s)) = 0 The minimum of E * v can be determined by using the Euler-Lagrange equation: αv '' (s) - βv '''' (s) - ∇E ex (v (s)) = 0

Angenommen, Fin = αv''(s) – βv''''(s) und Fex = ∇Eex(v(s)), dann kann letztere Gleichung umgeformt werden zu einer Energiebilanzgleichung: Fin + Fex = 0 Assuming F in = αv '' (s) - βv '''' (s) and F ex = ∇ E ex (v (s)), then the latter equation can be transformed into an energy balance equation: F in + Fex = 0

Der Term Fin, stellt die interne Energie dar, die ein Dehnen und Beugen unterdrückt, während die externe Energie Fex die aktive Kontur zu den gewünschten Bildkanten zieht. Die Lösung der obigen Gleichung wird mittels Gradientenverfahren erreicht, das die Konvertierung der aktiven Kontur v in eine Zeitfunktion v(s, t) erfordert. Dann kann die partielle Ableitung von v(s, t) mit Bezug auf t auf beide Seiten der Euler-Lagrange-Gleichung angewendet werden. Nach mehreren Iterationen, wenn die aktive Kontur („Snake”) gegen ein Minimum konvergiert ist, wird ihre Ableitung in Bezug auf die Zeit zu Null und die Gleichung ist gelöst. ∂v(s, t)/∂t = αv''(s, t) – βv''''(s, t) – ∇Eex(v(s, t)) The term F in , represents the internal energy that suppresses stretching and bowing, while the external energy F ex draws the active contour to the desired image edges. The solution of the above equation is achieved by means of a gradient method which requires the conversion of the active contour v into a time function v (s, t). Then, the partial derivative of v (s, t) with respect to t can be applied to both sides of the Euler-Lagrange equation. After several iterations, when the active contour ("Snake") converges to a minimum, its derivative with respect to time becomes zero and the equation is solved. ∂v (s, t) / ∂t = αv '' (s, t) - βv '''' (s, t) - ∇E ex (v (s, t))

Eine numerische Lösung der obigen Gleichung kann gefunden werden, indem die Parameter s und t diskretisiert und die Gleichung numerisch gelöst wird.A numerical solution of the above equation can be found by discretizing the parameters s and t and solving the equation numerically.

Es gibt eine Modifizierung des aktiven Konturmodells, bei dem die Kurve v implizit als Funktion eines neuen Parameters r definiert wird, d. h. s = φ(r). Dann kann das Problem im Sinne einer geodätischen Kontur (GAC) umformuliert werden, die besagt, dass die Optimierung der aktiven Kontur als das Ermitteln einer Kurve von minimaler (geodätischer) Länge unter den definierten Einschränkungen ausgedrückt werden kann. Siehe Caselles, V, Kimmel, R, und Sapiro, G, ”Geodesic Active Contours”, International Journal of Computer Vision, Vol. 22(1): 61–79, 1997 , deren Offenlegung hiermit in ihrer Gänze als Verweis einbezogen wird (wobei jedoch bei Widersprüchen zwischen Aussagen im einbezogenen Verweis und Aussagen in der vorliegenden Anmeldung die vorliegende Anmeldung Vorrang hat).There is a modification of the active contour model in which the curve v is implicitly defined as a function of a new parameter r, ie s = φ (r). Then the problem can be reformulated in the sense of a geodesic contour (GAC), which states that the optimization of the active contour can be expressed as the determination of a curve of minimum (geodesic) length under the defined constraints. Please refer Caselles, V, Kimmel, R, and Sapiro, G, "Geodesic Active Contours," International Journal of Computer Vision, Vol. 22 (1): 61-79, 1997 the disclosure of which is hereby incorporated by reference in its entirety (however, in the case of contradictions between statements in the incorporated reference and statements in the present application, the present application takes precedence).

In einem anderen Aspekt befassen sich die unten beschriebenen Bildanalyseverfahren mit der Detektion von Einschlüssen (in Form von Blasen) und Streulicht, das die spektralen Messungen beeinträchtigen kann. Es können zwei Parameter gemessen werden, deren Kombination als sinnvoll erachtet werden: einen Wert für das Vorliegen von Blasen und Streulichtintensität. 27 zeigt ein Beispiel für das Bild mit einer beträchtlichen Blase 2710 oben am Bild. In another aspect, the image analysis methods described below are concerned with the detection of inclusions (in the form of bubbles) and stray light that may affect the spectral measurements. Two parameters can be measured, the combination of which is considered useful: a value for the presence of bubbles and scattered light intensity. 27 shows an example of the image with a considerable bubble 2710 at the top of the picture.

Ein isotropes Gradientenbild des Bilds mit Graustufenkomponenten wird zur Detektion von Blaseneinschlüssen verwendet (siehe 28). Es wurde ein spezieller Ringdetektionsfilter entwickelt, um den Blasenwert zu messen. 29A und 29B zeigen ein Beispiel für einen Ringdetektionsfilter mit einem Kernel von 9×9 Pixelgröße. 29A zeigt eine dreidimensionale, fortlaufende Darstellung des Filters, während 29B seine digitale Näherung als eine 9×9 Matrix zeigt (zu Darstellungszwecken werden die Matrixwerte mit 100 multipliziert). Der in 29A gezeigte dreidimensionale Graph stellt ein erhöhtes, rundum verlaufendes, kreisförmiges Plateau dar sowie einen negativen kreisförmigen Hohlraum in der Mitte. Der restliche Kernel wird auf den Intensitätswert 0 gesetzt. Seine Form korreliert mit ringähnlichen Strukturen auf dem isotropen Gradientenbild, das die Messung ihres Intensitätswerts ermöglicht und dabei jegliche Blase in der Säule der Flüssigkeitsprobe detektiert.An isotropic gradient image of the image with gray scale components is used to detect bubble entrapment (see 28 ). A special ring detection filter was developed to measure the bubble level. 29A and 29B show an example of a ring detection filter with a kernel of 9x9 pixel size. 29A shows a three-dimensional, continuous view of the filter while 29B shows its digital approximation as a 9x9 matrix (for illustrative purposes, the matrix values are multiplied by 100). The in 29A The three-dimensional graph shown represents a raised, circular, circular plateau as well as a negative circular cavity in the middle. The rest of the kernel is set to the intensity value 0. Its shape correlates with ring-like structures on the isotropic gradient image, which allows the measurement of its intensity value and thereby detects any bubble in the column of the liquid sample.

Eine vereinfachte Erklärung des Ringdetektionsfilters wird in 30A30B vorgestellt, wobei der Ringfilter auf eine einzelne Bildreihe angewendet wird (eine graue Linie 3010 oben am Bild). Das Gradientenbild mit seinem Reihenprofil (der in 30A-2 gezeigte Graph mit der Funktion F = K0 × Pi-5 + K4 × Pi-1 + K5 × Pi + K6 × Pi+1 + K10 × Pi+5) wird in 30A-1 gezeigt. Der Ringfilter (oben rechts; 5×5 Querschnitt) wird auf alle Bildpunkte in der Reihe unter Verwendung der unten gezeigten Formel angewendet, wobei Kj ein Kernel-Koeffizient in der Position des Kernels j ist, Pi eine Pixelintensität in Reihenposition i und Fi ein Ergebniswert in Position i ist. Der Vorgang wird auf alle Bildreihen angewendet. 30B-1 zeigt das resultierende Bild mit seiner Querschnittreihe 3020. Zu beachten ist der resultierende, in 30B-2 gezeigte Peak, der der ringförmigen Struktur auf dem Gradientenbild entspricht (mit einem roten Pfeil oben gekennzeichnet).A simplified explanation of the ring detection filter is given in 30A - 30B with the ring filter applied to a single image row (a gray line 3010 at the top of the picture). The gradient image with its row profile (the in 30A-2 The graph shown with the function F = K 0 × P i-5 + K 4 × P i-1 + K 5 × P i + K 6 × P i + 1 + K 10 × P i + 5 ) is shown in 30A-1 shown. The ring filter (top right; 5 × 5 cross-section) is applied to all pixels in the series using the formula shown below, where K j a kernel coefficient in the position of the kernel is j, P i is a pixel intensity in row position i and F i is a result value in position i. The process is applied to all image series. 30B-1 shows the resulting image with its cross-section row 3020 , Note the resulting, in 30B-2 shown peak, which corresponds to the annular structure on the gradient image (marked with a red arrow above).

Die folgenden Schritte bilden den Algorithmus für die Wertberechnung hinsichtlich des Vorliegen von Ringen/Blasen, um jegliche Blase in der Säule der Flüssigkeitsprobe zu detektieren unter Anwendung sowohl des Bilds mit Graustufenkomponenten als auch des Binärbilds des Bilds mit lichtstreuenden Komponenten.

  • 1. sukzessive Ringdetektionsfilterung auf ein isotropes Graustufen-Gradientenbild anwenden, das anhand des Bilds mit Graustufenkomponenten erhalten wird (28).
  • 2. das Ergebnis in den kumulativen Bildwert kumulieren.
  • 3. das berechnete Rechteck des Lichtwegs verwenden (2610 erhalten in Schritt 24 oben, in 26 gezeigt), um den Anwendungsbereich des Ringdetektionsfilters zu begrenzen.
  • 4. von einer minimalen Ringfiltergröße (3×3) ausgehen und diese um 2 erhöhen (die nächste ist 5×5) und so weiter, bis der vorgegebene maximale Filterdurchmesser (15×15, zum Beispiel) erreicht ist, um alle möglichen Blasengrößen abzudecken. Während der Berechnung die Werte überspringen, die unter einem bestimmten Schwellenwert liegen, um eine Kumulierung von Werten infolge von Rauschen zu vermeiden. Der Schwellenwert für Rauschen wird anhand von Statistiken zu den rechteckigen Hintergrundbereichen für das Gradientenbild errechnet (Schritt 810 in 8B).
  • 5. denselben ROI-Abschnitt (wie der des Bilds mit Graustufenkomponenten, das in 19 gezeigt wird) aus dem Bild mit der lichtstreuenden Komponente extrahieren, um die Intensität der Lichtstreuung in dem Bereich der ermittelten Säulenform zu schätzen. 31 zeigt einen Arbeitsablauf für die Messung der Intensität der lichtstreuenden Komponente. Zu beachten ist, dass das Rauschen entfernt wird und dass nur die Streuung von Blasen gemessen wird.
  • 6. wie in dem Arbeitsablauf in 31 gezeigt, wird das Bild mit lichtstreuenden Komponenten binarisiert, um ein Binärbild mit lichtstreuenden Komponenten unter Verwendung eines Schwellenwerts zu bilden, der unter Verwendung der errechneten Standardabweichung für die ausgewählten rechteckigen Hintergrundbereiche berechnet wird (es wird ein Mittelwert null angenommen, da im Normalfall nicht vom Vorliegen einer blauen Farbe ausgegangen wird). Erneut wird eine statistische ± drei Sigma-(σ)Regel verwendet, um den Schwellenwert für die Binarisierung zu erzeugen. Dann wird ein morphologisches Closing (morphologischer Filter) angewandt, worauf ein Siebfilter zur Entfernung kleiner Partikel folgt. Dann werden der binäre Vordergrund und das berechnete Rechteck des Lichtwegs verwendet, um den Bereich zu begrenzen, in dem die Bildpunkte der Intensität der blauen Komponente aufaddiert werden. Danach wird die resultierende Intensitätssumme normalisiert, um sie für den Wert eins und höher signifikant zu machen (Schritt 811 in 8B).
  • 7. den Wert für das Vorliegen von Blasen und den Intensitätswert für Streulicht kontrollieren. Wenn beide Werte größer als eins sind, dann den Fehler melden (Schritt 812 und 814 in 8B).
The following steps form the algorithm for the value calculation of the presence of rings / bubbles to detect any bubble in the column of liquid sample using both the image with gray level components and the binary image of the image with light scattering components.
  • 1. apply successive ring detection filtering to an isotropic grayscale gradient image obtained from the image with gray scale components ( 28 ).
  • 2. Cumulate the result in the cumulative image value.
  • 3. Use the calculated rectangle of the light path (2610 obtained in step 24 above, in 26 shown) to limit the scope of the ring detection filter.
  • 4. Start from a minimum ring filter size (3x3) and increase it by 2 (the next is 5x5) and so on until the predetermined maximum filter diameter (15x15, for example) is reached to cover all possible bubble sizes , During the calculation, skip values below a certain threshold to avoid accumulating values due to noise. The noise threshold is calculated from statistics on the rectangular background areas for the gradient image (step 810 in 8B ).
  • 5. The same ROI section (as that of the image with grayscale components used in 19 is shown) from the image with the light scattering component to estimate the intensity of light scattering in the region of the detected column shape. 31 shows a procedure for measuring the intensity of the light-scattering component. It should be noted that the noise is removed and that only the scattering of bubbles is measured.
  • 6. as in the workflow in 31 2, the image is binarized with light scattering components to form a binary image with light scattering components using a threshold calculated using the calculated standard deviation for the selected rectangular background areas (averaging zero is assumed, as is normally not the case a blue color is assumed). Again, a statistical ± three sigma (σ) rule is used to generate the binarization threshold. Then a morphological closing (morphological filter) is applied followed by a sieve filter to remove small particles. Then, the binary foreground and the calculated rectangle of the light path are used to delimit the area in which the pixels of the intensity of the blue component are added up. Thereafter, the resulting intensity sum is normalized to make it significant for the value one and higher (step 811 in 8B ).
  • 7. Check the value for the presence of bubbles and the intensity value for scattered light. If both values are greater than one, then report the error (step 812 and 814 in 8B ).

Um eine Blase im optischen Strahlengang von einer Blase außerhalb des optischen Strahlengangs zu unterscheiden, werden die berechnete Mitte XC 1840 des optischen Strahls, ein theoretischer maximaler Radius RO des optischen Strahls (in einer Ausführungsform ist RO gleich etwa 1/20stel des berechneten Durchmesser 1110 des oberen Sockels), die Säule XL 2620 und XR 2630 (die berechneten optischen Wegkanten) verwendet. Der Kalkulationsbereich sowohl für den Filter zur Blasendetektion und den Streulichtwert ist wie folgt begrenzt: die linke Grenze beträgt max(XC – RO, XL) und die rechte Grenze min(XC + RO, XR). Die Begrenzung des Berechnungsraums ermöglicht es, die Messung des Blasen- und Lichtstreuungswerts nur in dem Teil des Bilds vorzunehmen, der bekanntermaßen die spektrale Messung verzerrt. In order to distinguish a bubble in the optical path from a bubble outside the optical path, the calculated center X C 1840 of the optical beam, a theoretical maximum radius R o of the optical beam (in one embodiment, R o is equal to about 1 / 20th of the calculated diameter 1110 of the upper base), the column X L 2620 and X R 2630 (the calculated optical path edges). The calculation range for both the bubble detection filter and the scattered light value is limited as follows: the left limit is max (X C - R O , X L ) and the right limit is min (X C + R O , X R ). The limitation of the computational space makes it possible to measure the bubble and light scattering value only in the part of the image that is known to distort the spectral measurement.

Bilder einer Flüssigkeitssäule mit Blasen, wie in 36 gezeigt, lassen vermuten, dass die Blasenkanten (Konturen) eine kreisförmige oder elliptische Form haben. Zu beachten ist, dass manche Blasen verdeckt sein können, da das Bild ein zweidimensionales Bild (Projektion) einer dreidimensionalen Flüssigkeitssäule mit Blasen ist. Zur Erkennung kreisförmiger Objekte kann die Hough-Transformation als alternatives Verfahren der Blasendetektion verwendet werden. Siehe Filiberto P, ”Recognition of Partial Circular Shapes from Segmented Contours”, Computer Vision And Image Understanding, Vol. 63(2), 334–342, 1996 , deren Offenlegung hiermit in ihrer Gänze als Verweis einbezogen wird (wobei jedoch bei Widersprüchen zwischen Aussagen im einbezogenen Verweis und Aussagen in der vorliegenden Anmeldung die vorliegende Anmeldung Vorrang hat). Die Vorteile der Transformation beinhalten ihre Unempfindlichkeit gegenüber Rauschen und Robustheit gegenüber Formverzerrungen infolge von Verdeckung etc.Pictures of a liquid column with bubbles, as in 36 shown, suggest that the bladder edges (contours) have a circular or elliptical shape. Note that some bubbles may be obscured because the image is a two-dimensional image (projection) of a three-dimensional liquid column with bubbles. To detect circular objects, the Hough transform can be used as an alternative method of bubble detection. Please refer Filiberto P, "Recognition of Partial Circular Shapes from Segmented Contours," Computer Vision and Image Understanding, Vol. 63 (2), 334-342, 1996 the disclosure of which is hereby incorporated by reference in its entirety (however, in the case of contradictions between statements in the incorporated reference and statements in the present application, the present application takes precedence). The benefits of the transformation include its insensitivity to noise and robustness to shape distortion due to occlusion, etc.

Betrachten wir nur Kreisformen, obwohl die Hough-Transformation auch bei elliptischen Formen eingesetzt werden kann. Die Hough-Transformation ist anwendbar auf das binarisierte (mit Schwellenwerten gebildete) Bild des Gradientenbilds oder eines Binärbilds der detektierten Blasenkanten. Beispielsweise kann der Canny-Operator zur Kantendetektion verwendet werden und zur Schwellenwertbildung von dieser zu einem Binärbild.Consider only circular shapes, although the Hough transform can also be used for elliptic shapes. The Hough transform is applicable to the binarized (thresholded) image of the gradient image or a binary image of the detected bubble edges. For example, the Canny operator can be used for edge detection and thresholding it to a binary image.

Die Standard-Kreisgleichung hat folgende Form: (x – a)2 + (y – b)2 = r2, wobei r der Kreisradius ist und (a, b) eine Koordinate des Kreismittelpunkts.The standard circle equation has the following form: (x - a) 2 + (y - b) 2 = r 2 , where r is the circle radius and (a, b) is a coordinate of the circle center.

Die Hough-Transformation ist anwendbar auf die digitale Form der Kreisgleichung, wo alle Parameter diskret sind: x und y sind Indizes einer Säule und Reihe einer Matrix von binären (0 oder 1) Pixeln, die Parameter a und b sind ebenfalls Indizes (relative Positionen) von Kreismittelpunkten und r verteilt sich auf die möglichen Radien von Kreisen, die in das Bild passen und an interessierende physische Objekte gebunden sind (in diesem Fall Blasen). Die Radien beginnen in der Regel bei einem höheren Wert als eins, da eine Näherung eines Einheitskreises auf dem digitalen Bild zu uneben ist (es stellt ein Quadrat dar). Dann kann jedes binäre Kanten(Kontur)pixel (xi, yi) in eine Näherung eines kreisförmigen Kegels in dem dreidimensionalen (a, b, r) Parameterraum transformiert werden. Wenn alle Konturpunkte auf einem Kreis liegen, dann werden alle seine entsprechenden Kegel sich entsprechend den Parametern des Kreises an einem einzigen Punkt schneiden (ai, bi, ri).The Hough transform is applicable to the digital form of the circle equation, where all parameters are discrete: x and y are indices of a column and row of a matrix of binary (0 or 1) pixels, parameters a and b are also indices (relative positions ) of circle centers and r is distributed among the possible radii of circles which fit in the image and are bound to interesting physical objects (in this case bubbles). The radii usually begin at a value greater than one, since an approximation of a unit circle on the digital image is too uneven (it represents a square). Then, each binary edge (contour) pixel (x i , y i ) may be transformed into an approximation of a circular cone in the three-dimensional (a, b, r) parameter space. If all contour points lie on a circle, then all its corresponding cones will intersect at a single point according to the parameters of the circle (a i , b i , r i ).

Da der Raum digital ist, werden sich die Kegel, welche die digitale Form der Kreisgleichung erfüllen, nicht an einem Bildpunkt schneiden, sondern stattdessen einen kleinen Cluster von Bildpunkten mit einer Dichteverteilung in Form einer Gauß'schen Glocke darstellen, dessen Mitte (dichtester Wert) die resultierenden (ai, bi, ri) Bankoff-Kreise sind. Um den Verteilungsraum zu implementieren, wird ein zusätzlicher Variablenwert (Integer) v benötigt und das Ergebnis der Transformation ist eine dreidimensionale Matrix von Variablenwerten: V = v(a', b', r'), wobei a' sich auf alle Bildsäulen verteilt, b' auf alle Bildreihen und r' auf alle möglichen Radien der interessierenden Objekte.Since the space is digital, the cones that satisfy the digital form of the circle equation will not intersect at one pixel, but will instead represent a small cluster of pixels with a Gaussian density density distribution whose center (closest value) the resulting (a i , b i , r i ) are Bankoff circles. To implement the distribution space, an additional variable value (integer) v is needed and the result of the transformation is a three-dimensional matrix of variable values: V = v (a ', b', r '), where a 'is distributed on all the columns, b' on all rows of pictures and r 'on all possible radii of the objects of interest.

Der letzte und schwierigste Teil des Hough-Algorithmus ist die Erkennung der Punkte lokaler Maxima in der resultierenden Matrix V (parametrischer Raum). In der Regel erfordert dies die Anwendung eines zusätzlichen Filters für die endgültige Matrix V. Die resultierenden Punkte lokaler Maxima können erkannt werden durch Anwendung eines Schwellenwerts auf die gefilterte Matrix V und sie stellen alle möglichen kreisförmigen Objekte dar. Aufgrund des Variablenverfahrens funktioniert der Algorithmus selbst bei unvollständigen Bildern oder Bildern mit Rauschen gut.The last and most difficult part of the Hough algorithm is the recognition of the points of local maxima in the resulting matrix V (parametric space). Typically, this requires the application of an additional filter for the final matrix V. The resulting local maxima points can be detected by applying a threshold to the filtered matrix V and representing all possible circular objects. Because of the variable method, the algorithm itself operates at incomplete pictures or pictures with noise good.

Bei dem in Tabelle 1 gezeigten zusammenfassenden Bildanalysebericht werden dem Anwender des Instruments die folgenden Parameter angezeigt: Tabelle 1. Bildanalysebericht Seitlicher Versatz (Pixel) 5 Durchmesser des optischen Wegs (Pixel) 208 Intensitätswert Lichtstreuung 21,9 Wert für das Vorliegen von Blasen 36,0 Strukturbereich der Säule (Pixel) 25554 Durchschnittliche ROI-Pixelintensität 148 Länge des optischen Wegs der Säule (Pixel) 119 In the summary image analysis report shown in Table 1, the following parameters are displayed to the user of the instrument: Table 1. Image analysis report Lateral offset (pixels) 5 Diameter of the optical path (pixels) 208 Intensity value light scattering 21.9 Value for the presence of bubbles 36.0 Structure area of the column (pixels) 25554 Average ROI pixel intensity 148 Length of the optical path of the column (pixels) 119

Seitlicher Versatz: zeigt den seitlichen Versatz der Säulenform in Pixeln (siehe 11). Zu beachten ist, dass Pixel leicht in metrische Einheiten zu übersetzen sind, da die physischen Abmessungen des oberen und unteren Sockels bekannt sind. Das in 26 berechnete und in Schritt 24 oben beschriebene Rechteck 2610 des Lichtwegs wird zur Berechnung des seitlichen Versatzes verwendet.Lateral offset: shows the lateral offset of the columnar shape in pixels (see 11 ). Note that pixels are easy to translate into metric units because the physical dimensions of the top and bottom sockets are known. This in 26 calculated and in step 24 rectangle described above 2610 of the light path is used to calculate the lateral offset.

Durchmesser des optischen Wegs: der berechnete Licht-/optische Weg der Säule (umfasster Zylinder) in Pixeln. Siehe Schritt 24 oben zu Details seiner Berechnung.Diameter of the optical path: the calculated light / optical path of the column (enclosed cylinder) in pixels. See step 24 above to details of his calculation.

Wert der Lichtstreuung: gemessene normalisierte Lichtstreuungsintensität, in willkürlichen fraktionierten Einheiten; ein Wert von 1 und größer zeigt in der Regel Blasen-/Einschlussfehler an. Die Berechnung wird oben in Schritt 4 des Berechnungsalgorithmus für den Wert des Vorliegens von Ringen/Blasen gezeigt.Value of light scattering: measured normalized light scattering intensity, in arbitrary fractionated units; a value of 1 and greater usually indicates bubble / inclusion errors. The calculation is above in step 4 of the ring / bubble presence value calculation algorithm.

Wert für das Vorliegen von Blasen: in willkürlichen Einheiten zeigt ein Wert von über 1 das Vorhandensein von Blasen an. Der Wert für das Vorliegen von Blasen wird in Kombination mit dem Wert für Lichtstreuung verwendet, um (fehlerhafte) Säulen mit Blasen zu erkennen. Zu den Details der Parameterberechnung siehe Schritt 4 des Berechnungsalgorithmus für den Wert für das Vorliegen von Ringen/Blasen.Value for the presence of bubbles: in arbitrary units, a value greater than 1 indicates the presence of bubbles. The value for the presence of bubbles is used in combination with the value for light scattering to detect (defective) columns with bubbles. For the details of the parameter calculation, see step 4 the calculation of the value for the presence of rings / bubbles.

Strukturbereich der Säule: gemessener Bereich der berechneten Säulenform in Pixeln.Structure area of the column: measured area of the calculated column shape in pixels.

Länge des optischen Wegs der Säule: gemessene Höhe des berechneten Rechtecks des Lichtwegs in Pixeln, in Schritt 24 oben beschrieben.Length of the optical path of the column: measured height of the calculated rectangle of the light path in pixels, in step 24 described above.

Durchschnittliche ROI-Pixelintensität: durchschnittliche Bildintensität (zwischen 0 und 255), die geeignet ist, um unter- oder überbelichtete Graustufenbilder zu erkennen und die Binarisierungs-Schwellenwerte anzupassen.Average ROI pixel intensity: average image intensity (between 0 and 255) suitable for detecting under- or overexposed grayscale images and adjusting the binarization thresholds.

Der Algorithmus zur Flüssigkeitssäulenanalyse ergibt die folgenden Software-Vervollständigungscodes:
Undefiniert: Ursprungswert, was heißt, dass während der ursprünglichen ROI-Extraktionsphase entweder die Analyse unterbrochen wurde oder fehlschlug (abnormaler Zustand);
OK: normale Säule, gute spektrale Ablesung zu erwarten (Schritt 813 in 8B);
Fehlerhafte Säule: den Versatzwert, den Wert für das Vorliegen von Blasen und den Lichtstreuungswert kontrollieren, um den Grund herauszufinden (Schritt 814 in 8B);
Leeres Kompartiment: es wurde keine Flüssigkeitssäule detektiert (Schritt 808 in 8B);
Unterbrochene Säule: keine Verbindung zwischen den Schnittstellenoberflächen (Schritt 808 in 8B);
Säule ist zu kurz: zu kurzer Abstand zwischen der Schnittstellenoberfläche (abnormaler Zustand);
Schlechter Hintergrund: die Qualität des Bildhintergrunds ist zu schlecht für die Analyse (abnormaler Zustand) (Schritt 803 in 8B).
The liquid column analysis algorithm yields the following software completion codes:
Undefined: source value, meaning that either the analysis was interrupted or failed during the original ROI extraction phase (abnormal state);
OK: normal column, good spectral reading expected (step 813 in 8B );
Faulty column: Check the offset value, the bubble value, and the light scatter value to find the reason (step 814 in 8B );
Empty compartment: no liquid column was detected (step 808 in 8B );
Broken column: no connection between the interface surfaces (step 808 in 8B );
Column is too short: too short distance between the interface surface (abnormal state);
Bad background: the quality of the image background is too bad for the analysis (abnormal state) (step 803 in 8B ).

Während die Erfindung unter Bezug auf beispielhafte Ausführungsformen beschrieben wurde, wird dem Fachmann auf dem Gebiet der Technik verständlich sein, dass verschiedene Änderungen vorgenommen und Elemente davon durch Äquivalente ersetzt werden können, ohne dass damit vom Umfang der vorliegenden Erfindung abgewichen wird. Außerdem werden für den Fachmann auf dem Gebiet der Technik viele Modifizierungen nachvollziehbar sein, um ein bestimmtes Instrument, eine bestimmte Situation oder ein bestimmtes Material an die Lehren der vorliegenden Erfindung anzupassen, ohne dass damit von ihrem wesentlichen Umfang abgewichen wird. Es ist daher beabsichtigt, dass die vorliegende Erfindung nicht auf die konkrete Ausführungsform beschränkt sein soll, die hier als die beste Art zur Ausführung dieser Erfindung in Betracht gezogen wird, sondern dass die vorliegende Erfindung alle Ausführungsformen umfassen soll, die vom Umfang der beigefügten Ansprüche eingeschlossen sind.While the invention has been described with reference to exemplary embodiments, it will be understood by those skilled in the art that various changes may be made and equivalents may be substituted for elements thereof without departing from the scope of the present invention. In addition, many modifications will be apparent to those skilled in the art to a particular instrument, situation or to adapt certain material to the teachings of the present invention without departing from its essential scope. It is therefore intended that the present invention not be limited to the particular embodiment contemplated herein as the best mode for carrying out this invention, but that the present invention cover all embodiments encompassed by the scope of the appended claims are.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 6628382 B2 [0003] US 6628382 B2 [0003]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • Sobel-Operator, siehe Seite 578 in Digital Image Processing, Rafael C. Gonzalez und Richard E. Woods, 2nd Ed., Prentice Hall, 2002 [0080] Sobel operator, see page 578 in Digital Image Processing, Rafael C. Gonzalez and Richard E. Woods, 2nd ed., Prentice Hall, 2002 [0080]
  • Gonzalez, Seite 595 [0080] Gonzalez, page 595 [0080]
  • Gonzalez, Seite 528–536 [0080] Gonzalez, pages 528-536 [0080]
  • Gonzalez, Seite 536 [0080] Gonzalez, page 536 [0080]
  • Canny, J., ”A Computational Approach To Edge Detection”, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 8(6): 679–698, 1986 [0081] Canny, J., "A Computational Approach To Edge Detection", IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 8 (6): 679-698, 1986 [0081]
  • Kass, M.; Witkin, A.; Terzopoulos, D. „Snakes: Active contour models” International Journal of Computer Vision, Vol. 1(4): 321, 1988 [0083] Kass, M .; Witkin, A .; Terzopoulos, D. "Snakes: Active Contour Models" International Journal of Computer Vision, Vol. 1 (4): 321, 1988 [0083]
  • Caselles, V, Kimmel, R, und Sapiro, G, ”Geodesic Active Contours”, International Journal of Computer Vision, Vol. 22(1): 61–79, 1997 [0093] Caselles, V, Kimmel, R, and Sapiro, G, "Geodesic Active Contours," International Journal of Computer Vision, Vol. 22 (1): 61-79, 1997 [0093]
  • Filiberto P, ”Recognition of Partial Circular Shapes from Segmented Contours”, Computer Vision And Image Understanding, Vol. 63(2), 334–342, 1996 [0099] Filiberto P, "Recognition of Partial Circular Shapes from Segmented Contours", Computer Vision And Image Understanding, Vol. 63 (2), 334-342, 1996 [0099]

Claims (24)

Bildanalysesystem, umfassend: a. eine Videokamera, die YUV-Farbbilder einer zwischen einem oberen Sockel und einem unteren Sockel befindlichen Flüssigkeitsprobe aufnimmt, wobei die Farbbilder aufgenommen werden, während eine Lichtquelle Licht durch einen optischen Strahlengang zwischen oberem und unterem Sockel hindurch scheint; und b. einen Prozessor, der so eingerichtet ist, um i) ein Bild mit Graustufenkomponenten und ein Bild mit lichtstreuenden Komponenten aus den YUV-Farbbildern zu erlangen und ii) wenigstens ein Binärbild des Bilds mit Graustufenkomponenten und wenigstens ein Binärbild des Bilds mit lichtstreuenden Komponenten zu erlangen.Image analysis system comprising: a. a video camera that captures YUV color images of a liquid sample located between an upper pedestal and a lower pedestal, the color images being captured while a light source is shining light through an optical path between the upper and lower pedestals; and b. a processor adapted to i) obtain an image with grayscale components and an image with light diffusing components from the YUV color images, and ii) obtain at least one binary image of the image with grayscale components and at least one binary image of the image with light scattering components. Bildanalysesystem nach Schutzanspruch 1, ferner beinhaltend einen homogenen reflektierenden Hintergrund.Image analysis system according to protection claim 1, further comprising a homogeneous reflective background. Bildanalysesystem nach Schutzanspruch 2, wobei der homogene reflektierende Hintergrund ein hellgrauer homogener reflektierender Hintergrund ist.An image analysis system according to claim 2, wherein the homogeneous reflective background is a light gray homogeneous reflective background. Bildanalysesystem nach Schutzanspruch 3, wobei der hellgraue homogene reflektierende Hintergrund ein hellgrauer homogener reflektierender Hintergrund mit 82% Helligkeit und 12% Glanz ist.An image analysis system according to claim 3, wherein the light gray homogeneous reflective background is a light gray homogeneous reflective background with 82% brightness and 12% gloss. Bildanalysesystem nach Schutzansprüche 1–4, wobei die Videokamera die YUV-Farbbilder aus einem Kamera-Videostream aufnimmt.Image analysis system according to claims 1-4, wherein the video camera receives the YUV color images from a camera video stream. Bildanalysesystem nach Schutzanspruch 5, wobei der Prozessor ferner so eingerichtet ist, um das Bild mit Graustufenkomponenten anhand eines Durchschnitts von Y-Komponenten der YUV-Farbbilder zu erhalten.The image analysis system of claim 5, wherein the processor is further configured to obtain the image with gray scale components based on an average of Y components of the YUV color images. Bildanalysesystem nach Schutzanspruch 5, wobei der Prozessor ferner so eingerichtet ist, um das Bild mit lichtstreuenden Komponenten anhand einer Maximum-U-Komponente der YUV-Farbbilder zu erhalten.The image analysis system of claim 5, wherein the processor is further configured to obtain the image with light scattering components from a maximum U component of the YUV color images. Bildanalysesystem nach einem der Schutzansprüche 1–7, wobei der Prozessor ferner so eingerichtet ist, um einen Bereich von Interesse zu detektieren, der eine Position des oberen und des unteren Sockels anhand eines Bilds mit Graustufenkomponenten beinhaltet.An image analysis system according to any one of claims 1-7, wherein the processor is further configured to detect a region of interest that includes a position of the top and bottom pedestals based on an image having gray scale components. Bildanalysesystem nach einem der Schutzansprüche 1–8, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein erstes Binärbild des Bilds mit Graustufenkomponenten beinhaltet, das durch Anwendung eines dynamischen Schwellenwerts erhalten wird, der durch eine Interpolation zwischen Schwankungs-Schwellenwerten des linken und rechten Hintergrunds im Bild mit Graustufenkomponenten erhalten wird.The image analysis system of claim 1, wherein the at least one binary image of the grayscale component image includes a first binary image of the grayscale component image obtained by applying a dynamic threshold value determined by interpolation between left and right background fluctuation thresholds in FIG Image is obtained with grayscale components. Bildanalysesystem nach Schutzanspruch 9, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zweites Binärbild eines isotropen Graustufen-Gradientenbilds beinhaltet, wobei das isotrope Graustufen-Gradientenbild durch Verwendung des Bilds mit Graustufenkomponenten und einem statischen Schwellenwert erhalten wird, der auf Rauschstatistiken zum Hintergrund isotroper Gradientenbilder beruht.The image analysis system of claim 9, wherein the at least one binary image of the grayscale component image includes a second binary image of an isotropic grayscale gradient image, wherein the grayscale isotropic gradient image is obtained by using the grayscale component image and a static threshold based on background isotropic gradient image noise statistics based. Bildanalysesystem nach Schutzanspruch 10, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zusammengesetztes Binärbild beinhaltet, das aus einer Kombination des ersten und zweiten Binärbildes erhalten wird.The image analysis system of claim 10, wherein the at least one binary image of the image having gray scale components includes a composite binary image obtained from a combination of the first and second binary images. Bildanalysesystem nach Schutzanspruch 11, wobei der Prozessor ferner so eingerichtet wird, um die Position einer Säule der Flüssigkeitsprobe und die Position des optischen Strahlengangs anhand des zusammengesetzten Binärbilds zu detektieren.The image analysis system of claim 11, wherein the processor is further configured to detect the position of a column of the liquid sample and the position of the optical beam path based on the composite binary image. Bildanalysesystem nach Schutzanspruch 12, wobei der Prozessor ferner so eingerichtet wird, um die Schiefe der Säule der Flüssigkeitsprobe anhand des zusammengesetzten Binärbilds zu detektieren.The image analysis system of claim 12, wherein the processor is further configured to detect the skewness of the column of liquid sample based on the composite binary image. Bildanalysesystem nach Schutzanspruch 12 oder 13, wobei der Prozessor ferner so eingerichtet wird, um die Unversehrtheit der Säule der Flüssigkeitsprobe anhand des zusammengesetzten Binärbilds zu bewerten.The image analysis system of claim 12 or claim 13, wherein the processor is further configured to score the integrity of the column of liquid sample based on the composite binary image. Spektrometer, das ein Bildanalysesystem beinhaltet, wobei das System umfasst: a. eine Videokamera, die Bilder einer zwischen einem oberen Sockel und einem unteren Sockel des Spektrometers befindlichen Flüssigkeitsprobe aufnimmt, wobei die Bilder aufgenommen werden, während eine Lichtquelle durch einen optischen Strahlengang zwischen dem oberen und dem unteren Sockel zur photometrischen oder spektrometrischen Messung hindurch scheint; und b. einen Prozessor, der so eingerichtet ist, um jegliche Blase in einer Säule der Flüssigkeitsprobe unter Verwendung der Bilder zu detektieren.A spectrometer incorporating an image analysis system, the system comprising: a. a video camera that captures images of a liquid sample located between an upper pedestal and a lower pedestal of the spectrometer, the images being captured while a light source shines through an optical path between the upper and lower pedestals for photometric or spectrometric measurement; and b. a processor configured to detect any bubble in a column of the liquid sample using the images. Bildanalysesystem nach Schutzanspruch 15, wobei die Bilder YUV-Farbbilder sind und der Prozessor ferner so eingerichtet ist, um i) ein Bild mit Graustufenkomponenten und ein Bild mit lichtstreuenden Komponenten aus den YUV-Farbbildern zu erlangen ii) wenigstens ein Binärbild des Bilds mit Graustufenkomponenten und wenigstens ein Binärbild des Bilds mit lichtstreuenden Komponenten zu erlangen.The image analysis system of claim 15, wherein the images are YUV color images, and the processor is further configured to obtain i) an image with grayscale components and an image with light scattering components from the YUV color images ii) at least one binary image of the image with grayscale components and to obtain at least one binary image of the image with light scattering components. Bildanalysesystem nach Schutzanspruch 16, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein erstes Binärbild des Bilds mit Graustufenkomponenten beinhaltet, das durch Anwendung eines dynamischen Schwellenwerts erhalten wird, der durch eine Interpolation zwischen Schwankungs-Schwellenwerten des linken und rechten Hintergrunds im Bild mit Graustufenkomponenten erhalten wird.The image analysis system of claim 16, wherein the at least one binary image of the grayscale component image includes a first binary image of the grayscale component image obtained by applying a dynamic threshold obtained by interpolating between left and right background fluctuation thresholds in the grayscale component image becomes. Bildanalysesystem nach Schutzanspruch 17, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zweites Binärbild eines isotropen Graustufen-Gradientenbilds beinhaltet, wobei das isotrope Graustufen-Gradientenbild durch Verwendung des Bilds mit Graustufenkomponenten und einem statischen Schwellenwert erhalten wird, der auf Rauschstatistiken zum Hintergrund isotroper Gradientenbilder beruht.The image analysis system of claim 17, wherein the at least one binary image of the grayscale component image includes a second binary image of an isotropic grayscale gradient image, wherein the grayscale isotropic gradient image is obtained by using the grayscale component image and a static threshold based on background isotropic gradient image noise statistics based. Bildanalysesystem nach Schutzanspruch 18, wobei das wenigstens eine Binärbild des Bilds mit Graustufenkomponenten ein zusammengesetztes Binärbild beinhaltet, das aus einer Kombination des ersten und zweiten Binärbildes erhalten wird.The image analysis system of claim 18, wherein the at least one binary image of the image having gray scale components includes a composite binary image obtained from a combination of the first and second binary images. Bildanalysesystem nach Schutzanspruch 19, wobei der Prozessor ferner so eingerichtet wird, um die Position der Säule der Flüssigkeitsprobe und die Position des optischen Strahlengangs anhand des zusammengesetzten Binärbilds zu detektieren.The image analysis system of claim 19, wherein the processor is further configured to detect the position of the liquid sample column and the optical path position based on the composite binary image. Bildanalysesystem nach Schutzanspruch 20, wobei der Prozessor ferner so eingerichtet wird, um jegliche Blase in der Säule der Flüssigkeitsprobe zu detektieren unter Anwendung sowohl des Bilds mit Graustufenkomponenten und des wenigstens einen Binärbilds des Bilds mit lichtstreuenden Komponenten.The image analysis system of claim 20, wherein the processor is further configured to detect any bubble in the column of the liquid sample using both the image with gray level components and the at least one binary image of the image with light scattering components. Bildanalysesystem nach Schutzanspruch 21, wobei die Anwendung des Bilds mit Graustufenkomponenten die Anwendung eines Ringdetektionsfilters auf ein anhand eines Bilds mit Graustufenkomponenten erhaltenes isotropes Graustufen-Gradientenbild beinhaltet.An image analysis system according to claim 21, wherein the application of the image with grayscale components includes applying a ring detection filter to an isotropic grayscale gradient image obtained from a grayscale component image. Bildanalysesystem nach Schutzanspruch 21 oder 22, wobei die Anwendung des wenigstens einen binären Bilds mit lichtstreuenden Komponenten die Anwendung eines morphologischen Filters auf das wenigstens eine Binärbild des Bilds mit lichtstreuenden Komponenten beinhaltet.An image analysis system according to claim 21 or 22, wherein the application of the at least one binary image with light scattering components includes applying a morphological filter to the at least one binary image of the image with light scattering components. Bildanalysesystem nach Schutzanspruch 21, 22 oder 23, wobei der Prozessor ferner so eingerichtet wird, um eine Blase in dem optischen Strahlengang von einer Blase außerhalb des optischen Strahlengangs zu unterscheiden unter Verwendung des Bilds mit Graustufenkomponenten, des wenigstens einen Binärbilds des Bilds mit lichtstreuenden Komponenten und der berechneten Position des optischen Strahlengangs.The image analysis system of claim 21, 22 or 23, wherein the processor is further configured to distinguish a bubble in the optical path from a bubble outside the optical path using the image with gray scale components, the at least one binary image of the image with light scattering components, and the calculated position of the optical beam path.
DE202016008010.6U 2016-03-11 2016-12-27 Image Analysis System Active DE202016008010U1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662306786P 2016-03-11 2016-03-11
US62/306,786 2016-03-11

Publications (1)

Publication Number Publication Date
DE202016008010U1 true DE202016008010U1 (en) 2017-04-12

Family

ID=58639643

Family Applications (1)

Application Number Title Priority Date Filing Date
DE202016008010.6U Active DE202016008010U1 (en) 2016-03-11 2016-12-27 Image Analysis System

Country Status (1)

Country Link
DE (1) DE202016008010U1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628382B2 (en) 1999-08-20 2003-09-30 Charles William Robertson Liquid photometer using surface tension to contain sample

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628382B2 (en) 1999-08-20 2003-09-30 Charles William Robertson Liquid photometer using surface tension to contain sample

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Canny, J., "A Computational Approach To Edge Detection", IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 8(6): 679–698, 1986
Caselles, V, Kimmel, R, und Sapiro, G, "Geodesic Active Contours", International Journal of Computer Vision, Vol. 22(1): 61–79, 1997
Filiberto P, "Recognition of Partial Circular Shapes from Segmented Contours", Computer Vision And Image Understanding, Vol. 63(2), 334–342, 1996
Gonzalez, Seite 528–536
Gonzalez, Seite 536
Gonzalez, Seite 595
Kass, M.; Witkin, A.; Terzopoulos, D. „Snakes: Active contour models" International Journal of Computer Vision, Vol. 1(4): 321, 1988
Sobel-Operator, siehe Seite 578 in Digital Image Processing, Rafael C. Gonzalez und Richard E. Woods, 2nd Ed., Prentice Hall, 2002

Similar Documents

Publication Publication Date Title
DE69329820T2 (en) MEAT IMAGE ANALYSIS.
DE102010061505B4 (en) Method for inspection and detection of defects on surfaces of disc-shaped objects
US11057599B2 (en) Image analysis system and method
DE10157958B4 (en) Image processing method and apparatus
DE69032834T2 (en) Method and apparatus for color image signal evaluation
DE102011106052B4 (en) Shadow removal in an image captured by a vehicle based camera using a nonlinear illumination invariant core
DE69322095T2 (en) METHOD AND DEVICE FOR IDENTIFYING AN OBJECT BY MEANS OF AN ORDERED SEQUENCE OF LIMIT PIXEL PARAMETERS
DE102013212495A1 (en) Method and device for inspecting a contoured surface, in particular the underbody of a motor vehicle
EP2400458B1 (en) Method and device for segmenting biological cells in an image
DE202009013865U1 (en) Concept for selecting an optimized evaluation feature subset for inspection of free-form surfaces and concept for inspecting a free-form surface
DE112015006378T5 (en) Image processing apparatus, image processing method and image processing program
DE112019005143T5 (en) SYSTEM FOR CO-REGISTRATION OF MEDICAL IMAGES USING A CLASSIFICATOR
DE102010032241A1 (en) Method for detecting surface defects e.g. cracks at plastic surface of corrugated pipe, involves testing differential image between two partial region images to determine whether coherent regions are provided with grey values
DE202023101026U1 (en) A combined image processing technique and a supervised learning-based system for the grain size distribution of sandy soils
DE19951146A1 (en) Noise reduction in signal from imaging apparatus e.g. for semiconductor device manufacture by replacing gray scale values for pixels lying outside region of acceptable values
DE112009005102T5 (en) Splitting of multipart objects
DE202016008010U1 (en) Image Analysis System
DE112019004112T5 (en) SYSTEM AND PROCEDURE FOR ANALYSIS OF MICROSCOPIC IMAGE DATA AND FOR GENERATING A NOTIFIED DATA SET FOR TRAINING THE CLASSIFICATORS
DE102016105102A1 (en) Method for examining distributed objects
EP1154370B1 (en) Automatic labelling of biological objects on the basis of dynamic colour analysis with subsequent size and shape analysis
DE60310120T2 (en) Automated histological classification of tubules
DE112015006015B4 (en) Cell analyzer and method
Liu et al. Measurement method of the width of the strands of cut tobacco based on digital image processing
EP3999838A1 (en) Method for examining substances, computer program product for use in said method, and mobile electronic device
DE20317095U1 (en) Cast metal part surface error inspection unit has imaging of reflected light with processing algorithm grouping pixels above threshold for error examination and contour construction

Legal Events

Date Code Title Description
R207 Utility model specification
R150 Utility model maintained after payment of first maintenance fee after three years
R151 Utility model maintained after payment of second maintenance fee after six years