WO2020241652A1 - 光学測定装置及び光学測定システム - Google Patents

光学測定装置及び光学測定システム Download PDF

Info

Publication number
WO2020241652A1
WO2020241652A1 PCT/JP2020/020793 JP2020020793W WO2020241652A1 WO 2020241652 A1 WO2020241652 A1 WO 2020241652A1 JP 2020020793 W JP2020020793 W JP 2020020793W WO 2020241652 A1 WO2020241652 A1 WO 2020241652A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
signal
image sensor
sample
measuring device
Prior art date
Application number
PCT/JP2020/020793
Other languages
English (en)
French (fr)
Inventor
岡本 好喜
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/613,270 priority Critical patent/US20220221391A1/en
Priority to JP2021522793A priority patent/JP7447897B2/ja
Publication of WO2020241652A1 publication Critical patent/WO2020241652A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N15/0227Investigating particle size or size distribution by optical means using imaging; using holography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N21/03Cuvette constructions
    • G01N21/05Flow-through cuvettes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/49Scattering, i.e. diffuse reflection within a body or fluid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1438Using two lasers in succession
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • G01N2015/1445Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493Particle size

Definitions

  • the present disclosure relates to an optical measuring device and an optical measuring system.
  • FCM flow cytometer
  • microparticles flowing in a row in a flow path are irradiated with laser light of a specific wavelength, and light such as fluorescence, forward scattered light, or lateral scattered light emitted from each microparticle is emitted.
  • the type, size, structure, etc. of individual fine particles are determined by converting them into electrical signals with a detector, digitizing them, and performing statistical analysis on the results.
  • flow cytometers capable of multicolor analysis using multiple fluorescent dyes have been developed based on the demands of basic medicine and clinical fields.
  • a flow cytometer capable of multicolor analysis there are a multi-channel type and a spectral type flow cytometer.
  • fluorescence emitted from a sample in a specific direction is separated by a spectroscopic optical system and incident on an array of photodetectors.
  • irradiation spots to which excitation light is irradiated are set at equal intervals at a plurality of points in a linear flow path along the direction of gravity. Therefore, for example, if the arrangement direction of the irradiation spots and the spectral direction of the spectroscopic optical system match, the dispersed light of fluorescence emitted from each irradiation spot overlaps and is incident on the photodetector, which is an accurate sample. The problem arises that analysis becomes difficult.
  • the fluorescence emitted from each irradiation spot has a beam cross section that spreads in the direction in which the sample flows, that is, in the direction orthogonal to the arrangement direction of the irradiation spots. Therefore, if the spectral direction of the spectroscopic optical system is set to be orthogonal to the arrangement direction of the irradiation spots, the fluorescence is dispersed along the long axis direction of the beam cross section. As a result, there arises a problem that the wavelength resolution is lowered and accurate sample analysis becomes difficult.
  • the optical measuring apparatus of one embodiment according to the present disclosure includes fluorescence emitted from a sample passing through each of a plurality of spots arranged in the first direction in a plane parallel to the first direction.
  • a spectroscopic optical system that disperses in the second direction and an image sensor that receives the fluorescence dispersed by the spectroscopic optical system and generates image data, and the second direction is perpendicular to the first direction. It is tilted with respect to the surface.
  • FIG. 1 It is a schematic diagram which shows the schematic configuration example of the flow cytometer as an optical measurement apparatus or an optical measurement system which concerns on 1st Embodiment. It is a schematic diagram which shows an example of the spectroscopic optical system in FIG. It is a block diagram which shows the schematic structure example of the image sensor which concerns on 1st Embodiment. It is a figure which shows an example of the connection relationship between a pixel and a detection circuit in FIG. It is a circuit diagram which shows the circuit structure example of the pixel which concerns on 1st Embodiment. It is a timing chart which shows the operation example of the pixel which concerns on 1st Embodiment.
  • Timing chart which shows the operation example of the pixel which concerns on the modification of 1st Embodiment. It is a timing chart for demonstrating the operation example of the pulse light detection in the flow cytometer which concerns on 1st Embodiment. It is a figure for demonstrating the example of the region in which fluorescence (dispersion light) is incident in the image sensor which concerns on 1st Embodiment. It is a figure for demonstrating the pixel which constitutes the same channel when the inclination in the row direction of the pixel array part with respect to the arrangement direction of the irradiation spot is 45 ° in 1st Embodiment.
  • First Embodiment 1.1 Schematic configuration example of flow cytometer 1.2 Configuration example of image sensor 1.3 Pixel circuit configuration example 1.4 Pixel operation example 14.1 Pixel operation modification example 1. 5 Example of operation for pulsed light detection 1.6 Example of relationship between the arrangement direction and spectral direction of irradiation spots and the tilt of the image sensor 1.7 Action / effect 2. Second Embodiment 2.1 Connection relationship example of pixel and detection circuit 2.2 Circuit configuration example of 2 pixels 2.3 Basic operation example of 3 pixels 2.4 Schematic operation example of flow cytometer 2.5 Action / effect
  • the flow cytometer is classified into a cell analyzer type and a cell sorter type depending on whether or not it has a function of collecting a sample after the test. Which of these is the flow cytometer according to the present embodiment? You may.
  • the method of supplying the sample to the irradiation spot is a droplet method in which a liquid such as water containing the sample is discharged in a droplet shape toward a predetermined flow path.
  • a chip method may be used in which a chip containing a sample is flown along a predetermined flow path.
  • a chamber different from the chamber for accommodating the sample may be provided in the chip, and the sample may be distributed in this chamber.
  • FIG. 1 is a schematic diagram showing a schematic configuration example of a flow cytometer as an optical measuring device or an optical measuring system according to the first embodiment.
  • FIG. 2 is a schematic view showing an example of the spectroscopic optical system in FIG.
  • a multi-spot type and droplet type spectrum type flow cytometer will be given as an example.
  • the flow cytometer 11 includes a flow cell 31, a plurality of (five in this example) excitation light sources 32A to 32E, a photodiode 33, a plurality of spectroscopic optical systems 37A to 37E, and an individual image pickup. It includes an element (hereinafter referred to as an image sensor) 34, a condenser lens 35, and 36A to 36E.
  • an image sensor an element (hereinafter referred to as an image sensor) 34, a condenser lens 35, and 36A to 36E.
  • the reference numeral is ‘32’.
  • the code is set to '37', and when the condenser lenses 36A to 36E are not distinguished, the code is set to '36'.
  • the excitation lights 71A to 71E, the irradiation spots 72A to 72E, the fluorescence 74A to 74E, the dispersed light 75A to 75E, and the fluorescence spots 76A to 76E appearing later are not distinguished, the reference numerals thereof are used.
  • the code is set to '72' when the irradiation spots 72A to 72E are not distinguished, the code is set to '74' when the fluorescence 74A to 74E is not distinguished, and the code is set when the dispersed light 75A to 75E is not distinguished. Is '75', and when the fluorescent spots 76A to 76E are not distinguished, the code is set to '76'.
  • a cylindrical flow cell 31 is provided in the upper part of the drawing, and the sample tube 51 is interpolated in the flow cell 31 substantially coaxially.
  • the flow cell 31 is a flow path through which the sample 53 flows, and has a structure in which the sample flow 52 flows down in the downward direction (Y direction in the drawing), and further, the sample 53 composed of cells or the like is formed from the sample tube 51. Be released.
  • the sample 53 rides on the sample stream 52 in the flow cell 31 and flows down in a line.
  • the Y direction may be, for example, the direction of gravity (also referred to as the vertical direction). In that case, the sample flow 52 flowing out of the flow cell 31 will fall in the Y direction according to gravity.
  • the Y direction and the X direction may be orthogonal to each other in the vertical plane.
  • the Y direction and the X direction, and the Y direction and the Z direction may be orthogonal to each other in the horizontal plane.
  • Each of the excitation light sources 32A to 32E is, for example, a laser light source that emits excitation light 71A to 71E having a single wavelength, and irradiation spots set at equal intervals, for example, on a flow path through which the sample 53 passes the excitation light 71A to 71E. Irradiate 72A to 72E. Each excitation light 71 may enter each irradiation spot 72 from the X direction, for example.
  • the excitation lights 71A to 71E may be continuous light or pulsed light having a certain long time width.
  • the sample 53 scatters the excitation light 71 and excites the sample 53 and the fluorescent marker attached to the sample 53.
  • the forward scattered light 73 in FIG. 1 is the forward scattered light of the excitation light 71A.
  • the scattered light also includes a component that goes away from the straight line connecting the excitation light source 32 and the irradiation spot 72 and a component that goes from the irradiation spot 72 to the excitation light source 32.
  • the component directed in a predetermined direction (Z direction in the drawing, hereinafter referred to as lateral) deviating from the straight line connecting the excitation light source 32 and the irradiation spot 72 is referred to as lateral scattered light.
  • the component directed from the irradiation spot 72 to the excitation light source 32 is referred to as backscattered light.
  • the excited sample 53, the fluorescence marker, or the like when the excited sample 53, the fluorescence marker, or the like is deexcited, fluorescence having a wavelength peculiar to the atoms or molecules constituting them is emitted.
  • This fluorescence is radiated from the sample 53, the fluorescence marker, etc. in all directions, but in the configuration shown in FIG. 1, the components radiated from the irradiation spot 72 in a specific direction (sideways) are analyzed.
  • the target fluorescence is 74.
  • the light emitted laterally from the irradiation spot 72 includes laterally scattered light and the like in addition to fluorescence, but in the following, for simplification of the description, light components and the like other than the fluorescence 74 are appropriately omitted. ..
  • the forward scattered light 73 that passed through the irradiation spot 72A located at the uppermost stream in the sample flow 52 was converted into parallel light by the condenser lens 35, and then arranged on the opposite side of the excitation light source 32A with the irradiation spot 72A in between. It is incident on the photodiode 33.
  • the fluorescence 74A emitted from the sample 53 of the irradiation spot 72A is converted into parallel light by the condenser lens 36A and then incident on the spectroscopic optical system 37A.
  • the fluorescence 74B to 74E emitted from the irradiation spots 72B to 72E are converted into parallel light by the condenser lenses 36B to 36E, and then incident on the spectroscopic optical systems 37B to 37E.
  • Each of the condenser lenses 35 and 36 may include other optical elements such as a filter that absorbs a specific wavelength and a prism that changes the traveling direction of light.
  • the condenser lens 36 may include an optical filter that reduces the laterally scattered light among the incident side scattered light and the fluorescence 74.
  • the spectroscopic optical system 37 includes, for example, one or more optical elements 371 such as a prism and a diffraction grating, and emits incident fluorescence 74 toward different angles for each wavelength.
  • the light is dispersed into the dispersed light 75.
  • the direction in which the fluorescence 74 spreads by the spectroscopic optical system 37 that is, the spectral direction
  • the arrangement direction of the irradiation spots 72A to 72E, and the inclination of the image sensor 34 for example, the inclination of the column direction V1 of the image sensor 34 with respect to the spectral direction. It will be described in detail later.
  • the dispersed light 75 emitted from each spectroscopic optical system 37 is incident on different regions on the light receiving surface of the image sensor 34. Therefore, the image sensor 34 is incident with dispersed light 75 having different wavelengths depending on the position in the direction H1.
  • the forward scattered light 73 is light having a large amount of light
  • the side scattered light and fluorescence 74A are weak pulsed light generated when the sample 53 passes through the irradiation spot 72A. Therefore, in the present embodiment, by observing the forward scattered light 73 with the photodiode 33, the timing at which the sample 53 passes through the irradiation spot 72A located at the uppermost stream in the sample stream 52 is detected.
  • the photodiode 33 constantly observes the forward scattered light 73 emitted from the irradiation spot 72A. In that state, when the amount of light detected due to the passage of the sample 53 temporarily decreases, the photodiode 33 generates a trigger signal indicating the passage of the sample 53 at the timing when the amount of light decreases, and this trigger signal is imaged. Input to the sensor 34.
  • the image sensor 34 is, for example, an image sensor composed of a plurality of pixels in which an AD (Analog to Digital) converter is built in the same semiconductor chip.
  • Each pixel has a photoelectric conversion element and an amplification element, and the photoelectrically converted charge is accumulated inside the pixel.
  • a signal reflecting the amount of accumulated charge (pixel signal, also referred to as pixel value) is amplified and output via an amplification element at a desired timing, and is converted into a digital signal by a built-in AD converter.
  • the forward scattered light 73 is used to generate the trigger signal
  • the present invention is not limited to this, and for example, side scattered light, backscattered light, fluorescence 74, and the like are used. May generate a trigger signal.
  • FIG. 3 is a block diagram showing a schematic configuration example of a CMOS (Complementary Metal-Oxide-Semiconductor) type image sensor according to the first embodiment.
  • FIG. 4 is a diagram showing an example of the connection relationship between the pixel and the detection circuit in FIG.
  • the CMOS type image sensor is a solid-state image sensor (also referred to as a solid-state image sensor) created by applying or partially using a CMOS process.
  • the image sensor 34 according to the first embodiment may be a so-called back-illuminated type in which the incident surface is a surface (hereinafter referred to as a back surface) opposite to the element forming surface of the semiconductor substrate, or the front surface side. It may be a so-called surface irradiation type.
  • the size, number, number of rows, number of columns, etc. illustrated in the following description are merely examples and can be changed in various ways.
  • the image sensor 34 includes a pixel array unit 91, a connection unit 92, a detection circuit 93, a pixel drive circuit 94, a logic circuit 95, and an output circuit 96.
  • the pixel array unit 91 includes, for example, a plurality of pixels 101 arranged in a matrix (also referred to as a two-dimensional matrix). As will be described later, each pixel 101 includes a photoelectric conversion element (corresponding to a photodiode 111 described later) that photoelectrically converts incident light to generate an electric charge. On the light receiving surface of the pixel array unit 91, the light incident surfaces of the photoelectric conversion elements in each pixel 101 are arranged in a matrix.
  • the pixel drive circuit 94 drives each pixel 101 to cause each pixel 101 to generate a pixel signal.
  • the logic circuit 95 controls the drive timing of the detection circuit 93 and the output circuit 96 in addition to the pixel drive circuit 94. Further, the logic circuit 95 and / or the pixel drive circuit 94 also functions as a control unit that controls the reading of the pixel signal to the pixel array unit 91 in accordance with the passage of the irradiation spot 72 by the sample 53.
  • the image sensor 34 may further include an amplifier circuit such as an operational amplifier that amplifies the pixel signal before AD conversion.
  • an amplifier circuit such as an operational amplifier that amplifies the pixel signal before AD conversion.
  • the fluorescence 74A to 74E emitted laterally from each of the irradiation spots 72A to 72E are collimated by the condenser lenses 36A to 36E, and then converted into dispersed light 75A to 75E by the spectroscopic optical systems 37A to 37E. Then, the dispersed lights 75A to 75E are incident on different regions on the light receiving surface where the pixels 101 of the pixel array unit 91 are arranged.
  • a wavelength component determined by the position of the row direction H1 in the pixel array unit 91 of the dispersed light 75 is input to each pixel 101 of the pixel array unit 91.
  • the positional relationship illustrated in FIG. 2 in the image sensor 34 of FIG. 2, light having a shorter wavelength is incident on the pixel 101 located on the right side, and light having a longer wavelength is incident on the pixel 101 located on the left side.
  • Each pixel 101 generates a pixel signal according to the amount of illuminated light.
  • the generated pixel signal is read by, for example, a detection circuit 93 provided one-to-one with respect to the pixel 101.
  • Each detection circuit 93 includes an AD converter and converts the read analog pixel signal into a digital pixel signal.
  • the plurality of detection circuits 93 may be arranged in two groups (detection circuit arrays 93A and 93B) with respect to the pixel array unit 91, for example.
  • One detection circuit array 93A is arranged on the upper side in the column direction of the pixel array unit 91, for example, and the other detection circuit array 93B is arranged on the lower side in the column direction of the pixel array unit 91, for example.
  • a plurality of detection circuits 93 are arranged in one row or a plurality of rows along the row direction.
  • each detection circuit 93 of the detection circuit array 93A arranged on the upper side in the column direction of the pixel array unit 91 is connected to the upper half of the pixels 101 in the column direction of the pixel array unit 91 and is arranged on the lower side in the column direction.
  • Each detection circuit 93 of the detection circuit array 93B may be connected to the lower half of the pixel 101 in the column direction of the pixel array unit 91.
  • the present invention is not limited to this, for example, each detection circuit 93 of the detection circuit array 93A is connected to the even-numbered row of pixels 101, and each detection circuit 93 of the detection circuit array 93B is connected to the odd-numbered row of pixels 101. It may be deformed.
  • a plurality of detection circuits 93 may be arranged in one row or a plurality of rows on one side (for example, the upper side in the column direction) of the pixel array unit 91.
  • the image sensor 34 employs a so-called global shutter method in which reading operations for all pixels 101 are executed in parallel at the same time.
  • each pixel 101 of the pixel array unit 91 is connected to the detection circuit 93 on a one-to-one basis.
  • 100 detection circuits 93 need to be arranged for one pixel row.
  • each of the 100 pixels 101 arranged in one column is represented by one row.
  • 50 detection circuits 93 may be arranged in each of the detection circuit arrays 93A and 93B.
  • the pixel signal read from each pixel 101 by the detection circuit 93 is converted into a digital pixel signal by the AD converter of each detection circuit 93. Then, the digital pixel signal is output to the external signal acquisition system 1 via the output circuit 96 as image data for one frame (corresponding to fluorescence spectrum information; hereinafter referred to as spectrum image).
  • the signal acquisition system (also referred to as a signal acquisition unit) 1 evaluates, for example, the spectrum image input from the image sensor 34, and inputs the evaluation value as a result to the analysis system 2. For example, the signal acquisition system 1 divides the spectrum image into a plurality of regions (corresponding to channel regions described later) arranged along the row direction H1 and adds up the pixel values of the pixels included in each region. Calculate the evaluation value of the spectral image (corresponding to the multi-channel analysis described later). Further, the signal acquisition system 1 adds up the pixel values of the pixels included in each of one or more regions (corresponding to a virtual filter described later) set in advance or arbitrarily set by the user to obtain a spectrum image. It may have a so-called virtual filter function for calculating an evaluation value.
  • Such a signal acquisition system 1 may be a DSP (Digital Signal Processor), an FPGA (Field-Programmable Gate Array), or the like provided in or outside the same chip as the image sensor 34, or may be a bus to the image sensor 34. It may be an information processing device such as a personal computer connected via a network or a network.
  • DSP Digital Signal Processor
  • FPGA Field-Programmable Gate Array
  • the analysis system 2 executes various analysis processes based on the evaluation value input from the signal acquisition system 1. For example, the analysis system 2 acquires information such as the type, size, and structure of the sample 53 based on the evaluation value. Further, the analysis system 2 may display the spectrum image and the evaluation value to the user and provide a UI (user interface) as an analysis tool.
  • Such an analysis system 2 may be, for example, an information processing device such as a personal computer connected to the signal acquisition system 1 via a bus or a network.
  • FIG. 5 is a circuit diagram showing an example of a pixel circuit configuration according to the first embodiment.
  • the pixel 101 includes a photodiode (also referred to as a photoelectric conversion element) 111, a storage node 112, a transfer transistor 113, an amplification transistor 114, a selection transistor 115, a reset transistor 116, and floating diffusion. It has a layer (Floating Diffusion: FD) 117.
  • FD Floating Diffusion
  • the transfer transistor 113, the amplification transistor 114, the selection transistor 115, and the reset transistor 116 for example, an N-type MOS (Metal-Oxide-Semiconductor) transistor may be used.
  • a circuit composed of a photodiode 111, a transfer transistor 113, an amplification transistor 114, a selection transistor 115, a reset transistor 116, and a floating diffusion layer 117 is also referred to as a pixel circuit. Further, the configuration of the pixel circuit excluding the photodiode 111 is also referred to as a readout circuit.
  • the photodiode 111 converts photons into electric charges by photoelectric conversion.
  • the photodiode 111 is connected to the transfer transistor 113 via the storage node 112.
  • the photodiode 111 generates a pair of electrons and holes from photons incident on the semiconductor substrate on which it is formed, and stores the electrons in the storage node 112 corresponding to the cathode.
  • the photodiode 111 may be of a so-called embedded type in which the storage node 112 is completely depleted when the charge is discharged by resetting.
  • the transfer transistor 113 transfers the electric charge from the storage node 112 to the floating diffusion layer 117 under the control of the row drive circuit 121.
  • the floating diffusion layer 117 accumulates electric charges from the transfer transistor 113, and generates a voltage having a voltage value corresponding to the amount of the accumulated electric charges. This voltage is applied to the gate of the amplification transistor 114.
  • the reset transistor 116 is initialized by discharging the electric charges accumulated in the storage node 112 and the floating diffusion layer 117 to the power supply 118.
  • the gate of the reset transistor 116 is connected to the row drive circuit 121, the drain is connected to the power supply 118, and the source is connected to the stray diffusion layer 117.
  • the row drive circuit 121 controls the reset transistor 116 and the transfer transistor 113 to be on, pulls out the electrons stored in the storage node 112 to the power supply 118, and brings the pixels 101 into a dark state before storage, that is, The light is initialized to the non-incident state. Further, the row drive circuit 121 pulls out the electric charge accumulated in the floating diffusion layer 117 to the power supply 118 by controlling only the reset transistor 116 to be in the ON state, and initializes the electric charge amount.
  • the amplification transistor 114 amplifies the voltage applied to the gate and causes it to appear in the drain.
  • the gate of the amplification transistor 114 is connected to the floating diffusion layer 117, the source is connected to the power supply, and the drain is connected to the source of the selection transistor 115.
  • the gate of the selection transistor 115 is connected to the row drive circuit 121, and the drain is connected to the vertical signal line 124.
  • the selection transistor 115 causes the voltage appearing in the drain of the amplification transistor 114 to appear in the vertical signal line 124 according to the control from the row drive circuit 121.
  • the amplification transistor 114 and the constant current circuit 122 form a source follower circuit.
  • the amplification transistor 114 amplifies the voltage of the stray diffusion layer 117 with a gain of a little less than 1, and causes the voltage to appear on the vertical signal line 124 via the selection transistor 115.
  • the voltage appearing on the vertical signal line 124 is read out as a pixel signal by the detection circuit 93 including the AD conversion circuit.
  • the pixel 101 having the above configuration accumulates the electric charge generated by the photoelectric conversion internally during the period from the resetting of the photodiode 111 to the reading of the pixel signal. Then, when the pixel signal is read out, the pixel signal corresponding to the accumulated charge appears on the vertical signal line 124.
  • the row drive circuit 121 in FIG. 5 is, for example, a part of the pixel drive circuit 94 in FIG. 3, and the detection circuit 93 and the constant current circuit 122 are, for example, a part of the detection circuit 93 in FIG. Good.
  • FIG. 6 is a timing chart showing an operation example of the pixel according to the first embodiment.
  • the row drive circuit 121 sets the transfer signal TRG applied to the gate of the transfer transistor 113 and the reset signal RST applied to the gate of the reset transistor 116 to high at the timing immediately before the accumulation period. Raise to the level. As a result, both the transfer transistor 113 and the reset transistor 116 are turned on, and the electric charge accumulated in the storage node 112 between the photodiode 111 and the transfer transistor 113 is discharged to the power supply 118.
  • this control will be referred to as "PD reset”.
  • the reset transistor 116 when the reset transistor 116 is turned on, the floating diffusion layer 117 is also connected to the power supply 118 via the reset transistor 116, so that the electric charge accumulated in the floating diffusion layer 117 is also discharged to the power supply 118.
  • the row drive circuit 121 controls the transfer transistor 113 to the off state by lowering the transfer signal TRG to a low level. By this control, the storage node 112 is suspended and a new storage period is started.
  • the row drive circuit 121 controls the reset transistor 116 to the off state by lowering the reset signal RST to a low level after turning off the transfer transistor 113.
  • the potential of the floating diffusion layer 117 is slightly lowered from the reference potential due to the coupling with the gate of the reset transistor 116, and becomes a floating state. This control is hereinafter referred to as "FD reset".
  • the voltage of the floating diffusion layer 117 in the reset state is amplified by the amplification transistor 114 and appears on the vertical signal line 124.
  • the detection circuit 93 reads signals (hereinafter referred to as sampling) one or more times (for example, four times) during one exposure period.
  • sampling signals
  • the potential appearing on the vertical signal line 124 is read out by the detection circuit 93 as a signal in a state where the pixel 101 is reset (hereinafter referred to as a reset signal), and is converted into a digital signal.
  • This multiple sampling of the reset signal is treated as the first readout in the CDS (correlated double sampling) described later.
  • the row drive circuit 121 raises the transfer signal TRG to a high level immediately before the end of the storage period, and controls the transfer transistor 113 to the ON state.
  • the electric charge accumulated in the storage node 112 is transferred to the floating diffusion layer 117.
  • the potential of the floating diffusion layer 117 is sufficiently deep, all the electrons accumulated in the storage node 112 are transferred to the floating diffusion layer 117, and the storage node 112 becomes completely depleted.
  • the row drive circuit 121 shuts down the transfer signal TRG and controls the transfer transistor 113 to the off state.
  • the potential of the floating diffusion layer 117 is lowered by the amount of accumulated charges (that is, the potential becomes shallower) as compared with that before driving the transfer transistor 113.
  • the detection circuit 93 samples the potential appearing on the vertical signal line 124 at least once (for example, four times) in the same manner as sampling the reset signal. In these samplings, the potential appearing in the vertical signal line 124 is read out by the detection circuit 93 as an accumulated signal of the voltage value corresponding to the amount of incident photons, and converted into a digital signal. Multiple sampling of this stored signal is treated as a second readout in the CDS.
  • the detection circuit 93 compares the sampled accumulated signal and the reset signal, and determines the amount of incident photons based on the comparison result.
  • the detection circuit 93 adds all the plurality of stored signals and calculates the average value of them as needed. Similarly, the detection circuit 93 adds all the plurality of reset signals and calculates an average value as needed.
  • the detection circuit 93 executes the CDS for calculating the difference between the added value (or average value) of the accumulated signal and the added value (or average value) of the reset signal.
  • the kTC noise generated at the time of FD reset is canceled, and a net pixel signal based on the amount of light of the fluorescence 74 is obtained.
  • the storage period of each pixel (pixel circuit) 101 is a period between the above-mentioned PD reset operation and the storage signal reading operation. To be precise, after the transfer signal TRG is turned off at the time of PD reset, the charge is transferred. This is the period until the transfer signal TRG is turned off again. When a photon is incident on the photodiode 111 and an electric charge is generated during this storage period, it becomes a difference between the reset signal and the storage signal, and is acquired by the detection circuit 93 as the above-mentioned net pixel signal.
  • the noise mixed in with the AD conversion process can be canceled out.
  • FIG. 7 is a timing chart showing an operation example of the pixel according to the modified example.
  • the PD reset at the timing T41 carried out in FIG. 6 is omitted, and the charge discharge of the photodiode 111 accompanying the charge transfer at the timing T42 at the time of reading is also used.
  • the transfer signal TRG is raised to a high level, and the charge of the storage node 112 is transferred to the floating diffusion layer 117, and this charge transfer is also used as a PD reset.
  • the next storage period of the photodiode 111 starts immediately after the charge transfer is completed, that is, when the transfer signal TRG is turned off. As a result, the dead period during which the photons incident on the pixel 101 are not detected becomes almost zero.
  • the shortest cycle of unit accumulation can be defined by the total time required for sampling the reset signal and sampling the accumulated signal.
  • FIG. 8 is a timing chart for explaining an operation example of pulsed light detection in the flow cytometer according to the first embodiment. Note that FIG. 8 illustrates an operation when the sample 53 passes through the irradiation spot 72A located at the uppermost stream, in other words, an operation when detecting the pulsed light of the fluorescence 74A emitted from the irradiation spot 72A.
  • the timing at which the passage of the irradiation spot 72A by the sample 53 is detected based on the forward scattered light 73 (for example, By executing the same operation at predetermined time intervals from the timing T61) when the event signal S0 is generated, it is possible to detect each of the pulsed lights.
  • the predetermined time interval may be the same as the time interval in which the same sample 53 passes through the irradiation spots 72A to 72E.
  • the light intensity of the fluorescence 74A is drawn as a pulse waveform PL1 as shown in the uppermost stage of FIG. 8 as the sample 53 passes through the irradiation spot 72A, and each pulse waveform PL1 passes through one sample 53. It becomes the corresponding waveform.
  • the light intensity of the forward scattered light 73 detected by the photodiode 33 shown in the middle part of FIG. 8 is a pulse having a timing similar to that of the pulse waveform PL1 in the upper part of FIG. 8 and having a large intensity attenuation factor. It is drawn like a waveform PL2.
  • the photodiode 33 acquires the passing timing of the sample 53 from the comparison between the intensity of the pulse waveform PL2 of the forward scattered light and the threshold value Th1, and generates the event signal S0.
  • the read access sequence is a global shutter with almost no dead period according to FIG. 7.
  • the start and end of the accumulation period are performed simultaneously for all pixels.
  • the charge is transferred within the pixel in synchronization with the event signal S0 indicating the passage of the sample 53, and the accumulation period ends all the pixels at once.
  • the reading of the pixel signal is started. Further, at this time, the next storage period starts all at once for all pixels.
  • the image sensor 34 ends the accumulation period in the pixel, starts reading the pixel signal, and further starts the next accumulation period.
  • the timing T62 is the timing after a certain delay time t1 in consideration of the flow velocity and the magnitude of the sample 53 has elapsed from the timing T61 when the event signal S0 is acquired.
  • the pixel signal is read out with the acquisition of the difference between the AD conversion value of the stored signal and the AD conversion value of the reset signal that has already been acquired, thereby deriving a net pixel signal that offsets kTC noise and the like. Will be done. Further, following this, the reset signal is acquired and the AD conversion is performed in the next cycle, and when it is completed, the end of the next storage period and the reading can be performed. That is, the shortest cycle of event processing is equal to the shortest cycle of the unit storage period, which is determined by the time required for each acquisition and AD conversion of the storage signal and the reset signal.
  • the total value of the net pixel signals output from the plurality of pixels 101 in each event processing corresponds to the total amount of photons received by the photodetector for each pulse.
  • the intensity of fluorescence 74A for each sample 53 is derived. That is, in the present embodiment, the incident light is integrated in the pixel 101 by accumulating the charge obtained by photoelectric conversion in the pixel 101 inside. Therefore, the AD conversion for the output from each pixel 101 may be performed once, and it is not necessary to perform the AD conversion a plurality of times in time series.
  • the minimum interval of events that can be handled is about 10 ⁇ s, and a maximum of 100,000 events can be handled per second.
  • the event that is, the passage of the sample 53 through the irradiation spot 72A, can be evaluated.
  • the output circuit 96 In addition to the time for reading the pixel signal from each pixel 101, it also takes time to output the read pixel signal via the output circuit 96.
  • a register is provided in the detection circuit 93 to temporarily store the pixel signal. By doing so, it is possible to execute the AD conversion of the reset signal and the stored signal and the output of the pixel signal in parallel by the pipeline method, so that the time required for the output of the pixel signal limits the storage cycle. There is no.
  • the event signal S0 indicating that the sample 53 has passed is generated at the timing T61 of the down edge where the pulse waveform PL2 is below the threshold value L1, but the pulse waveform PL2 is not limited to this. It may be generated at the timing T63 of the up edge that exceeds the threshold value L1.
  • the event signal S0 is generated at the up-wedge timing T63, it becomes easy to deal with fluctuations in the size and flow rate of the sample 53.
  • the event signal S0 may be generated by using the detection result of the lateral scattered light or the fluorescence 74A (dispersed light 75A). In that case, the light for event detection and the light for sample analysis may be separated and the light for event detection may be incident on the photodiode 33.
  • a light receiving element for generating an event may be separately mounted in the image sensor 34.
  • the delay time t1 from the event signal S0 is fixed here, the intensity attenuation of the pulse waveform PL2 due to the forward scattered light 73 is generally larger as the sample 53 is larger. Therefore, the intensity of the pulse waveform PL2 may be evaluated, for example, at the beginning of the pulse, and the length of the delay time t1 may be set accordingly. In this case, a longer delay time t1 may be set for the large sample 53.
  • FIG. 9 is for explaining an example of a region where fluorescence (dispersed light) is incident in the image sensor according to the first embodiment. It is a figure.
  • the condensing lenses 36A to 36E and the spectroscopic optical systems 37A to 37E which are in a conjugate relationship, are configured so that the dispersed light 75A to 75E is incident on the image sensor 34 while keeping the arrangement of the irradiation spots 72A to 72E.
  • the fluorescent spots 76A to 76E formed by the dispersed lights 75A to 75E incident on the pixel array portion 91 of the image sensor 34 are arranged in the Y direction.
  • each fluorescent spot 76 the spread of light of the same wavelength (beam cross section) has a shape with the X direction as the longitudinal direction.
  • each fluorescence 74 is a set of light having discrete wavelengths, and the spot SP formed by the light having each wavelength has an elliptical shape with the X direction as the long axis.
  • the fluorescence spot 76 formed by each fluorescence 74 has a shape spread in a band shape. Become.
  • the spectral direction D1 of the fluorescence 74 by the spectroscopic optical system 37 is set to the X direction, the spots SP of light having different wavelengths overlap, and the wavelength resolution is lowered. As a result, accurate sample analysis becomes difficult.
  • the fluorescence spots 76 of different fluorescence 74 will overlap, and accurate sample analysis will be difficult. Further, suppressing the spread of the dispersed light 75 so that the fluorescence spots 76 of the different fluorescence 74 do not overlap each other means a decrease in wavelength resolution, which leads to difficulty in accurate sample analysis.
  • the spectral direction D1 of the spectroscopic optical system 37 is set so as to be tilted by an angle ⁇ with respect to the Y direction, which is the arrangement direction of the irradiation spots 72A to 72E.
  • the spreading direction of each fluorescent spot 76 and the outer edge of the pixel array unit 91 become parallel. Therefore, the required area of the pixel array unit 91 can be further reduced. Further, in this configuration, since the spreading direction of each fluorescent spot 76 and the row direction H1 of the pixel array unit 91 match or substantially match, the evaluation executed by the signal acquisition system 1 for each spectral image of the fluorescent spot 76 is performed. It is also possible to suppress the complexity of processing and the like.
  • the angle ⁇ of the column direction V1 of the pixel array unit 91 with respect to the Y direction, which is the arrangement direction of the irradiation spots 72, in other words, the angle ⁇ of the spectral direction D1 and the row direction H1 with respect to the X direction (for example, the horizontal direction) is, for example. , It may be larger than 0 ° and smaller than 90 °, and preferably in the range of 30 ° or more and 60 or less.
  • the angle ⁇ when the angle ⁇ is 45 °, it is read from the pixels 101 diagonally arranged in the region on the pixel array portion 91 in which each fluorescent spot 76 is formed, as in the pixel 101 shown by hatching in FIG.
  • the same channel may be a set of pixels 101 in which light having the same wavelength or a wavelength considered to be the same is incident in each of the regions 91A to 91E.
  • the angle ⁇ is 30 ° or 60 °, it is mainly the same in the region on the pixel array portion 91 in which each fluorescent spot 76 is formed, as in the pixel 101 shown by hatching in FIG. 11 or FIG. It is possible to calculate the intensity of light of the same wavelength by adding the pixel values read from the pixel 101 on which the light of the wavelength is incident as the pixel values of the same channel.
  • the spectral direction D1 of the spectroscopic optical system 37 is set to be tilted by an angle ⁇ with respect to the Y direction, which is the arrangement direction of the irradiation spots 72A to 72E.
  • is the arrangement direction of the irradiation spots 72A to 72E.
  • the image sensor 34 is tilted so that the row direction H1 of the pixel array unit 91 coincides with or substantially coincides with the spectral direction D1.
  • the spreading direction of each fluorescent spot 76 and the outer edge of the pixel array unit 91 are parallel to each other, so that the required area of the pixel array unit 91 can be reduced.
  • evaluation processing or the like executed by the signal acquisition system 1 for each spectral image of the fluorescent spot 76 may be performed. It is possible to suppress the complexity.
  • a so-called global shutter method in which reading is started for all pixels 101 of the pixel array unit 91 all at once is illustrated, but the present invention is not limited to this.
  • the rolling shutter method when one detection circuit 93 is connected to a plurality of pixels 101 in the same row, it is possible to adopt a so-called rolling shutter method in which pixel signals are read out in order from the pixels 101 connected to the same detection circuit 93. Is.
  • the rolling shutter method is adopted, the drain of the amplification transistor 114 and the vertical signal line 124 in the pixel circuit of each pixel 101 are connected to the drain of the amplification transistor 114 and the vertical signal line 124 according to the selection signal from the row drive circuit 121.
  • a selection transistor is added to control the connection of.
  • the image sensor 34 when the image sensor 34 is tilted so that the row direction H1 of the pixel array unit 91 coincides with or substantially coincides with the spectral direction D1, the spread of each fluorescent spot 76 And the outer edge of the pixel array portion 91 are parallel to each other.
  • the pixel array unit 91 is divided into a plurality of (five in this example) regions 91A to 91E in which fluorescent spots 76A to 76E are formed one by one. , The spectrum image of the fluorescence 74 is read out for each of the regions 91A to 91E.
  • FIG. 14 is a diagram showing an example of the connection relationship between the pixel and the detection circuit according to the second embodiment.
  • one detection circuit 93 is connected to one pixel 101 in each of the regions 91A to 91E. Therefore, as illustrated in FIG. 13, when the pixel array unit 91 is divided into five regions 91A to 91E arranged in the column direction V1, one detection circuit 93 has five pixels 101 that are not adjacent to each other in the same row. Connected to.
  • the global shutter method can be read in each of the regions 91A to 91E, and the rolling shutter is in units of the regions 91A to 91E. It is possible to read like a method. As a result, it is possible to read the spectrum image from one of the areas 9A1 to 91E by the global shutter method by one reading operation for the pixel array unit 91.
  • FIG. 15 is a circuit diagram showing an example of a pixel circuit configuration according to the second embodiment.
  • each pixel 101 according to the second embodiment includes a configuration in which the selection transistor 115 is added to the same configuration as the circuit configuration described with reference to FIG. 5 in the first embodiment. ..
  • the gate of the selection transistor 115 is connected to the selection drive line to which the selection signal SEL is supplied from the row drive circuit 121, the source is connected to the drain of the amplification transistor 114, and the drain is connected to the vertical signal line 124. ..
  • one pixel 101 in each region 91A to 91E is connected to one vertical signal line 124.
  • FIG. 16 is a timing chart showing an operation example of the pixel according to the second embodiment.
  • the transfer signal TRG supplied to is set to a high level.
  • the storage node 112 corresponding to the cathode of the photodiode 111 is connected to the power supply 118 via the transfer transistor 113 and the reset transistor 116, and the electric charge stored in the storage node 112 is released (reset).
  • this period (t11 to t12) is referred to as PD (Photodiode) reset.
  • the floating diffusion layer 117 is also connected to the power supply 118 via the transfer transistor 113 and the reset transistor 116, the electric charge accumulated in the floating diffusion layer 117 is also released (reset).
  • the reset signal RST and the transfer signal TRG drop to a low level at timing t12. Therefore, the period from this timing t12 to the next timing t15 when the transfer signal TRG rises is the storage period in which the electric charge generated by the photodiode 111 is stored in the storage node 112.
  • the selection signal SEL applied from the row drive circuit 121 to the gate of the selection transistor 125 is set to a high level.
  • the pixel signal can be read from the pixel 101 whose selection signal SEL is set to a high level.
  • the reset signal RST is set to a high level during the period from timing t13 to t14.
  • the floating diffusion layer 117 is connected to the power supply 118 via the transfer transistor 113 and the reset transistor 116, and the electric charge accumulated in the floating diffusion layer 117 is released (reset).
  • this period (t13 to t14) is referred to as FD reset.
  • the vertical signal line 124 has a voltage (hereinafter referred to as a reset level) in a state in which the floating diffusion layer 117 is reset, that is, a voltage applied to the gate of the amplification transistor 114 is reset. Appear. Therefore, in this operation, for the purpose of noise removal by CDS (Correlated Double Sampling), the reset level pixels are driven by driving the detection circuit 93 during the period from timing t14 to t15 when the reset level appears on the vertical signal line 124. Read the signal and convert it to a digital value. In the following description, reading a pixel signal at the reset level is referred to as reset sampling.
  • the transfer signal TRG supplied from the row drive circuit 121 to the gate of the transfer transistor 113 is set to a high level.
  • the charges accumulated in the storage node 112 during the storage period are transferred to the floating diffusion layer 117.
  • a voltage hereinafter, referred to as a signal level
  • the transfer of the electric charge accumulated in the storage node 112 to the floating diffusion layer 117 is referred to as data transfer.
  • the pixel signal of the signal level is read out and converted into a digital value by driving the detection circuit 93 during the period from timing t16 to t17. Then, by executing the CDS process of subtracting the pixel signal of the reset level converted into the digital value from the pixel signal of the signal level converted into the digital value, the signal component corresponding to the exposure amount to the photodiode 111 is obtained.
  • the pixel signal is output from the detection circuit 93. In the following description, reading a pixel signal at the signal level is referred to as data sampling.
  • FIG. 17 is a timing chart showing a schematic operation example of the multi-spot type flow cytometer according to the second embodiment.
  • the detection signal (hereinafter referred to as PD detection signal) of the forward scattered light 73 or the like output from the photodiode 33 or the like is shown in the uppermost stage, and the PD detection signal is shown in the next stage.
  • An example of the trigger signal generated based on the above is shown, and further, an example of fluorescence 7474A to 74E (actually, the dispersed light 75A to 75E) incident on each region 91A to 91E of the pixel array unit 91 is shown. It is shown, and driving examples for each of the image sensor 34 or its regions 91A to 91D are shown at the bottom.
  • the irradiation spots 72A to 72E are arranged at equal intervals along the sample flow 52, and the time interval until the sample 53 passing through the irradiation spot on the upstream side passes through the next irradiation spot is 16 ⁇ s. Illustrate the case.
  • the reset signal S1 (the above-mentioned reset signal RST and transfer signal) for resetting the photodiode 111 of the image sensor 34 during the period when the forward scattered light 73 is not detected by the photodiode 33.
  • TRG the reset signal S1 (the above-mentioned reset signal RST and transfer signal) for resetting the photodiode 111 of the image sensor 34 during the period when the forward scattered light 73 is not detected by the photodiode 33.
  • TRG the reset signal S1 (the above-mentioned reset signal RST and transfer signal) for resetting the photodiode 111 of the image sensor 34 during the period when the forward scattered light 73 is not detected by the photodiode 33.
  • the photodiode 33 turns on at the timing when the PD detection signal P0 falls below a predetermined threshold Vt. An edge trigger signal D0 is generated, and this on-edge trigger signal D0 is input to the image sensor 34.
  • the image sensor 34 to which the on-edge trigger signal D0 is input stops supplying the periodic reset signal S1 to the pixel 101, and in this state, the PD detection signal P0 detected by the photodiode 33 has a predetermined threshold value Vt. Wait to exceed. When the supply of the reset signal S1 immediately before the stop is completed, the charge accumulation period is started in each pixel 101 of the image sensor 34.
  • the threshold value Vt may be the same as or different from the threshold value Vt for generating the on-edge trigger signal D0.
  • the photodiode 33 After that, the photodiode 33 generates an off-edge trigger signal U0 at the timing when the PD detection signal P0 exceeds a predetermined threshold value Vt, and inputs this off-edge trigger signal U0 to the image sensor 34.
  • the sample 53 passes through the irradiation spot 72A, the light amount of the forward scattered light 73 decreases, and at the same time, the sample 53 radiates into the region 91A of the image sensor 34 from the sample 53 passing through the irradiation spot 72A.
  • the dispersed light 75A of the fluorescent 74A is incident as a pulse P1.
  • the on-edge trigger signal D0 prior to the off-edge trigger signal U0 is input, the supply of the reset signal S1 is stopped and the accumulation period is started. .. Therefore, when the sample 53 passes through the irradiation spot 72A, a charge corresponding to the amount of light of the pulse P1 is accumulated in the storage node 112 of each pixel 101 in the region 91A.
  • the image sensor 34 When the off-edge trigger signal U0 is input, the image sensor 34 first sequentially executes FD reset S11, reset sampling S12, data transfer S13, and data sampling S14 for each pixel 101 in the area 91A. To do. As a result, a spectral image of the dispersed light 75A (that is, fluorescence 74A) is read out from the region 91A.
  • a series of operations from FD reset to data sampling will be referred to as a read operation.
  • dispersed light 75B to 75E is incident on the regions 91B to 91E of the image sensor 34 as pulses P2 to P5 in accordance with the passage of the irradiation spots 72B to 72E by the sample 53.
  • the time interval during which the same sample 53 passes through the irradiation spots 72A to 72E is an interval of 16 ⁇ s.
  • the image sensor 34 executes a read operation (FD reset S21 to data sampling S24) for the pixel 101 in the area 91B 16 ⁇ s after the timing when the FD reset S11 is started for the pixel 101 in the area 91A.
  • the image sensor 34 executes a read operation (FD reset S31 to data sampling S34) for the pixel 101 in the region 91C 16 ⁇ s after the timing when the FD reset S21 is started for the pixel 101 in the region 91B, and further. 16 ⁇ s after the timing at which the FD reset S31 is started for the pixel 101 in the region 91C, a read operation (FD reset S41 to data sampling S44) for the pixel 101 in the region 91D is executed, and further, the pixel 101 in the region 91D is subjected to a read operation. After 16 ⁇ s from the timing at which the FD reset S41 is started, the read operation (FD reset S51 to data sampling S54) for the pixel 101 in the region 91E is executed.
  • a read operation FD reset S31 to data sampling S34
  • spectral images of fluorescence 74B to 74E are read out from each of the regions 91A to 91E at 16 ⁇ s intervals.
  • the image sensor 34 restarts the supply of the reset signal S1 and periodically. Perform a PD reset.
  • the image sensor 34 executes the same operation as described above to execute the operation in the region 91A.
  • Spectral images of fluorescence 74A to 74E are read out from each of ⁇ 91E at 16 ⁇ s intervals.
  • the pixel array unit 91 is divided into a plurality of (five in this example) regions 91A to 91E in which fluorescent spots 76A to 76E are formed one by one. Since it is possible to read each area 91A to 91E by the global shutter method, it is possible to reduce the frame data read by one reading operation. As a result, it is possible to significantly reduce the reading time once and the processing time for the subsequent frame data.
  • the present technology can also have the following configurations.
  • a spectroscopic optical system that disperses fluorescence emitted from a sample passing through each of a plurality of irradiation spots arranged in the first direction in the second direction included in a plane parallel to the first direction.
  • An image sensor that receives the fluorescence dispersed by the spectroscopic optical system and generates image data, With The second direction is an optical measuring device that is tilted with respect to a plane perpendicular to the first direction.
  • the optical measuring device according to (1) wherein the inclination of the second direction with respect to the surface perpendicular to the first direction is 30 ° or more and 60 ° or less.
  • the image sensor includes a plurality of pixels arranged in a matrix.
  • the optical measuring device according to (1) or (2), wherein the row direction in the array of the plurality of pixels is inclined with respect to the plane perpendicular to the first direction.
  • the direction in which the row direction is tilted with respect to the surface perpendicular to the first direction is the same as the direction in which the second direction is tilted with respect to the surface perpendicular to the first direction.
  • Optical measuring device (5) The optical measuring apparatus according to (4), wherein the inclination in the row direction with respect to the surface perpendicular to the first direction is the same as the inclination in the second direction with respect to the surface perpendicular to the first direction.
  • the optical measuring apparatus according to any one of (1) to (5), further comprising a plurality of excitation light sources that irradiate each of the irradiation spots with excitation light having a predetermined wavelength.
  • a flow path for moving the sample along the first direction is further provided.
  • the optical measuring device according to (6), wherein the plurality of irradiation spots are set on the flow path.
  • the image sensor is A pixel array unit having a plurality of pixels arranged in a matrix and A plurality of detection circuits connected one-to-one with the plurality of pixels, The optical measuring device according to (1) above.
  • the image sensor is A pixel array unit having a plurality of pixels arranged in a matrix and A plurality of detection circuits connected to two or more pixels in the same row in the plurality of pixels, With The pixel array unit is divided into a plurality of areas arranged in the column direction of the matrix.
  • the optical measuring device according to (8), wherein each of the detection circuits is connected to one pixel in each of the plurality of regions.
  • a spectroscopic optical system that disperses fluorescence emitted from a sample passing through each of a plurality of irradiation spots arranged in the first direction in the second direction.
  • An image sensor that receives the fluorescence dispersed by the spectroscopic optical system and generates image data
  • a signal acquisition unit that evaluates the image data generated by the image sensor
  • An analysis unit that analyzes the sample based on the evaluation result of the image data by the signal acquisition unit,
  • the second direction is an optical measurement system that is tilted with respect to a plane perpendicular to the first direction.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Dispersion Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

大型化を抑制しつつマルチカラー分析を可能にする。実施形態に係る光学測定装置は、第1方向に配列する複数の照射スポットそれぞれを通過する検体から放射した蛍光を前記第1方向に平行な面に含まれる第2方向に分光する分光光学系(37A~37E)と、前記分光光学系で分光された前記蛍光を受光して画像データを生成するイメージセンサ(34)とを備え、前記第2方向は、前記第1方向と垂直な面に対して傾いている。

Description

光学測定装置及び光学測定システム
 本開示は、光学測定装置及び光学測定システムに関する。
 従来、細胞、微生物、リポソームなどの生体関連微小粒子の蛋白質を分析するための方法として、フローサイトメトリー(Flow Cytometry)が存在する。このフローサイトメトリーに用いられる装置は、フローサイトメータ(Flow Cytometer:FCM)と称される。フローサイトメータでは、流路内を1列になって流れる微小粒子に特定波長のレーザ光を照射して、各微小粒子から発せられた蛍光や前方散乱光や側方散乱光などの光を光検出器で電気信号に変換して数値化し、その結果に対して統計解析を行うことにより、個々の微小粒子の種類、大きさ、構造などが判定される。
 また、近年では、検体が流れる流路上の異なる位置に異なる波長の励起光を照射して、それぞれの励起光に起因して放射された蛍光を観察する、いわゆるマルチスポット型のフローサイトメータが開発されてきている。
 さらに、近年では、光電子像倍管の代わりに、イメージセンサを用いたフローサイトメータも開発されてきている。
 さらにまた、近年では、基礎医学及び臨床分野の要請に基づき、複数の蛍光色素を使用したマルチカラー分析が可能なフローサイトメータが開発されている。マルチカラー分析が可能なフローサイトメータとしては、マルチチャネル型やスペクトル型のフローサイトメータが存在する。マルチチャネル型やスペクトル型のフローサイトメータでは、検体から特定の方向に出射した蛍光が分光光学系により分光されて、アレイ状の光検出器に入射される。
特開2017-58361号公報
 ここで、一般的なマルチスポット型のフローサイトメータでは、重力方向に沿った直線状の流路における複数の箇所に、それぞれ励起光が照射される照射スポットが等間隔で設定される。そのため、例えば、照射スポットの配列方向と分光光学系の分光方向とが一致していると、各照射スポットから放射された蛍光の分散光が重なり合って光検出器に入射することとなり、正確な検体分析が困難になるという課題が発生する。
 一方で、各照射スポットから放射する蛍光は、検体の流れる方向、すなわち照射スポットの配列方向と直交する方向に広がったビーム断面を有している。そのため、照射スポットの配列方向に対して分光光学系の分光方向を直交する方向に設定すると、ビーム断面の長軸方向に沿って蛍光を分光することなる。その結果、波長分解能が低下して、正確な検体分析が困難になるという課題が発生する。
 そこで本開示では、より正確な検体分析を可能にする光学測定装置及び光学測定システムを提案する。
 上記の課題を解決するために、本開示に係る一形態の光学測定装置は、第1方向に配列する複数のスポットそれぞれを通過する検体から放射した蛍光を前記第1方向に平行な面に含まれる第2方向に分光する分光光学系と、前記分光光学系で分光された前記蛍光を受光して画像データを生成するイメージセンサとを備え、前記第2方向は、前記第1方向と垂直な面に対して傾いている。
第1の実施形態に係る光学測定装置又は光学測定システムとしてのフローサイトメータの概略構成例を示す模式図である。 図1における分光光学系の一例を示す模式図である。 第1の実施形態に係るイメージセンサの概略構成例を示すブロック図である。 図3における画素と検出回路との接続関係の一例を示す図である。 第1の実施形態に係る画素の回路構成例を示す回路図である。 第1の実施形態に係る画素の動作例を示すタイミングチャートである。 第1の実施形態の変形例に係る画素の動作例を示すタイミングチャートである。 第1の実施形態に係るフローサイトメータにおけるパルス光検出のオペレーション例を説明するためのタイミングチャートである。 第1の実施形態に係るイメージセンサにおける蛍光(分散光)が入射する領域の例を説明するための図である。 第1の実施形態において照射スポットの配列方向に対する画素アレイ部の行方向の傾きを45°とした場合に同一チャネルを構成する画素を説明するための図である。 第1の実施形態において照射スポットの配列方向に対する画素アレイ部の行方向の傾きを30°とした場合に同一チャネルを構成する画素を説明するための図である。 第1の実施形態において照射スポットの配列方向に対する画素アレイ部の行方向の傾きを60°とした場合に同一チャネルを構成する画素を説明するための図である。 第2の実施形態に係る画素アレイ部のエリア分割の例を示す図である。 第2の実施形態に係る画素と検出回路との接続関係の一例を示す図である。 第2の実施形態に係る画素の回路構成例を示す回路図である。 第2の実施形態に係る画素の動作例を示すタイミングチャートである。 第2の実施形態に係るマルチスポット型のフローサイトメータの概略動作例を示すタイミングチャートである。
 以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 また、以下に示す項目順序に従って本開示を説明する。
  1.第1の実施形態
   1.1 フローサイトメータの概略構成例
   1.2 イメージセンサの構成例
   1.3 画素の回路構成例
   1.4 画素の動作例
    1.4.1 画素動作の変形例
   1.5 パルス光検出のオペレーション例
   1.6 照射スポットの配列方向と分光方向とイメージセンサの傾きとの関係例
   1.7 作用・効果
  2.第2の実施形態
   2.1 画素と検出回路との接続関係例
   2.2 画素の回路構成例
   2.3 画素の基本動作例
   2.4 フローサイトメータの概略動作例
   2.5 作用・効果
 1.第1の実施形態
 まず、第1の実施形態に係る光学測定装置及び光学測定システムについて、図面を参照して詳細に説明する。なお、フローサイトメータは、検査後の検体を分取する機能を備えるか否かで、セルアナライザ型とセルソータ型とに分類されるが、本実施形態に係るフローサイトメータは、そのどちらであってもよい。また、フローサイトメータをセルソータ型とした場合、検体を照射スポットへ供給方式は、検体を含む水などの液体が所定の流路に向けてドロップレット状に吐出されるドロップレット方式であってもよいし、検体を収容するチップを所定の流路に沿って流すチップ方式であってもよい。チップ方式の場合、チップ内に検体を収容するチャンバとは別のチャンバが設けられ、このチャンバ内に検体を分取する構成であってもよい。
 1.1 フローサイトメータの概略構成例
 図1は、第1の実施形態に係る光学測定装置又は光学測定システムとしてのフローサイトメータの概略構成例を示す模式図である。図2は、図1における分光光学系の一例を示す模式図である。なお、本説明では、マルチスポット型であってドロップレット方式のスペクトラム型フローサイトメータを例に挙げる。
 図1に示すように、フローサイトメータ11は、フローセル31と、複数(本例では5つ)の励起光源32A~32Eと、フォトダイオード33と、複数の分光光学系37A~37Eと、個体撮像素子(以下、イメージセンサという)34と、集光レンズ35及び36A~36Eとを備える。
 以下の説明において、励起光源32A~32Eを区別しない場合、その符号を‘32’とする。同様に、分光光学系37A~37Eを区別しない場合、その符号を‘37’とし、集光レンズ36A~36Eを区別しない場合、その符号を‘36’とする。また、後述において登場する励起光71A~71E、照射スポット72A~72E、蛍光74A~74E、分散光75A~75E、蛍光スポット76A~76Eについても同様に、励起光71A~71Eを区別しない場合その符号を‘71’とし、照射スポット72A~72Eを区別しない場合その符号を‘72’とし、蛍光74A~74Eを区別しない場合その符号を‘74’とし、分散光75A~75Eを区別しない場合その符号を‘75’とし、蛍光スポット76A~76Eを区別しない場合その符号を‘76’とする。
 図中の上方には、円筒状のフローセル31が設けられており、その中であって、かつ、ほぼ同軸上にサンプルチューブ51が内挿されている。フローセル31は、検体53が流れる流路であって、サンプル流52が図中の下方向(図面中、Y方向)に流れ下る構造とされ、さらに、サンプルチューブ51から細胞等からなる検体53が放出される。検体53は、フローセル31内のサンプル流52に乗って、一列に並んで流れ下る。
 本説明において、Y方向は、例えば、重力方向(垂直方向ともいう)であってよい。その場合、フローセル31から流出したサンプル流52は、重力に従ってY方向へ落下することとなる。また、図面中、Y方向とX方向とは、垂直面において直交していてもよい。一方、Y方向とX方向、及び、Y方向とZ方向とは、水平面においてそれぞれ直交していてもよい。
 励起光源32A~32Eそれぞれは、例えば、単一波長の励起光71A~71Eを出射するレーザ光源であり、励起光71A~71Eを検体53が通過する流路上に例えば等間隔に設定された照射スポット72A~72Eに照射する。各励起光71は、例えば、X方向から各照射スポット72に入射してもよい。各励起光71A~71Eは、連続光であってもよいし、ある程度長い時間幅を持つパルス光であってもよい。
 励起光71が照射スポット72で検体53に照射されると、検体53による励起光71の散乱や、検体53やこれに付された蛍光マーカ等の励起が発生する。
 本説明において、検体53で散乱した散乱光のうち、照射スポット72を挟んで励起光源32と反対方向へ向かう成分を前方散乱光という。図1における前方散乱光73は、励起光71Aの前方散乱光である。
 散乱光には、励起光源32と照射スポット72とを結ぶ直線から外れた方向へ向かう成分や、照射スポット72から励起光源32へ向かう成分も含まれる。本説明では、散乱光のうち、励起光源32と照射スポット72とを結ぶ直線から外れた所定の方向(図面中、Z方向。以下、側方という)へ向かう成分を側方散乱光と称し、照射スポット72から励起光源32へ向かう成分を後方散乱光と称する。
 また、励起した検体53や蛍光マーカ等からは、これらが脱励起する際に、それらを構成する原子や分子に固有の波長を持つ蛍光が放射される。この蛍光は、検体53や蛍光マーカ等から全方位へ向けて放射されるが、図1に示す構成では、それらのうち、照射スポット72から特定の方向(側方)へ放射された成分を分析対象の蛍光74としている。なお、照射スポット72から側方へ出射する光には、蛍光の他に側方散乱光等も含まれるが、以下では、説明の簡略化のため、蛍光74以外の光成分等を適宜省略する。
 サンプル流52において最上流に位置する照射スポット72Aを通過した前方散乱光73は、集光レンズ35により平行光に変換された後、照射スポット72Aを挟んで励起光源32Aと反対側に配置されたフォトダイオード33に入射する。一方、照射スポット72Aの検体53から放射された蛍光74Aは、集光レンズ36Aにより平行光に変換された後、分光光学系37Aに入射する。
 同様に、各照射スポット72B~72Eから放射された各蛍光74B~74Eは、集光レンズ36B~36Eによりそれぞれ平行光に変換された後、分光光学系37B~37Eに入射する。
 集光レンズ35及び36それぞれは、特定の波長を吸収するフィルタや光の進行方向を変更するプリズムなどの他の光学素子を含んでもよい。例えば、集光レンズ36は、入射した側方散乱光及び蛍光74のうち、側方散乱光を低減する光学フィルタを含んでもよい。
 分光光学系37は、図2に示すように、例えば、プリズムや回折格子などの1つ以上の光学素子371を含んで構成され、入射した蛍光74を、波長ごとに異なる角度へ向けて出射する分散光75に分光する。分光光学系37によって蛍光74が広がる方向、すなわち分光方向と、照射スポット72A~72Eの配列方向と、イメージセンサ34の傾き(例えば、分光方向に対するイメージセンサ34の列方向V1の傾き)については、後述において詳細に説明する。
 各分光光学系37から出射した分散光75は、イメージセンサ34の受光面における異なる領域に入射する。したがって、イメージセンサ34には、方向H1における位置に応じて異なる波長の分散光75が入射する。
 ここで、前方散乱光73が光量の大きい光である一方、側方散乱光や蛍光74Aは、検体53が照射スポット72Aを通過した際に発生する微弱なパルス光である。そこで本実施形態では、前方散乱光73をフォトダイオード33で観察することで、検体53がサンプル流52における最上流に位置する照射スポット72Aを通過したタイミングを検出する。
 例えば、フォトダイオード33は、常時、照射スポット72Aから出射した前方散乱光73を観察している。その状態で、検体53の通過により検出されている光量が一時的に減少すると、フォトダイオード33は、光量が減少したタイミングで、検体53の通過を示すトリガ信号を生成し、このトリガ信号をイメージセンサ34に入力する。
 イメージセンサ34は、例えば、同一の半導体チップ内にAD(Analog to Digital)変換器を内蔵した複数画素よりなる撮像素子である。各画素は光電変換素子と増幅素子とを有し、光電変換された電荷は画素内部に蓄積される。蓄積電荷量を反映した信号(画素信号。画素値ともいう)は、所望のタイミングで増幅素子を介して増幅されて出力され、内蔵されたAD変換器によってデジタル信号に変換される。
 なお、本説明では、トリガ信号の生成に前方散乱光73を使用した場合を例示したが、これに限定されるものではなく、例えば、側方散乱光や後方散乱光や蛍光74等を使用してトリガ信号を生成してもよい。
 1.2 イメージセンサの構成例
 次に、第1の実施形態に係るイメージセンサ34について説明する。図3は、第1の実施形態に係るCMOS(Complementary Metal-Oxide-Semiconductor)型のイメージセンサの概略構成例を示すブロック図である。図4は、図3における画素と検出回路との接続関係の一例を示す図である。
 ここで、CMOS型のイメージセンサとは、CMOSプロセスを応用して、または、部分的に使用して作成された固体撮像素子(固体撮像装置ともいう)である。第1の実施形態に係るイメージセンサ34は、入射面が半導体基板における素子形成面とは反対側の面(以下、裏面という)側である、いわゆる裏面照射型であってもよいし、表面側である、いわゆる表面照射型であってもよい。なお、以下の説明において例示するサイズ、個数、行数、列数等は、単なる例であって、種々変更することが可能である。
 図3に示すように、イメージセンサ34は、画素アレイ部91と、接続部92と、検出回路93と、画素駆動回路94と、ロジック回路95と、出力回路96とを備える。
 画素アレイ部91は、例えば、行列状(2次元マトリクス状ともいう)に配列した複数の画素101を備える。後述するように、各画素101は、入射光を光電変換して電荷を発生させる光電変換素子(後述するフォトダイオード111に相当)を備えている。画素アレイ部91における受光面には、各画素101における光電変換素子の光入射面が行列状に配列している。
 画素駆動回路94は、各画素101を駆動することで、各画素101に画素信号を生成させる。ロジック回路95は、画素駆動回路94の他、検出回路93や出力回路96の駆動タイミングを制御する。また、ロジック回路95及び/又は画素駆動回路94は、検体53による照射スポット72の通過に合わせて画素アレイ部91に対する画素信号の読出しを制御する制御部としても機能する。
 なお、イメージセンサ34は、AD変換前の画素信号を増幅するオペアンプ等の増幅回路をさらに備えていてもよい。
 照射スポット72A~72Eそれぞれから側方へ出射した蛍光74A~74Eは、それぞれ、集光レンズ36A~36Eでコリメートされた後、分光光学系37A~37Eにより分散光75A~75Eに変換される。そして、分散光75A~75Eは、画素アレイ部91の画素101が配列する受光面における異なる領域に入射する。
 画素アレイ部91の各画素101には、それぞれの分散光75のうち、画素アレイ部91における行方向H1の位置によって定まる波長成分が入力される。例えば、図2に例示する位置関係では、図2のイメージセンサ34中、右側に位置する画素101ほど波長の短い光が入射し、左側に位置する画素101ほど波長の長い光が入射する。
 各画素101は、照射された光量に応じた画素信号を生成する。生成された画素信号は、例えば、画素101に対して一対一に設けられた検出回路93により読み出される。各検出回路93は、AD変換器を含み、読み出したアナログの画素信号をデジタルの画素信号に変換する。
 ここで、図4に示すように、複数の検出回路93は、例えば、画素アレイ部91に対して2つのグループ(検出回路アレイ93A及び93B)に分かれて配列されてもよい。一方の検出回路アレイ93Aは、例えば、画素アレイ部91の列方向上側に配置され、他方の検出回路アレイ93Bは、例えば、画素アレイ部91の列方向下側に配置される。各検出回路アレイ93A及び93Bでは、複数の検出回路93が行方向に沿って1行又は複数行に配列している。
 例えば、画素アレイ部91の列方向上側に配置された検出回路アレイ93Aの各検出回路93は、画素アレイ部91の列方向における上半分の画素101に接続され、列方向下側に配置された検出回路アレイ93Bの各検出回路93は、画素アレイ部91の列方向における下半分の画素101に接続されてもよい。ただし、これに限定されず、例えば、検出回路アレイ93Aの各検出回路93を偶数列の画素101に接続し、検出回路アレイ93Bの各検出回路93を奇数列の画素101に接続するなど、種々変形成されてよい。また、例えば、複数の検出回路93が画素アレイ部91の一方の側(例えば、列方向上側)に1行又は複数行に配列していてもよい。
 本実施形態において、イメージセンサ34には、全ての画素101に対する読出し動作を同時並列に実行する、いわゆるグローバルシャッタ方式が採用されているものとする。グローバルシャッタ方式では、画素アレイ部91の各画素101は、検出回路93と一対一に接続されている。その場合、画素アレイ部91において例えば列方向V1に100個の画素101が配列しているとすると、画素1列に対しては、100個の検出回路93を配置する必要がある。
 そこで、上述したように、検出回路93を2つの検出回路アレイ93A及び93Bにグループ分けし、それぞれの行数を1行とした場合、1列に並ぶ100個の画素101に対しては、各検出回路アレイ93A及び93Bにおいて50個ずつの検出回路93を配置すればよい。
 説明を図3に戻す。各画素101から検出回路93によって読み出された画素信号は、各検出回路93のAD変換器によってデジタルの画素信号に変換される。そして、デジタルの画素信号は、1フレーム分の画像データ(蛍光スペクトラム情報に相当。以下、スペクトル画像という)として、出力回路96を介して外部の信号取得システム1へ出力される。
 信号取得システム(信号取得部ともいう)1は、例えば、イメージセンサ34から入力されたスペクトル画像を評価し、その結果としての評価値を解析システム2に入力する。例えば、信号取得システム1は、スペクトル画像を行方向H1に沿って配列する複数の領域(後述するチャネル領域に相当)に分割し、それぞれの領域に含まれる画素の画素値を合算することで、スペクトル画像の評価値を算出する(後述するマルチチャネル分析に相当)。また、信号取得システム1は、予め設定された、もしくは、ユーザが任意に設定した、1つ以上の領域(後述するバーチャルフィルタに相当)それぞれに含まれる画素の画素値を合算してスペクトル画像の評価値を算出する、いわゆるバーチャルフィルタ機能を備えていてもよい。
 このような信号取得システム1は、イメージセンサ34と同一チップ内又は外部に設けられたDSP(Digital Signal Processor)やFPGA(Field-Programmable Gate Array)等であってもよいし、イメージセンサ34にバスやネットワークを介して接続されたパーソナルコンピュータなどの情報処理装置等であってもよい。
 解析システム(解析部ともいう)2は、信号取得システム1から入力された評価値に基づいて、種々の解析処理を実行する。例えば、解析システム2は、評価値に基づいて検体53の種類、大きさ、構造などの情報を取得する。また、解析システム2は、スペクトル画像や評価値をユーザに表示するとともに、解析ツールとなるUI(ユーザインタフェース)を提供してもよい。このような解析システム2は、例えば、信号取得システム1にバスやネットワークを介して接続されたパーソナルコンピュータなどの情報処理装置等であってよい。
 1.3 画素の回路構成例
 次に、図5を参照して、第1の実施形態に係る画素101の回路構成例について説明する。図5は、第1の実施形態に係る画素の回路構成例を示す回路図である。
 図5に示すように、画素101は、フォトダイオード(光電変換素子ともいう)111と、蓄積ノード112と、転送トランジスタ113と、増幅トランジスタ114と、選択トランジスタ115と、リセットトランジスタ116と、浮遊拡散層(Floating Diffusion:FD)117とを備える。転送トランジスタ113、増幅トランジスタ114、選択トランジスタ115及びリセットトランジスタ116には、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジスタが用いられてよい。
 フォトダイオード111、転送トランジスタ113、増幅トランジスタ114、選択トランジスタ115、リセットトランジスタ116及び浮遊拡散層117で構成された回路は、画素回路とも称される。また、画素回路のうち、フォトダイオード111を除く構成は、読出し回路とも称される。
 フォトダイオード111は、光子を光電変換により電荷に変換する。このフォトダイオード111は、蓄積ノード112を介して転送トランジスタ113に接続される。フォトダイオード111は、自身が形成された半導体基板に入射した光子から、電子とホールのペアを発生させ、そのうちの電子をカソードに相当する蓄積ノード112に蓄積する。フォトダイオード111は、リセットによる電荷排出時に、蓄積ノード112が完全空乏化される、いわゆる埋込み型であってもよい。
 転送トランジスタ113は、行駆動回路121の制御に従って、蓄積ノード112から浮遊拡散層117へ電荷を転送する。浮遊拡散層117は、転送トランジスタ113からの電荷を蓄積して、その蓄積した電荷の量に応じた電圧値の電圧を生成する。この電圧は、増幅トランジスタ114のゲートに印加される。
 リセットトランジスタ116は、蓄積ノード112や浮遊拡散層117に蓄積された電荷を電源118に放出して初期化する。このリセットトランジスタ116のゲートは行駆動回路121に接続され、ドレインは電源118に接続され、ソースは浮遊拡散層117に接続される。
 行駆動回路121は、例えば、リセットトランジスタ116と転送トランジスタ113とをオン状態に制御することで、蓄積ノード112に蓄積された電子を電源118に引き抜き、画素101を蓄積前の暗状態、すなわち、光が未入射の状態に初期化する。また、行駆動回路121は、リセットトランジスタ116のみをオン状態に制御することで、浮遊拡散層117に蓄積された電荷を電源118に引き抜き、その電荷量を初期化する。
 増幅トランジスタ114は、ゲートに印加された電圧を増幅してドレインに出現させる。この増幅トランジスタ114のゲートは浮遊拡散層117に接続され、ソースは電源に接続され、ドレインは選択トランジスタ115のソースに接続される。
 選択トランジスタ115のゲートは、行駆動回路121に接続され、ドレインは、垂直信号線124に接続される。選択トランジスタ115は、行駆動回路121からの制御に従って、増幅トランジスタ114のドレインに出現した電圧を垂直信号線124に出現させる。
 増幅トランジスタ114と定電流回路122とは、ソースフォロワ回路を形成している。増幅トランジスタ114は、浮遊拡散層117の電圧を1弱のゲインで増幅して、選択トランジスタ115を介して垂直信号線124に出現させる。垂直信号線124に出現した電圧は、画素信号として、AD変換回路を含む検出回路93により読み出される。
 以上のような構成を備える画素101は、フォトダイオード111のリセットが実行されてから画素信号の読出しが実行されるまでの期間、光電変換により発生した電荷を内部に蓄積する。そして、画素信号の読出しが実行された際には、蓄積電荷に応じた画素信号を垂直信号線124に出現させる。
 なお、図5における行駆動回路121は、例えば、図3における画素駆動回路94の一部であり、検出回路93及び定電流回路122は、例えば、図3における検出回路93の一部であってよい。
 1.4 画素の動作例
 次に、図6のタイミングチャートを参照して、第1の実施形態に係る画素101の動作例について説明する。図6は、第1の実施形態に係る画素の動作例を示すタイミングチャートである。
 図6に示すように、タイミングT41において、行駆動回路121は、蓄積期間直前となるタイミングで、転送トランジスタ113のゲートに印加する転送信号TRG及びリセットトランジスタ116のゲートに印加するリセット信号RSTをハイレベルに立ち上げる。これにより、転送トランジスタ113及びリセットトランジスタ116がともにオン状態となり、フォトダイオード111と転送トランジスタ113との間の蓄積ノード112に蓄積された電荷が電源118へ排出される。以降において、この制御を「PDリセット」と称する。
 また、リセットトランジスタ116をオン状態とした場合、浮遊拡散層117もリセットトランジスタ116を介して電源118に接続されるため、浮遊拡散層117に蓄積された電荷も電源118へ排出される。
 その後、行駆動回路121は、転送信号TRGをローレベルに立ち下げることで、転送トランジスタ113をオフ状態に制御する。この制御により、蓄積ノード112は浮遊状態となって、新たな蓄積期間が開始される。
 また、行駆動回路121は、転送トランジスタ113をオフ状態とした後に、リセット信号RSTをローレベルに立ち下げることで、リセットトランジスタ116をオフ状態に制御する。この制御により、浮遊拡散層117の電位は、リセットトランジスタ116のゲートとのカップリングを受けて基準電位から幾分低下し、浮遊状態となる。この制御を、以下、「FDリセット」と称する。
 このように、本動作例では、PDリセットとFDリセットとが連続して実施されている。
 FDリセットを実行後、垂直信号線124には、リセット状態にある浮遊拡散層117の電圧が増幅トランジスタ114により増幅されて出現する。
 検出回路93は、1回の露光期間中に、1回以上(例えば、4回)の信号読出し(以下、サンプリングという)を行う。これらのサンプリングでは、垂直信号線124に出現した電位が、画素101をリセットした状態の信号(以下、リセット信号という)として、検出回路93により読み出されて、デジタル信号に変換される。このリセット信号の多重サンプリングは、後述するCDS(相関二重サンプリング)における1回目の読出しとして扱われる。
 そして、タイミングT42において、行駆動回路121は、蓄積期間が終了する直前に、転送信号TRGをハイレベルに立ち上げて、転送トランジスタ113をオン状態に制御する。この制御により、蓄積ノード112に蓄積された電荷が浮遊拡散層117へ転送される。この際に、浮遊拡散層117のポテンシャルが十分に深ければ、蓄積ノード112に蓄積されていた電子は、浮遊拡散層117に全て転送され、蓄積ノード112が完全空乏状態になる。
 また、タイミングT42から所定のパルス期間が経過したとき、行駆動回路121は、転送信号TRGを立ち下げて、転送トランジスタ113をオフ状態に制御する。この制御により、浮遊拡散層117の電位は、転送トランジスタ113の駆動前に比較して、蓄積電荷量の分だけ下降する(すなわち、ポテンシャルが浅くなる)。
 このように、蓄積ノード112に蓄積された電荷を浮遊拡散層117へ転送すると、垂直信号線124には、この下降分の電圧が増幅トランジスタ114により増幅されて出現する。
 検出回路93は、リセット信号のサンプリングと同様に、垂直信号線124に出現した電位を、1回以上(例えば、4回)サンプリングする。これらのサンプリングでは、垂直信号線124に出現した電位が、入射光子量に応じた電圧値の蓄積信号として、検出回路93により読み出されて、デジタル信号に変換される。この蓄積信号の多重サンプリングは、CDSにおける2回目の読出しとして扱われる。
 検出回路93は、サンプリングした蓄積信号及びリセット信号を比較して、その比較結果に基づいて入射光子量を判定する。
 例えば、検出回路93は、複数の蓄積信号を全て加算し、必要に応じて、それらの平均値を算出する。同様に、検出回路93は、複数のリセット信号を全て加算し、必要に応じて平均値を算出する。
 そして、検出回路93は、蓄積信号の加算値(または平均値)と、リセット信号の加算値(または平均値)との差分を算出するCDSを実行する。このCDSにより、FDリセットの際に生じるkTCノイズが相殺されて、蛍光74の光量に基づいた正味の画素信号が求められる。
 各画素(画素回路)101の蓄積期間は、上述のPDリセット動作と蓄積信号の読出し動作との間の期間であり、正確には、PDリセット時に転送信号TRGを立ち下げてから、電荷転送時に再度、転送信号TRGを立ち下げるまでの期間である。この蓄積期間にフォトダイオード111に光子が入射し電荷が発生すると、それはリセット信号及び蓄積信号の間の差分となり、上記の正味の画素信号として検出回路93により取得される。
 なお、検出回路93において、AD変換器を通したデジタル値同士でCDSを実施することで、AD変換過程に伴って混入したノイズも相殺することができる。
 1.4.1 画素動作の変形例
 ところで、図6を用いて動作例では、単位蓄積が完了して次の蓄積が開始される間、特に、蓄積信号のサンプリング期間において、蓄積が実施されない不感期間が発生している。そこで、特に、高速なサンプリングに対応するため、このような不感期間を除去するようにしてもよい。
 図7は、変形例に係る画素の動作例を示すタイミングチャートである。図7の例では、図6で実施したタイミングT41におけるPDリセットが省略されており、読出し時となるタイミングT42における電荷転送に伴うフォトダイオード111の電荷排出がこれと兼用されている。
 すなわち、図6のタイミングT41に対応するタイミングT51においては、FDリセットのみが実施され、つづいて、リセットレベルのサンプリングが実施される。この時、転送信号TRGはローレベルのままであり、フォトダイオード111の蓄積電荷はそのまま保持される。
 そして、タイミングT52において、転送信号TRGがハイレベルに立ち上げられて、蓄積ノード112の電荷が浮遊拡散層117へ転送されるが、この電荷転送をPDリセットと兼用させる。その場合、フォトダイオード111の次の蓄積期間は、電荷転送が完了した直後、すなわち、転送信号TRGを立ち下げたときからスタートすることになる。これによって画素101に入射した光子が検知されない不感期間はほぼゼロになる。
 なお、図6及び図7のいずれの動作例においても、単位蓄積の最短サイクルはリセット信号のサンプリングと蓄積信号のサンプリングとの合計所要時間によって規定され得る。
 1.5 パルス光検出のオペレーション例
 次に、図8のタイミングチャートを参照して、第1の実施形態に係るフローサイトメータ11におけるパルス光検出のオペレーション例について説明する。図8は、第1の実施形態に係るフローサイトメータにおけるパルス光検出のオペレーション例を説明するためのタイミングチャートである。なお、図8には、検体53が最上流に位置する照射スポット72Aを通過した際のオペレーション、言い換えれば、照射スポット72Aから放射された蛍光74Aのパルス光を検出する際のオペレーションが例示されているが、下流側の照射スポット72B~72Eそれぞれから放射された蛍光74B~74Eに対しては、例えば、前方散乱光73に基づいて検体53による照射スポット72Aの通過が検出されたタイミング(例えば、イベント信号S0が発生されたタイミングT61)から所定時間間隔で同様のオペレーションを実行することで、そのパルス光をそれぞれ検出することが可能である。なお、所定時間間隔は、同一の検体53が各照射スポット72A~72Eを通過する時間間隔と同等であってよい。
 蛍光74Aの光強度は、照射スポット72Aに対する検体53の通過に伴って、図8の最上段で示されるようなパルス波形PL1として描かれ、各パルス波形PL1が検体53の1個分の通過に対応する波形となる。この時、図8の中段で示される、フォトダイオード33で検出された前方散乱光73の光強度は、図8の上段におけるパルス波形PL1とタイミングが類似して、かつ、強度減衰率の大きいパルス波形PL2のように描かれる。
 タイミングT61において、フォトダイオード33は、前方散乱光のパルス波形PL2の強度と、閾値Th1との比較から、検体53の通過タイミングを取得して、イベント信号S0を発生する。
 ここで、イメージセンサ34における蓄積期間の終了と信号読出しとは、検体53が通過したことを示すイベント信号S0に同期して実施される。読出しのアクセスシーケンスは、図7に準じ、不感期間の殆ど無いグローバルシャッタとする。
 すなわち、蓄積期間の開始と終了とは、全画素同時一斉に行われる。この時、検体53の通過を示すイベント信号S0に同期して電荷の画素内転送が行われ、蓄積期間が全画素一斉に終了する。そして、画素信号の読出しが開始される。さらに、このとき次の蓄積期間が全画素一斉にスタートする。
 タイミングT62において、イメージセンサ34は、画素における蓄積期間を終了し、画素信号の読出しを開始し、さらには、次の蓄積期間を開始する。ここで、タイミングT62は、イベント信号S0を取得したタイミングT61から、検体53の流速と大きさを考慮した一定の遅延時間t1が経過した後のタイミングである。
 画素信号の読出しでは、蓄積信号のAD変換値と、既に取得済みであるリセット信号とのAD変換値との差分取得を伴って実施され、これによってkTCノイズ等を相殺した正味の画素信号が導出される。さらに、これに引き続いて、次のサイクルにおけるリセット信号の取得とAD変換が実施され、それが完了した時点で次の蓄積期間の終了と読出しとが可能になる。すなわち、イベント処理の最短サイクルは単位蓄積期間の最短サイクルに等しく、それは蓄積信号とリセット信号との各々の取得とAD変換に要する時間により決定される。
 各イベント処理において複数の画素101から出力される正味の画素信号の総計値は、パルスごとに光検出器が受光した光子の総量に相当する。これによって検体53ごとの蛍光74Aの強度が導出される。すなわち、本実施形態においては、画素101が光電変換された電荷を内部に蓄積することにより、画素101内で入射光の積分が行われている。したがって、各画素101からの出力に対するAD変換は一回でよく、時系列的に複数回のAD変換を実施する必要はない。
 例えば、リセット信号のAD変換と蓄積信号のAD変換とそのCDSとに、合計で10μsの時間を要したとすると、対応できるイベントの最小間隔は約10μsとなり、1秒間に最大100,000個のイベント、すなわち、照射スポット72Aへの検体53の通過を評価できることになる。
 なお、各画素101から画素信号を読み出す時間以外に、読み出した画素信号を出力回路96を介して出力する時間も要することとなるが、例えば、検出回路93にレジスタを設けて画素信号を一時保存しておくことで、リセット信号及び蓄積信号のAD変換と画素信号の出力とをパイプライン方式で並列に実行することが可能であるため、画素信号の出力に要する時間が蓄積サイクルを制約することはない。
 また、この例では、検体53が通過したことを示すイベント信号S0を、パルス波形PL2が閾値L1を下回ったダウンエッジのタイミングT61で発生させているが、これに限定されず、パルス波形PL2が閾値L1を上回ったアップエッジのタイミングT63で発生させてもよい。イベント信号S0をアップウエッジのタイミングT63で発生させる場合、検体53の大きさや流量の変動に対応することが容易となる。
 また、イベント信号S0は、側方散乱光や蛍光74A(分散光75A)の検出結果を用いて発生させてもよい。その場合、イベント検出用の光と検体解析用の光とを分光し、イベント検出用の光をフォトダイオード33に入射させてもよい。
 さらに、フォトダイオード33に代えて、イメージセンサ34内にイベント発生用の受光素子を別途搭載してもよい。
 さらにまた、イベント信号S0からの遅延時間t1をここでは一定としたが、一般に前方散乱光73によるパルス波形PL2の強度減衰量は検体53が大きいほど大きい。従って、パルス波形PL2の強度を、例えば、パルスの冒頭部分で評価し、それに応じて遅延時間t1の長さを設定してもよい。この場合、大きな検体53に対しては長めの遅延時間t1が設定されてよい。
 1.6 照射スポットの配列方向と分光方向とイメージセンサの傾きとの関係例
 図9は、第1の実施形態に係るイメージセンサにおける蛍光(分散光)が入射する領域の例を説明するための図である。
 共役関係にある集光レンズ36A~36Eそれぞれと分光光学系37A~37Eそれぞれとが、照射スポット72A~72Eの配列そのままに、分散光75A~75Eをイメージセンサ34に入射するように構成すれば、イメージセンサ34の画素アレイ部91に入射した分散光75A~75Eそれぞれが形成する蛍光スポット76A~76Eは、図9に示すように、Y方向に配列することとなる。
 ここで、各蛍光スポット76において、同一波長の光の広がり(ビーム断面)は、X方向を長手方向とした形状となる。なお、図9では、明確化のため、各蛍光74が離散的な波長の光の集合であって、それぞれの波長の光が形成するスポットSPがX方向を長軸とした楕円形であるように示されているが、実際には、例えば、各蛍光74を連続且つ広範囲な周波数スペクトルを持つ白色光であるとした場合、各蛍光74が形成する蛍光スポット76は、帯状に広がった形状となる。
 そのため、例えば、分光光学系37による蛍光74の分光方向D1をX方向とすると、波長の異なる光のスポットSPが重なり合い、波長分解能が低下してしまう。その結果、正確な検体分析が困難になる。
 一方で、例えば、分光光学系37による蛍光74の分光方向D1をY方向とすると、異なる蛍光74の蛍光スポット76が重なり合うこととなり、正確な検体分析が困難になる。また、異なる蛍光74の蛍光スポット76が重なり合わないように分散光75の広がりを抑えることは、波長分解能の低下を意味するため、正確な検体分析を困難にすることに繋がる。
 そこで本実施形態では、図9に示すように、分光光学系37の分光方向D1を、照射スポット72A~72Eの配列方向であるY方向に対して角度θ傾くように設定する。これにより、異なる蛍光74の蛍光スポット76が重なり合うことを回避しつつ、波長分解能を高めることが可能となるため、より正確な検体分析が可能になる。
 その際、X方向に対する画素アレイ部91の行方向H1の傾きの方向を、X方向に対する分光方向D1の傾きの方向と同じ方向とすることで、各蛍光スポット76の広がりの方向と画素アレイ部91の外縁とを平行に近づけることが可能となるため、必要となる画素アレイ部91の面積を縮小することが可能になる。
 さらに、画素アレイ部91の行方向H1が分光方向D1と一致又は略一致するように、イメージセンサ34を傾けることで、各蛍光スポット76の広がりの方向と画素アレイ部91の外縁とが平行となるため、必要となる画素アレイ部91の面積をより縮小することが可能になる。また、この構成では、各蛍光スポット76の広がりの方向と画素アレイ部91の行方向H1とが一致又は略一致するため、蛍光スポット76それぞれのスペクトル画像に対して信号取得システム1が実行する評価処理等の複雑化を抑制することも可能となる。
 なお、照射スポット72の配列方向であるY方向に対する画素アレイ部91の列方向V1の角度θ、言い換えれば、X方向(例えば、水平方向)に対する分光方向D1及び行方向H1の角度θは、例えば、0°より大きく90°より小さくてよく、好ましくは、30°以上60以下程度の範囲であってよい。
 例えば、角度θを45°とした場合、図10においてハッチングで示された画素101のように、各蛍光スポット76が形成された画素アレイ部91上の領域において斜め方向に配列する画素101から読み出された画素値を同一チャネルの画素値として加算することで、同一波長の光の強度を算出することが可能である。なお、同一チャネルとは、各領域91A~91Eにおいて、同一又は同一と見なす波長の光が入射する画素101の集合であってよい。
 また、角度θを30°又は60°とした場合、図11又は図12においてハッチングで示された画素101のように、各蛍光スポット76が形成された画素アレイ部91上の領域において、主として同一波長の光が入射する画素101から読み出された画素値を同一チャネルの画素値として加算することで、同一波長の光の強度を算出することが可能である。
 1.7 作用・効果
 以上のように、本実施形態によれば、分光光学系37の分光方向D1が、照射スポット72A~72Eの配列方向であるY方向に対して角度θ傾くように設定される。これにより、異なる蛍光74の蛍光スポット76が重なり合うことを回避しつつ、波長分解能を高めることが可能となるため、より正確な検体分析が可能になる。
 また、本実施形態では、画素アレイ部91の行方向H1が分光方向D1と一致又は略一致するようにイメージセンサ34が傾けられる。これにより、各蛍光スポット76の広がりの方向と画素アレイ部91の外縁とが平行となるため、必要となる画素アレイ部91の面積を縮小することが可能になる。加えて、各蛍光スポット76の広がりの方向と画素アレイ部91の行方向H1とが一致又は略一致するため、蛍光スポット76それぞれのスペクトル画像に対して信号取得システム1が実行する評価処理等の複雑化を抑制することが可能となる。
 なお、第1の実施形態では、画素アレイ部91の全画素101に対して一斉に読出しを開始する、いわゆるグローバルシャッタ方式を例示したが、これに限定されるものではない。例えば、1つの検出回路93を同一列の複数の画素101に接続した場合には、同一の検出回路93に接続された画素101から順に画素信号を読み出す、いわゆるローリングシャッタ方式を採用することも可能である。なお、ローリングシャッタ方式を採用する場合、各画素101の画素回路における増幅トランジスタ114のドレインと垂直信号線124には、行駆動回路121からの選択信号に従って増幅トランジスタ114のドレインと垂直信号線124との接続を制御する選択トランジスタが追加される。
 2.第2の実施形態
 次に、第2の実施形態に係る第2の実施形態に係る光学測定装置及び光学測定システムについて、図面を参照して詳細に説明する。なお、以下の説明において、第1の実施形態と同様の構成については、それを引用することで、その重複する説明を省略する。
 第1の実施形態において図9を用いて説明したように、画素アレイ部91の行方向H1が分光方向D1と一致又は略一致するようにイメージセンサ34を傾けた場合、各蛍光スポット76の広がりの方向と画素アレイ部91の外縁とが平行となる。
 そこで第2の実施形態では、図13に示すように、画素アレイ部91を、蛍光スポット76A~76Eが1つずつ形成される複数(本例では5つ)の領域91A~91Eにエリア分割し、それぞれの領域91A~91Eごとに蛍光74のスペクトル画像を読み出すように構成する。
 その際、領域91A~91Eごとにグローバルシャッタ方式での読出しを可能にすることで、一度の読出し動作で読み出されるフレームデータを削減することが可能となるため、一度の読出し時間やその後のフレームデータに対する処理時間を大幅に削減することが可能となる。
 2.1 画素と検出回路との接続関係例
 図14は、第2の実施形態に係る画素と検出回路との接続関係の一例を示す図である。図14に示すように、第2の実施形態では、1つの検出回路93が、各領域91A~91Eで1つずつの画素101に接続される。したがって、図13に例示するように、画素アレイ部91を列方向V1に並ぶ5つの領域91A~91Eに分割した場合には、1つの検出回路93は、同一列において互いに隣接しない5つの画素101に接続される。
 このように、1つの検出回路93を領域91A~91Eそれぞれで1つずつの画素101に接続した場合、領域91A~91Eそれぞれではグローバルシャッタ方式の読出しが可能となり、領域91A~91E単位ではローリングシャッタ方式のような読出しが可能となる。それにより、画素アレイ部91に対する一回の読出し動作によって、領域9A1~91Eのうちの1つの領域からグローバルシャッタ方式でスペクトル画像を読み出すことが可能となる。
 2.2 画素の回路構成例
 次に、図15を参照して、第2の実施形態に係る画素101の回路構成例について説明する。図15は、第2の実施形態に係る画素の回路構成例を示す回路図である。
 図15に示すように、第2の実施形態に係る各画素101は、第1の実施形態において図5を用いて説明した回路構成と同様の構成に、選択トランジスタ115が追加された構成を備える。選択トランジスタ115のゲートは、行駆動回路121から選択信号SELが供給される選択駆動線に接続され、ソースは、増幅トランジスタ114のドレインに接続され、ドレインは、垂直信号線124に接続されている。
 また、1つの垂直信号線124には、各領域91A~91Eにおける1つの画素101が接続されている。
 2.3 画素の基本動作例
 次に、図16のタイミングチャートを参照して、第2の実施形態に係る画素101の基本動作例について説明する。図16は、第2の実施形態に係る画素の動作例を示すタイミングチャートである。
 図16に示すように、各画素101から画素信号を読み出す動作では、まず、タイミングt11~t12の期間、行駆動回路121からリセットトランジスタ116のゲートに供給されるリセット信号RST及び転送トランジスタ113のゲートに供給される転送信号TRGがハイレベルとされる。これにより、フォトダイオード111のカソードに相当する蓄積ノード112が転送トランジスタ113及びリセットトランジスタ116を介して電源118に接続されて、蓄積ノード112に蓄積されている電荷が放出(リセット)される。以下の説明では、この期間(t11~t12)をPD(Photodiode)リセットという。
 その際、浮遊拡散層117も、転送トランジスタ113及びリセットトランジスタ116を介して電源118に接続されるため、浮遊拡散層117に蓄積されている電荷も放出(リセット)される。
 リセット信号RST及び転送信号TRGは、タイミングt12でローレベルに立ち下がる。したがって、このタイミングt12から次に転送信号TRGが立ち上がるタイミングt15までの期間は、フォトダイオード111で発生した電荷を蓄積ノード112に蓄積する蓄積期間となる。
 次に、タイミングt13~t17の期間、行駆動回路121から選択トランジスタ125のゲートに印加する選択信号SELがハイレベルとされる。これにより、選択信号SELがハイレベルとされた画素101からの画素信号の読出しが可能となる。
 また、タイミングt13~t14の期間、リセット信号RSTをハイレベルとされる。これにより、浮遊拡散層117が転送トランジスタ113及びリセットトランジスタ116を介して電源118に接続されて、浮遊拡散層117に蓄積されている電荷が放出(リセット)される。以下の説明では、この期間(t13~t14)をFDリセットという。
 FDリセット後、垂直信号線124には、浮遊拡散層117がリセットされた状態、すなわち、増幅トランジスタ114のゲートに印加している電圧がリセットされた状態での電圧(以下、リセットレベルという)が出現する。そこで本動作では、CDS(Correlated Double Sampling)によるノイズ除去を目的として、リセットレベルが垂直信号線124に出現しているタイミングt14~t15の期間、検出回路93を駆動することで、リセットレベルの画素信号を読み出してデジタル値に変換する。なお、以下の説明において、リセットレベルの画素信号の読出しを、リセットサンプリングという。
 次に、タイミングt15~t16の期間、行駆動回路121から転送トランジスタ113のゲートに供給される転送信号TRGがハイレベルとされる。これにより、蓄積期間中に蓄積ノード112に蓄積された電荷が浮遊拡散層117へ転送される。その結果、垂直信号線124には、浮遊拡散層117に蓄積された電荷の量に応じた電圧値の電圧(以下、信号レベルという)が出現する。なお、以下の説明において、に蓄積ノード112に蓄積された電荷の浮遊拡散層117への転送を、データ転送という。
 このように、垂直信号線124に信号レベルが出現すると、タイミングt16~t17の期間、検出回路93を駆動することで、信号レベルの画素信号を読み出してデジタル値に変換する。そして、デジタル値に変換された信号レベルの画素信号から同じくデジタル値に変換されたリセットレベルの画素信号を減算するCDS処理を実行することで、フォトダイオード111への露光量に応じた信号成分の画素信号が検出回路93から出力される。なお、以下の説明において、信号レベルの画素信号の読出しを、データサンプリングという。
 2.4 フローサイトメータの概略動作例
 つづいて、第2の実施形態に係るフローサイトメータの概略動作について、例を挙げて説明する。図17は、第2の実施形態に係るマルチスポット型のフローサイトメータの概略動作例を示すタイミングチャートである。
 なお、図17に示すタイミングチャートでは、最上段に、フォトダイオード33等から出力された前方散乱光73等の検出信号(以下、PD検出信号という)が示され、次段に、PD検出信号に基づいて生成されたトリガ信号の例が示され、さらに次段に、画素アレイ部91の各領域91A~91Eに入射する蛍光7474A~74E(実際には、その分散光75A~75E)の例が示され、最下段に、イメージセンサ34又はその領域91A~91Dごとの駆動例が示されている。
 また、本説明では、照射スポット72A~72Eがサンプル流52に沿って等間隔に配置され、上流側の照射スポットを通過した検体53が次の照射スポットを通過するまでの時間間隔が16μsとなる場合を例示する。
 図17に示すように、フローサイトメータ11では、フォトダイオード33で前方散乱光73が検出されていない期間、イメージセンサ34のフォトダイオード111をリセットするリセット信号S1(上述のリセット信号RST及び転送信号TRGに相当)が所定の周期(例えば、10~100μs(マイクロ秒))で出力されている。すなわち、フォトダイオード33で前方散乱光73が検出されていない期間、各画素101に対するPDリセットが定期的に実行されている。
 その後、照射スポット72Aを検体53が通過することでフォトダイオード33に入射する前方散乱光73の光量が低下すると、フォトダイオード33は、PD検出信号P0が所定の閾値Vtを下回ったタイミングで、オンエッジトリガ信号D0を生成し、このオンエッジトリガ信号D0をイメージセンサ34に入力する。
 オンエッジトリガ信号D0が入力されたイメージセンサ34は、定期的なリセット信号S1の画素101への供給を停止し、この状態で、フォトダイオード33で検出されたPD検出信号P0が所定の閾値Vtを上回るのを待機する。停止直前のリセット信号S1の供給が完了した時点で、イメージセンサ34の各画素101において、電荷の蓄積期間が開始される。なお、この閾値Vtは、オンエッジトリガ信号D0を生成するための閾値Vtと同じであってもよいし、異なっていてもよい。
 その後、フォトダイオード33は、PD検出信号P0が所定の閾値Vtを上回ったタイミングで、オフエッジトリガ信号U0を生成し、このオフエッジトリガ信号U0をイメージセンサ34に入力する。
 また、検体53が照射スポット72Aを通過している際には、前方散乱光73の光量が低下するのと並行して、イメージセンサ34の領域91Aに、照射スポット72Aを通過する検体53から放射された蛍光74Aの分散光75Aが、パルスP1として入射する。ここで、イメージセンサ34では、上述したように、オフエッジトリガ信号U0よりも先のオンエッジトリガ信号D0が入力された時点で、リセット信号S1の供給が停止されて、蓄積期間が始まっている。そのため、検体53が照射スポット72Aを通過している際には、領域91Aの各画素101の蓄積ノード112には、パルスP1の光量に応じた電荷が蓄積される。
 イメージセンサ34は、オフエッジトリガ信号U0が入力されると、まず、領域91Aの各画素101に対して、FDリセットS11と、リセットサンプリングS12と、データ転送S13と、データサンプリングS14とを順次実行する。これにより、領域91Aから分散光75A(すなわち、蛍光74A)のスペクトル画像が読み出される。以下、FDリセットからデータサンプリングまでの一連の動作を読出し動作と称する。
 また、イメージセンサ34の領域91B~91Eには、検体53による各照射スポット72B~72Eの通過に合わせて、分散光75B~75EがパルスP2~P5として入射する。ここで、上述した仮定によれば、同一の検体53が各照射スポット72A~72Eを通過する時間間隔は、16μs間隔である。
 そこで、イメージセンサ34は、領域91Aの画素101に対してFDリセットS11を開始したタイミングから16μs後に、領域91Bの画素101に対する読出し動作(FDリセットS21~データサンプリングS24)を実行する。
 同様に、イメージセンサ34は、領域91Bの画素101に対してFDリセットS21を開始したタイミングから16μs後に、領域91Cの画素101に対する読出し動作(FDリセットS31~データサンプリングS34)を実行し、さらに、領域91Cの画素101に対してFDリセットS31を開始したタイミングから16μs後に、領域91Dの画素101に対する読出し動作(FDリセットS41~データサンプリングS44)を実行し、さらにまた、領域91Dの画素101に対してFDリセットS41を開始したタイミングから16μs後に、領域91Eの画素101に対する読出し動作(FDリセットS51~データサンプリングS54)を実行する。
 以上のような動作により、領域91A~91Eそれぞれから、16μs間隔で、蛍光74B~74Eのスペクトル画像が読み出される。
 そして、イメージセンサ34は、領域91Eからのスペクトル画像の読出しが完了し、且つ、次の検体53の通過によるオンエッジトリガ信号D0の入力がなれば、リセット信号S1の供給を再開して定期的なPDリセットを実行する。一方、領域91Eからのスペクトル画像の読出し完了までに次の検体53の通過によるオンエッジトリガ信号D0の入力があった場合、イメージセンサ34は、上述と同様の動作を実行することで、領域91A~91Eそれぞれから16μs間隔で蛍光74A~74Eのスペクトル画像を読み出す。
 2.5 作用・効果
 以上のように、本実施形態では、画素アレイ部91が蛍光スポット76A~76Eが1つずつ形成される複数(本例では5つ)の領域91A~91Eに分割され、領域91A~91Eごとのグローバルシャッタ方式での読出しが可能であるため、一度の読出し動作で読み出されるフレームデータを削減することが可能となる。その結果、一度の読出し時間やその後のフレームデータに対する処理時間を大幅に削減することが可能となる。
 その他の構成、動作及び効果は、上述した実施形態又はその変形例と同様であってよいため、ここでは詳細な説明を省略する。
 以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
 また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 第1方向に配列する複数の照射スポットそれぞれを通過する検体から放射した蛍光を前記第1方向に平行な面に含まれる第2方向に分光する分光光学系と、
 前記分光光学系で分光された前記蛍光を受光して画像データを生成するイメージセンサと、
 を備え、
 前記第2方向は、前記第1方向と垂直な面に対して傾いている
 光学測定装置。
(2)
 前記第1方向と垂直な前記面に対する前記第2方向の傾きは、30°以上60°以下である前記(1)に記載の光学測定装置。
(3)
 前記イメージセンサは、行列状に配列する複数の画素を備え、
 前記複数の画素の配列における行方向は、前記第1方向と垂直な前記面に対して傾いている
 前記(1)又は(2)に記載の光学測定装置。
(4)
 前記第1方向と垂直な前記面に対して前記行方向が傾く方向は、前記第1方向と垂直な前記面に対して前記第2方向が傾く方向と同じである前記(3)に記載の光学測定装置。
(5)
 前記第1方向と垂直な前記面に対する前記行方向の傾きは、前記第1方向と垂直な前記面に対する前記第2方向の傾きと同じである前記(4)に記載の光学測定装置。
(6)
 前記照射スポットそれぞれに所定波長の励起光を照射する複数の励起光源をさらに備える前記(1)~(5)の何れか1項に記載の光学測定装置。
(7)
 前記第1方向に沿って前記検体を移動させる流路をさらに備え、
 前記複数の照射スポットは、前記流路上に設定されている
 前記(6)に記載の光学測定装置。
(8)
 前記イメージセンサは、
  行列状に配列する複数の画素を備える画素アレイ部と、
  前記複数の画素と一対一に接続された複数の検出回路と、
 を備える前記(1)に記載の光学測定装置。
(9)
 前記イメージセンサは、
  行列状に配列する複数の画素を備える画素アレイ部と、
  前記複数の画素における同一列の2つ以上の画素に接続された複数の検出回路と、
 を備え、
 前記画素アレイ部は、前記行列の列方向に配列する複数の領域にエリア分割され、
 前記検出回路それぞれは、前記複数の領域それぞれで1つずつの前記画素に接続されている
 前記(8)に記載の光学測定装置。
(10)
 第1方向に配列する複数の照射スポットそれぞれを通過する検体から放射した蛍光を第2方向に分光する分光光学系と、
 前記分光光学系で分光された前記蛍光を受光して画像データを生成するイメージセンサと、
 前記イメージセンサで生成された前記画像データを評価する信号取得部と、
 前記信号取得部による前記画像データの評価結果に基づいて前記検体を解析する解析部と、
 を備え、
 前記第2方向は、前記第1方向と垂直な面に対して傾いている
 光学測定システム。
 1 信号取得システム
 2 解析システム
 11 フローサイトメータ
 31 フローセル
 32A~32E 励起光源
 33 フォトダイオード
 34 イメージセンサ
 35、36A~36E 集光レンズ
 37A~37E 分光光学系
 371 光学素子
 51 サンプルチューブ
 52 サンプル流
 53 検体
 71A~71E 励起光
 72A~72E 照射スポット
 73 前方散乱光
 74A~74E 蛍光
 75A~75E 分散光
 76A~76E 蛍光スポット
 91 画素アレイ部
 92 接続部
 93 検出回路
 93A、93B 検出回路アレイ
 94 画素駆動回路
 95 ロジック回路
 96 出力回路
 101 画素
 111 フォトダイオード
 112 蓄積ノード
 113 転送トランジスタ
 114 増幅トランジスタ
 115 選択トランジスタ
 116 リセットトランジスタ
 117 浮遊拡散層
 118 電源
 121 行駆動回路
 122 定電流回路
 124 垂直信号線

Claims (10)

  1.  第1方向に配列する複数の照射スポットそれぞれを通過する検体から放射した蛍光を前記第1方向に平行な面に含まれる第2方向に分光する分光光学系と、
     前記分光光学系で分光された前記蛍光を受光して画像データを生成するイメージセンサと、
     を備え、
     前記第2方向は、前記第1方向と垂直な面に対して傾いている
     光学測定装置。
  2.  前記第1方向と垂直な前記面に対する前記第2方向の傾きは、30°以上60°以下である請求項1に記載の光学測定装置。
  3.  前記イメージセンサは、行列状に配列する複数の画素を備え、
     前記複数の画素の配列における行方向は、前記第1方向と垂直な前記面に対して傾いている
     請求項1に記載の光学測定装置。
  4.  前記第1方向と垂直な前記面に対して前記行方向が傾く方向は、前記第1方向と垂直な前記面に対して前記第2方向が傾く方向と同じである請求項3に記載の光学測定装置。
  5.  前記第1方向と垂直な前記面に対する前記行方向の傾きは、前記第1方向と垂直な前記面に対する前記第2方向の傾きと同じである請求項4に記載の光学測定装置。
  6.  前記照射スポットそれぞれに所定波長の励起光を照射する複数の励起光源をさらに備える請求項1に記載の光学測定装置。
  7.  前記第1方向に沿って前記検体を移動させる流路をさらに備え、
     前記複数の照射スポットは、前記流路上に設定されている
     請求項6に記載の光学測定装置。
  8.  前記イメージセンサは、
      行列状に配列する複数の画素を備える画素アレイ部と、
      前記複数の画素と一対一に接続された複数の検出回路と、
     を備える請求項1に記載の光学測定装置。
  9.  前記イメージセンサは、
      行列状に配列する複数の画素を備える画素アレイ部と、
      前記複数の画素における同一列の2つ以上の画素に接続された複数の検出回路と、
     を備え、
     前記画素アレイ部は、前記行列の列方向に配列する複数の領域にエリア分割され、
     前記検出回路それぞれは、前記複数の領域それぞれで1つずつの前記画素に接続されている
     請求項8に記載の光学測定装置。
  10.  第1方向に配列する複数の照射スポットそれぞれを通過する検体から放射した蛍光を前記第1方向に平行な面に含まれる第2方向に分光する分光光学系と、
     前記分光光学系で分光された前記蛍光を受光して画像データを生成するイメージセンサと、
     前記イメージセンサで生成された前記画像データを評価する信号取得部と、
     前記信号取得部による前記画像データの評価結果に基づいて前記検体を解析する解析部と、
     を備え、
     前記第2方向は、前記第1方向と垂直な面に対して傾いている
     光学測定システム。
     
PCT/JP2020/020793 2019-05-30 2020-05-26 光学測定装置及び光学測定システム WO2020241652A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/613,270 US20220221391A1 (en) 2019-05-30 2020-05-26 Optical measuring device and optical measuring system
JP2021522793A JP7447897B2 (ja) 2019-05-30 2020-05-26 光学測定装置及び光学測定システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-101735 2019-05-30
JP2019101735 2019-05-30

Publications (1)

Publication Number Publication Date
WO2020241652A1 true WO2020241652A1 (ja) 2020-12-03

Family

ID=73553743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020793 WO2020241652A1 (ja) 2019-05-30 2020-05-26 光学測定装置及び光学測定システム

Country Status (3)

Country Link
US (1) US20220221391A1 (ja)
JP (1) JP7447897B2 (ja)
WO (1) WO2020241652A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05142137A (ja) * 1991-11-20 1993-06-08 Toa Medical Electronics Co Ltd イメージングフローサイトメータ
JP2007113979A (ja) * 2005-10-19 2007-05-10 Ebara Corp マルチ分光分析装置
JP2007285999A (ja) * 2006-04-20 2007-11-01 Furukawa Electric Co Ltd:The 光測定装置
JP2016524703A (ja) * 2013-05-15 2016-08-18 キャピトル エルエルシー 走査型イメージフローサイトメーター
US20170328826A1 (en) * 2016-05-12 2017-11-16 Bd Biosciences Fluorescence Imaging Flow Cytometry With Enhanced Image Resolution
JP2018013422A (ja) * 2016-07-21 2018-01-25 ソニーセミコンダクタソリューションズ株式会社 検出装置及び電子機器
US20180231452A1 (en) * 2015-07-15 2018-08-16 Becton, Dickinson And Company System and method for label selection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3916197A (en) * 1973-11-28 1975-10-28 Particle Technology Inc Method and apparatus for classifying biological cells
US4599307A (en) * 1983-07-18 1986-07-08 Becton, Dickinson And Company Method for elimination of selected cell populations in analytic cytology
US6759235B2 (en) * 2000-04-06 2004-07-06 Quantum Dot Corporation Two-dimensional spectral imaging system
JP4711009B2 (ja) * 2008-10-16 2011-06-29 ソニー株式会社 光学的測定装置
WO2017145816A1 (ja) * 2016-02-24 2017-08-31 ソニー株式会社 光学測定器、フローサイトメータ、および放射線計数器
WO2017223206A1 (en) * 2016-06-21 2017-12-28 Sri International Hyperspectral imaging methods and apparatuses
US10436697B2 (en) * 2016-11-19 2019-10-08 Cytek Biosciences, Inc. Flow cytometery system with fluidics control system
JP7501532B2 (ja) * 2019-06-26 2024-06-18 ソニーグループ株式会社 光学測定装置及び光学測定システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05142137A (ja) * 1991-11-20 1993-06-08 Toa Medical Electronics Co Ltd イメージングフローサイトメータ
JP2007113979A (ja) * 2005-10-19 2007-05-10 Ebara Corp マルチ分光分析装置
JP2007285999A (ja) * 2006-04-20 2007-11-01 Furukawa Electric Co Ltd:The 光測定装置
JP2016524703A (ja) * 2013-05-15 2016-08-18 キャピトル エルエルシー 走査型イメージフローサイトメーター
US20180231452A1 (en) * 2015-07-15 2018-08-16 Becton, Dickinson And Company System and method for label selection
US20170328826A1 (en) * 2016-05-12 2017-11-16 Bd Biosciences Fluorescence Imaging Flow Cytometry With Enhanced Image Resolution
JP2018013422A (ja) * 2016-07-21 2018-01-25 ソニーセミコンダクタソリューションズ株式会社 検出装置及び電子機器

Also Published As

Publication number Publication date
JPWO2020241652A1 (ja) 2020-12-03
JP7447897B2 (ja) 2024-03-12
US20220221391A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
Bruschini et al. Single-photon avalanche diode imagers in biophotonics: review and outlook
US10063784B2 (en) Imaging apparatus, an electronic device, and imaging method to uniformize distribution of incident light, and a photostimulated luminescence detection scanner
US7649618B2 (en) System and method to perform raman imaging without luminescence
US6256096B1 (en) Flow cytometry apparatus and method
US6947128B2 (en) Alternative detector configuration and mode of operation of a time delay integration particle analyzer
WO2020262092A1 (ja) 光学測定装置及び光学測定システム
WO2017086181A1 (ja) 光パルス検出装置、光パルス検出方法、放射線計数装置、および生体検査装置
JP2012521540A (ja) 順次ライン走査符号化多色蛍光顕微鏡法および画像フローサイトメトリ
WO2017145816A1 (ja) 光学測定器、フローサイトメータ、および放射線計数器
US20010006416A1 (en) Ribbon flow cytometry apparatus and methods
US10302545B2 (en) Automated drop delay calculation
JP2009282049A (ja) 粒子分類システム用光検出器
JP2011513740A (ja) 光子混合検出器を用いた時間分解分光分析方法およびシステム
US7259366B2 (en) Apparatus for the detection of photons of a light beam having a three-dimensional array of detectors
WO2020241652A1 (ja) 光学測定装置及び光学測定システム
US20230417671A1 (en) Biological sample analysis system, information processing device, information processing method, and biological sample analysis method
US20240219305A1 (en) Biological sample analyzer
WO2023248561A1 (ja) 生体試料分析システム、及び生体試料分析方法
WO2023276298A1 (ja) 生体試料分析システム、情報処理装置、情報処理方法及び生体試料分析方法
WO2023276299A1 (ja) 撮像装置および情報処理システム
WO2023032320A1 (ja) 粒子解析システム、粒子解析方法及びフローサイトメータシステム
WO2023223851A1 (ja) 生体試料分析システム、情報処理装置、情報処理方法及び生体試料分析方法
Munwes et al. Single photon time resolution with silicon photomultipliers using the STiC readout chip
WO2019188473A1 (ja) 光学測定器、およびフローサイトメータ
US20090262227A1 (en) Photodiode array and signal readout method for the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20814493

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021522793

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20814493

Country of ref document: EP

Kind code of ref document: A1