WO2014076789A1 - 分析対象領域設定装置 - Google Patents

分析対象領域設定装置 Download PDF

Info

Publication number
WO2014076789A1
WO2014076789A1 PCT/JP2012/079617 JP2012079617W WO2014076789A1 WO 2014076789 A1 WO2014076789 A1 WO 2014076789A1 JP 2012079617 W JP2012079617 W JP 2012079617W WO 2014076789 A1 WO2014076789 A1 WO 2014076789A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image
area
feature amount
range
Prior art date
Application number
PCT/JP2012/079617
Other languages
English (en)
French (fr)
Inventor
陽 野田
博志 前川
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to JP2014546779A priority Critical patent/JP5900644B2/ja
Priority to PCT/JP2012/079617 priority patent/WO2014076789A1/ja
Priority to EP12888367.5A priority patent/EP2921843A4/en
Priority to US14/442,812 priority patent/US20150301323A1/en
Publication of WO2014076789A1 publication Critical patent/WO2014076789A1/ja
Priority to US16/292,613 priority patent/US20190196170A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/45—Interferometric spectrometry
    • G01J3/453—Interferometric spectrometry by correlation of the amplitudes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N2021/3595—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using FTIR

Definitions

  • the present invention relates to an apparatus for setting an analysis target region in an observation image of a sample acquired by an observation optical system such as an optical microscope.
  • the microspectroscopic analyzer is an apparatus including an observation optical system for microscopically observing a sample surface and an analysis system for performing spectroscopic analysis on a portion of interest in the observed region.
  • an irradiation optical system that irradiates a sample with infrared light as the analysis system, and reflected or transmitted light of infrared light that is irradiated onto the sample.
  • An aperture having an opening (generally a rectangular opening) for allowing only light from a specific region (region of interest) in which the user is interested to pass, and reflected light or transmitted light that has passed through the opening
  • an infrared detector for detecting.
  • the microinfrared spectroscopy analyzer is simply referred to as an infrared microscope.
  • a visible light observation image of the sample surface is acquired by the observation optical system, and the position, size, and orientation (angle) of the aperture opening are adjusted from the visible light observation image according to the region of interest. specify.
  • infrared light is irradiated by the irradiation optical system, and light that has passed through the opening is detected by the detector from the reflected light or transmitted light.
  • the region of interest is analyzed from the infrared light spectrum (wavelength intensity distribution) thus obtained.
  • the position, size, and orientation of the aperture opening are accurately adjusted so that the area of the opening in the region of interest is as large as possible while blocking infrared light from outside the region of interest. It is important to specify.
  • a user views an observation image and designates the position, size, and orientation of the aperture opening with a pointing device such as a mouse.
  • a pointing device such as a mouse.
  • the region of interest has a complicated shape, it has been difficult to accurately specify these so as to satisfy the above-described conditions.
  • Patent Document 1 discloses red for extracting an area having characteristic image information (hereinafter referred to as “characteristic image area”) by performing processing such as edge extraction and binarization on an observation image of a sample.
  • Characteristic image area an area having characteristic image information
  • An outer microscope is described.
  • an analysis apparatus including an apparatus for extracting a feature image region from an observation image, for example, when a user designates an appropriate position in the observation image with a pointing device or the like, based on, for example, a luminance value at the designated position, the An area having a luminance value in a predetermined range centering on the luminance value is extracted (Patent Document 2), or an area surrounded by an edge including a designated position is extracted.
  • an infrared microscope that automatically sets the position, size, and orientation of the aperture opening for the extracted feature image area by calculation such as optimization.
  • the region of interest in the observation image in which the user is interested is extracted as a feature image region by the above processing
  • the above processing may erroneously include a shadow caused by the unevenness in the feature image area.
  • the feature image region is extracted larger than the region of interest.
  • the threshold value for example, the above-mentioned “predetermined range”
  • the feature image area is set smaller than the region of interest, and the aperture opening is automatically set accordingly. As a result, the S / N ratio of the analysis data is lowered.
  • analysis target region a region to be analyzed by the user
  • the problem to be solved by the present invention is based on the observation image of the sample obtained with an optical microscope or the like, and when setting the analysis target area therein, it does not require complicated work and can be performed quickly and as intended by the user.
  • An object of the present invention is to provide an apparatus capable of accurately setting an analysis target region.
  • an apparatus for setting an analysis target area that is an area to be analyzed by an analysis apparatus A feature amount calculating means for dividing the observation image into a plurality of regions and calculating a predetermined image feature amount in each of the divided regions; A plurality of divided areas, a divided area designating means for allowing a user to designate the divided areas; A feature amount range calculating means for determining a range of image feature amounts of the divided regions to be extracted as the analysis target region from the image feature amounts of the divided regions specified by the divided region specifying means; Area extraction means for extracting a divided area having an image feature amount within the range from the observed image; It is characterized by providing.
  • the analysis target region setting apparatus divides an observation image into a number of regions (divided regions) by the feature amount calculation means, and a predetermined image feature amount (hereinafter referred to as “feature amount”) for each divided region. ) To get.
  • the divided area of the present invention may be one pixel which is the minimum unit of the observation image, or a group of a plurality of adjacent pixels may be used as one divided area.
  • As the feature amount for example, a pixel feature amount or a texture feature amount described later can be used.
  • the feature amount used in the present invention may be one type or plural types. These are set in advance by the user or the manufacturer of the apparatus.
  • the user designates a part of a region (region of interest) to be analyzed in the observation image by drawing a point, a line, a surface or the like with a mouse or the like (divided region designation means).
  • a plurality of divided regions hereinafter referred to as “representative designated region group”.
  • the feature amount range calculation means determines the feature amount range of the divided region to be extracted as the analysis target from the feature amount of the representative designated region group.
  • the range of the feature amount for example, a method of statistically processing the feature amount of the representative designated region group and determining the range so as to include most (or all) of the feature amount can be used.
  • the region extracting means determines whether or not each feature amount is within the range for all the divided regions in the observation image, and the divided region where the feature amount is within the range. To extract.
  • the divided areas extracted in this way are set as analysis target areas.
  • the observation image of the sample is divided into a number of divided regions, and the user is allowed to designate a plurality of divided regions (representative designated region group) from among them. This designation only needs to be a typical partial area. Then, a range to be set as the analysis target region is calculated from the feature amount data of the representative designated region group, a divided region having the feature amount within the range is extracted from the observation image, and is set as the analysis target region. With this configuration, it is possible to set the analysis target region quickly and accurately (without excess or deficiency) as compared with the case of setting only manually or automatically.
  • the block diagram of the principal part of the infrared microscope which is one Example of this invention.
  • the flowchart which shows the procedure of the setting of the analysis object area
  • Explanatory drawing which shows the luminance distribution of a representative designation
  • Explanatory drawing which shows the luminance distribution of the representative designation
  • FIG. 1 is a configuration diagram of a main part of the infrared microscope of the present embodiment.
  • an infrared interferometer 1 includes an infrared light source, a fixed mirror, a movable mirror, a beam splitter, and the like, and emits infrared interference light obtained by interfering with infrared light having different wavelengths.
  • This infrared interference light is reflected by the half mirror 4 and applied to the sample 3 placed on the movable stage 2.
  • the infrared interference light irradiated on the sample 3 is reflected on the surface, the infrared light is absorbed at a wavelength (generally a plurality of wavelengths) specific to the substance present at that location.
  • Infrared light reflected from the sample 3 passes through the half mirror 4, is limited to only reflected light from a specific region by the aperture 5, enters the infrared detector 7 through the reflection mirror 6, and is detected. The Therefore, the infrared interference light reaching the infrared detector 7 reflects infrared absorption in a specific region in the sample 3.
  • a detection signal from the infrared detector 7 is input to the data processing unit 10, and in the data processing unit 10, the Fourier transform operation unit 100 performs a Fourier transform process on the detection signal, thereby indicating red light that indicates absorbance in a predetermined wavelength range.
  • An external absorption spectrum is obtained.
  • the spectrum data obtained in this way is sent to the control unit 11 and displayed on the screen of the display unit 13 connected to the control unit 11.
  • visible light emitted from the visible light source 8 hits a wide range on the sample 3, and visible reflected light from the sample 3 is introduced into the CCD camera 9.
  • the CCD camera 9 creates an observation image of the surface of the sample 3 and sends the observation image data to the control unit 11.
  • the observation image data sent to the control unit 11 is displayed on the screen of the display unit 13 like the spectrum data.
  • the region irradiated with the infrared interference light can be changed by the control unit 11 appropriately controlling the movable stage 2 and the aperture 5.
  • the control unit 11 also controls the operation of each unit such as the infrared interferometer 1 and the visible light source 8.
  • the data processing unit 10 and the control unit 11 can achieve various functions as will be described later by executing dedicated control / data processing software installed in the personal computer in advance on the computer.
  • FIG. 1 performs reflected infrared measurement and reflected visible observation, but can be configured to perform transmitted infrared measurement or can be changed to a configuration that performs transmitted visible observation.
  • a mechanism that allows the user to observe the sample surface directly visually using an eyepiece may be incorporated.
  • the procedure for setting the analysis target region from the observation image of the sample in the infrared microscope of this embodiment will be described with reference to the flowchart of FIG.
  • the sample 3 to be measured is placed on the movable stage 2
  • a visible image of the sample 3 is taken by the CCD camera 9, and the acquired image data is sent to the control unit 11, as shown in FIG.
  • An observation image is displayed on the screen of the display unit 13 (step S1).
  • the control unit 11 also divides this observation image into a plurality of (M ⁇ N in the figure) regions as shown in FIG. 4 and calculates the feature amount of each divided region (step S2).
  • the divided area may be set for each pixel, or a plurality of adjacent pixels may be set as one divided area.
  • a pixel feature amount or a texture feature amount can be used.
  • the pixel feature amount is image information such as luminance, color, and saturation that each pixel has.
  • a texture feature value is a numerical expression of the elements that make up a texture, such as points, lines, and roughness. Edges can be detected using a local histogram (the histogram of the area of interest and its surrounding areas), a secondary Sobel filter, etc. It is calculated using a histogram or the like of the extracted image. Since the texture feature amount generally includes a large amount of information, the dimension may be appropriately reduced by principal component analysis or the like for speeding up. In addition, any general feature amount used in image processing can be used.
  • the feature amount data for each divided region calculated in step S2 is stored in a storage unit (not shown).
  • the user uses the input unit 12 such as a mouse connected to the control unit 11 to display a representative partial region (representative designated region group) in the observation image displayed on the screen of the display unit 13. Is designated (step S3).
  • FIG. 5 shows an example in which the user designates the representative designated region group by drawing a line 21 on the observation image.
  • the control unit 11 determines all the divided areas including the line 21 as a representative designated area group (FIG. 6).
  • the control unit 11 reads each feature amount of the representative designated region group designated by the user from the storage unit, and calculates the distribution (step S4, FIG. 7).
  • FIG. 7 shows a one-dimensional distribution (luminance distribution) of the representative designated region group when only the luminance value is used as the feature amount for the sake of simplicity.
  • step S5 the range of the feature amount of the divided area to be extracted as the measurement target area is determined for the distribution calculated in step S4.
  • the average of the luminance distribution and the standard deviation ⁇ are obtained, and the range of ⁇ 3 ⁇ from the average is the range of luminance values to be extracted as the measurement target region.
  • step S4 when a multi-peak distribution having a plurality of peaks as shown in FIG. 7B is obtained, k pieces (2 pieces in the example of FIG. 7B) are obtained by a technique such as k-means.
  • the range of luminance values may be obtained by the above method for each distribution.
  • step S6 the feature amounts of all the divided regions are read from the storage unit, and it is determined whether or not the feature amounts of the respective divided regions are within the range calculated in step S5. Then, a divided area having a feature amount within the range is extracted and set as an analysis target area.
  • the control unit 11 colors the analysis target area in the observation image displayed on the screen of the display unit 13 (step S7, FIG. 8). The user views the image in FIG. 8 and ends the process if the analysis target area is set as intended. If the analysis target area is not set as intended, the representative designated area group is increased or decreased as appropriate.
  • step S7 when the area
  • control unit 11 adjusts the size of the opening of the aperture 5 and the position of the sample 3 on the movable stage 2 with respect to the analysis target region obtained by the above processing. Then, the analysis of the analysis target region is performed by irradiating the infrared interference light from the infrared interferometer.
  • the range calculated in step S5 is within ⁇ 3 ⁇ from the average of the luminance distribution, but the user may appropriately determine the range based on the distribution calculated in step S4.
  • the user extracts the analysis target region by setting the representative designated region group in the region of interest.
  • the analysis target region can be extracted by a different method. Specifically, this is a method in which a representative designated region group is once set in a region other than the region of interest “other”, and on the contrary, a range that does not include the representative designated region group is extracted as an analysis target region. . This method will be described below with reference to FIGS.
  • a lump 23 is the region of interest of the user.
  • the user once draws a line 22 in a region other than the region of interest (lumps) 23 “other” and sets a representative designated region group (step S3).
  • the obtained feature quantity distribution luminance distribution
  • FIG. 10 step S4
  • the luminance distribution of the representative designated region group in FIG. 10 does not include the luminance distribution of the region of interest 23. Therefore, conversely, in step S5, the range of the divided region to be extracted as the analysis target region is set so as not to include the luminance distribution of the representative designated region group (in FIG. 10, a range of ⁇ 6 ⁇ or more from the average).
  • FIG. 11 is a diagram showing the analysis target region in the observation image set by this method.
  • the control unit 11 automatically sets the position and size of the opening of the aperture 5 in the clicked region.
  • the line 22 is a closed curve and there is an extracted area inside the curve, only the area in the closed curve is automatically set as the analysis target area, You may make it set automatically the position and size of the opening of the aperture 5 in the area
  • region You may make it set automatically the position and size of the opening of the aperture 5 in the area
  • this invention is applicable also to a microspectroscopic analyzer other than an infrared microscope, a microscopic mass spectrometer, etc.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

　煩雑な作業を要することなく、ユーザの意図した通りに迅速且つ的確に分析対象領域を設定することができる分析対象領域設定装置を提供する。本発明に係る分析対象領域設定装置は、試料の観察画像中に、分析装置により分析を行う領域である分析対象領域を設定する装置であって、前記観察画像を複数の領域に分割し、各分割領域における所定の画像特徴量を算出する特徴量算出手段と、前記分割領域を複数、ユーザに指定させる分割領域指定手段と、前記分割領域指定手段により指定された各分割領域の画像特徴量から、前記分析対象領域として抽出する分割領域の画像特徴量の範囲を定める特徴量範囲算出手段と、前記観察画像より、画像特徴量が前記範囲内にある分割領域を抽出する領域抽出手段とを備える。

Description

分析対象領域設定装置
　本発明は、光学顕微鏡等の観察光学系により取得した試料の観察画像中に分析対象領域を設定する装置に関する。
　顕微分光分析装置は、試料表面を顕微観察するための観察光学系と、観察された領域のうち、関心のある部分について分光分析を行うための分析系を備えた装置である。例えば、赤外光で分析を行う顕微赤外分光分析装置では、前記分析系として試料に赤外光を照射する照射光学系と、試料に照射された赤外光の反射光又は透過光のうち、ユーザが関心を持った特定の領域（関心領域）からの光のみを通過させるための開口（一般的には、矩形状の開口）を有するアパーチャと、前記開口を通過した反射光又は透過光を検出する赤外検出器と、を有する。以下、顕微赤外分光分析装置を単に赤外顕微鏡と呼ぶ。赤外顕微鏡では、前記観察光学系により試料表面の可視光観察画像を取得し、この可視光観察画像から、関心領域に合わせて、前記アパーチャの開口の位置、大きさ、及び向き（角度）を指定する。そして、前記照射光学系により赤外光を照射して、その反射光又は透過光のうち、前記開口を通過した光を前記検出器により検出する。このようにして取得した赤外光のスペクトル（波長強度分布）から、関心領域の分析を行う。
　このような赤外顕微鏡では、関心領域外からの赤外光を遮断しつつ、可能な限り関心領域内における開口の面積が広くなるように、的確にアパーチャの開口の位置、大きさ及び向きを指定することが重要である。従来の赤外顕微鏡では、ユーザが観察画像を見て、逐一、マウス等のポインティングデバイスによりアパーチャの開口の位置、大きさ及び向きを指定していた。しかし、例えば関心領域が複雑な形状を有していると、上記の条件を満たすようにこれらを的確に指定するのが難しかった。
　一方、特許文献１には、試料の観察画像にエッジ抽出や二値化等の処理を行うことにより、特徴的な画像情報を有する領域（以下、「特徴画像領域」とする）を抽出する赤外顕微鏡が記載されている。このような、観察画像から特徴画像領域を抽出する装置を備える分析装置では、例えばユーザがポインティングデバイス等により、観察画像内の適当な位置を指定すると、指定した位置の例えば輝度値に基づき、該輝度値を中心とする所定範囲の輝度値を持つ領域が抽出されたり（特許文献２）、指定した位置を含む、エッジにより囲まれた領域が抽出されたりする。
　近年では、このように抽出された特徴画像領域に対して更に、アパーチャの開口の位置、大きさ及び向きを、最適化等の計算により自動的に設定する赤外顕微鏡が提供されている。これらの自動化により、ユーザは、アパーチャの開口の位置、大きさ及び向きの設定を迅速に行うことができる。
特開2010-276371号公報 特開2007-127485号公報
　ユーザが関心を持った観察画像中の関心領域を、上記処理により装置に特徴画像領域として抽出させる場合、次のような問題がある。例えば試料の表面が３次元的な凹凸を有していると、上記の処理では、この凹凸により生じる陰影を誤って特徴画像領域に含めることがある。そうすると、特徴画像領域は関心領域よりも大きく抽出されてしまうことになる。
　一方、このような誤指定を避けるために閾値（例えば上記の「所定範囲」）の設定を調整すると、逆に特徴画像領域が関心領域よりも小さく設定され、それに伴い自動的にアパーチャの開口も小さく設定されてしまい、分析データのＳ／Ｎ比が低下する。
　以上のような問題は、赤外顕微鏡に限らず、試料の観察画像に基づき、その中にユーザが分析対象とする領域（以下、「分析対象領域」とする）を設定し、該分析対象領域の分析を行う分析装置において一般的に生じる。
　本発明が解決しようとする課題は、光学顕微鏡等で得た試料の観察画像に基づき、その中に分析対象領域を設定する際、煩雑な作業を要することなく、ユーザの意図した通りに迅速且つ的確に分析対象領域を設定することができる装置を提供することである。
　上記課題を解決するために成された本発明は、
　試料の観察画像中に、分析装置により分析を行う領域である分析対象領域を設定する装置であって、
　前記観察画像を複数の領域に分割し、各分割領域における所定の画像特徴量を算出する特徴量算出手段と、
　前記分割領域を複数、ユーザに指定させる分割領域指定手段と、
　前記分割領域指定手段により指定された各分割領域の画像特徴量から、前記分析対象領域として抽出する分割領域の画像特徴量の範囲を定める特徴量範囲算出手段と、
　前記観察画像より、画像特徴量が前記範囲内にある分割領域を抽出する領域抽出手段と、
　を備えることを特徴とする。
　本発明に係る分析対象領域設定装置は、特徴量算出手段により、観察画像を多数の領域（分割領域）に分割し、分割領域毎に所定の画像特徴量（以下、「特徴量」と略称する）を取得する。本発明の分割領域は、観察画像の最小単位である１ピクセルとしても良いし、隣接する複数のピクセルの組を１分割領域としても良い。特徴量には例えば、後述するピクセル特徴量やテクスチャ特徴量を用いることができる。本発明で用いる特徴量は、１種類であっても複数種類であっても良い。これらは、ユーザもしくは装置のメーカが予め設定しておく。
　以下、本発明に係る分析対象領域設定装置の一操作例を説明する。ユーザは、まず、観察画像中の分析対象としたい領域（関心領域）の一部を、マウス等により点、線、面等を描画することにより指定する（分割領域指定手段）。この描画により、複数の分割領域（以下、「代表指定領域群」とする）が定まる。
　特徴量範囲算出手段は、代表指定領域群の特徴量から、分析対象として抽出すべき分割領域の特徴量の範囲を定める。この特徴量の範囲は、例えば、代表指定領域群の特徴量を統計的に処理し、その大部分（全てであっても良い）を含むように範囲を定めるという方法を用いることができる。
　こうして範囲を定めた後、領域抽出手段は、観察画像中の全分割領域に対して、各々の特徴量が前記範囲内にあるか否かを判定し、特徴量が該範囲内にある分割領域を抽出する。このようにして抽出された分割領域が、分析対象領域として設定される。
　本発明に係る分析対象領域設定装置では、試料の観察画像を多数の分割領域に分割し、ユーザにその中から複数の分割領域（代表指定領域群）を指定させる。この指定は、代表的な、一部の分割領域だけでよい。そして、代表指定領域群の特徴量データから分析対象領域に設定する範囲を算出し、観察画像より、特徴量が該範囲内にある分割領域を抽出し、分析対象領域に設定する。この構成により、手動のみ又は自動のみで設定する場合に比べて迅速且つ的確に（過不足なく）、分析対象領域を設定することが可能になる。
本発明の一実施例である赤外顕微鏡の要部の構成図。 本実施例の赤外顕微鏡における分析対象領域の設定の手順を示すフローチャート。 表示部の画面上に表示される観察画像の一例を示す図。 観察画像に対して設定される分割領域の一例を示す図。 観察画像上にユーザが指定した線を示す図。 ユーザが指定した線に対応する代表指定領域群を示す図。 代表指定領域群の輝度分布と、該輝度分布に対して設定される範囲を示す説明図。 観察画像に対して設定された分析対象領域を示す図。 表示部の画面上に表示される観察画像の別の一例と、該観察画像上にユーザが指定する線を示す図。 ユーザが指定した線に対応する代表指定領域群の輝度分布と、該輝度分布に対して設定される範囲を示す説明図。 観察画像に対して設定された分析対象領域を示す図。
　本発明の一実施例である赤外顕微鏡を、各図を参照して説明する。図１は本実施例の赤外顕微鏡の要部の構成図である。
　図１において、赤外干渉計１は、赤外光源、固定鏡、移動鏡、ビームスプリッタ等を含み、複数の異なる波長の赤外光を干渉させた赤外干渉光を放射する。この赤外干渉光はハーフミラー４で反射され、可動ステージ２上に載置されている試料３に照射される。試料３に照射された赤外干渉光は、表面で反射する際に、その箇所に存在する物質に固有の波長（一般に複数）において吸収を受ける。試料３から反射した赤外光はハーフミラー４を通過し、アパーチャ５により特定の領域からの反射光のみに制限されたうえで、反射ミラー６を経て赤外検出器７に入射し、検出される。そのため、赤外検出器７に到達する赤外干渉光は、試料３中の特定の領域における赤外吸収が反映されたものとなる。
　赤外検出器７による検出信号はデータ処理部１０に入力され、データ処理部１０においてフーリエ変換演算部１００が検出信号に対してフーリエ変換処理を実行することにより、所定波長範囲の吸光度を示す赤外吸収スペクトルが得られる。このようにして得られたスペクトルデータは制御部１１に送られ、制御部１１に接続された表示部１３の画面上に表示される。一方、可視光源８から放射される可視光は試料３上の広い範囲に当たり、試料３からの可視反射光はＣＣＤカメラ９に導入される。ＣＣＤカメラ９では試料３の表面の観察画像が作成され、該観察画像のデータが制御部１１に送られる。制御部１１に送られた観察画像データは、スペクトルデータと同様に、表示部１３の画面上に表示される。赤外干渉光を照射する領域は、可動ステージ２及びアパーチャ５を制御部１１が適宜制御することにより変更することができる。制御部１１はまた、赤外干渉計１、可視光源８等の各部の動作を制御する。
　データ処理部１０及び制御部１１は、パーソナルコンピュータに予めインストールされた専用の制御・データ処理ソフトウエアを該コンピュータで実行することにより、後述するような各種機能を達成するものとすることができる。
　図１の構成は反射赤外測定と反射可視観察を行うものであるが、透過赤外測定を行う構成としたり、透過可視観察を行う構成に変更したりことができる。また、接眼レンズを用いて、ユーザが直接的に目視で試料表面を観察できる機構を組み込んでもよい。
　次に、本実施例の赤外顕微鏡において、試料の観察画像から分析対象領域を設定するための手順を、図２のフローチャートを用いて説明する。
　可動ステージ２上に測定対象の試料３が載置されると、まずＣＣＤカメラ９により試料３の可視画像が撮影され、取得された画像データが制御部１１に送られ、図３に示すような観察画像が、表示部１３の画面上に表示される（ステップＳ１）。制御部１１はまた、この観察画像を、図４に示すように複数の（図ではＭ×Ｎ個の）領域に分割し、各分割領域の特徴量を算出する（ステップＳ２）。分割領域はピクセル毎としても良いし、隣接する複数のピクセルを１分割領域としても良い。
　また、ここで算出する特徴量には、ピクセル特徴量やテクスチャ特徴量を用いることができる。ピクセル特徴量とは、各ピクセルが有する輝度・色・彩度等の画像情報である。テクスチャ特徴量とは、点、線、ざらつき等のテクスチャを構成する要素を数値化したものであり、局所ヒストグラム（注目した領域とその周辺領域のヒストグラム）や、２次ソーベルフィルタ等によりエッジを抽出した画像のヒストグラム等を用いて算出される。なお、テクスチャ特徴量は一般的に多量の情報を含むため、高速化のために、主成分分析等により適宜、次元の削減を行っても良い。この他にも、画像処理で用いられる一般的な特徴量であれば用いることができる。
　ステップＳ２で算出された分割領域毎の特徴量データは、図示しない記憶部に格納される。
　ユーザは、制御部１１に接続されたマウス等の入力部１２を用いて、表示部１３の画面上に表示される観察画像内に、代表的な、一部の分割領域（代表指定領域群）を指定する（ステップＳ３）。図５は、ユーザが観察画像上に線２１を描画することにより、代表指定領域群の指定を行った例を示したものである。制御部１１は、このようなユーザの描画操作を受け、線２１を含んでいる全ての分割領域を代表指定領域群に定める（図６）。
　制御部１１は、ユーザにより指定された代表指定領域群の各特徴量を記憶部から読み出し、その分布を算出する（ステップＳ４、図７）。図７は、説明の簡単化のため、特徴量として輝度値のみを用いた場合の代表指定領域群の１次元分布（輝度分布）を示している。　
　ステップＳ５では、ステップＳ４で算出された分布に対し、測定対象領域として抽出する分割領域の特徴量の範囲を定める。図７(a)では、輝度分布の平均と標準偏差σを求め、該平均から±３σ内を、測定対象領域として抽出する輝度値の範囲としている。なお、ステップＳ４において、図７(b)のように複数のピークが存在する多ピーク分布が得られた場合、k-means等の手法によりk個（図７(b)の例では2個）の分布に分け、各々の分布に対して上記の手法により輝度値の範囲を求めても良い。ステップＳ６では、記憶部から全ての分割領域の特徴量を読み出し、その各分割領域の特徴量が、ステップＳ５で算出された範囲内に存在するか否かを判定する。そして、該範囲内に特徴量が存在する分割領域を抽出し、分析対象領域に設定する。このようにして分析対象領域を設定すると、制御部１１は、表示部１３の画面上に表示している観察画像において、分析対象領域の色づけを行う（ステップＳ７、図８）。ユーザは、図８の画像を見て、意図した通りに分析対象領域が設定されていれば、処理を終了させる。また、意図した通りに分析対象領域が設定されていなければ、代表指定領域群を適宜増減させる。なお、ステップＳ７において抽出された領域が複数個の独立した領域に分かれた場合、それら全ての領域を画面上に表示するようにしても良いが、例えば、ユーザが指定した代表指定領域群を含む単独領域（分離していない領域のこと）のみを表示するようにしても良い。
　以上で分析対象領域の設定に関する処理が終了する。制御部１１はその後、上記の処理によって得られた分析対象領域に対して、アパーチャ５の開口のサイズや可動ステージ２上の試料３の位置を調整する。そうして、赤外干渉計から赤外干渉光を照射することにより、分析対象領域の分析を実行する。
　なお、上記実施例では、ステップＳ５で算出する範囲を、輝度分布の平均から±３σ内としたが、該範囲はもちろん、ステップＳ４で算出された分布に基づいてユーザが適宜定めても良い。
　以上の説明では、ユーザは、関心を持った領域内に代表指定領域群を設定することにより分析対象領域の抽出を行っていたが、これとは異なる方法で分析対象領域を抽出することもできる。具体的には、一旦、関心領域「以外」の領域内に代表指定領域群を設定し、今度は逆に、該代表指定領域群を「含まない」範囲を分析対象領域として抽出する方法である。以下、この方法について図９～図１１を参照して説明する。
　図９の観察画像において、塊２３がユーザの関心領域である。この観察画像に対し、ユーザは、一旦、関心領域（塊）２３「以外」の領域に線２２を描画し、代表指定領域群の設定を行う（ステップＳ３）。その結果、得られる特徴量分布（輝度分布）が図１０である（ステップＳ４）。この図１０の代表指定領域群の輝度分布は、関心領域２３の輝度分布を含まないものとなる。そこで、逆に、ステップＳ５では代表指定領域群の輝度分布を「含まない」ように、分析対象領域として抽出する分割領域の範囲を設定する（図１０では、平均から±６σ以上の範囲）。そうすることで、ステップＳ６では、代表指定領域群を含まない前記範囲内の分割領域が分析対象領域に設定される。図１１は、この方法により設定された観察画像中の分析対象領域を示す図である。なお、図１１では、関心領域２３だけでなく、それ以外の領域も分析対象領域に設定され、色づけされている。このような場合、関心領域２３を、ユーザがマウスでクリックする等により選択すると、制御部１１は、そのクリックした領域内にアパーチャ５の開口の位置とサイズを自動設定する。また、図１０のように、線２２が閉じた曲線であり、その曲線の内側に抽出された領域が存在する場合、自動的にその閉じた曲線内の領域のみを分析対象領域に設定し、その領域内にアパーチャ５の開口の位置とサイズを自動設定するようにしても良い。
　なお、上記実施例では赤外顕微鏡について説明したが、本発明は赤外顕微鏡以外の顕微分光分析装置や、顕微質量分析装置等にも適用することが可能である。
１…赤外干渉計
２…可動ステージ
３…試料
４…ハーフミラー
５…アパーチャ
６…反射ミラー
７…赤外検出器
８…可視光源
９…ＣＣＤカメラ
１０…データ処理部
　１００…フーリエ変換演算部
１１…制御部
１２…入力部
１３…表示部
２１、２２…線
２３…関心領域（塊）

Claims (3)

  1. 　試料の観察画像中に、分析装置により分析を行う領域である分析対象領域を設定する装置であって、
    　前記観察画像を複数の領域に分割し、各分割領域における所定の画像特徴量を算出する特徴量算出手段と、
    　前記分割領域を複数、ユーザに指定させる分割領域指定手段と、
    　前記分割領域指定手段により指定された各分割領域の画像特徴量から、前記分析対象領域として抽出する分割領域の画像特徴量の範囲を定める特徴量範囲算出手段と、
    　前記観察画像より、画像特徴量が前記範囲内にある分割領域を抽出する領域抽出手段と、
    　を備えることを特徴とする分析対象領域設定装置。
  2. 　前記範囲が、前記ユーザに指定された全て又は一部の分割領域の画像特徴量を含むように設定されることを特徴とする請求項１に記載の分析対象領域設定装置。
  3. 　前記範囲が、前記ユーザに指定された分割領域の画像特徴量を全て含まないように設定されることを特徴とする請求項１に記載の分析対象領域設定装置。
PCT/JP2012/079617 2012-11-15 2012-11-15 分析対象領域設定装置 WO2014076789A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014546779A JP5900644B2 (ja) 2012-11-15 2012-11-15 分析対象領域設定装置
PCT/JP2012/079617 WO2014076789A1 (ja) 2012-11-15 2012-11-15 分析対象領域設定装置
EP12888367.5A EP2921843A4 (en) 2012-11-15 2012-11-15 ANALYSIS AREA SETTING DEVICE
US14/442,812 US20150301323A1 (en) 2012-11-15 2012-11-15 System for setting analysis target region
US16/292,613 US20190196170A1 (en) 2012-11-15 2019-03-05 Method for setting analysis target region by extracting, from an observed image divisional areas having a value of image characteristic quantity within a value range

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/079617 WO2014076789A1 (ja) 2012-11-15 2012-11-15 分析対象領域設定装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/442,812 A-371-Of-International US20150301323A1 (en) 2012-11-15 2012-11-15 System for setting analysis target region
US16/292,613 Division US20190196170A1 (en) 2012-11-15 2019-03-05 Method for setting analysis target region by extracting, from an observed image divisional areas having a value of image characteristic quantity within a value range

Publications (1)

Publication Number Publication Date
WO2014076789A1 true WO2014076789A1 (ja) 2014-05-22

Family

ID=50730729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/079617 WO2014076789A1 (ja) 2012-11-15 2012-11-15 分析対象領域設定装置

Country Status (4)

Country Link
US (2) US20150301323A1 (ja)
EP (1) EP2921843A4 (ja)
JP (1) JP5900644B2 (ja)
WO (1) WO2014076789A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016140388A (ja) * 2015-01-30 2016-08-08 株式会社ニデック 眼底撮影装置
WO2016185755A1 (ja) * 2015-05-15 2016-11-24 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2019186965A1 (ja) * 2018-03-29 2019-10-03 株式会社島津製作所 イメージング質量分析におけるデータ処理方法及びデータ処理プログラム
WO2019186999A1 (ja) 2018-03-30 2019-10-03 株式会社島津製作所 イメージングデータ処理装置及びイメージングデータ処理プログラム
JP2020504289A (ja) * 2016-10-20 2020-02-06 オプティナ ダイアグノスティクス，インコーポレイテッド 生体組織内の異常を検出するための方法及びシステム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014136276A1 (ja) * 2013-03-08 2014-09-12 株式会社島津製作所 分析対象領域設定装置
US20180045937A1 (en) * 2016-08-10 2018-02-15 Zeta Instruments, Inc. Automated 3-d measurement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1096691A (ja) * 1991-03-19 1998-04-14 Tokai Rika Co Ltd 面分析方法及び面分析装置
JP2007127485A (ja) 2005-11-02 2007-05-24 Shimadzu Corp イメージ質量分析装置
JP2007183980A (ja) * 2007-02-13 2007-07-19 Fujitsu Ltd データ設定装置
JP2010276371A (ja) 2009-05-26 2010-12-09 Shimadzu Corp 赤外顕微鏡

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6136540A (en) * 1994-10-03 2000-10-24 Ikonisys Inc. Automated fluorescence in situ hybridization detection of genetic abnormalities
US5706083A (en) * 1995-12-21 1998-01-06 Shimadzu Corporation Spectrophotometer and its application to a colorimeter
US6011595A (en) * 1997-09-19 2000-01-04 Eastman Kodak Company Method for segmenting a digital image into a foreground region and a key color region
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
US7403646B2 (en) * 2002-10-24 2008-07-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and recording medium for generating a difference image from a first radiographic image and second radiographic image
US8111395B2 (en) * 2007-01-05 2012-02-07 Malvern Instruments Ltd Spectrometric investigation of heterogeneity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1096691A (ja) * 1991-03-19 1998-04-14 Tokai Rika Co Ltd 面分析方法及び面分析装置
JP2007127485A (ja) 2005-11-02 2007-05-24 Shimadzu Corp イメージ質量分析装置
JP2007183980A (ja) * 2007-02-13 2007-07-19 Fujitsu Ltd データ設定装置
JP2010276371A (ja) 2009-05-26 2010-12-09 Shimadzu Corp 赤外顕微鏡

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2921843A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016140388A (ja) * 2015-01-30 2016-08-08 株式会社ニデック 眼底撮影装置
WO2016185755A1 (ja) * 2015-05-15 2016-11-24 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
JP2016217789A (ja) * 2015-05-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
JP2020504289A (ja) * 2016-10-20 2020-02-06 オプティナ ダイアグノスティクス，インコーポレイテッド 生体組織内の異常を検出するための方法及びシステム
US11769264B2 (en) 2016-10-20 2023-09-26 Optina Diagnostics Inc. Method and system for imaging a biological tissue
WO2019186965A1 (ja) * 2018-03-29 2019-10-03 株式会社島津製作所 イメージング質量分析におけるデータ処理方法及びデータ処理プログラム
JPWO2019186965A1 (ja) * 2018-03-29 2020-12-03 株式会社島津製作所 イメージング質量分析におけるデータ処理方法及びデータ処理プログラム
WO2019186999A1 (ja) 2018-03-30 2019-10-03 株式会社島津製作所 イメージングデータ処理装置及びイメージングデータ処理プログラム
JPWO2019186999A1 (ja) * 2018-03-30 2020-12-03 株式会社島津製作所 イメージングデータ処理装置及びイメージングデータ処理プログラム
US11636598B2 (en) 2018-03-30 2023-04-25 Shimadzu Corporation Imaging data processing apparatus and imaging data processing program to perform image alignment by deforming images such that imaged observation target sites coincide

Also Published As

Publication number Publication date
JP5900644B2 (ja) 2016-04-06
EP2921843A1 (en) 2015-09-23
US20190196170A1 (en) 2019-06-27
JPWO2014076789A1 (ja) 2016-09-08
US20150301323A1 (en) 2015-10-22
EP2921843A4 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
JP5900644B2 (ja) 分析対象領域設定装置
US9092846B2 (en) Detecting defects on a wafer using defect-specific and multi-channel information
JP5507247B2 (ja) 画像駆動分析による分光器顕微鏡法
JP2017519193A (ja) 毛髪を分析するための、及び／又はヘアカラー処理の結果を予測するための装置及び方法
JP2010276371A (ja) 赤外顕微鏡
JP2013044729A (ja) 塗布状態測定方法
JP2020101564A (ja) 分光画像データ処理装置および２次元分光装置
CN111344103A (zh) 基于高光谱光学传感器的涂层区域定位方法和装置、及除胶***
CN107037005A (zh) 用于使用离轴检测器测量薄片材料或其他材料的混浊度的设备和方法
US9558551B2 (en) Image measurement apparatus and image measurement method for determining a proportion of positive cell nuclei among cell nuclei included in a pathologic examination specimen
US8705698B2 (en) X-ray analyzer and mapping method for an X-ray analysis
JP2017203658A (ja) 検査方法及び光学測定装置
JP5983858B2 (ja) 分析対象領域設定装置
WO2019150575A1 (ja) イメージング質量分析データ解析装置
JP6669189B2 (ja) 赤外顕微鏡
JP2016206060A (ja) 分光測定装置及び分光測定方法
JP2019060815A (ja) 自動ケミカルイメージ作成
US11248962B2 (en) Foreign matter analysis Method, storage medium storing foreign matter analysis program, and foreign matter analysis apparatus
JP2015178986A (ja) 赤外顕微鏡
JP2007192552A (ja) 分光測定装置
US9696203B2 (en) Spectral data processing apparatus, spectral data processing method, and recording medium
JP2017003499A (ja) 分光測定装置及び分光測定方法
CN115824982A (zh) 一种光学poct颜色判读方法、***和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12888367

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014546779

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14442812

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012888367

Country of ref document: EP