WO2006062132A1 - 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム - Google Patents

立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム Download PDF

Info

Publication number
WO2006062132A1
WO2006062132A1 PCT/JP2005/022471 JP2005022471W WO2006062132A1 WO 2006062132 A1 WO2006062132 A1 WO 2006062132A1 JP 2005022471 W JP2005022471 W JP 2005022471W WO 2006062132 A1 WO2006062132 A1 WO 2006062132A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereoscopic image
target
unit
transmission
images
Prior art date
Application number
PCT/JP2005/022471
Other languages
English (en)
French (fr)
Inventor
Eisaku Katayama
Norio Baba
Yoshitaka Kimori
Original Assignee
The University Of Tokyo
Toudai Tlo, Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by The University Of Tokyo, Toudai Tlo, Ltd. filed Critical The University Of Tokyo
Priority to JP2006546736A priority Critical patent/JP4974680B2/ja
Publication of WO2006062132A1 publication Critical patent/WO2006062132A1/ja
Priority to US11/810,632 priority patent/US7853069B2/en

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/22Optical or photographic arrangements associated with the tube
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/419Imaging computed tomograph
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22Treatment of data
    • H01J2237/221Image processing
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26Electron or ion microscopes
    • H01J2237/2611Stereoscopic measurements and/or imaging

Definitions

  • Stereoscopic image reconstruction device Stereoscopic image reconstruction device, stereoscopic image reconstruction method, and stereoscopic image reconstruction program
  • the present invention relates to a stereoscopic image reconstruction device, a stereoscopic image reconstruction method, and a stereoscopic image reconstruction program.
  • the present invention relates to a three-dimensional image reconstruction device, a three-dimensional image reconstruction method, and a three-dimensional image reconstruction program for reconstructing a three-dimensional image indicating a three-dimensional structure of a target based on an image obtained by capturing the target.
  • This application is related to the following Japanese application. For designated countries where incorporation by reference is permitted, the contents described in the following application are incorporated into this application by reference and made a part of this application.
  • a three-dimensional structure of a target is determined based on the overlap of light and shade when a plurality of transmission images obtained by imaging a target from a plurality of angles using a transmission electron microscope are stretched in the imaging direction and superimposed.
  • a stereoscopic image reconstruction device for reconstructing the stereoscopic image shown has been proposed.
  • the stereoscopic image of the target can be more accurately based on the shape information indicating the outline of the target calculated from the plurality of transparent images, which is not only the shading overlap when the multiple transparent images are stretched and superimposed.
  • a stereoscopic image reconstruction device that reconstructs the image has been proposed (see, for example, Patent Document 1).
  • Patent Document 1 International Publication Number WO2002Z048961
  • the area indicated by the overlap of shades obtained by extending and superimposing a plurality of transmission images is actually the target.
  • An area called ghost that does not exist is also included, and the accuracy of the stereoscopic image reconstructed based only on the shading overlap is low.
  • the 3D image reconstructed further based on the shape information indicating the outline of the target includes the internal structure of the target. Since the information to be shown is not included, the stereoscopic image reconstruction device described in Patent Document 1 cannot be used for the purpose of knowing the internal structure of the object.
  • an object of the present invention is to provide a stereoscopic image reconstruction device, a stereoscopic image reconstruction method, and a stereoscopic image reconstruction program that can solve the above-described problems.
  • This object is achieved by a combination of features described in the independent claims.
  • the dependent claims define further advantageous specific examples of the present invention.
  • a stereoscopic image reconstruction device for reconstructing a stereoscopic image indicating a stereoscopic structure of a target based on an image obtained by capturing the target.
  • the imaging unit that captures a plurality of transmission images including the target, and the plurality of transmission images, which are shown in shades, by transmitting an electron beam from a plurality of angles to the target.
  • the feature area selector that selects multiple feature areas included in the target and multiple transparent images!
  • the stereoscopic image reconstruction apparatus includes a stereoscopic structure information input unit that inputs information indicating an outline of a target stereoscopic structure, and a plurality of transmission-type images based on the input outline of the stereoscopic structure.
  • the image processing apparatus further includes an enhancement processing unit that performs image processing for enhancing the target, and the feature region selection unit includes a plurality of transmission images that are included in the plurality of objects included in the target emphasized by the enhancement processing unit.
  • a feature region may be selected.
  • the feature region distribution calculation unit is configured to spatially calculate each of the plurality of feature regions in the entire target based on the position of the contour of the target included in each of the plurality of feature regions in each of the plurality of transmission images.
  • a correct position may be calculated.
  • the imaging unit may capture a plurality of transmission-type images including a target having a three-dimensional structure based on a density distribution without staining the interior.
  • the stereoscopic image reconstruction device is configured so that the density of the stereoscopic image of the feature region reconstructed by the stereoscopic image reconstruction unit in the feature region having a known stereoscopic structure among the plurality of feature regions is the known stereoscopic image.
  • a convergence processing calculation unit that calculates an image processing operation that converges to the structure, and a stereoscopic image of the feature region reconstructed by the stereoscopic image reconstruction unit in a feature region having an unknown three-dimensional structure among the plurality of feature regions
  • a convergence processing unit that executes an image processing operation calculated by the convergence processing calculation unit may be further provided for the shading.
  • the stereoscopic image reconstruction unit is based on the spatial distribution of the plurality of feature regions calculated by the feature region distribution calculation unit!
  • the thickness calculation unit calculates the thickness of the transmission direction of the electron beam in the target. And each of a plurality of minute regions that divide the region within the target thickness calculated by the thickness calculation unit into a plurality of minute regions and match the shading of the plurality of transmission-type images captured by the imaging unit. You may have the micro area
  • the micro area allocation unit divides a plurality of transmission-type images into a plurality of micro-areas corresponding to a micro-area within the target thickness, and each of the plurality of micro-areas of the plurality of transmission-type images!
  • the stereoscopic image reconstruction apparatus further includes a three-dimensional structure information input unit that inputs known information on the target three-dimensional structure, and the minute area allocating unit matches the known information input by the three-dimensional structure information input unit. You can assign shades to multiple micro areas.
  • a stereoscopic image reconstruction device that reconstructs a stereoscopic image showing a stereoscopic structure of an object based on an image obtained by imaging the object.
  • An imaging unit that captures a plurality of transmission-type images including a target by transmitting an electron beam from a plurality of angles to the target, and a thickness within a predetermined thickness for the target Is divided into a plurality of minute areas, and a plurality of transparent images captured by the imaging unit are divided.
  • the image processing apparatus includes a micro area allocating unit that reconstructs a target stereoscopic image by allocating the density to each of a plurality of micro areas that match the shading of the oversized image.
  • the micro area allocation unit divides a plurality of transmissive images into a plurality of micro areas corresponding to a micro area within the target thickness, and each of the micro areas of the plurality of transmissive images! A proportional integer value is assigned, and each of the minute areas in the thickness is assigned one of the binary values of light and shade, and the binary value of the light and shade of the minute area in the thickness as viewed from the angle at which the transmission image is captured is assigned. Total force You can assign a light or dark binary deviation to a small area in the thickness so that it matches the integer value of the corresponding small area in the transmission image!
  • the stereoscopic image reconstruction device further includes a three-dimensional structure information input unit that inputs known information about the target three-dimensional structure, and the minute area allocation unit matches the known information input by the three-dimensional structure information input unit. Let me assign shades to multiple small areas.
  • a stereoscopic image reconstruction method for reconstructing a stereoscopic image indicating a target body structure based on an image obtained by capturing an object,
  • the imaging stage for imaging a plurality of transmission images including the target, which are shown in shades, by transmitting an electron beam from the angle of the angle, and a plurality of features included in the target in each of the plurality of transmission images
  • a feature region distribution calculation stage for calculating the spatial distribution of the plurality of feature regions in the entire target, and a plurality of transmissions
  • the shades indicated by the plurality of transmission-type images are
  • a stereoscopic image reconstruction stage for reconstructing a stereoscopic image in which the whole object is shaded by reconstructing a stereoscopic image indicating the stereoscopic structure in each of the plurality of characteristic regions by assigning to each position of the feature region;
  • a stereoscopic image reconstruction method for reconstructing a stereoscopic image indicating a body structure of a target on the basis of an image obtained by capturing the target.
  • An imaging stage for capturing a transmissive image and a plurality of minute areas that divide an area within a predetermined thickness for the target into a plurality of minute areas and match the shades of the plurality of transmissive images captured in the imaging stage.
  • a stereoscopic image reconstruction that causes a computer to function as a stereoscopic image reconstruction device that reconstructs a stereoscopic image that represents a target body structure based on an image obtained by capturing an object.
  • An image capturing unit that captures a plurality of transmission-type images including a target, which are indicated by shading, by transmitting an electron beam from a plurality of angles to the target, and a plurality of transmissions
  • Each type image is based on a feature region selection unit that selects a plurality of feature regions included in the target and each position of the plurality of feature regions selected in each of the plurality of transmission images!
  • a feature region distribution calculating unit that calculates a spatial distribution of the plurality of feature regions in the entire target by calculating a spatial position of each of the plurality of feature regions in the entire target;
  • the shading indicated by the plurality of transmission type images is
  • a stereoscopic image reconstruction unit that reconstructs a stereoscopic image in which shades are assigned to the entire object by reconstructing a stereoscopic image that indicates the stereoscopic structure in each of the multiple characteristic regions by assigning to each position of the multiple characteristic regions And function as a stereoscopic image reconstruction device.
  • a stereoscopic image reconstruction that causes a computer to function as a stereoscopic image reconstruction device that reconstructs a stereoscopic image that represents a target body structure based on an image obtained by capturing an object.
  • An image capturing unit that captures a plurality of transmission-type images including a target, which are indicated by shading by transmitting an electron beam from a plurality of angles to the target, and a target in advance.
  • FIG. 1 is a block diagram showing an example of a functional configuration of a stereoscopic image reconstruction device 10 according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a transmissive image 300a that is a first example of a transmissive image captured by the imaging unit 100 according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing a transmissive image 300b that is a second example of a transmissive image captured by the imaging unit 100 according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing a transmissive image 300c, which is a third example of a transmissive image captured by the imaging unit 100 according to the embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of a superimposing process of a plurality of transmission images by the stereoscopic image reconstruction unit 150 according to the embodiment of the present invention.
  • FIG. 6 is a diagram showing an example of a stereoscopic image reconstruction process by the stereoscopic image reconstruction unit 150 according to the embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of processing in the enhancement processing unit 120 according to the embodiment of the present invention.
  • FIG. 8 is a diagram showing an example of processing in a convergence processing calculation unit 160 according to the embodiment of the present invention.
  • FIG. 9 is a flowchart showing an example of a processing flow in a stereoscopic image reconstruction method using the stereoscopic image reconstruction device 10 according to the embodiment of the present invention.
  • FIG. 10 is a block diagram showing an example of a hardware configuration of a computer 1500 according to the embodiment of the present invention.
  • FIG. 11 is a block diagram showing an example of a functional configuration of a stereoscopic image reconstruction device 20 according to another embodiment of the present invention.
  • FIG. 12 is a stereoscopic image reconstruction using the stereoscopic image reconstruction device 20 according to the embodiment of the present invention. It is a flowchart which shows an example of the flow of the process in a method.
  • FIG. 13 is a diagram schematically showing a target 202 imaged by the imaging unit 100 according to the embodiment of the present invention.
  • FIG. 14 is a diagram showing transmissive images 302a and 302b captured by the image capturing unit 100 according to the embodiment of the present invention.
  • FIG. 15 is a plan view schematically showing the thickness of the target 202 calculated by the thickness calculation unit 152 according to the embodiment of the present invention.
  • FIG. 16 is a diagram showing histograms of transmissive images 302a and 302b captured by the image capturing unit 100 according to the embodiment of the present invention.
  • FIG. 17 is a diagram showing a minute region within the thickness of the target 202 divided by the minute region allocating unit 154 according to the embodiment of the present invention.
  • FIG. 18 is a block diagram showing an example of a functional configuration of a stereoscopic image reconstruction device 30 according to still another embodiment of the present invention.
  • FIG. 19 is a flowchart showing an example of a processing flow in a stereoscopic image reconstruction method using the stereoscopic image reconstruction device 30 according to the embodiment of the present invention.
  • 10 stereoscopic image reconstruction device 20 stereoscopic image reconstruction device, 30 stereoscopic image reconstruction device, 100 imaging unit, 110 stereoscopic structure information input unit, 120 enhancement processing unit, 130 feature region selection unit, 140 feature region Distribution calculation unit, 150 stereoscopic image reconstruction unit, 160 convergence processing calculation unit, 170 convergence processing unit, 180 output unit, 200 target, 202 target, 210-220 axis, 30 Oa-c transmission type image, 302a-b transmission type Image, 400a-c Shading distribution information
  • FIG. 1 is a block diagram showing an example of a functional configuration of the stereoscopic image reconstruction device 10 according to the embodiment of the present invention.
  • the stereoscopic image reconstruction device 10 is based on an image of an object such as a cell protein! / Reconstruct a stereoscopic image showing the target 3D structure.
  • An object of the stereoscopic image reconstruction device 10 according to the embodiment of the present invention is to reconstruct a stereoscopic image including not only the shape information indicating the outline of the object but also information regarding the internal structure of the object.
  • the stereoscopic image reconstruction device 10 according to the embodiment of the present invention further reconstructs a highly accurate stereoscopic image based on a smaller number of images as compared to the conventional stereoscopic image reconstruction device. With the purpose.
  • the stereoscopic image reconstruction device 10 includes an imaging unit 100, a stereoscopic structure information input unit 110, an enhancement processing unit 120, a feature region selection unit 130, a feature region distribution calculation unit 140, a stereoscopic image reconstruction unit 150, and a convergence process calculation.
  • the imaging unit 100 captures a plurality of transmission-type images including a target, which are indicated by shading, by transmitting an electron beam from a plurality of angles with respect to the target, for example, a transmission electron microscope. .
  • the imaging unit 100 may capture a plurality of transmission-type images including an object whose interior is stained by a negative staining method or the like, or an object having a three-dimensional structure based on a density distribution without being stained. Then, the imaging unit 100 outputs the captured plurality of transmission images to the enhancement processing unit 120 and the stereoscopic image reconstruction unit 150.
  • the three-dimensional structure information input unit 110 inputs an outline of a target three-dimensional structure based on, for example, a user operation. Then, the 3D structure information input unit 110 outputs information indicating the outline of the input 3D structure to the enhancement processing unit 120 and the convergence processing calculation unit 160.
  • the enhancement processing unit 120 performs image processing for emphasizing a target for each of a plurality of transmission-type images captured by the imaging unit 100 based on an outline of the target three-dimensional structure input by the three-dimensional structure information input unit 110. Execute. Then, the enhancement processing unit 120 outputs a plurality of transmission-type images that have been subjected to image processing for enhancing the target to the feature region selection unit 130.
  • the feature region selection unit 130 selects a plurality of feature regions included in the object in each of the plurality of transmission images received from the enhancement processing unit 120.
  • the feature region selection unit 130 displays information indicating each of the plurality of transmission images and the plurality of feature regions selected in each of the plurality of transmission images, for example, the position, shape, size, and the like of the feature region. And output to the feature region distribution calculation unit 140.
  • the feature area distribution calculation unit 140 is provided for each of a plurality of transmissive images and a plurality of transmissive images! Information indicating each of the plurality of feature regions selected by the feature region selection unit 130 is received from the feature region selection unit 130. receive.
  • the feature area distribution calculation unit 140 determines a plurality of feature areas in the entire target based on the positions of the feature areas selected by V for each of the plurality of transmission images.
  • the spatial distribution of a plurality of feature regions in the entire object is calculated by calculating the spatial position of each feature region.
  • the feature region distribution calculation unit 140 outputs information indicating the calculated distributions of the plurality of feature regions to the stereoscopic image reconstruction unit 150.
  • the stereoscopic image reconstruction unit 150 superimposes a plurality of transmission images received from the imaging unit 100 to reconstruct the target stereoscopic structure.
  • the three-dimensional image reconstruction unit 150 is based on the spatial distribution of the plurality of feature regions in the entire target calculated by the feature region distribution calculation unit 140, and the shading indicated by the plurality of transmission images. Is assigned to each position of the plurality of feature regions, and a three-dimensional image showing the three-dimensional structure in each of the plurality of feature regions is reconstructed, thereby reconstructing a three-dimensional image in which the shade is assigned to the entire object. Then, the stereoscopic image reconstruction unit 150 outputs the reconstructed stereoscopic image to the convergence processing calculation unit 160.
  • the convergence processing calculation unit 160 is reconstructed by the stereoscopic image reconstruction unit 150 in a feature region having a known three-dimensional structure among a plurality of feature regions selected by the feature region selection unit 130. An image processing operation is calculated in which the density of the three-dimensional structure of the feature region converges to the known three-dimensional structure. Then, the convergence processing calculation unit 160 outputs the reconstructed stereoscopic image and information indicating the calculated image processing operation to the convergence processing unit 170.
  • the convergence processing unit 170 is a three-dimensional image of the feature region reconstructed by the three-dimensional image reconstruction unit 150 in a feature region having an unknown three-dimensional structure among the plurality of feature regions selected by the feature region selection unit 130.
  • the image processing operation calculated by the convergence processing calculation unit 160 is executed with respect to the shading. Then, the convergence processing unit 170 outputs the stereoscopic image subjected to the image processing to the output unit 180.
  • the output unit 180 outputs, for example, a stereoscopic image received from the convergence processing unit 170, which is a display device such as an LCD panel or a storage device such as a hard disk drive, to the user.
  • the stereoscopic image reconstruction device 10 According to the stereoscopic image reconstruction device 10 according to the embodiment of the present invention, spatial distribution of a plurality of feature regions in each of a plurality of transmission-type images obtained by capturing an object from a plurality of angles. Based on the cloth, it is possible to reconstruct a stereoscopic image in which shades are assigned to the entire object. As a result, unlike conventional stereoscopic image reconstruction devices, it is possible to provide a user with a stereoscopic image including information about the internal structure as well as the shape information indicating the outer shell of the target having a stereoscopic structure.
  • an object having a three-dimensional structure based on a density distribution with or without staining the inside is imaged using a transmission electron microscope, and the spatial position of a specific inner structure in the object is determined.
  • the angle between the sample and the imaging direction can be changed compared to the conventional case where a stereoscopic image is reconstructed only by combining grayscale information. Since the number of tilted images to be obtained is very small, it is possible to reconstruct a stereoscopic image while keeping the degree to which the target structure is destroyed by image capturing to a low level.
  • the convergence processing calculation unit 160 is based on the information indicating the outline of the three-dimensional structure input by the three-dimensional structure information input unit 110! In the feature region having a known three-dimensional structure. Instead, the convergence processing calculation unit 160 is different from the outline of the stereoscopic structure used by the enhancement processing unit 120. For example, the image processing operation may be calculated based on information input separately by the user.
  • FIG. 2 shows a transmissive image 300a, which is a first example of a transmissive image captured by the imaging unit 100 according to the embodiment of the present invention.
  • FIG. 3 shows a transmissive image 300b, which is a second example of a transmissive image captured by the imaging unit 100 according to the embodiment of the present invention.
  • FIG. 4 shows a transmissive image 300c, which is a third example of the transmissive image captured by the imaging unit 100 according to the embodiment of the present invention.
  • the imaging unit 100 images at least three different objects 200 from different angles.
  • the imaging unit 100 outputs the transmission image 300a by imaging the object 200 from the A direction. Further, the imaging unit 100 outputs the transmission image 300b by imaging the target 200 with the B-direction force.
  • the imaging unit 100 outputs a transmissive image 300c by imaging the object 200 from the C direction.
  • the angle formed between the A direction and the B direction and the angle formed between the A direction and the C direction are preferably equal to each other, ⁇ .
  • the same axis 210 is rotated.
  • the direction may be the direction in which the A direction is rotated as the center, or may be the direction in which the A direction is rotated with the axes different from each other, for example, the axis 210 and the axis 220 as rotation centers.
  • FIG. 5 shows an example of the overlay processing of a plurality of transmission-type images by the stereoscopic image reconstruction unit 150 according to the embodiment of the present invention.
  • the stereoscopic image reconstruction unit 150 extends each of the plurality of transmission images captured by the imaging unit 100 in the imaging direction of the transmission image, and generates a plurality of shade distribution information. Then, the stereoscopic image reconstruction unit 150 superimposes the plurality of generated grayscale distribution information while maintaining the angular relationship between the imaging directions in the transmissive image corresponding to each density distribution information.
  • the stereoscopic image reconstruction unit 150 maintains the angular relationship among the A direction, the B direction, and the C direction for each of the generated density distribution information 400a, the density distribution information 400b, and the density distribution information 400c. Overlapping. In the figure, a longitudinal section of concentration distribution information in a plane including the A direction, the B direction, and the C direction is shown.
  • the stereoscopic image reconstruction unit 150 detects a region 410 in which all the grayscale distribution information overlaps among the superimposed grayscale distribution information as a region where the target 200 exists. .
  • the area 400 includes an area called a ghost in which the target 200 does not actually exist, the stereoscopic image reconstruction unit 150 only detects the area 400 and detects the target 200. A three-dimensional image showing the three-dimensional structure cannot be reconstructed with high accuracy.
  • FIG. 6 shows an example of a stereoscopic image reconstruction process by the stereoscopic image reconstruction unit 150 according to the embodiment of the present invention.
  • the feature region selection unit 130 selects a plurality of feature regions in each of the plurality of transmission images. Specifically, when the imaging unit 100 captures a plurality of transmission images in the order in which the angle with respect to the target monotonously increases or decreases monotonously. Thus, the feature region selection unit 130 applies the feature region selected in one transmission type image to another transmission type image captured before and after the one transmission type image! Then, it is detected which region corresponds.
  • the feature region selection unit 130 may detect a corresponding feature region in each transmission image by using, for example, a known image processing technique called cross-correlation processing.
  • the feature region selection unit 130 may select, as the feature region in the one transmissive image, for example, a region in which the change in shading in the image is larger than that in other regions. Then, the feature region selection unit 130 captures the processing for detecting the corresponding feature region in the two transmission images captured before and after, before and after being included in the plurality of transmission images. By sequentially executing each of the two sets of transmission images, each of the plurality of feature regions is tracked in the plurality of transmission images.
  • the feature region distribution calculation unit 140 is based on the positions of the plurality of feature regions selected by the feature region selection unit 130 for each of the plurality of transmission images.
  • the spatial position of each of the plurality of feature regions in the entire object is calculated.
  • the feature region distribution calculation unit 140 uses a known method called a stereo measurement method that calculates height information of the same point based on parallax when the same point is observed from different angles. To calculate the spatial position of each of the plurality of feature regions in the entire object from the change in the position of each of the plurality of feature regions in a plurality of transmission-type images captured at different angular forces. To do.
  • the feature region distribution calculation unit 140 calculates the spatial positions of the plurality of feature regions as points 500a, 500b, and 500c.
  • point 500a, point 500b, and point 500c are points that appear to overlap when the A-direction force shown in FIG. 2 is also seen.
  • the number of feature regions for which the feature region distribution calculation unit 140 calculates a spatial position is limited to three.
  • the feature region distribution calculation unit 140 calculates the spatial positions of the plurality of feature regions in the entire target based on the centroid positions of the plurality of feature regions. You can put it out. Instead of this, the feature region distribution calculation unit 140 calculates the plurality of feature regions in the entire target based on the position of the contour of the target included in each of the plurality of feature regions in each of the plurality of transmission images. Each spatial position may be calculated. In many cases, the partial image showing the outline of the target included in the transmission type image has a clearer characteristic than the other partial images. Therefore, the change in the position of the target area is based on the position of the target outline. Can be calculated with high accuracy. As a result, the spatial positions of the plurality of feature regions can be calculated with high accuracy, and the target stereoscopic image can be reconstructed with higher accuracy.
  • the stereoscopic image reconstruction unit 150 detects the region 410 where the target 200 exists, detected based on the grayscale distribution information obtained by extending a plurality of captured transmission images in the imaging direction.
  • the stereoscopic image of the target 200 is reconstructed based on the spatial positions of the plurality of feature regions calculated by the feature region distribution calculation unit 140.
  • the stereoscopic image reconstruction unit 150 includes at least a part of the target 200 in the vicinity of each of the points 500a, 500b, and 500c shown in the drawing in the region 410.
  • the three-dimensional image showing the three-dimensional structure in each of the plurality of feature regions is reconstructed by equally assigning the shading in the entire region 410 to the vicinity of each point.
  • each spatial feature region is based on a plurality of transmission-type images obtained by imaging an object from a plurality of different angles, such as the B direction and the C direction in addition to the A direction alone.
  • the stereoscopic image reconstruction device 10 can reconstruct a solid image in which shades are assigned to the entire target 200 based on the information indicating the internal structure of the target 200 acquired in this way.
  • the stereoscopic image reconstruction device 10 it is possible to use a stereo measurement method or the like that uses only a region detected by stretching and superimposing a plurality of transmission images.
  • the target stereoscopic image can be reconstructed further based on the calculated spatial positions of the plurality of feature regions. Therefore, when reconstructing a target stereoscopic image based only on a region detected by stretching and superimposing a plurality of transmission-type images, or based on shape information of the target outer shell, As compared with the case of reconstructing, it is possible to acquire more information from each transmission image and reconstruct the target stereoscopic image.
  • the stereoscopic image reconstruction device 10 it is possible to reconstruct a stereoscopic image from a smaller number of transmission-type images than in the conventional stereoscopic image reconstruction device. As a result, it is possible to reconstruct a stereoscopic image with high accuracy while suppressing the degree to which the structure of the target is destroyed by the electron beam transmitted through the target when capturing the image. In addition, this makes it possible to reconstruct a highly accurate three-dimensional image even when using an object with an unstable structure that changes the structure while capturing a large number of images. Can do.
  • FIG. 7 shows an example of processing in the enhancement processing unit 120 according to the embodiment of the present invention.
  • the enhancement processing unit 120 converts, for example, a known morphological filter (Morphological Filter) from the transmission type image captured by the imaging unit 100 based on the outline of the target three-dimensional structure input by the three-dimensional structure information input unit 110. ) Emphasize the object in the transmissive image by performing image processing using a technique called processing.
  • the outline of the three-dimensional structure of the target may be information input by a user who is information indicating the thickness of the target when the target is linear, for example.
  • an example of image processing in the enhancement processing unit 120 will be described with reference to FIG.
  • FIG. 7A shows the relationship between the position and luminance of a transmission type image captured by the imaging unit 100 on a certain tomographic line.
  • the transmissive image is captured as a 256-level gray scale image.
  • FIG. 7B shows an outline of the target 3D structure input by the 3D structure information input unit 110.
  • the object has a linear structure
  • FIG. 7 (b) shows a typical thickness T of the object.
  • the enhancement processing unit 120 detects a portion other than the target, that is, background noise, in the transmissive image based on the captured transmissive image and the input outline of the three-dimensional structure of the target. Put out.
  • the enhancement processing unit 120 includes a target composition in the captured transmission image. For example, an area recognized as a structure having a thickness that is less than or equal to a reference value predetermined by a user, for example, the area 600 shown in FIG.
  • the region 610 and the region 620 are detected as regions indicating a part of the object.
  • the enhancement processing unit 120 generates a background image that is an image obtained by removing a portion detected as a region indicating a part of the target from the captured transmission-type image.
  • FIG. 7 (c) shows the relationship between the position on the same tomographic line as in the case of FIG. 7 (a) and the luminance in the background image generated by the enhancement processing unit 120 in this way.
  • the enhancement processing unit 120 generates a target image that is an image indicating the target by subtracting the acquired background image from the captured transmission-type image. Specifically, the enhancement processing unit 120 subtracts the image obtained by subtracting the luminance of the corresponding pixel included in the background image from the luminance of each pixel included in the captured transmission image.
  • FIG. 7D shows the relationship between the position and luminance on the same tomographic line as in FIG. 7A in the target image generated by the enhancement processing unit 120 in this way.
  • the enhancement processing unit 120 performs binarization processing on the generated target image. Specifically, the emphasis processing unit 120 includes, for each of the regions indicating the target included in the generated target image, the maximum value of the luminance in the region, for example, 255 or the like. By emphasizing the contrast, an object enhanced image in which the object is enhanced is generated.
  • FIG. 7E shows the relationship between the position and luminance on the same tomographic line as in FIG. 7A in the target enhanced image generated by the enhancement processing unit 120 in this way.
  • the enhancement processing unit 120 outputs, to the feature region selection unit 130 and the stereoscopic image reconstruction unit 150, an image obtained by performing image processing for enhancing the target on the captured transmission type image as described above. To do.
  • the background noise different from the grayscale information indicating the target is removed from the grayscale information in the captured transmission image, and the target is emphasized. Can do. As a result, the target stereoscopic image can be reconstructed with higher accuracy.
  • FIG. 8 shows an example of processing in the convergence processing calculation unit 160 according to the embodiment of the present invention.
  • a 3D image of a feature region reconstructed by the 3D image reconstruction unit 150 is used.
  • the shading of the image includes three points, as shown in Fig. 8 (a), point 700a, point 700b, and point 700c.
  • the known three-dimensional structure in the feature region input by the three-dimensional structure information input unit 110 includes only one point.
  • blurring occurs in the shade of the reconstructed stereoscopic image in the feature region.
  • the convergence processing calculation unit 160 calculates an image processing operation in which the density of the solid image reconstructed in the feature region converges to a known three-dimensional structure. Specifically, the convergence processing calculation unit 160 should converge the density of the stereoscopic image with reference to the point 700a, and as shown in FIG. 8 (b), the point 700a and the point 700c are respectively positioned at the force point 700a. Calculate the converged image processing operations.
  • the image processing operation may include various image processing such as enlargement, reduction, rotation, and deformation of at least a part of the feature region.
  • the convergence processing unit 170 is different from the feature region shown in the figure, and the convergence processing calculation unit is applied to the density of the stereoscopic image reconstructed over the other feature region whose stereoscopic structure is unknown.
  • the image processing operation calculated by 160 is executed.
  • the angle may be limited due to restrictions on the apparatus, characteristics of the target sample, and the like. Specifically, the angle ⁇ force is limited to the range of about ⁇ 60 degrees shown in FIGS. Then, due to the lack of projection images of the target at angles outside the range, the reconstructed image that should originally have a uniform resolution regardless of the direction on the tomographic image plane of the reconstructed stereoscopic image There arises a problem that only the resolution of the above deteriorates. For this reason, all tomographic images are stretched in one direction, or stereoscopic images that are different from actual ones and represent wrong structures and forms are reconstructed! / ⁇ , high enough!
  • the stereoscopic image reconstruction device 10 According to the stereoscopic image reconstruction device 10 according to the embodiment of the present invention, the image processing operation for converging the gray level of the stereoscopic image in the feature region where the stereoscopic structure is known to the known stereoscopic structure is calculated. Thus, the image processing operation can be executed with respect to the density of the three-dimensional structure in another feature region whose three-dimensional structure is unknown. As a result, the reconstructed stereoscopic image can be corrected for shading in the entire object, so that the stereoscopic structure of the object can be displayed at a higher resolution. High-quality stereoscopic images can be output.
  • FIG. 9 is a flowchart showing an example of a processing flow in the stereoscopic image reconstruction method using the stereoscopic image reconstruction device 10 according to the embodiment of the present invention.
  • the imaging unit 100 captures a plurality of transmission-type images including a target, which are indicated by shading, by transmitting an electron beam from a plurality of angles to the object (S1000).
  • the three-dimensional structure information input unit 110 inputs information indicating an outline of the target three-dimensional structure (S1010).
  • the enhancement processing unit 120 executes image processing for emphasizing a target for each of a plurality of captured transmission images based on the input outline of the three-dimensional structure (S1020).
  • the feature region selection unit 130 selects a plurality of feature regions included in the object emphasized by the enhancement processing unit for each of the plurality of transmission images (S1030).
  • the feature region distribution calculation unit 140 selects a plurality of feature regions in the entire target based on the positions of the plurality of feature regions selected in each of the plurality of transmission images. By calculating the spatial position of each, the spatial distribution of a plurality of feature regions in the entire object is calculated (S1040).
  • the stereoscopic image reconstruction unit 150 reconstructs the target stereoscopic structure by superimposing a plurality of transmission-type images (S1050).
  • the stereoscopic image reconstruction unit 150 assigns the shades indicated by the plurality of transmission images to the respective positions of the plurality of feature regions based on the spatial distribution of the plurality of feature regions in the entire object. Thus, by reconstructing a three-dimensional image showing the three-dimensional structure in each of the plurality of feature regions, a three-dimensional image in which shades are assigned to the entire object is reconstructed.
  • the convergence processing calculation unit 160 determines whether the three-dimensional structure of the reconstructed feature region in the feature region having a known three-dimensional structure among the plurality of feature regions has the known three-dimensional structure.
  • An image processing operation that converges to the structure is calculated (S1060).
  • the convergence processing unit 170 calculates the density of the reconstructed stereoscopic image of the feature region having an unknown three-dimensional structure among the plurality of feature regions by the convergence processing calculation unit 160.
  • the issued image processing operation is executed (S1070).
  • the output unit 180 outputs the stereoscopic image subjected to the image processing by the convergence processing unit 170 to the outside and provides it to the user (S1080).
  • a computer 1500 includes a CPU peripheral unit having a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 connected to each other by a host controller 1582, and a host by an input / output controller 1584.
  • I / O unit having communication interface 1530, hard disk drive 1540, and CD-ROM drive 1560 connected to controller 1582, and ROM 1510, flexible disk drive 1550, and I / O chip connected to input / output controller 1584 And a legacy input / output unit having 1570.
  • the host controller 1582 connects the RAM 1520 to the CPU 1505 and the graphic controller 1575 that access the RAM 1520 at a high transfer rate.
  • the CPU 1505 operates based on programs stored in the ROM 1510 and the RAM 1520, and controls each part.
  • the graphic controller 1575 acquires image data generated by the CPU 1505 and the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580.
  • the graphic controller 1575 may include a frame buffer for storing image data generated by the CPU 1505 or the like.
  • the input / output controller 1584 connects the host controller 1582 to the communication interface 1530, the hard disk drive 1540, and the CD-ROM drive 1560, which are relatively high-speed input / output devices.
  • the communication interface 1530 communicates with other devices via a network.
  • the hard disk drive 1540 stores programs and data used by the CPU 1505 in the computer 1500.
  • CD-ROM drive 1560 reads CD-ROM 15 95 programs or data and provides them to hard disk drive 1540 via RAM 1520.
  • the input / output controller 1584 is connected to the ROM 1510 and the relatively low-speed input / output devices of the flexible disk drive 1 550 and the input / output chip 1570.
  • the ROM1 510 stores a boot program executed when the computer 1500 starts up, a program depending on the hardware of the computer 1500, and the like.
  • the flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 via the RAM 1520.
  • the input / output chip 1570 Various input / output devices are connected through the Sibble disk drive 1550 and, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like.
  • the stereoscopic image reconstruction program provided to the hard disk drive 1540 via the RAM 1520 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user.
  • the stereoscopic image reconstruction program is read from the recording medium, installed on the hard disk drive 1540 in the computer 1500 via the RAM 1520, and executed by the CPU 1505.
  • the stereoscopic image reconstruction program installed and executed on the computer 1500 works on the CPU 1505 and the like to cause the computer 1500 to function as the stereoscopic image reconstruction device 10 described with reference to FIGS.
  • the program described above may be stored in an external storage medium.
  • storage media flexible disk 1590, CD-ROM 1595, optical recording media such as DVD and PD, magneto-optical recording media such as MD, tape media, semiconductor memory such as IC cards, etc.
  • a storage device such as a node disk or a RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1500 via the network.
  • FIG. 11 is a block diagram showing an example of a functional configuration of a stereoscopic image reconstruction device 20 according to another embodiment of the present invention.
  • the stereoscopic image reconstruction device 20 includes an imaging unit 100, a stereoscopic structure information input unit 110, a feature region selection unit 130, a feature region distribution calculation unit 140, a stereoscopic image reconstruction unit 150, and an output unit 180.
  • the stereoscopic image reconstruction unit 150 includes a thickness calculation unit 152, a micro area allocation unit 154, and a back projection unit 156.
  • the imaging unit 100 has the same configuration and function as the imaging unit 100 of the stereoscopic image reconstruction device 10.
  • the imaging unit 100 captures a target from a plurality of angles, acquires a plurality of transmission images, and outputs the images to the feature region selection unit 130 and the thickness calculation unit 152.
  • the three-dimensional structure information input unit 110 inputs known information about the target three-dimensional structure based on, for example, a user operation. Then, the three-dimensional structure information input unit 110 outputs information indicating an outline of the input three-dimensional structure to the micro area allocating unit 154.
  • the feature region selection unit 130 is a plurality of transmissive images received from the imaging unit 100. In this case, a plurality of feature regions included in the target are selected. And a feature region selection unit
  • the 130 is a feature region distribution calculation unit 140 that displays information indicating each of a plurality of transmissive images and a plurality of feature regions selected in each of the plurality of transmissive images, for example, the position, shape, and size of the feature regions. Output to.
  • the feature region distribution calculation unit 140 stores information indicating each of the plurality of transmission images and the plurality of feature regions selected by the feature region selection unit 130 for each of the plurality of transmission images. Received from selection section 130. Then, the feature area distribution calculation unit 140 determines a plurality of feature areas in the entire target based on the positions of the feature areas selected by V for each of the plurality of transmission images. The spatial distribution of a plurality of feature regions in the entire object is calculated by calculating the spatial position of each feature region. Then, the feature region distribution calculation unit 140 outputs information indicating the calculated distribution of the plurality of feature regions to the thickness calculation unit 152.
  • the thickness calculator 152 is based on the spatial distribution of a plurality of feature regions calculated by the feature region distribution calculator 140! Then, the thickness of the transmission direction of the electron beam in the object is calculated. The thickness calculation unit 152 outputs the spatial distribution of the feature region and the calculated thickness to the micro region allocation unit 154.
  • the micro area allocation unit 154 divides an area within the target thickness calculated by the thickness calculation unit 152 into a plurality of micro areas. Further, the micro area allocating unit 154 reconstructs a stereoscopic image in which the gray level is assigned to each of the plurality of micro areas that match the gray level of the plurality of transmission images captured by the imaging unit 100. In this case, the micro area allocation unit 154 first divides a plurality of transmission-type images into a plurality of micro areas corresponding to the micro area within the target thickness. Furthermore, the minute area allocating unit 154 assigns an integer value proportional to the density for each of the plurality of minute areas of the plurality of divided transmission images.
  • the micro area allocating unit 154 allocates one of two values of light and shade to each micro area within the thickness of the target, and micro area within the thickness viewed from the angle at which the transmission image is captured.
  • One of the binary values of light and shade is assigned to the minute region within the thickness so that the sum of the light and dark values of the region matches the integer value of the light and shade of the corresponding minute region in the transmission image.
  • the micro area allocation unit 154 is configured to change the density of the entire object in a micro area within the thickness. By assigning one of the binary values, the density distribution for the entire object is obtained.
  • the micro area allocation unit 154 supplies the acquired density distribution to the back projection unit 156.
  • the backprojection unit 156 reconstructs a stereoscopic image of the target 202 by assigning the density of the transmission type image to the acquired density distribution of the target 202.
  • the back projection unit 156 outputs the reconstructed stereoscopic image to the output unit 180.
  • FIG. 12 is a flowchart showing an example of a processing flow in the stereoscopic image reconstruction method using the stereoscopic image reconstruction device 20 according to the embodiment of the present invention.
  • FIG. 13 is a diagram schematically showing the target 202 imaged by the imaging unit 100 according to the embodiment of the present invention.
  • FIG. 14 is a diagram showing transmissive images 302a and 302b captured by the imaging unit 100 according to the embodiment of the present invention. Note that step S 1052 and subsequent steps in this flowchart will be described with reference to FIGS. 15 to 17 with reference to FIGS.
  • the imaging unit 100 transmits the electron beam from one angle (0 °) with respect to the target 202, thereby including a transmission type image including the target 202 shown in FIG. 14 (a).
  • 302a is imaged (S1000).
  • the imaging unit 100 also captures a transmission-type image 302b including the target 202 shown in FIG. 14B by transmitting an electron beam from another angle (10 °) on the plane with respect to the target 202 ( Same step).
  • the imaging unit 100 captures a plurality of transmission-type images by changing the angle by 10 degrees with respect to a specific plane of the target 202.
  • a part of the explanation of the transmissive images (not shown) other than the transmissive images 302a and 302b is omitted.
  • the three-dimensional structure information input unit 110 inputs known information of the target 202 (S1010). For example, if it is known as known information that the target 202 has a fiber-like internal structure, the length, thickness, etc. of the fiber-like structure are input to the user force three-dimensional structure information input unit 110. Is done.
  • the feature region selection unit 130 selects a plurality of feature regions included in the target 202 in each of the transmissive images 302a and b (S1030).
  • the feature region distribution calculation unit 140 performs a plurality of processing in the entire target 202 based on the positions of the plurality of feature regions selected in each of the transmission images 302a and 302b in the transmission images 302a and 302b.
  • the spatial position of each feature region By calculating the spatial position of each feature region, the spatial distribution of multiple feature regions in the entire target 202 is calculated (S 1040). Steps S1010, S1030, and S1040i are the same as those of the stereoscopic image reconstruction device 10 shown in FIG.
  • FIG. 15 is a plan view schematically showing the thickness of the target 202 calculated by the thickness calculation unit 152 according to the embodiment of the present invention.
  • FIG. 16 is a diagram showing histograms of transmission-type images 302a and 302b picked up by the image pickup unit 100m according to the embodiment of the present invention.
  • FIG. 17 is a micro area allocation image in which shading is assigned by the micro area allocation unit 154 according to the embodiment of the present invention.
  • the thickness calculation unit 152 based on the spatial distribution of a plurality of feature regions in the entire target 202 calculated by the feature region distribution calculation unit 140, The thickness d in the transmission direction is calculated (S1052).
  • FIG. 15 is an example of the calculated thickness, and the thickness d of the object 202 in the auxiliary line A shown in FIG. 13 parallel to the angle (0 °) at which the object 202 is imaged and the plane including the cross section L. Indicates.
  • the thickness calculation unit 152 also divides the thickness d in FIG. 15 into the micro area ⁇ p ⁇ q corresponding to the micro area A p A q in the micro area allocation image in FIG.
  • the micro area allocating unit 154 corresponds to the micro area ⁇ A q within the thickness shown in FIG. 15, and the area on the line segment L of the transmissive image 302a shown in FIG. 16 (a). It is divided into a plurality of minute regions ⁇ (for example, pixels having a size of ⁇ ) (S1054).
  • the micro area assigning unit 154 corresponds to the micro area A p A q within the thickness shown in FIG. 15 by dividing a plurality of areas on the line segment L of the transmissive image 302b shown in FIG. Divide into small regions ⁇ p (same step).
  • the micro area allocating unit 154 performs the S-th pixel (pixel S) in the micro area ⁇ p on the line segment L of the transmissive image 302a.
  • the pixel value N is assigned as an integer value proportional to the shading (S1056).
  • the micro area allocation unit 154 has a transparent
  • N be the pixel value when the pixel S on the line segment L of the oversized image 302a is represented by 256 black and white gradations.
  • the micro area allocation unit 154 is connected to another pixel S-1 etc. on the line segment L.
  • the pixel value N etc. is assigned as an integer value proportional to the shading. Similarly, fine
  • the small region allocating unit 154 For the pixels corresponding to each of the small regions ⁇ p on the line segment L of the transmissive image 302b, the small region allocating unit 154 also converts the pixel value to an integer value proportional to the shading as shown in FIG. Assign as [0070]
  • the micro area allocating unit 154 allocates two values of light and shade to the micro area of the micro area allocation image (S1058). In this case, first, the micro area allocation unit 154 prepares a micro area allocation image obtained by dividing a two-dimensional screen into micro areas ⁇ p ⁇ q. Next, for a specific angle (0 °), the micro area assigning unit 154 corresponds to the micro area in FIG. 17A corresponding to the micro area included in the thickness d in FIG. A binary value corresponding to the pixel value N assigned to the pixel S in FIG. 16 (a) is assigned to the area within the dashed line in (a). In this case,
  • the area allocation unit 154 is the total K force transmission type image of the binary values of the micro area ⁇ p ⁇ q included in the micro area group P in the thickness direction as viewed from the angle (0 °) at which the transmission image 302a was captured.
  • the micro area allocating unit 154 assigns “4” to the pixel value N of the pixel S at the angle (0 °).
  • the micro area allocation part
  • the micro area allocating unit 154 may randomly select four micro areas out of the micro areas included in the area corresponding to the thickness d and assign white at random.
  • the minute area allocating unit 154 satisfies the constraint condition related to the angle (0 °), and at the other angle (10 °), the minute area allocating unit 154 adds two shades of light to the minute area of the minute area assigned image. Assign a value. In this case, the minute area allocating unit 154 changes the position of the white minute area allocated in the case of the angle (0 °) while satisfying the constraint condition.
  • the micro area allocating unit 154 calculates the sum of the binary values of the micro area group P in FIG.
  • the micro-area allocation unit 154 has a line segment L for both two angles (0 °, 10 °). Satisfy the constraint condition of the upper pixel s and assign white to the minute area of the minute area assigned image. Further, for other angles, white is assigned to a minute area of the minute area assigned image by satisfying the constraint condition of the pixel S on the line segment L for these angles.
  • the micro area allocating unit 154 is configured to determine whether or not each of the micro areas ⁇ p ⁇ q in the thickness corresponding to the other pixels on the line segment L has a light / dark binary value. Is assigned. Further, the minute area allocating unit 154 assigns a binary deviation to the entire minute area ⁇ p ⁇ q in the thickness other than on the cross section L, that is, on the line segment L.
  • the micro area allocating unit 154 determines that the cross section L and the micro area ⁇ ⁇ ⁇ (thickness other than the line segment L on the line segment L) from the binary distribution allocated to the entire ridge. Obtain the binary distribution of the entire micro area ⁇ ⁇ ⁇ q in the direction perpendicular to the thickness direction, that is, the micro area allocation unit 154 is the binary of the micro area ⁇ p ⁇ q of the entire target 202.
  • the micro-area allocating unit 154 supplies the acquired density distribution to the back projection unit 156.
  • the back projection unit 156 transmits the transmission type on the acquired density distribution of the target 202.
  • the three-dimensional image of the object 202 is reconstructed by assigning the shades of the image (S1060).
  • the backprojection unit 156 generates a weighting function by developing a normal distribution around white coordinates.
  • the back projection unit 156 reconstructs the stereoscopic image of the target 202 by back projecting and assigning the density of the transmissive image according to the weight value calculated by the generated weight function.
  • the spatial position of each of the plurality of feature regions and the spatial position of each of the shades of the plurality of micro regions are calculated with high accuracy, and the solid image of the target 202 is obtained with higher accuracy. Can be reconfigured.
  • the stereoscopic image of the target 202 can be obtained at high speed. Can be reconfigured. Subsequently, the back projection unit 156 outputs the reconstructed stereoscopic image to the output unit 180. Then, the output unit 180 outputs the stereoscopic image subjected to the image processing by the back projection unit 156 to the outside and provides it to the user (S1080).
  • step S1058 the microregion allocation unit 154 binaries each microregion A p A q based on the distribution of the feature region calculated in step S1040 and the thickness calculated in step S1052. Is assigned. In other words, the point distribution based on shading The stereoscopic image is reconstructed according to the constraint condition related to the feature region and the constraint condition related to the thickness in addition to the constraint condition related to the feature area.
  • the micro area allocating unit 154 may allocate a binary value to each micro area ⁇ A q in accordance with the known information input in step S1010.
  • the micro area allocation unit 154 Instead of randomly assigning the microregions, assign binary values so that the set of white microregions is approximately the length and thickness of the fiber-like structure.
  • the spatial positions of the plurality of feature areas and the spatial positions of the shades of the plurality of minute areas are calculated with higher accuracy. Therefore, it is possible to reconstruct the stereoscopic image of the target 202 with higher accuracy.
  • the initial white micro-regions are distributed within a certain error range by multi-stereo measurement or the like.
  • a probabilistic method for reducing the difference between the actual transparent image and the projected image of the micro area allocation image under the third condition in step S1054, other methods such as force genetic algorithm using the Monte Carlo method are used. It may be a technique.
  • FIG. 18 is a block diagram showing an example of a functional configuration of a stereoscopic image reconstruction device 30 according to still another embodiment of the present invention.
  • the stereoscopic image reconstruction device 30 can reconstruct a stereoscopic image of the target 202 even when it is difficult to specify a thickness with a small feature area in the target 202.
  • the stereoscopic image reconstruction device 30 includes an imaging unit 100, a stereoscopic structure information input unit 110, a minute area allocation unit 154, a back projection unit 156, and an output unit 180.
  • the imaging unit 100 and the three-dimensional structure information input unit 110 of the stereoscopic image reconstruction device 30 have the same configuration and function as those of the stereoscopic image reconstruction device 20 of FIGS.
  • the micro area allocating unit 154 of the stereoscopic image reconstruction device 30 divides an area within a predetermined thickness for the target into a plurality of micro areas, and a plurality of transparent images captured by the imaging unit 100 are obtained. Shading is assigned to each of the plurality of minute areas that match the shading of the overmolded image. For example, the micro area allocating unit 154 first divides a plurality of transmission images into a plurality of micro areas corresponding to a micro area within a predetermined thickness, and a plurality of micro images of the divided plurality of transmission images. Assign an integer value proportional to shading for each region.
  • the minute area allocating unit 154 assigns one of the binary values of light and shade to each of the minute areas within a predetermined thickness in the minute area assigned image, and viewed from the angle at which the transmissive image is captured. The total power of the binary density of the minute area within the thickness. Assign one of the binary density values to the minute area within the thickness so that it matches the integer value of the shade of the corresponding minute area in the transmission image. . In this way, the minute area allocating unit 154 acquires a density distribution that is a binary distribution of the minute area A p A q of the entire object 202.
  • the micro area allocating unit 154 obtains known information on the target 3D structure from the 3D structure information input unit 110, and assigns shading to a plurality of micro areas in accordance with the known information. Then, the micro area allocation unit 154 supplies the acquired density distribution to the back projection unit 156.
  • the back projection unit 156 reconstructs the stereoscopic image of the target 202 by assigning the density of the transmission type image to the acquired density distribution of the target 202.
  • the back projection unit 156 outputs the reconstructed stereoscopic image to the output unit 180.
  • an example of the predetermined thickness is the entire rectangular minute area allocation image having a predetermined size. Another example of the predetermined thickness is the thickness or shape in the case where the outline of the target thickness or shape is known.
  • FIG. 19 is a flowchart showing an example of a process flow in the stereoscopic image reconstruction method using the stereoscopic image reconstruction device 30 according to the embodiment of the present invention. Note that the stereoscopic image reconstruction method using the stereoscopic image reconstruction device 30 has a process common to the stereoscopic image reconstruction method using the stereoscopic image reconstruction device 20. Therefore, in this flowchart, a part of the description of this common process is omitted.
  • the imaging unit 100 has one angle (0 °) on the plane including one cross-section L of the object 202 and another angle (10 ° ),
  • the transmission images 302a and 302b including the object 202 shown in FIGS. 14 (a) and 14 (b) are captured (S1000).
  • the three-dimensional structure information input unit 110 inputs known information of the target 202 (S1010).
  • the micro area allocation unit 154 sets the micro area A p A q within the thickness shown in FIG.
  • the region on the line segment L of the transmissive images 302a, b is divided into a plurality of minute regions ⁇ (S1054).
  • the minute area allocating unit 154 assigns a pixel value as an integer value proportional to shading for the minute area ⁇ on the line segment L of the transmission type images 302a and 302b (S1056).
  • the micro area allocation unit 154 allocates one of two values for the micro area ⁇ A q included in the entire micro area allocation image within the thickness of the micro area allocation image (S10 58). ).
  • a binary value is assigned to each of the minute regions in the thickness so as to match an integer value proportional to the respective shades of the plurality of minute regions of the plurality of transmission images, so that the stereoscopic image of the target 202 can be obtained at high speed. Can be reconfigured.
  • micro area allocation unit 154 allocates a binary value to each micro area A p A q in accordance with the known information input in step S1010.
  • the spatial positions of the shades related to the plurality of minute regions are calculated with higher accuracy based on the known information related to the target 202, and the stereoscopic image of the target 202 is reconstructed with higher accuracy. Can do.
  • the micro area allocation unit 154 calculates the density distribution from the binary distribution assigned to the entire line L and the micro area ⁇ ⁇ ⁇ (thickness other than on the line segment L).
  • the micro region allocation unit 154 supplies the acquired density distribution to the back projection unit 156.
  • the back projection unit 156 allocates the density of the transmission-type image on the acquired density distribution of the target 202, and the target distribution is obtained.
  • the back projection unit 156 outputs the reconstructed stereoscopic image to the output unit 180.
  • the output unit 180 performs image processing by the micro area allocation unit 154.
  • the processed stereoscopic image is output to the outside and provided to the user (S1080).
  • the stereoscopic image reconstruction devices 20 and 30 described above reconstruct a stereoscopic image from the constraint condition of the point distribution related to the transmission type image
  • the same number of transmission types as the other methods such as CT scanning are used. 3D images with higher accuracy can be reconstructed from images, and 3D images with the same degree of accuracy as the above methods can be reconstructed from about 1/10 of the transmission type images of the other methods. can do.
  • the stereoscopic image reconstruction devices 20 and 30 can reconstruct a stereoscopic image from an incomplete transmission image, for example, where there is a blind spot and a transmission image from all directions cannot be obtained.
  • the stereoscopic image reconstruction devices 20 and 30 have the above point distribution.
  • the number of transmission-type images to be imaged and the granularity of the micro area Ap A q within the thickness of the target 202 are determined according to the stereoscopic image reconstruction method using the stereoscopic image reconstruction devices 20 and 30. It is preferable to set according to the general structure of the force or force of which the structure is known. For example, in the present embodiment, the imaging unit 100 may capture a transmissive image in an angular step larger than 10 degrees or an angular step smaller than 10 degrees correspondingly.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 対象の外郭を示す形状情報だけでなく内部構造に関する情報をも含む立体画像を再構成する。対象の立体画像を再構成する立体画像再構成装置であって、濃淡で示された複数の透過型画像を撮像する撮像部と、透過型画像において複数の特徴領域を選択する特徴領域選択部と、複数の特徴領域のそれぞれの、透過型画像上の位置に基づいて、複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える立体画像再構成装置を提供する。

Description

明 細 書
立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プロ グラム
技術分野
[0001] 本発明は、立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プ ログラムに関する。特に本発明は、対象を撮像した画像に基づいて対象の立体構造 を示す立体画像を再構成する立体画像再構成装置、立体画像再構成方法、及び立 体画像再構成プログラムに関する。本出願は、下記の日本出願に関連する。文献の 参照による組み込みが認められる指定国については、下記の出願に記載された内容 を参照により本出願に組み込み、本出願の一部とする。
特願 2004— 354563 出願曰 2004年 12月 7曰
背景技術
[0002] 従来、透過型電子顕微鏡を用いて複数の角度から対象を撮像した複数の透過型 画像を、撮像方向に引き延ばして重ね合わせた場合の、濃淡の重なりに基づいて、 対象の立体構造を示す立体画像を再構成する立体画像再構成装置が提案されて いる。また、複数の透過型画像を引き延ばして重ね合わせた場合の濃淡の重なりだ けでなぐ当該複数の透過型画像から算出した対象の外郭を示す形状情報に更に 基づいて、より精度よく対象の立体画像を再構成する立体画像再構成装置が提案さ れている(例えば、特許文献 1参照。 ) o
[0003] 特許文献 1:国際公開番号 WO2002Z048961号公報
発明の開示
発明が解決しょうとする課題
[0004] しカゝしながら、電子顕微鏡試料支持法の特殊性により、複数の透過型画像を引き 延ばして重ね合わせることにより得られた濃淡の重なりによって示される領域には、 実際には対象が存在していない、ゴーストと呼ばれる領域も含まれており、当該濃淡 の重なりのみに基づいて再構成される立体画像の精度は低力つた。また、対象の外 郭を示す形状情報に更に基づいて再構成された立体画像には、対象の内部構造を 示す情報が含まれていないので、特許文献 1に記載の立体画像再構成装置は、対 象の内部構造を知るという目的には利用できなかった。
[0005] そこで本発明は、上記の課題を解決することができる立体画像再構成装置、立体 画像再構成方法、及び立体画像再構成プログラムを提供することを目的とする。この 目的は請求の範囲における独立項に記載の特徴の組み合わせにより達成される。ま た従属項は本発明の更なる有利な具体例を規定する。
課題を解決するための手段
[0006] 上記課題を解決するために、本発明の第 1の形態においては、対象を撮像した画 像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置 であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示さ れた、対象を含む複数の透過型画像を撮像する撮像部と、複数の透過型画像のそ れぞれにおいて、対象に含まれる複数の特徴領域を選択する特徴領域選択部と、複 数の透過型画像のそれぞれにお!/、て選択された複数の特徴領域のそれぞれの、当 該透過型画像上の位置に基づ!、て、対象全体における複数の特徴領域のそれぞれ の空間的な位置を算出することにより、対象全体における複数の特徴領域の空間的 な分布を算出する特徴領域分布算出部と、複数の透過型画像を重ね合わせて対象 の立体構造を示す立体画像を再構成する場合に、対象全体における複数の特徴領 域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特 徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体 構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画 像を再構成する立体画像再構成部とを備える。
[0007] 当該立体画像再構成装置は、対象の立体構造の概略を示す情報を入力する立体 構造情報入力部と、入力された立体構造の概略に基づき、複数の透過型画像のそ れぞれに対して、対象を強調する画像処理を行う強調処理部とを更に備え、特徴領 域選択部は、複数の透過型画像のそれぞれにおいて、強調処理部によって強調さ れた対象に含まれる複数の特徴領域を選択してもよい。特徴領域分布算出部は、複 数の透過型画像のそれぞれにおける、複数の特徴領域のそれぞれに含まれる対象 の輪郭の位置に基づ 、て、対象全体における複数の特徴領域のそれぞれの空間的 な位置を算出してもよい。撮像部は、内部が染色された、或いは染色せずとも密度分 布に基づく立体構造を有する対象を含む複数の透過型画像を撮像してもよい。当該 立体画像再構成装置は、複数の特徴領域のうち、既知の立体構造を有する特徴領 域における、立体画像再構成部によって再構成された当該特徴領域の立体画像の 濃淡が、当該既知の立体構造に収束する画像処理操作を算出する収束処理算出部 と、複数の特徴領域のうち、未知の立体構造を有する特徴領域における、立体画像 再構成部によって再構成された当該特徴領域の立体画像の濃淡に対して、収束処 理算出部によって算出された画像処理操作を実行する収束処理部とを更に備えても よい。
[0008] 立体画像再構成部は、特徴領域分布算出部により算出された複数の特徴領域の 空間的な分布に基づ!、て対象における電子線の透過方向の厚みを算出する厚み算 出部、および、厚み算出部により算出された対象の厚み内の領域を複数の微小領域 に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべぐ複 数の微小領域の各々に濃淡を割り付ける微小領域割付部を有してもよい。微小領域 割付部は、対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領 域に分割し、複数の透過型画像の複数の微小領域のそれぞれにつ!、て濃淡に比例 した整数値を割り当て、厚み内の微小領域の各々には濃淡の二値のいずれかを割り 付けて、透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合 計が、透過型画像における対応する微小領域の濃淡の整数値に一致するように、厚 み内の微小領域に濃淡の二値の 、ずれかを割り付けてもよ!、。当該立体画像再構 成装置は、対象の立体構造における既知の情報を入力する立体構造情報入力部を さらに備え、微小領域割付部は、立体構造情報入力部により入力された既知の情報 に整合させて、複数の微小領域に濃淡を割り付けてもよ 、。
[0009] 上記課題を解決するために、本発明の第 2の形態にぉ ヽては、対象を撮像した画 像に基づいて対象の立体構造を示す立体画像を再構成する立体画像再構成装置 であって、対象に対して複数の角度から電子線を透過させることにより、濃淡で示さ れた、対象を含む複数の透過型画像を撮像する撮像部と、対象について予め定めら れた厚み内の領域を複数の微小領域に分割し、撮像部により撮像された複数の透 過型画像による濃淡に整合するべぐ複数の微小領域の各々に濃淡を割り付けるこ とにより、対象の立体画像を再構成する微小領域割付部とを備える。微小領域割付 部は、対象の厚み内の微少領域に対応して複数の透過型画像を複数の微小領域に 分割し、複数の透過型画像の複数の微小領域のそれぞれにつ!、て濃淡に比例した 整数値を割り当て、厚み内の微小領域の各々には濃淡の二値のいずれかを割り付 けて、透過型画像を撮像した角度から見た厚み内の微小領域の濃淡の二値の合計 力 透過型画像における対応する微小領域の濃淡の整数値に一致するように、厚み 内の微小領域に濃淡の二値の 、ずれかを割り付けてもよ!ヽ。当該立体画像再構成 装置は、対象の立体構造における既知の情報を入力する立体構造情報入力部をさ らに備え、微小領域割付部は、立体構造情報入力部により入力された既知の情報に 整合させて、複数の微小領域に濃淡を割り付けてもよ 、。
[0010] また、本発明の第 3の形態においては、対象を撮像した画像に基づいて対象の立 体構造を示す立体画像を再構成する立体画像再構成方法であって、対象に対して 複数の角度カゝら電子線を透過させることにより、濃淡で示された、対象を含む複数の 透過型画像を撮像する撮像段階と、複数の透過型画像のそれぞれにおいて、対象 に含まれる複数の特徴領域を選択する特徴領域選択段階と、複数の透過型画像の それぞれにお!/、て選択された複数の特徴領域のそれぞれの位置に基づ!、て、対象 全体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対 象全体における複数の特徴領域の空間的な分布を算出する特徴領域分布算出段 階と、複数の透過型画像を重ね合わせて対象の立体構造を示す立体画像を再構成 する場合に、対象全体における複数の特徴領域の空間的な分布に基づいて、複数 の透過型画像により示される濃淡を、複数の特徴領域のそれぞれの位置に割り付け て、複数の特徴領域のそれぞれにおける立体構造を示す立体画像を再構成すること により、対象全体に濃淡を割り付けた立体画像を再構成する立体画像再構成段階と を備える。
[0011] また、本発明の第 4の形態においては、対象を撮像した画像に基づいて対象の立 体構造を示す立体画像を再構成する立体画像再構成方法であって、対象に対して 複数の角度カゝら電子線を透過させることにより、濃淡で示された、対象を含む複数の 透過型画像を撮像する撮像段階と、対象について予め定められた厚み内の領域を 複数の微小領域に分割し、撮像段階により撮像された複数の透過型画像による濃淡 に整合するべぐ複数の微小領域の各々に濃淡を割り付けることにより、対象の立体 画像を再構成する微小領域割付段階とを備える。
[0012] また、本発明の第 5の形態においては、対象を撮像した画像に基づいて対象の立 体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能 させる立体画像再構成プログラムであって、コンピュータを、対象に対して複数の角 度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画 像を撮像する撮像部と、複数の透過型画像のそれぞれにおいて、対象に含まれる複 数の特徴領域を選択する特徴領域選択部と、複数の透過型画像のそれぞれにお 、 て選択された複数の特徴領域のそれぞれの位置に基づ!、て、対象全体における複 数の特徴領域のそれぞれの空間的な位置を算出することにより、対象全体における 複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、複数の透過型 画像を重ね合わせて対象の立体構造を示す立体画像を再構成する場合に、対象全 体における複数の特徴領域の空間的な分布に基づいて、複数の透過型画像により 示される濃淡を、複数の特徴領域のそれぞれの位置に割り付けて、複数の特徴領域 のそれぞれにおける立体構造を示す立体画像を再構成することにより、対象全体に 濃淡を割り付けた立体画像を再構成する立体画像再構成部とを備える立体画像再 構成装置として機能させる。
[0013] また、本発明の第 6の形態においては、対象を撮像した画像に基づいて対象の立 体構造を示す立体画像を再構成する立体画像再構成装置としてコンピュータを機能 させる立体画像再構成プログラムであって、コンピュータを、対象に対して複数の角 度から電子線を透過させることにより、濃淡で示された、対象を含む複数の透過型画 像を撮像する撮像部と、対象について予め定められた厚み内の領域を複数の微小 領域に分割し、撮像部により撮像された複数の透過型画像による濃淡に整合するべ ぐ複数の微小領域の各々に濃淡を割り付けることにより、対象の立体画像を再構成 する微小領域割付部とを備える立体画像再構成装置として機能させる。
[0014] なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなぐ これらの特徴群のサブコンビネーションもまた、発明となりうる。
発明の効果
[0015] 本発明によれば、対象の外郭を示す形状情報だけでなぐ対象の内部構造に関す る情報をも含む立体画像を再構成することができる。
図面の簡単な説明
[0016] [図 1]本発明の実施形態に係る立体画像再構成装置 10の機能構成の一例を示すブ ロック図である。
[図 2]本発明の実施形態に係る撮像部 100により撮像される透過型画像の第 1の例 である透過型画像 300aを示す図である。
[図 3]本発明の実施形態に係る撮像部 100により撮像される透過型画像の第 2の例 である透過型画像 300bを示す図である。
[図 4]本発明の実施形態に係る撮像部 100により撮像される透過型画像の第 3の例 である透過型画像 300cを示す図である。
[図 5]本発明の実施形態に係る立体画像再構成部 150による複数の透過型画像の 重ね合わせ処理の一例を示す図である。
[図 6]本発明の実施形態に係る立体画像再構成部 150による立体画像の再構成処 理の一例を示す図である。
[図 7]本発明の実施形態に係る強調処理部 120における処理の一例を示す図である
[図 8]本発明の実施形態に係る収束処理算出部 160における処理の一例を示す図 である。
[図 9]本発明の実施形態に係る立体画像再構成装置 10を用いる立体画像再構成方 法における処理の流れの一例を示すフローチャートである。
[図 10]本発明の実施形態に係るコンピュータ 1500のハードウェア構成の一例を示す ブロック図である。
[図 11]本発明の他の実施形態に係る立体画像再構成装置 20の機能構成の一例を 示すブロック図である。
[図 12]本発明の実施形態に係る立体画像再構成装置 20を用いる立体画像再構成 方法における処理の流れの一例を示すフローチャートである。
[図 13]本発明の実施形態に係る撮像部 100により撮像される対象 202を模式的に示 す図である。
[図 14]本発明の実施形態に係る撮像部 100により撮像される透過型画像 302a、 30 2bを示す図である。
[図 15]本発明の実施形態に係る厚み算出部 152により算出される対象 202の厚みを 模式的に示す平面図である。
[図 16]本発明の実施形態に係る撮像部 100により撮像される透過型画像 302a、 30 2bのヒストグラムを示す図である。
[図 17]本発明の実施形態に係る微小領域割付部 154により分割される対象 202の厚 み内の微小領域を示す図である。
[図 18]本発明のさらに他の実施形態に係る立体画像再構成装置 30の機能構成の一 例を示すブロック図である。
[図 19]本発明の実施形態に係る立体画像再構成装置 30を用いる立体画像再構成 方法における処理の流れの一例を示すフローチャートである。
符号の説明
[0017] 10 立体画像再構成装置、 20 立体画像再構成装置、 30 立体画像再構成装置、 100 撮像部、 110 立体構造情報入力部、 120 強調処理部、 130 特徴領域選 択部、 140 特徴領域分布算出部、 150 立体画像再構成部、 160 収束処理算出 部、 170 収束処理部、 180 出力部、 200 対象、 202 対象、 210〜220 軸、 30 Oa〜c 透過型画像、 302a〜b 透過型画像、 400a〜c 濃淡分布情報
発明を実施するための最良の形態
[0018] 以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の 範隨こかかる発明を限定するものではなぐまた実施形態の中で説明されている特 徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
[0019] 図 1は、本発明の実施形態に係る立体画像再構成装置 10の機能構成の一例を示 すブロック図である。立体画像再構成装置 10は、例えば細胞の蛋白質等である対象 を撮像した画像に基づ!/、て、対象の立体構造を示す立体画像を再構成する。 [0020] 本発明の実施形態に係る立体画像再構成装置 10は、対象の外郭を示す形状情 報だけでなぐ対象の内部構造に関する情報をも含む立体画像を再構成することを 目的とする。また、本発明の実施形態に係る立体画像再構成装置 10は、従来の立 体画像再構成装置に比べて、より少ない枚数の画像に基づいて、精度の高い立体 画像を再構成することを更なる目的とする。
[0021] 立体画像再構成装置 10は、撮像部 100、立体構造情報入力部 110、強調処理部 120、特徴領域選択部 130、特徴領域分布算出部 140、立体画像再構成部 150、 収束処理算出部 160、収束処理部 170、及び出力部 180を備える。撮像部 100は、 例えば透過型電子顕微鏡であってよぐ対象に対して複数の角度カゝら電子線を透過 させることにより、濃淡で示された、対象を含む複数の透過型画像を撮像する。ここで 、撮像部 100は、例えば、ネガティブ染色法等によって内部が染色された、或いは染 色せずとも密度分布に基づく立体構造を有する対象を含む、複数の透過型画像を 撮像してよい。そして、撮像部 100は、撮像した複数の透過型画像を、強調処理部 1 20及び立体画像再構成部 150に出力する。
[0022] 立体構造情報入力部 110は、例えば利用者の操作等に基づいて、対象の立体構 造の概略を入力する。そして、立体構造情報入力部 110は、入力した立体構造の概 略を示す情報を、強調処理部 120及び収束処理算出部 160に出力する。強調処理 部 120は、立体構造情報入力部 110によって入力された、対象の立体構造の概略 に基づき、撮像部 100によって撮像された複数の透過型画像のそれぞれに対して、 対象を強調する画像処理を実行する。そして、強調処理部 120は、対象を強調する 画像処理を実行した複数の透過型画像を、特徴領域選択部 130に出力する。
[0023] 特徴領域選択部 130は、強調処理部 120から受け取った複数の透過型画像のそ れぞれにおいて、対象に含まれる複数の特徴領域を選択する。そして、特徴領域選 択部 130は、複数の透過型画像、及び複数の透過型画像のそれぞれにおいて選択 した複数の特徴領域のそれぞれを示す情報、例えば特徴領域の位置、形状、及び 大きさ等を、特徴領域分布算出部 140に出力する。特徴領域分布算出部 140は、複 数の透過型画像と、複数の透過型画像のそれぞれにお!、て特徴領域選択部 130に より選択された複数の特徴領域のそれぞれを示す情報を、特徴領域選択部 130から 受け取る。そして、特徴領域分布算出部 140は、複数の透過型画像のそれぞれにお V、て選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づ 、 て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することに より、対象全体における複数の特徴領域の空間的な分布を算出する。そして、特徴 領域分布算出部 140は、算出した複数の特徴領域のそれぞれの分布を示す情報を 、立体画像再構成部 150に出力する。
[0024] 立体画像再構成部 150は、撮像部 100から受け取った複数の透過型画像を重ね 合わせて対象の立体構造を再構成する。この場合に、立体画像再構成部 150は、特 徴領域分布算出部 140により算出された、対象全体における複数の特徴領域の空 間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特徴領域 のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体構造を 示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画像を再 構成する。そして、立体画像再構成部 150は、再構成した立体画像を収束処理算出 部 160に出力する。
[0025] 収束処理算出部 160は、特徴領域選択部 130によって選択された複数の特徴領 域のうち、既知の立体構造を有する特徴領域における、立体画像再構成部 150によ つて再構成された当該特徴領域の立体構造の濃淡が、当該既知の立体構造に収束 する画像処理操作を算出する。そして、収束処理算出部 160は、再構成された立体 画像と、算出した画像処理操作を示す情報とを、収束処理部 170に出力する。収束 処理部 170は、特徴領域選択部 130によって選択された複数の特徴領域のうち、未 知の立体構造を有する特徴領域における、立体画像再構成部 150によって再構成 された当該特徴領域の立体画像の濃淡に対して、収束処理算出部 160によって算 出された画像処理操作を実行する。そして、収束処理部 170は、画像処理を実行し た立体画像を、出力部 180に出力する。出力部 180は、例えば LCDパネル等の表 示装置やハードディスクドライブ等の記憶装置であってよぐ収束処理部 170から受 け取った立体画像を外部に出力して、利用者に提供する。
[0026] 本発明の実施形態に係る立体画像再構成装置 10によれば、複数の角度から対象 を撮像した複数の透過型画像のそれぞれにおける、複数の特徴領域の空間的な分 布に基づいて、対象全体に濃淡を割り付けた立体画像を再構成することができる。こ れにより、従来の立体画像再構成装置とは異なり、立体構造を有する対象の外殻を 示す形状情報だけでなぐ内部構造に関する情報をも含む立体画像を、利用者に提 供することができる。
[0027] また、内部が染色された、或いは染色せずとも密度分布に基づく立体構造を有する 対象を、透過型電子顕微鏡を用いて撮像すると共に、対象中の特定の内部構造の 空間位置を、例えばパターン認識等の別手法により推定した情報に従って制限をカロ えることにより、従来の、濃淡情報の組み合わせのみにより立体画像を再構成する場 合に比べて、試料と撮像方向との角度を変えて得る傾斜画像の数が非常に少数で 済むため、画像の撮像によって対象の構造が破壊される程度を低く抑えつつ、立体 画像を再構成することができる。
[0028] なお、本図において、収束処理算出部 160は、立体構造情報入力部 110によって 入力された立体構造の概略を示す情報に基づ!/ヽて、既知の立体構造を有する特徴 領域における立体構造の濃淡が当該既知の立体構造に収束する画像処理操作を 算出するとして説明した力 これに代えて、収束処理算出部 160は、強調処理部 12 0が用いる立体構造の概略とは異なる、例えば利用者によって別途入力された情報 等に基づいて、画像処理操作を算出してもよい。
[0029] 図 2は、本発明の実施形態に係る撮像部 100により撮像される透過型画像の第 1の 例である透過型画像 300aを示す。図 3は、本発明の実施形態に係る撮像部 100〖こ より撮像される透過型画像の第 2の例である透過型画像 300bを示す。図 4は、本発 明の実施形態に係る撮像部 100により撮像される透過型画像の第 3の例である透過 型画像 300cを示す。撮像部 100は、少なくとも 3つの互いに異なる角度カゝら対象 20 0を撮像する。本実施形態において、撮像部 100は、 A方向から対象 200を撮像する ことにより透過型画像 300aを出力する。また、撮像部 100は、 B方向力も対象 200を 撮像することにより透過型画像 300bを出力する。また、撮像部 100は、 C方向から対 象 200を撮像することにより透過型画像 300cを出力する。ここで、図 3及び図 4に示 すように、 A方向と B方向とがなす角度と、 A方向と C方向とがなす角度とは、互いに 等しい角度 Θとなることが好ましい。また、 B方向及び C方向は、同一の軸 210を回転 中心として A方向を回転させた方向であってよぐまた、互いに異なる軸、例えば軸 2 10と軸 220とのそれぞれを回転中心として A方向を回転させた方向であってもよい。
[0030] 図 5は、本発明の実施形態に係る立体画像再構成部 150による複数の透過型画像 の重ね合わせ処理の一例を示す。立体画像再構成部 150は、撮像部 100により撮 像された複数の透過型画像のそれぞれを、当該透過型画像の撮像方向に引き延ば して、複数の濃淡分布情報を生成する。そして、立体画像再構成部 150は、生成し た複数の濃淡分布情報を、それぞれの濃度分布情報に対応する透過型画像におけ る撮像方向の間の角度の関係を維持したまま重ね合わせる。
[0031] 具体的には、立体画像再構成部 150は、撮像部 100が対象 200を A方向から撮像 した透過型画像 300aを、 A方向に引き延ばして、濃淡分布情報 400aを生成する。 また、立体画像再構成部 150は、撮像部 100が対象 200を B方向から撮像した透過 型画像 300bを、 B方向に引き延ばして、濃淡分布情報 400bを生成する。また、立体 画像再構成部 150は、撮像部 100が対象 200を C方向から撮像した透過型画像 30 Ocを、 C方向に引き延ばして、濃淡分布情報 400cを生成する。そして、立体画像再 構成部 150は、生成した濃淡分布情報 400a、濃淡分布情報 400b、及び濃淡分布 情報 400cのそれぞれを、 A方向、 B方向、及び C方向の間の角度の関係を維持した まま重ね合わせる。なお、本図においては、 A方向、 B方向、及び C方向を含む平面 における濃度分布情報の縦断面が示されて 、る。
[0032] ここで、立体画像再構成部 150は、重ね合わせた濃淡分布情報のうち、すべての 濃淡分布情報が重なり合う領域である領域 410を、対象 200が存在している領域で あるとして検出する。但し、領域 400には、実際には対象 200が存在していない、ゴ 一ストと呼ばれる領域も含まれているので、立体画像再構成部 150は、領域 400を検 出したのみでは、対象 200の立体構造を示す立体画像を高 、精度で再構成すること はできない。
[0033] 図 6は、本発明の実施形態に係る立体画像再構成部 150による立体画像の再構成 処理の一例を示す。特徴領域選択部 130は、複数の透過型画像のそれぞれにおい て、複数の特徴領域を選択する。具体的には、撮像部 100が、対象に対する角度が 単調増加、或いは単調減少する順序で、複数の透過型画像を撮像した場合におい て、特徴領域選択部 130は、一の透過型画像において選択した特徴領域が、当該 一の透過型画像に前後して撮像された他の透過型画像にお!、て、何れの領域に対 応するかを検出する。ここで、特徴領域選択部 130は、例えば、相互相関処理と呼ば れる公知の画像処理技術を用いることにより、それぞれの透過型画像において対応 する特徴領域を検出してよい。また、特徴領域選択部 130は、当該一の透過型画像 における特徴領域として、例えば、他の領域に比べて、画像における濃淡の変化が より大きい領域を選択してよい。そして、特徴領域選択部 130は、前述した、前後して 撮像された 2枚の透過型画像にお 、て対応する特徴領域を検出する処理を、複数の 透過型画像に含まれる前後して撮像された 2枚の透過型画像の組のそれぞれにお いて順次実行することにより、当該複数の透過型画像において、複数の特徴領域の それぞれを追跡する。
[0034] 続、て、特徴領域分布算出部 140は、複数の透過型画像のそれぞれにお!/、て、特 徴領域選択部 130により選択された複数の特徴領域のそれぞれの位置に基づいて 、当該複数の特徴領域のそれぞれの、対象全体における空間的な位置を算出する。 具体的には、特徴領域分布算出部 140は、同一点を異なる角度から観測した場合 の視差に基づいて、当該同一点の高さ情報を算出するステレオ計測法と呼ばれる公 知の手法を用いることにより、互いに異なる角度力 撮像された複数の透過型画像に おける、複数の特徴領域のそれぞれの位置の変化から、当該複数の特徴領域のそ れぞれの、対象全体における空間的な位置を算出する。例えば、本図において、特 徴領域分布算出部 140は、複数の特徴領域の空間的な位置を、点 500a、点 500b 、及び点、 500cとして算出する。ここで、点、 500a、点、 500b、及び点、 500cは、図 2に示 した A方向力も見た場合に、重なって見える点であるとする。但し、本図においては、 説明を簡潔にするベぐ 3個の特徴領域のみが示されているが、特徴領域分布算出 部 140が空間的な位置を算出する特徴領域の数は 3個に限定されず、より多数の特 徴領域について空間的な位置を算出することが、より高い精度で対象 200の立体画 像を再構成する上では好まし ヽ。
[0035] なお、特徴領域分布算出部 140は、複数の特徴領域のそれぞれにおける重心位 置に基づ 、て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算 出してよい。また、これに代えて、特徴領域分布算出部 140は、複数の透過型画像 のそれぞれにおける、複数の特徴領域のそれぞれに含まれる対象の輪郭の位置に 基づいて、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出し てもよい。多くの場合、透過型画像に含まれる対象の輪郭を示す部分画像は、他の 部分画像に比べて特徴が明確であるので、対象の輪郭の位置に基づくことによって 、当該対象領域の位置の変化を、高い精度で算出することができる。これにより、複 数の特徴領域のそれぞれの空間的な位置を高い精度で算出して、対象の立体画像 を、より高い精度で再構成することができる。
[0036] 続、て、立体画像再構成部 150は、撮像された複数の透過型画像を撮像方向に 引き延ばすことにより得られた濃淡分布情報に基づいて検出した、対象 200が存在 する領域 410と、特徴領域分布算出部 140により算出された、複数の特徴領域の空 間的な位置とに基づいて、対象 200の立体画像を再構成する。具体的には、立体画 像再構成部 150は、領域 410のうち、本図に示した点 500a、点 500b、及び点 500c のそれぞれの近傍に、対象 200の少なくとも一部が存在しているとして、それぞれの 点の近傍に、領域 410の全体における濃淡を均等に割り付けて、複数の特徴領域の それぞれにおける立体構造を示す立体画像を再構成する。本例では、対象 200を A 方向から見た場合には、複数の特徴領域の空間的な位置である、点 500a、点 500b 、及び点 500cが重なって見えるので、透過型画像 300aのみを用いた場合には、対 象 200に 3個の特徴領域が存在しているのカゝ、或いは 1個の特徴領域のみが存在し ているのかを判断することはできない。しかし、立体画像再構成装置 10によれば、 A 方向だけでなぐ B方向や C方向といった、複数の異なる角度から対象を撮像した複 数の透過型画像に基づいて、特徴領域のそれぞれの空間的な位置を算出すること により、対象 200に、点、500a、点、500b、及び点、500cのそれぞれ力 ^存在して! /、ること を検出することができる。そして、立体画像再構成装置 10は、このようにして取得した 、対象 200の内部構造を示す情報に基づいて、対象 200全体に濃淡を割り付けた立 体画像を再構成することができる。
[0037] 本発明の実施形態に係る立体画像再構成装置 10によれば、複数の透過型画像を 引き延ばして重ね合わせることにより検出した領域だけでなぐステレオ計測法等に より算出した、複数の特徴領域の空間的な位置に更に基づいて、対象の立体画像を 再構成することができる。従って、複数の透過型画像を引き延ばして重ね合わせるこ とにより検出した領域のみに基づいて、対象の立体画像を再構成する場合や、対象 の外殻の形状情報に基づ 、て対象の立体画像を再構成する場合に比べて、それぞ れの透過型画像から、より多くの情報を取得して、対象の立体画像を再構成すること ができる。即ち、立体画像再構成装置 10によれば、従来の立体画像再構成装置に 比べて、より少ない枚数の透過型画像から、立体画像を再構成することができる。こ れにより、画像を撮像する際の、対象に透過させる電子線によって対象の構造が破 壊される程度を低く抑えながらも、精度の高い立体画像を再構成することができる。ま た、これにより、多数の画像を撮像している間に構造が変化してしまうような、構造が 不安定である対象を用いる場合であっても、精度の高い立体画像を再構成すること ができる。
[0038] 図 7は、本発明の実施形態に係る強調処理部 120における処理の一例を示す。強 調処理部 120は、撮像部 100によって撮像された透過型画像を、立体構造情報入 力部 110によって入力された対象の立体構造の概略に基づいて、例えば公知のモ ルフォロジカルフィルタ(Morphological Filter)処理と呼ばれる技術等を用いて画 像処理することにより、当該透過型画像における対象を強調する。なお、対象の立体 構造の概略とは、例えば、対象が線状である場合における、対象の太さを示す情報 等であってよぐ利用者によって入力された情報であってよい。以降、本図を用いて、 強調処理部 120における画像処理の例について説明する。
[0039] 図 7 (a)は、撮像部 100によって撮像された透過型画像の、ある断層線上における 位置と輝度との関係を示している。なお、本例において、透過型画像は、 256階調の グレースケール画像として撮像されている。図 7 (b)は、立体構造情報入力部 110に よって入力された、対象の立体構造の概略を示す。本例において、対象は、線状の 構造を有しており、図 7 (b)は、対象の典型的な太さ Tを示している。
[0040] そして、強調処理部 120は、撮像された透過型画像と、入力された対象の立体構 造の概略とに基づいて、透過型画像のうち、対象以外の部分、即ち背景ノイズを検 出する。具体的には、強調処理部 120は、撮像された透過型画像のうち、対象の構 造における典型的な太さ Tとの差が、例えば利用者等によって予め定められた基準 値以下である太さの構造として認識される領域、即ち、図 7 (a)に示した、領域 600、 領域 610、及び領域 620を、対象の一部を示す領域として検出する。そして、強調処 理部 120は、撮像された透過型画像から、対象の一部を示す領域として検出した部 分を取り除いた画像である背景画像を生成する。図 7 (c)は、このようにして強調処理 部 120が生成した背景画像における、図 7 (a)の場合と同一の断層線上における位 置と輝度との関係を示して 、る。
[0041] そして、強調処理部 120は、撮像された透過型画像から、取得した背景画像を差し 引くことにより、対象を示す画像である対象画像を生成する。具体的には、強調処理 部 120は、撮像された透過型画像に含まれる画素のそれぞれの輝度から、背景画像 に含まれる、対応する画素の輝度を差し引くことにより得られた画像を、対象画像とす る。図 7 (d)は、このようにして強調処理部 120が生成した対象画像における、図 7 (a )の場合と同一の断層線上における位置と輝度との関係を示している。
[0042] そして、強調処理部 120は、生成した対象画像に対して二値化処理を行う。具体的 には、強調処理部 120は、生成した対象画像に含まれる、対象を示す領域のそれぞ れについて、当該領域における輝度の最大値を、例えば 255等とするように、当該領 域におけるコントラストを強調することにより、対象を強調した対象強調画像を生成す る。図 7 (e)は、このようにして強調処理部 120が生成した対象強調画像における、図 7 (a)の場合と同一の断層線上における位置と輝度との関係を示している。
[0043] 強調処理部 120は、以上のようにして、撮像された透過型画像に対して対象を強調 する画像処理を実行した画像を、特徴領域選択部 130及び立体画像再構成部 150 に出力する。
[0044] 本発明の実施形態に係る立体画像再構成装置 10によれば、撮像した透過型画像 における濃淡情報から、対象を示す濃淡情報とは異なる背景ノイズを除去して、対象 を強調することができる。これにより、対象の立体画像を、より高い精度で再構成する ことができる。
[0045] 図 8は、本発明の実施形態に係る収束処理算出部 160における処理の一例を示す 。本例において、立体画像再構成部 150により再構成された、ある特徴領域の立体 画像の濃淡は、図 8 (a)〖こ示すよう〖こ、点 700a、点 700b、及び点 700cという 3個の 点を含んでいる。しかし、例えば立体構造情報入力部 110によって入力された、当該 特徴領域における既知の立体構造は、 1個の点のみを含んでいたとする。つまり、本 例にお 1ヽては、当該特徴領域における再構成された立体画像の濃淡にブレが発生 している。
[0046] この場合、まず、収束処理算出部 160は、当該特徴領域において再構成された立 体画像の濃淡が、既知の立体構造に収束する画像処理操作を算出する。具体的に は、収束処理算出部 160は、点 700aを基準として立体画像の濃淡を収束させるベく 、図 8 (b)に示すように、点 700a及び点 700cのそれぞれ力 点 700aの位置に収束 する画像処理操作を算出する。ここで、画像処理操作とは、例えば、特徴領域の少 なくとも一部に対する拡大、縮小、回転、変形等の、多様な画像処理を含んでいてよ い。そして、収束処理部 170は、本図に示した特徴領域とは異なる、立体構造が未 知である他の特徴領域にぉ ヽて再構成された立体画像の濃淡に対して、収束処理 算出部 160によって算出された画像処理操作を実行する。
[0047] 透過型電子顕微鏡を用いて複数の角度から対象を撮像する場合、装置上の制約 や、対象の試料の特性等により、当該角度に制限が生じる場合がある。具体的には、 図 3及び図 4において示した角度 Θ力 ± 60度程度の範囲内に限定される。そして、 当該範囲外の角度における対象の投影像が不足することにより、再構成された立体 画像の断層像面において、本来、方向に依らず均一な分解能を有するべき再構成 像が、高さ方向の分解能のみ劣化するという問題が発生する。このため、全ての断層 像が一方向に伸びていたり、または、実際とは異なる、誤った構造や形態を表したり する立体画像が再構成されてしま!/ヽ、十分に高!、解像度で対象の立体構造を示す 立体画像を再構成することができない場合がある。しかし、本発明の実施形態に係る 立体画像再構成装置 10によれば、立体構造が既知である特徴領域における立体画 像の濃淡を、当該既知である立体構造に収束させる画像処理操作を算出して、立体 構造が未知である他の特徴領域における立体構造の濃淡に対して、当該画像処理 操作を実行することができる。これにより、再構成した立体画像に対して、対象全体に おいて濃淡の修正を行うことができるので、より高い解像度で対象の立体構造を示す 、品質の高い立体画像を出力することができる。
[0048] 図 9は、本発明の実施形態に係る立体画像再構成装置 10を用いる立体画像再構 成方法における処理の流れの一例を示すフローチャートである。まず、撮像部 100が 、対象に対して複数の角度から電子線を透過させることにより、濃淡で示された、対 象を含む複数の透過型画像を撮像する(S1000)。続いて、立体構造情報入力部 1 10は、対象の立体構造の概略を示す情報を入力する(S1010)。続いて、強調処理 部 120は、入力された立体構造の概略に基づき、撮像された複数の透過型画像のそ れぞれに対して、対象を強調する画像処理を実行する(S1020)。
[0049] 続、て、特徴領域選択部 130は、複数の透過型画像のそれぞれにお!/、て、強調処 理部によって強調された対象に含まれる複数の特徴領域を選択する(S1030)。続 いて、特徴領域分布算出部 140は、複数の透過型画像のそれぞれにおいて選択さ れた複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づいて、対象全 体における複数の特徴領域のそれぞれの空間的な位置を算出することにより、対象 全体における複数の特徴領域の空間的な分布を算出する(S1040)。続いて、立体 画像再構成部 150は、複数の透過型画像を重ね合わせて対象の立体構造を再構成 する(S1050)。ここで、立体画像再構成部 150は、対象全体における複数の特徴領 域の空間的な分布に基づいて、複数の透過型画像により示される濃淡を、複数の特 徴領域のそれぞれの位置に割り付けて、複数の特徴領域のそれぞれにおける立体 構造を示す立体画像を再構成することにより、対象全体に濃淡を割り付けた立体画 像を再構成する。
[0050] 続いて、収束処理算出部 160は、複数の特徴領域のうち、既知の立体構造を有す る特徴領域における、再構成された当該特徴領域の立体構造の濃淡が、当該既知 の立体構造に収束する画像処理操作を算出する(S1060)。続いて、収束処理部 17 0は、複数の特徴領域のうち、未知の立体構造を有する特徴領域における、再構成 された当該特徴領域の立体画像の濃淡に対して、収束処理算出部 160によって算 出された画像処理操作を実行する(S1070)。そして、出力部 180は、収束処理部 1 70によって画像処理が実行された立体画像を外部に出力して、利用者に提供する( S1080)。 [0051] 図 10は、本発明の実施形態に係るコンピュータ 1500のハードウェア構成の一例を 示すブロック図である。本発明の実施形態に係るコンピュータ 1500は、ホストコント口 ーラ 1582によりネ目互に接続される CPU1505、 RAM1520,グラフィックコントローラ 1575、及び表示装置 1580を有する CPU周辺部と、入出力コントローラ 1584により ホストコントローラ 1582に接続される通信インターフェイス 1530、ハードディスクドラ イブ 1540、及び CD— ROMドライブ 1560を有する入出力部と、入出力コントローラ 1584〖こ接続される ROM1510、フレキシブルディスクドライブ 1550、及び入出力チ ップ 1570を有するレガシー入出力部とを備える。
[0052] ホストコントローラ 1582は、 RAM1520と、高い転送レートで RAM1520をアクセス する CPU1505及びグラフィックコントローラ 1575とを接続する。 CPU1505は、 RO M1510及び RAM1520に格納されたプログラムに基づいて動作し、各部の制御を 行う。グラフィックコントローラ 1575は、 CPU1505等が RAM1520内に設けたフレ ームバッファ上に生成する画像データを取得し、表示装置 1580上に表示させる。こ れに代えて、グラフィックコントローラ 1575は、 CPU1505等が生成する画像データ を格納するフレームバッファを、内部に含んでもよい。
[0053] 入出力コントローラ 1584は、ホストコントローラ 1582と、比較的高速な入出力装置 である通信インターフェイス 1530、ハードディスクドライブ 1540、 CD— ROMドライ ブ 1560を接続する。通信インターフェイス 1530は、ネットワークを介して他の装置と 通信する。ハードディスクドライブ 1540は、コンピュータ 1500内の CPU1505が使用 するプログラム及びデータを格納する。 CD— ROMドライブ 1560は、 CD—ROM15 95力 プログラム又はデータを読み取り、 RAM1520を介してハードディスクドライブ 1540に提供する。
[0054] また、入出力コントローラ 1584〖こは、 ROM1510と、フレキシブルディスクドライブ 1 550、及び入出力チップ 1570の比較的低速な入出力装置とが接続される。 ROM1 510は、コンピュータ 1500が起動時に実行するブートプログラムや、コンピュータ 15 00のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ 1550は、フレキシブルディスク 1590からプログラム又はデータを読み取り、 RAM15 20を介してハードディスクドライブ 1540に提供する。入出力チップ 1570は、フレキ シブルディスクドライブ 1550や、例えばパラレルポート、シリアルポート、キーボード ポート、マウスポート等を介して各種の入出力装置を接続する。
[0055] RAM1520を介してハードディスクドライブ 1540に提供される立体画像再構成プ ログラムは、フレキシブルディスク 1590、 CD— ROM1595、又は ICカード等の記録 媒体に格納されて利用者によって提供される。立体画像再構成プログラムは、記録 媒体から読み出され、 RAM1520を介してコンピュータ 1500内のハードディスクドラ イブ 1540にインストールされ、 CPU 1505において実行される。コンピュータ 1500に インストールされて実行される立体画像再構成プログラムは、 CPU1505等に働きか けて、コンピュータ 1500を、図 1から図 9にかけて説明した立体画像再構成装置 10と して機能させる。
[0056] 以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体として は、フレキシブルディスク 1590、 CD— ROM1595の他〖こ、 DVDや PD等の光学記 録媒体、 MD等の光磁気記録媒体、テープ媒体、 ICカード等の半導体メモリ等を用 いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシ ステムに設けたノヽードディスク又は RAM等の記憶装置を記録媒体として使用し、ネ ットワークを介してプログラムをコンピュータ 1500に提供してもよい。
[0057] 図 11は、本発明の他の実施形態に係る立体画像再構成装置 20の機能構成の一 例を示すブロック図である。立体画像再構成装置 20は、撮像部 100、立体構造情報 入力部 110、特徴領域選択部 130、特徴領域分布算出部 140、立体画像再構成部 150、及び出力部 180を備える。立体画像再構成部 150は、厚み算出部 152、微小 領域割付部 154、逆投影部 156を備える。
[0058] 撮像部 100は、立体画像再構成装置 10の撮像部 100と同一の構成、機能を有す る。撮像部 100は、対象を複数の角度から撮像して、複数の透過型画像を取得し、 特徴領域選択部 130及び厚み算出部 152に出力する。立体構造情報入力部 110 は、例えば利用者の操作等に基づいて、対象の立体構造における既知の情報を入 力する。そして、立体構造情報入力部 110は、入力された立体構造の概略を示す情 報を、微小領域割付部 154に出力する。
[0059] 特徴領域選択部 130は、撮像部 100から受け取った複数の透過型画像のそれぞ れにおいて、対象に含まれる複数の特徴領域を選択する。そして、特徴領域選択部
130は、複数の透過型画像、及び複数の透過型画像のそれぞれにおいて選択した 複数の特徴領域のそれぞれを示す情報、例えば特徴領域の位置、形状、及び大き さ等を、特徴領域分布算出部 140に出力する。特徴領域分布算出部 140は、複数 の透過型画像と、複数の透過型画像のそれぞれにお 、て特徴領域選択部 130によ り選択された複数の特徴領域のそれぞれを示す情報を、特徴領域選択部 130から 受け取る。そして、特徴領域分布算出部 140は、複数の透過型画像のそれぞれにお V、て選択された複数の特徴領域のそれぞれの、当該透過型画像上の位置に基づ 、 て、対象全体における複数の特徴領域のそれぞれの空間的な位置を算出することに より、対象全体における複数の特徴領域の空間的な分布を算出する。そして、特徴 領域分布算出部 140は、算出した複数の特徴領域のそれぞれの分布を示す情報を 、厚み算出部 152に出力する。
[0060] 厚み算出部 152は、特徴領域分布算出部 140により算出された複数の特徴領域の 空間的な分布に基づ!、て対象における電子線の透過方向の厚みを算出する。厚み 算出部 152は、特徴領域の空間的な分布、および、算出した厚みを微小領域割付 部 154に出力する。
[0061] 微小領域割付部 154は、厚み算出部 152により算出されたその対象の厚み内の領 域を複数の微小領域に分割する。さらに、微小領域割付部 154は、撮像部 100によ り撮像された複数の透過型画像による濃淡に整合するべぐその複数の微小領域の 各々に濃淡を割り付けた立体画像を再構成する。この場合に、微小領域割付部 154 は、まず、その対象の厚み内の微少領域に対応して複数の透過型画像を複数の微 小領域に分割する。さらに微小領域割付部 154は、分割した複数の透過型画像の複 数の微小領域のそれぞれについて濃淡に比例した整数値を割り当てる。そして、微 小領域割付部 154は、その対象の厚み内の微小領域の各々に、濃淡の二値のいず れかを割り付けて、その透過型画像を撮像した角度から見た厚み内の微小領域の濃 淡の二値の合計が、その透過型画像における対応する微小領域の濃淡の整数値に 一致するように、その厚み内の微小領域に濃淡の二値のいずれかを割り付ける。微 小領域割付部 154は、同様にして、対象全体について、厚み内の微小領域に濃淡 の二値のいずれかを割り付けることにより、その対象全体についての密度分布を取得 する。微小領域割付部 154は、取得した密度分布を逆投影部 156に供給する。
[0062] 逆投影部 156は、取得した対象 202の密度分布上に、透過型画像の濃淡を割り付 けて、対象 202の立体画像を再構成する。逆投影部 156は、再構成した立体画像を 出力部 180に出力する。
[0063] 図 12は、本発明の実施形態に係る立体画像再構成装置 20を用いる立体画像再 構成方法における処理の流れの一例を示すフローチャートである。図 13は、本発明 の実施形態に係る撮像部 100により撮像される対象 202を模式的に示す図である。 図 14は、本発明の実施形態に係る撮像部 100により撮像される透過型画像 302a、 302bを示す図である。なお、本フローチャートのステップ S 1052以降は、上記図 13 、図 14にカ卩え、図 15から図 17を参照して説明する。
[0064] 撮像部 100は、図 13に示すように、対象 202に対して一の角度 (0° )から電子線 を透過させることにより、図 14 (a)に示す対象 202を含む透過型画像 302aを撮像す る(S1000)。撮像部 100は、また、対象 202に対して平面上の他の角度(10° )から 電子線を透過させることにより、図 14 (b)に示す対象 202を含む透過型画像 302bを 撮像する(同ステップ)。以下、同様に、撮像部 100は、対象 202の特定の平面に対 して 10度ずつ角度を変えて、複数の透過型画像を撮像する。なお、以下、説明の便 宜上、透過型画像 302a、 b以外の非図示の透過型画像についてはその説明を一部 省略する。
[0065] 続いて、立体構造情報入力部 110は、対象 202の既知の情報を入力する(S1010 )。例えば、対象 202がファイバー状の内部構造であることが既知の情報として知られ ている場合には、そのファイバー状の構造の長さ、太さ等がユーザ力 立体構造情 報入力部 110に入力される。続いて、特徴領域選択部 130は、透過型画像 302a、 b のそれぞれにおいて、対象 202に含まれる複数の特徴領域を選択する(S1030)。 続いて、特徴領域分布算出部 140は、透過型画像 302a、 bのそれぞれにおいて選 択された複数の特徴領域のそれぞれの、透過型画像 302a、 bにおける位置に基づ いて、対象 202全体における複数の特徴領域のそれぞれの空間的な位置を算出す ることにより、対象 202全体における複数の特徴領域の空間的な分布を算出する (S 1040)。なお、ステップ S1010、 S1030、 S1040iま、図 1力ら図 10に示す立体画像 再構成装置 10の動作と同様である。
[0066] 図 15は、本発明の実施形態に係る厚み算出部 152により算出される対象 202の厚 みを模式的に示す平面図である。図 16は、本発明の実施形態に係る撮像部 100〖こ より撮像される透過型画像 302a、 302bのヒストグラムを示す図である。図 17は、本 発明の実施形態に係る微小領域割付部 154により濃淡が割り付けられる微小領域 割付画像である。
[0067] 厚み算出部 152は、図 15に示すように、特徴領域分布算出部 140により算出され た対象 202全体における複数の特徴領域の空間的な分布に基づいて、対象 202〖こ おける電子線の透過方向の厚み dを算出する(S1052)。なお、図 15は、算出された 厚みの一例であって、対象 202を撮像した角度 (0° )と断面 Lを含む平面上におい て平行する図 13に示す補助線 Aにおける対象 202の厚み dを示す。また、厚み算出 部 152は、また、図 17の微小領域割付画像における微小領域 A p A qに対応して、 図 15の厚み dを微小領域 Δ p Δ qに分割する。
[0068] 続いて、微小領域割付部 154は、図 15に示す厚み内の微少領域 Δ ρ A qに対応し て、図 16 (a)に示す透過型画像 302aの線分 L上の領域を複数の微小領域 Δ ρ (例 えば Δ ρ Χ Δ ρの大きさの画素)に分割する(S1054)。同様に、微小領域割付部 154 は、図 15に示す厚み内の微少領域 A p A qに対応して、図 16 (b)に示す透過型画 像 302bの線分 L上の領域を複数の微小領域 Δ pに分割する(同ステップ)。
[0069] 続、て、微小領域割付部 154は、透過型画像 302aの線分 L上の微小領域 Δ pに おける S番目の画素(画素 S)について、図 16 (a)に示すように、濃淡に比例した整数 値として画素値 N を割り当てる(S1056)。一例として、微小領域割付部 154は、透
S, 0
過型画像 302aの線分 L上の画素 Sを白黒の 256階調であらわした場合の画素値を N とする。同様に、微小領域割付部 154は、その線分 L上の他の画素 S—1等につ
S, 0
いて、濃淡に比例した整数値として画素値 N 等を割り当てる。さらに同様に、微
S- 1, 0
小領域割付部 154は、透過型画像 302bの線分 L上の微小領域 Δ pのそれぞれに対 応する画素についても、図 16 (b)に示すように、濃淡に比例した整数値を画素値とし て割り当てる。 [0070] 微小領域割付部 154は、微小領域割付画像の微小領域に濃淡の二値を割り付け る(S1058)。この場合に、まず、微小領域割付部 154は、二次元の画面を微小領域 Δ p Δ qに分割した微小領域割付画像を準備する。次に、特定の角度 (0° )につ ヽ て、微小領域割付部 154は、図 15の厚み dに含まれる微小領域に対応する図 17 (a) の微小領域 Δ p Δ q (図 17 (a)における一点鎖線の領域内)に、図 16 (a)の画素 Sに 対して割り当てられた画素値 N に対応した二値を割り付ける。この場合に、微小領
S, 0
域割付部 154は、透過型画像 302aが撮像された角度 (0° )から見た厚み方向の微 小領域群 P に含まれる微小領域 Δ p Δ qの当該二値の合計 K 力 透過型画像 3
S, 0 S, 0
02aの線分 L上の画素 Sの画素値 N に一致するように、二値を割り付ける。
S, 0
[0071] 例えば、図 17 (a)に示す例において、微小領域割付部 154は、角度 (0° )におけ る画素 Sの画素値 N に「4」を割り当てて 、たとする。この場合に、微小領域割付部
S, 0
154は、微小領域群 P に含まれる微小領域 A p A qの当該二値の合計 K が「4」
S, 0 S, 0 となる拘束条件の下で、角度 (0° )における微小領域群 P に含まれる複数の微小
S, 0
領域 A p A qのうち、 4つの微小領域 800c、 d、 e、 fに構造が存在することを示す白( 図面上は黒、値は 1であってもよい。)を割り付ける。この場合に、微小領域割付部 15 4は、厚み dに対応する領域に含まれる微小領域のうちの 4つの微小領域を、ー且、 ランダムに選択して白を割り付けてもよ ヽ。
[0072] 次に、微小領域割付部 154は、上記角度 (0° )に係る拘束条件を満たしつつ、他 の角度(10° )につ 、て、微小領域割付画像の微小領域に濃淡の二値を割り付ける 。この場合に、微小領域割付部 154は、上記角度 (0° )の場合に割り付けた白の微 小領域の位置を、上記拘束条件を満たしつつ変更する。
[0073] 例えば、微小領域割付部 154は、図 17 (a)における微小領域群 P の二値の合計
S, 0
K を保ちつつ、図 17 (b)における微小領域群 P の二値の合計 K が画素値
S, 0 S, 10 S, 10
N になるベぐ図 17 (a)でー且、割り付けた微小領域 800fを 802eに割り付けな
S, 10
おす。なお、図 17 (b)においては、図 17 (a)の一点鎖線を省略している力 図 17 (b) にお 、ても、図 15の厚み dに含まれる微小領域に対応する微小領域 Δ p Δ qに白が 割り付けられることが好まし 、。
[0074] 同様に、微小領域割付部 154は、二つの角度 (0° 、 10° )の両方について線分 L 上の画素 sの拘束条件を満たして、微小領域割付画像の微小領域に白を割り付ける 。さらに、他の角度についても、これらの角度について線分 L上の画素 Sの拘束条件 を満たして、微小領域割付画像の微小領域に白を割り付ける。
[0075] このようにして微小領域割付部 154は、線分 L上の他の画素について、それぞれの 画素に対応する、厚み内の各微小領域 Δ p Δ qに濃淡の二値の 、ずれかを割り付け る。さらに、微小領域割付部 154は、断面 L上以外、つまり線分 L上以外の厚み内の 微小領域 Δ p Δ q全体につ 、て、二値の 、ずれかを割り付ける。
[0076] 続いて、微小領域割付部 154は、線分 L上、および、線分 L上以外の厚み内の微 小領域 Δ ρ Δ (ΐ全体に割り付けた二値の分布から、断面 Lと垂直な方向、つまり厚み 方向と垂直な方向の微小領域 Δ ρ Δ q全体の二値の分布を取得する。つまり微小領 域割付部 154は、対象 202全体の微小領域 Δ p Δ qの二値の分布である密度分布を 取得する。微小領域割付部 154は、取得した密度分布を逆投影部 156に供給する。 続いて、逆投影部 156は、取得した対象 202の密度分布上に透過型画像の濃淡を 割り付けて、対象 202の立体画像を再構成する(S1060)。
[0077] 具体的には、まず、逆投影部 156は、白の座標を中心に正規分布を展開して重み 関数を生成する。逆投影部 156は、生成した重み関数により算出される重み値に従 つて、透過型画像の濃淡を逆投影して割り付けることにより、対象 202の立体画像を 再構成する。これにより、複数の特徴領域のそれぞれの空間的な位置と、複数の微 小領域に係る濃淡のそれぞれの空間的な位置とを高精度に算出し、対象 202の立 体画像をより高い精度で再構成することができる。さらに、複数の透過型画像の複数 の微小領域のそれぞれの濃淡に比例した整数値に一致するように、厚み内の微小 領域の各々に濃淡に二値を割り付けるので、高速に対象 202の立体画像を再構成 することができる。続いて、逆投影部 156は、再構成した立体画像を出力部 180に出 力する。そして、出力部 180は、逆投影部 156によって画像処理が実行された立体 画像を外部に出力して、利用者に提供する(S1080)。
[0078] なお、ステップ S1058において、微小領域割付部 154は、ステップ S1040におい て算出した特徴領域の分布、および、ステップ S1052において算出した厚みに基づ いて、各微小領域 A p A qに二値を割り付ける。換言すれば、濃淡に基づく点分布に 関する拘束条件に加え、特徴領域に関する拘束条件、および、厚みに関する拘束条 件によって、立体画像を再構成する。また、これらに加え、微小領域割付部 154は、 ステップ S1010にて入力された既知の情報に整合させて、各微小領域 Δ ρ A qに二 値を割り付けてもよい。例えば、対象 202がファイバー状の内部構造で形成されてい ることが既知である場合に、ファイバー状の構造の長さおよび太さ等が入力された場 合に、微少領域割付部 154は、白の微小領域をランダムに割り振ることに替えて、白 の微小領域の集合がファイバー状の構造の長さおよび太さと同程度になるように、二 値を割り付ける。これにより、対象 202に係る既知の情報を基づいて、複数の特徴領 域のそれぞれの空間的な位置と、複数の微小領域に係る濃淡のそれぞれの空間的 な位置とをより高精度に算出し、対象 202の立体画像をより高い精度で再構成するこ とがでさる。
[0079] なお、図 17に示す白の微小領域の割り付けが複数の透過型画像に係る拘束条件 によって収束する条件として、マルチステレオ計測等によって初期設定の白の微小 領域をある誤差範囲で分布させること、隣接する白の微小領域どうしの最大距離に 制限を設けること、実際の透過画像が微小領域割付画像の投影像またはその近似 画像として解釈した場合に整合することである。上記第 3の条件において、実際の透 過画像と微小領域割り付け画像の投影像との差を小さくする確率論的手法として、ス テツプ S1054において、モンテカルロ的手法を用いた力 遺伝的アルゴリズム等他の 手法であってもよい。
[0080] 図 18は、本発明のさらに他の実施形態に係る立体画像再構成装置 30の機能構成 の一例を示すブロック図である。立体画像再構成装置 30は、対象 202に特徴領域が 少なぐ厚みを特定することが困難な場合であっても、対象 202の立体画像を再構成 することができる。立体画像再構成装置 30は、撮像部 100、立体構造情報入力部 1 10、微小領域割付部 154、逆投影部 156、及び出力部 180を備える。立体画像再 構成装置 30の撮像部 100および立体構造情報入力部 110は、図 11から図 17の立 体画像再構成装置 20同一の構成、機能を有するので、説明を省略する。
[0081] 立体画像再構成装置 30の微小領域割付部 154は、対象について予め定められた 厚み内の領域を複数の微小領域に分割し、撮像部 100により撮像された複数の透 過型画像による濃淡に整合するべぐその複数の微小領域の各々に濃淡を割り付け る。例えば、微小領域割付部 154は、まず、予め定められた厚み内の微少領域に対 応して複数の透過型画像を複数の微小領域に分割し、分割した複数の透過型画像 の複数の微小領域のそれぞれについて濃淡に比例した整数値を割り当てる。そして 、微小領域割付部 154は、微小領域割付画像における予め定められた厚み内の微 小領域の各々に、濃淡の二値のいずれかを割り付けて、その透過型画像を撮像した 角度から見た厚み内の微小領域の濃淡の二値の合計力 その透過型画像における 対応する微小領域の濃淡の整数値に一致するように、その厚み内の微小領域に濃 淡の二値のいずれかを割り付ける。このようにして、微小領域割付部 154は、対象 20 2全体の微小領域 A p A qの二値の分布である密度分布を取得する。ここで、微小領 域割付部 154は、立体構造情報入力部 110から対象の立体構造における既知の情 報を取得し、その既知の情報に整合させて、複数の微小領域に濃淡を割付ける。そ して、微小領域割付部 154は、取得した密度分布を逆投影部 156に供給する。逆投 影部 156は、取得した対象 202の密度分布上に、透過型画像の濃淡を割り付けて、 対象 202の立体画像を再構成する。逆投影部 156は、再構成した立体画像を出力 部 180に出力する。なおここで、予め定められた厚みの一例は、所定の大きさを有す る矩形の微小領域割付画像の全体である。また、予め定められた厚みの他の例は、 対象の厚さまたは形状の概略が分かっている場合における、当該厚さまたは形状で ある。
[0082] 図 19は、本発明の実施形態に係る立体画像再構成装置 30を用いる立体画像再 構成方法における処理の流れの一例を示すフローチャートである。なお、立体画像 再構成装置 30を用いる立体画像再構成方法は、立体画像再構成装置 20を用いる 立体画像再構成方法と共通する処理を有する。よって、本フローチャートにおいて、 この共通する処理は説明を一部省略する。
[0083] 撮像部 100は、図 13に示すように、対象 202に対して、対象 202の一の断面 Lを含 む平面上の一の角度 (0° )、および、他の角度(10° )から電子線を透過させること により、図 14 (a) (b)に示す対象 202を含む透過型画像 302a、 bを撮像する(S 100 0)。 [0084] 続いて、立体構造情報入力部 110は、対象 202の既知の情報を入力する(S1010 )続いて、微小領域割付部 154は、図 15に示す厚み内の微少領域 A p A qに対応し て透過型画像 302a、 bの線分 L上の領域を複数の微小領域 Δ ρに分割する(S1054 )。続いて、微小領域割付部 154は、透過型画像 302a、 bの線分 L上の微小領域 Δ ρ について、濃淡に比例した整数値として画素値を割り当てる(S1056)。続いて、微 小領域割付部 154は、微小領域割付画像の厚み内、例えば矩形の微小領域割付画 像の全体に含まれる微小領域 Δ ρ A qについて、二値のいずれかを割り付ける(S10 58)。これにより、複数の透過画像の複数の微小領域のそれぞれの濃淡に比例した 整数値に一致するように、厚み内の微小領域の各々に濃淡に二値を割り付けるので 、高速に対象 202の立体画像を再構成することができる。
[0085] なお、また、微小領域割付部 154は、ステップ S1010にて入力された既知の情報 に整合させて、各微小領域 A p A qに二値を割り付ける。これにより、対象 202に係る 既知の情報を基づいて複数の微小領域に係る濃淡のそれぞれの空間的な位置をよ り高精度に算出し、対象 202の立体画像をより高い精度で再構成することができる。
[0086] 続いて、微小領域割付部 154は、線分 L上、および、線分 L上以外の厚み内の微 小領域 Δ ρ Δ (ΐ全体に割り付けた二値の分布から、密度分布を取得する。微小領域 割付部 154は、取得した密度分布を逆投影部 156に供給する。逆投影部 156は、取 得した対象 202の密度分布上に、透過型画像の濃淡を割り付けて、対象 202の立体 画像を再構成する(S1060)。続いて、逆投影部 156は、再構成した立体画像を出 力部 180に出力する。そして、出力部 180は、微小領域割付部 154によって画像処 理が実行された立体画像を外部に出力して、利用者に提供する(S1080)。
[0087] 以上説明した立体画像再構成装置 20、 30は、透過型画像に係る点分布の拘束条 件からの立体画像を再構成するので、 CTスキャン等の他の方法と同じ枚数の透過 型画像から、より高精度の立体画像を再構成することができ、また、上記他の方法の 10分の 1の枚数程度の透過型画像から、上記方法と同程度の精度の立体画像を再 構成することができる。これにより、立体画像再構成装置 20、 30は、例えば、死角が あって全方向からの透過型画像が得られない等の不完全な透過型画像から立体画 像を再構成することができる。また、立体画像再構成装置 20、 30は、上記点分布の 拘束条件に加え、例えば、「孤立点は不許可」、「所定の分散の範囲内」等の既知の 情報の拘束条件を設定することにより、不完全な透過型画像を補完し立体画像を再 構成、または、より高精度に立体画像を再構成することができる。
[0088] なお、立体画像再構成装置 20、 30を用いる立体画像再構成方法にぉ ヽて、撮像 する透過型画像の枚数、対象 202の厚み内の微少領域 Ap A qの粒度は、対象 202 の構造が既知である力否力 または、既知である場合にはその概略構造に応じて設 定することが好ましい。例えば、本実施形態においては、撮像部 100は、これらに応 じて、 10度より大きい角度ステップ、または、 10度より小さい角度ステップで透過型画 像を撮像してもよい。
[0089] 以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実 施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または 改良を加えることが可能であることが当業者に明らかである。その様な変更または改 良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から 明らかである。

Claims

請求の範囲
[1] 対象を撮像した画像に基づ!、て前記対象の立体構造を示す立体画像を再構成す る立体画像再構成装置であって、
前記対象に対して複数の角度力 電子線を透過させることにより、濃淡で示された 、前記対象を含む複数の透過型画像を撮像する撮像部と、
前記複数の透過型画像のそれぞれにお 、て、前記対象に含まれる複数の特徴領 域を選択する特徴領域選択部と、
前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそ れぞれの、当該透過型画像上の位置に基づいて、前記対象全体における前記複数 の特徴領域のそれぞれの空間的な位置を算出することにより、前記対象全体におけ る前記複数の特徴領域の空間的な分布を算出する特徴領域分布算出部と、 前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を 再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に 基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそ れぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を 示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像 を再構成する立体画像再構成部と
を備える立体画像再構成装置。
[2] 前記対象の立体構造の概略を示す情報を入力する立体構造情報入力部と、 入力された前記立体構造の概略に基づき、前記複数の透過型画像のそれぞれに 対して、前記対象を強調する画像処理を行う強調処理部と
を更に備え、
前記特徴領域選択部は、前記複数の透過型画像のそれぞれにおいて、前記強調 処理部によって強調された前記対象に含まれる前記複数の特徴領域を選択する 請求項 1に記載の立体画像再構成装置。
[3] 前記特徴領域分布算出部は、前記複数の透過型画像のそれぞれにおける、前記 複数の特徴領域のそれぞれに含まれる前記対象の輪郭の位置に基づ!、て、前記対 象全体における前記複数の特徴領域のそれぞれの空間的な位置を算出する請求項 1に記載の立体画像再構成装置。
[4] 前記撮像部は、内部が染色された、或いは染色せずとも密度分布に基づく立体構 造を有する前記対象を含む前記複数の透過型画像を撮像する請求項 2または 3〖こ 記載の立体画像再構成装置。
[5] 前記複数の特徴領域のうち、既知の立体構造を有する特徴領域における、前記立 体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡が、当該既 知の立体構造に収束する画像処理操作を算出する収束処理算出部と、
前記複数の特徴領域のうち、未知の立体構造を有する特徴領域における、前記立 体画像再構成部によって再構成された当該特徴領域の立体画像の濃淡に対して、 前記収束処理算出部によって算出された画像処理操作を実行する収束処理部と を更に備える請求項 1に記載の立体画像再構成装置。
[6] 前記立体画像再構成部は、
前記特徴領域分布算出部により算出された前記複数の特徴領域の空間的な分布 に基づ!/、て前記対象における前記電子線の透過方向の厚みを算出する厚み算出 部、および、
前記厚み算出部により算出された前記対象の厚み内の領域を複数の微小領域に 分割し、前記撮像部により撮像された前記複数の透過型画像による濃淡に整合する ベぐ前記複数の微小領域の各々に濃淡を割り付ける微小領域割付部、 を有する請求項 1に記載の立体画像再構成装置。
[7] 前記微小領域割付部は、前記対象の厚み内の前記微少領域に対応して前記複数 の透過型画像を複数の微小領域に分割し、前記複数の透過型画像の前記複数の 微小領域のそれぞれについて濃淡に比例した整数値を割り当て、前記厚み内の前 記微小領域の各々には濃淡の二値のいずれかを割り付けて、前記透過型画像を撮 像した角度から見た前記厚み内の前記微小領域の濃淡の二値の合計が、前記透過 型画像における対応する前記微小領域の濃淡の整数値に一致するように、前記厚 み内の前記微小領域に濃淡の二値のいずれかを割り付ける請求項 6に記載の立体 画像再構成装置。
[8] 前記対象の立体構造における既知の情報を入力する立体構造情報入力部をさら に備え、
前記微小領域割付部は、前記立体構造情報入力部により入力された前記既知の 情報に整合させて、前記複数の微小領域に濃淡を割り付ける請求項 6に記載の立体 画像再構成装置。
[9] 対象を撮像した画像に基づ!、て前記対象の立体構造を示す立体画像を再構成す る立体画像再構成装置であって、
前記対象に対して複数の角度力 電子線を透過させることにより、濃淡で示された 、前記対象を含む複数の透過型画像を撮像する撮像部と、
前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前 記撮像部により撮像された前記複数の透過型画像による濃淡に整合するべぐ前記 複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構 成する微小領域割付部と
を備える立体画像再構成装置。
[10] 前記微小領域割付部は、前記対象の厚み内の前記微少領域に対応して前記複数 の透過型画像を複数の微小領域に分割し、前記複数の透過型画像の前記複数の 微小領域のそれぞれについて濃淡に比例した整数値を割り当て、前記厚み内の前 記微小領域の各々には濃淡の二値のいずれかを割り付けて、前記透過型画像を撮 像した角度から見た前記厚み内の前記微小領域の濃淡の二値の合計が、前記透過 型画像における対応する前記微小領域の濃淡の整数値に一致するように、前記厚 み内の前記微小領域に濃淡の二値のいずれかを割り付ける請求項 9に記載の立体 画像再構成装置。
[11] 前記対象の立体構造における既知の情報を入力する立体構造情報入力部をさら に備え、
前記微小領域割付部は、前記立体構造情報入力部により入力された前記既知の 情報に整合させて、前記複数の微小領域に濃淡を割り付ける請求項 9に記載の立体 画像再構成装置。
[12] 対象を撮像した画像に基づ!、て前記対象の立体構造を示す立体画像を再構成す る立体画像再構成方法であって、 前記対象に対して複数の角度力 電子線を透過させることにより、濃淡で示された 、前記対象を含む複数の透過型画像を撮像する撮像段階と、
前記複数の透過型画像のそれぞれにお 、て、前記対象に含まれる複数の特徴領 域を選択する特徴領域選択段階と、
前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそ れぞれの位置に基づ!/、て、前記対象全体における前記複数の特徴領域のそれぞれ の空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域 の空間的な分布を算出する特徴領域分布算出段階と、
前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を 再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に 基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそ れぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を 示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像 を再構成する立体画像再構成段階と
を備える立体画像再構成方法。
[13] 対象を撮像した画像に基づ!、て前記対象の立体構造を示す立体画像を再構成す る立体画像再構成方法であって、
前記対象に対して複数の角度力 電子線を透過させることにより、濃淡で示された 、前記対象を含む複数の透過型画像を撮像する撮像段階と、
前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前 記撮像段階により撮像された前記複数の透過型画像による濃淡に整合するべぐ前 記複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再 構成する微小領域割付段階と
を備える立体画像再構成方法。
[14] 対象を撮像した画像に基づ!、て前記対象の立体構造を示す立体画像を再構成す る立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムで あって、
前記コンピュータを、 前記対象に対して複数の角度力 電子線を透過させることにより、濃淡で示された 、前記対象を含む複数の透過型画像を撮像する撮像部と、
前記複数の透過型画像のそれぞれにお 、て、前記対象に含まれる複数の特徴領 域を選択する特徴領域選択部と、
前記複数の透過型画像のそれぞれにおいて選択された前記複数の特徴領域のそ れぞれの位置に基づ!/、て、前記対象全体における前記複数の特徴領域のそれぞれ の空間的な位置を算出することにより、前記対象全体における前記複数の特徴領域 の空間的な分布を算出する特徴領域分布算出部と、
前記複数の透過型画像を重ね合わせて前記対象の立体構造を示す立体画像を 再構成する場合に、前記対象全体における前記複数の特徴領域の空間的な分布に 基づいて、前記複数の透過型画像により示される濃淡を、前記複数の特徴領域のそ れぞれの位置に割り付けて、前記複数の特徴領域のそれぞれにおける立体構造を 示す立体画像を再構成することにより、前記対象全体に濃淡を割り付けた立体画像 を再構成する立体画像再構成部と
を備える立体画像再構成装置として機能させる立体画像再構成プログラム。
対象を撮像した画像に基づいて前記対象の立体構造を示す立体画像を再構成す る立体画像再構成装置としてコンピュータを機能させる立体画像再構成プログラムで あって、
前記コンピュータを、
前記対象に対して複数の角度力 電子線を透過させることにより、濃淡で示された 、前記対象を含む複数の透過型画像を撮像する撮像部と、
前記対象について予め定められた厚み内の領域を複数の微小領域に分割し、前 記撮像部により撮像された前記複数の透過型画像による濃淡に整合するべぐ前記 複数の微小領域の各々に濃淡を割り付けることにより、前記対象の立体画像を再構 成する微小領域割付部と
を備える立体画像再構成装置として機能させる立体画像再構成プログラム。
PCT/JP2005/022471 2004-12-07 2005-12-07 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム WO2006062132A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006546736A JP4974680B2 (ja) 2004-12-07 2005-12-07 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
US11/810,632 US7853069B2 (en) 2004-12-07 2007-06-06 Stereoscopic image regenerating apparatus, stereoscopic image regenerating method, and stereoscopic image regenerating program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004354563 2004-12-07
JP2004-354563 2004-12-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/810,632 Continuation US7853069B2 (en) 2004-12-07 2007-06-06 Stereoscopic image regenerating apparatus, stereoscopic image regenerating method, and stereoscopic image regenerating program

Publications (1)

Publication Number Publication Date
WO2006062132A1 true WO2006062132A1 (ja) 2006-06-15

Family

ID=36577959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/022471 WO2006062132A1 (ja) 2004-12-07 2005-12-07 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム

Country Status (3)

Country Link
US (1) US7853069B2 (ja)
JP (2) JP4974680B2 (ja)
WO (1) WO2006062132A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7806144B2 (en) 2006-10-17 2010-10-05 Baxter International Inc. Flow restrictor for infusion system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006062132A1 (ja) * 2004-12-07 2006-06-15 The University Of Tokyo 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 3次元計測装置、その計測方法及びプログラム
EP2708874A1 (en) * 2012-09-12 2014-03-19 Fei Company Method of performing tomographic imaging of a sample in a charged-particle microscope
JP7074344B2 (ja) * 2016-10-11 2022-05-24 淳 山崎 立体物形成指示装置、立体物の製造方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292164A (ja) * 1995-04-25 1996-11-05 Hitachi Ltd 電子顕微鏡及び3次元原子配列観察方法
JP2002109516A (ja) * 2000-09-27 2002-04-12 Inst Of Physical & Chemical Res 3次元形状復元方法
JP2003000583A (ja) * 2001-05-31 2003-01-07 Siemens Ag コンピュータトモグラフの作動方法
JP2004132944A (ja) * 2002-08-16 2004-04-30 Foundation For The Promotion Of Industrial Science 製造誤差評価システム及び方法並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4365339A (en) * 1975-12-23 1982-12-21 General Electric Company Tomographic apparatus and method for reconstructing planar slices from non-absorbed and non-scattered radiation
US4149247A (en) * 1975-12-23 1979-04-10 Varian Associates, Inc. Tomographic apparatus and method for reconstructing planar slices from non-absorbed and non-scattered radiation
US4149248A (en) * 1975-12-23 1979-04-10 Varian Associates, Inc. Apparatus and method for reconstructing data
JPH0618570B2 (ja) * 1985-03-28 1994-03-16 株式会社日立製作所 2次元断層像撮影装置
US5552602A (en) * 1991-05-15 1996-09-03 Hitachi, Ltd. Electron microscope
US5866905A (en) * 1991-05-15 1999-02-02 Hitachi, Ltd. Electron microscope
US6051834A (en) * 1991-05-15 2000-04-18 Hitachi, Ltd. Electron microscope
JP3287858B2 (ja) * 1991-05-15 2002-06-04 株式会社日立製作所 電子顕微鏡装置及び電子顕微方法
US5414261A (en) * 1993-07-01 1995-05-09 The Regents Of The University Of California Enhanced imaging mode for transmission electron microscopy
SE9601229D0 (sv) * 1996-03-07 1996-03-29 B Ulf Skoglund Apparatus and method for providing reconstruction
JPH11250850A (ja) * 1998-03-02 1999-09-17 Hitachi Ltd 走査電子顕微鏡及び顕微方法並びに対話型入力装置
AU2002221101A1 (en) 2000-12-15 2002-06-24 Norio Baba Mage processor, image processing method, recording medium and program
EP1363245A1 (en) * 2001-01-05 2003-11-19 Center for Advanced Science and Technology Incubation, Ltd. Three-dimensional verification supporting apparatus, three-dimensional structure verification method, record medium, and program
WO2002075658A1 (fr) * 2001-03-12 2002-09-26 Center For Advanced Science And Technology Incubation, Ltd. Appareil support de verification de stereostructure, procede support de verification de stereostructure et programme
WO2006062132A1 (ja) * 2004-12-07 2006-06-15 The University Of Tokyo 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
US7538329B2 (en) * 2005-02-02 2009-05-26 Nomadics, Inc. Energy-transfer nanocomposite materials and methods of making and using same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08292164A (ja) * 1995-04-25 1996-11-05 Hitachi Ltd 電子顕微鏡及び3次元原子配列観察方法
JP2002109516A (ja) * 2000-09-27 2002-04-12 Inst Of Physical & Chemical Res 3次元形状復元方法
JP2003000583A (ja) * 2001-05-31 2003-01-07 Siemens Ag コンピュータトモグラフの作動方法
JP2004132944A (ja) * 2002-08-16 2004-04-30 Foundation For The Promotion Of Industrial Science 製造誤差評価システム及び方法並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARGYROS A ET AL: "Electron tomography and computer visualisation of a three-dimensional photonic' crystal in a butterfly wing-scale.", MICRON., vol. 33, no. 5, 2002, pages 483 - 487, XP002995726 *
ZIESE U ET AL: "Electron Tomography: a tool for 3D structural probing of heterogeneous catalysts at the nanometer scale.", APPLIED CATALYSIS A: GENERAL., vol. 260, no. 1, 25 March 2004 (2004-03-25), pages 71 - 74, XP004494829 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7806144B2 (en) 2006-10-17 2010-10-05 Baxter International Inc. Flow restrictor for infusion system

Also Published As

Publication number Publication date
US7853069B2 (en) 2010-12-14
JP2012133796A (ja) 2012-07-12
JP4974680B2 (ja) 2012-07-11
JPWO2006062132A1 (ja) 2008-06-12
US20070253612A1 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
CN113424224B (zh) 识别并保留优选点的合并点云的方法
KR101956149B1 (ko) 이미지 사이의 광학 흐름의 효율적 결정
US7931602B2 (en) Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
US9881373B2 (en) Image generating apparatus and image generating method
US5592571A (en) Digital pixel-accurate intensity processing method for image information enhancement
JP2006271971A (ja) ボリュメトリック画像強調システム及び方法
US20110148909A1 (en) Generating object representation from bitmap image
JP2012133796A (ja) 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
JP2004509722A (ja) 椎骨の椎弓根の位置を含む脊椎の正面幾何学データを抽出する方法及びシステム
EP3291532B1 (en) Image processing device and image processing method
JP2000137815A (ja) 新視点画像生成方法
CN104597061A (zh) 基于虚拟探测器的大视场锥束ct成像方法
JP6762570B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN108830319A (zh) 一种图像分类方法和装置
US20170148212A1 (en) Color-based dynamic sub-division to generate 3d mesh
JP2011216080A (ja) 画像処理装置、画像処理方法、および記憶媒体
Shah et al. Recovery of surfaces with discontinuities by fusing shading and range data within a variational framework
US10964094B1 (en) Visualization system that transforms 2D images of objects slices into 3D point clouds
CN109087357A (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
CN116433695A (zh) 一种乳腺钼靶图像的乳腺区域提取方法及***
JP2001273487A (ja) 完全な2次元サブミクロン形状の測定の方法および装置
WO2016032683A1 (en) Method for removing streak from detector cell with performance difference
Aronsson et al. Slice-based digital volume assembly of a small paper sample
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
WO2023224041A1 (ja) 検査装置および学習方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11810632

Country of ref document: US

Ref document number: 2006546736

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 11810632

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 05814538

Country of ref document: EP

Kind code of ref document: A1