WO2017154318A1 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム及び情報処理システム Download PDF

Info

Publication number
WO2017154318A1
WO2017154318A1 PCT/JP2016/089220 JP2016089220W WO2017154318A1 WO 2017154318 A1 WO2017154318 A1 WO 2017154318A1 JP 2016089220 W JP2016089220 W JP 2016089220W WO 2017154318 A1 WO2017154318 A1 WO 2017154318A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
region
analysis
interest
unit
Prior art date
Application number
PCT/JP2016/089220
Other languages
English (en)
French (fr)
Inventor
真司 渡辺
智広 早川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/080,508 priority Critical patent/US10845186B2/en
Priority to EP16893641.7A priority patent/EP3428268B1/en
Priority to JP2018504014A priority patent/JP6922891B2/ja
Publication of WO2017154318A1 publication Critical patent/WO2017154318A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, a program, and an information processing system.
  • Non-Patent Document 1 the shape information of the cardiomyocytes obtained by performing the segmentation process on the region of interest in the captured image corresponding to the cardiomyocytes that is an example of a biological sample is expanded in the Fourier series, A method for analyzing the strain of the cardiomyocytes based on the obtained Fourier descriptor is disclosed. Further, in Non-Patent Document 2 below, the internal movement of a biological sample displayed in a captured image is detected by a correlation function, and the detected movement is associated with a dynamic strain tensor to A method for calculating the strain of a target sample is disclosed.
  • Non-Patent Document 1 it is necessary to perform processing for recognizing a region of interest corresponding to a cardiomyocyte and segmentation processing for the region of interest for each frame of a captured image. Therefore, there is a possibility that the load applied to the strain analysis process becomes enormous.
  • the technique disclosed in Non-Patent Document 2 since the region corresponding to the biological sample is not specified, it is difficult to acquire the internal movement of the biological sample that greatly changes its form. . Therefore, depending on the biological sample to be analyzed, the accuracy of the strain analysis result may be reduced.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, program, and information processing system capable of analyzing a strain of a biological sample with higher accuracy.
  • a setting unit that sets at least one region of interest from one captured image constituting a moving image of a biological sample, and an analysis target specification that specifies an analysis target for the at least one region of interest A strain of the biological sample related to the at least one region of interest based on the detected motion of the analysis target, a detection unit that detects a motion of the analysis target on the moving image
  • An information processing apparatus including an analysis unit is provided.
  • the processor sets at least one region of interest from one captured image constituting a moving image of the biological sample, and specifies an analysis target for the at least one region of interest. And detecting the movement of the analysis target on the moving image, and analyzing the strain of the biological sample related to the at least one region of interest based on the detected movement of the analysis target. And an information processing method including the above.
  • the computer includes a setting unit that sets at least one region of interest from one captured image constituting a moving image of a biological sample, and an analysis target for the at least one region of interest. Based on the detected motion of the analysis target, the biological sample related to the at least one region of interest based on the analysis target specifying unit to be identified, the detection unit that detects the motion of the analysis target on the moving image And an analysis unit for analyzing the strain of the program are provided.
  • an imaging apparatus including an imaging unit that generates a moving image of a biological sample, a setting unit that sets at least one region of interest from one captured image constituting the moving image, Based on the detected motion of the analysis target, the analysis target specifying unit for specifying the analysis target for the at least one region of interest, the detection unit for detecting the motion of the analysis target on the moving image,
  • An information processing system includes an information processing apparatus including an analysis unit that analyzes a strain of the biological sample related to one region of interest.
  • FIG. 3 is a functional block diagram illustrating a functional configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. It is a figure which shows an example of the setting method of the attention area
  • FIG. It is a flowchart which shows the 1st example of the identification method of the arrangement position of the measurement point by an analysis object specific
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an outline of a configuration of an information processing system 1 according to an embodiment of the present disclosure.
  • the information processing system 1 includes an imaging device 10 and an information processing device 20.
  • the imaging device 10 and the information processing device 20 are connected by various wired or wireless networks.
  • the imaging device 10 is a device that generates a captured image (moving image).
  • the imaging device 10 according to the present embodiment is realized by a digital camera, for example.
  • the imaging device 10 may be realized by any device having an imaging function, such as a smartphone, a tablet, a game machine, or a wearable device.
  • Such an image pickup apparatus 10 has various members such as an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) and a lens for controlling the formation of a subject image on the image sensor. And real space is imaged using these.
  • a function as an imaging unit of the imaging apparatus 10 is realized by these imaging elements and various members.
  • the imaging device 10 includes a communication device for transmitting and receiving moving images and the like with the information processing device 20.
  • the imaging device 10 is provided above the imaging stage S for imaging the culture medium M in which cells to be observed are cultured.
  • a cell is an example of a biological sample.
  • the imaging device 10 produces
  • the imaging device 10 may image the culture medium M directly (without passing through other members), or may image the culture medium M through other members such as a microscope.
  • the frame rate is not particularly limited, but is preferably set according to the degree of change of the observation target. Note that the imaging device 10 images a certain imaging region including the culture medium M in order to correctly track changes in the observation target.
  • the moving image generated by the imaging device 10 is transmitted to the information processing device 20.
  • the imaging device 10 is a camera installed in an optical microscope or the like, but the present technology is not limited to such an example.
  • the imaging device 10 may be an imaging device included in an electron microscope using an electron beam such as SEM (Scanning Electron Microscope) or TEM (Transmission Electron Microscope), or an AFM. (Atomic Force Microscope) or even an imaging device included in SPM (Scanning Probe Microscope) using a short needle such as STM (Scanning Tunneling Microscope) Good.
  • the moving image generated by the imaging device 10 is a moving image obtained by irradiating an observation target with an electron beam in the case of an electron microscope, for example.
  • the imaging device 10 is an SPM
  • the moving image generated by the imaging device 10 is a moving image obtained by tracing an observation target using a short hand.
  • the information processing apparatus 20 is an apparatus having an image analysis function.
  • the information processing apparatus 20 is realized by any apparatus having an image analysis function, such as a PC (Personal Computer), a tablet, and a smartphone.
  • the information processing device 20 includes a processing circuit and a communication device.
  • the communication apparatus acquires a moving image from the imaging apparatus 10 and sets at least one attention area for the moving image acquired by the processing circuit.
  • the processing circuit specifies an analysis target for the set attention area, and detects a motion of the analysis target.
  • the processing circuit analyzes the strain of the observation target related to the region of interest based on the motion of the analysis target.
  • Each process performed by the processing circuit of the information processing device 20 is output to a storage device or a display device provided inside or outside the information processing device 20.
  • the information processing apparatus 20 may be realized by one or a plurality of information processing apparatuses on a network. A functional configuration for realizing each function of the information processing apparatus 20 will be described later.
  • the information processing system 1 is comprised by the imaging device 10 and the information processing apparatus 20, this technique is not limited to this example.
  • the imaging device 10 may perform processing related to the information processing device 20 (for example, detection processing and analysis processing).
  • the information processing system 1 is realized by an imaging device having a detection function, an analysis function, and the like.
  • the observation object according to the present embodiment is mainly a biological sample.
  • the biological sample means a living body that can be observed using an optical microscope or the like, such as various cells, organelles or living tissues, or living organisms such as microorganisms or plankton.
  • the biological sample means a living body that can move in the medium M on the imaging stage S of the imaging device 10.
  • an observation object is referred to as an observation object.
  • the observation target according to the present embodiment may be an observation target that performs a periodic motion.
  • the periodic exercise may be, for example, exercise (pulsation) accompanied by contraction and relaxation by a muscle or the like.
  • observation objects that exhibit such a periodic movement include sarcomere (muscles) and myofibers, muscle fibers, and muscles composed of the sarcomere.
  • the muscle may be skeletal muscle or visceral muscle (particularly involuntary muscle such as heart muscle).
  • the observation target according to the present embodiment may be a cardiomyocyte that forms a myocardium or a blood vessel such as an artery that pulsates according to the pulsation of the heart.
  • the application target of the present technology is not limited to an observation target that performs a periodic motion. For example, an observation target that contracts and relaxes due to an external stimulus or an internal stimulus is included as an application target of the present technology.
  • the observation target is a biological sample, but the present technology is not limited to this example.
  • the observation target may be a structure such as a living organism or an inanimate object having a scale of millimeter to nanometer. If it is a structure that contracts and relaxes (or stretches), the information processing system 1 may be used to analyze the distortion (corresponding to the strain) associated with the change in the form of the observation target.
  • the strain is an index indicating a mechanical characteristic related to a change in the form of the biological sample (observation target).
  • observation target When the observation target pulsates, local distortion may occur in the observation target.
  • This distortion is a strain indicating the local mechanical characteristics of the observation target.
  • FIG. 2 is a diagram for explaining the types of strain according to the present embodiment.
  • the observation object 500 contracts and changes its shape like the observation object 501.
  • macrostrains MaS1 and MaS2 indicating mechanical characteristics related to contraction or relaxation of the entire observation target 500
  • microstrain MiS1 indicating local mechanical characteristics inside the observation target 500.
  • MiS2 there are two types, MiS2.
  • the macro strain is a strain indicating the magnitude of change in the form of the observation object 500 in the expansion / contraction direction of the observation object 500. That is, the macro strain is a strain calculated based on a difference (distortion) between the original form of the observation object 500 and the form of the observation object 501 when contracted from the original form.
  • the microstrain is a strain indicating the amount of change in the local movement of the observation object 500 that contributes to the movement of the observation object 500 in the expansion / contraction direction. That is, as shown in FIG. 2, the microstrain is a strain that is calculated based on changes in individual movements within the observation object 500 that contribute to the movement of the observation object 500 in the expansion / contraction direction.
  • Macrostrain is a so-called dimensionless strain
  • microstrain is a value having a dimension of a change amount of motion in two dimensions (ie, corresponding to acceleration).
  • the microstrain according to the present embodiment is a vector (having a size and a direction). According to the information processing system 1 according to the present embodiment, by using at least one of these two types of strains, more detailed and complex evaluation can be performed on the local mechanical characteristics of the observation target. can do.
  • the overview of the information processing system 1 according to an embodiment of the present disclosure has been described above.
  • the information processing apparatus 20 included in the information processing system 1 according to an embodiment of the present disclosure is realized in the following embodiment.
  • a specific configuration example and processing example of the information processing apparatus 20 will be described.
  • macrostrain and microstrain are collectively described as strain.
  • FIG. 3 is a functional block diagram illustrating a functional configuration example of the information processing apparatus 20 according to an embodiment of the present disclosure.
  • the information processing apparatus 20 includes a control unit 200, a communication unit 210, and a storage unit 220.
  • the function of the control unit 200 is realized by a processing circuit such as a CPU (Central Processing Unit) included in the information processing apparatus 20.
  • the function of the communication unit 210 is realized by a communication device provided in the information processing apparatus 20.
  • the function of the storage unit 220 is realized by a storage device such as a storage provided in the information processing device 20.
  • each functional unit will be described.
  • the control unit 200 controls the overall operation of the information processing apparatus 20. As shown in FIG. 3, the control unit 200 includes functions of a setting unit 201, an analysis target specifying unit 202, a detection unit 203, an analysis unit 204, and a display control unit 205, and the information processing apparatus according to the present embodiment 20 operations are led. The functions of each functional unit included in the control unit 200 will be described later.
  • the communication unit 210 is a communication unit included in the information processing apparatus 20 and performs various types of communication with an external apparatus wirelessly or by wire via a network (or directly). For example, the communication unit 210 communicates with the imaging device 10. More specifically, the communication unit 210 acquires a moving image generated by the imaging device 10. The communication unit 210 may communicate with other devices other than the imaging device 10. For example, the communication unit 210 transmits information related to an analysis result obtained from the analysis unit 204 described later or information related to display of an analysis result obtained from the display control unit 205 to an external information processing device or display device. May be.
  • the storage unit 220 is a storage unit included in the information processing apparatus 20 and stores information acquired by the communication unit 210, information obtained by each function unit of the control unit 200, and the like. In addition, the storage unit 220 appropriately outputs stored information in response to a request from each functional unit of the control unit 200 or the communication unit 210.
  • the setting unit 201 sets at least one region of interest from one captured image constituting the moving image acquired by the communication unit 210 from the imaging device 10.
  • the attention area means an area for estimating the motion of the observation target. This region of interest does not necessarily coincide with a region (hereinafter referred to as an observation target region) corresponding to an observation target (for example, a biological sample such as a cell) in the moving image.
  • an observation target region a region corresponding to an observation target (for example, a biological sample such as a cell) in the moving image.
  • the attention area according to the present embodiment will be described as being set to an area formed by a closed curve corresponding to the outline of the observation target.
  • the attention area corresponds to a tissue existing inside the observation target. It may be set to an area.
  • the attention area according to the present embodiment will be described as an area surrounded by a closed curve (a curve in which the start point and the end point coincide), but even if it is an area expressed by an open curve (including a straight line) Good.
  • a plurality of areas may be set as the attention area, or an area expressed by a shape such as an 8-character may be set.
  • the attention area may be set through an operation of a user who uses the information processing apparatus 20, or even if the setting section 201 automatically detects the attention area from the moving image by a technique such as image analysis. Good.
  • the setting unit 201 may detect the observation target region by image analysis.
  • the setting unit 201 may set a region of interest according to the type of observation target.
  • the setting unit 201 may set one or a plurality of attention areas from one captured image. For example, when a plurality of observation target regions are included in one captured image, the setting unit 201 may set a region of interest for each observation target in order to compare the movements of these observation targets. Thereby, each motion of a plurality of observation objects is estimated, and each strain can be analyzed, so that the analysis results can be compared.
  • the one captured image may be a captured image corresponding to the first frame of the moving images acquired by the communication unit 210.
  • the attention area for the captured image of the first frame for example, when analyzing the movement of the attention area in the moving image in time series, the position of the attention area in the first frame can be used as a reference. Therefore, the analysis result becomes clearer than when the position of the region of interest in an arbitrary captured image is used as a reference.
  • the one captured image may be a captured image in a frame corresponding to a start time point of analysis of a strain to be observed by the analysis unit 204 described later. Thereby, the detection of the movement based on the form used as the reference
  • the setting unit 201 may arrange a plurality of tracking points for the attention area when the attention area is set in one captured image.
  • the tracking point is a point arranged corresponding to a region of interest set for a certain captured image.
  • the tracking points are arranged at predetermined intervals on a line or outline that defines the region of interest.
  • the detection unit 203 described later detects the position of the tracking point in another captured image captured at a time different from the one captured image used when the region of interest is set.
  • the detection unit 203 can detect the movement of the attention area based on the movement position of the tracking point.
  • the number and arrangement interval of tracking points may be determined according to the type of observation target or the shape of the region of interest. For example, when the shape of the region of interest changes greatly, it is preferable to increase the number of tracking points arranged and reduce the arrangement interval. Thereby, even if the cell shape changes greatly, the change in the cell shape can be tracked with high accuracy. In order to reduce the calculation load, it is preferable to reduce the number of tracking points and increase the arrangement interval.
  • FIG. 4 is a diagram illustrating an example of a method of setting a region of interest and an arrangement method of tracking points for an observation target by the setting unit 201.
  • the setting unit 201 may set the observation target area 1000 as the attention area 1100.
  • the outline of the attention area 1100 may be the outline of the observation target area 1000 (that is, the boundary line between the observation target area 1000 and the non-observation target area).
  • the setting unit 201 may arrange a plurality of tracking points CP on the contour line of the observation target region 1000 (that is, the contour line of the attention region 1100).
  • the attention area 1100 illustrated in FIG. 4 may be, for example, an area corresponding to a part of a tissue or the like included in the observation target. More specifically, when it is considered that a part of the pulsation of the tissue included in the observation target contributes to the mechanical characteristics related to the contraction and relaxation of the observation target, the setting unit 201 sets one of the tissues. An area corresponding to the part may be set as the attention area. As a result, the mechanical characteristics of the tissue corresponding to the desired region can be grasped, and the calculation cost can be suppressed by setting the size of the region of interest to the necessary minimum level.
  • Information on the attention area set by the setting unit 201 is output to the analysis target specifying unit 202 and the detection unit 203.
  • the analysis target specifying unit 202 specifies an analysis target for at least one region of interest.
  • the analysis target is used by the analysis unit 204 described later to analyze the strain.
  • the analysis target may be determined according to the user's selection or the type of strain analyzed by the analysis unit 204 (for example, macro strain or micro strain).
  • the analysis target according to the present embodiment is, for example, (1) two measurement points arranged on the outline of the attention area, or (2) the inside of the attention area.
  • the analysis target specifying unit 202 specifies either (1) or (2) or both as analysis targets.
  • the analysis target specifying method according to the above (1) and (2) by the analysis target specifying unit 202 will be described.
  • the analysis target specifying unit 202 may place two measurement points on the outline of the region of interest as an analysis target. These two measurement points are used to analyze a strain indicating a mechanical characteristic related to contraction or relaxation of the entire observation object, that is, a macro strain. Therefore, the two measurement points can be arranged on the contour line of the region of interest at a position corresponding to a portion of the observation target that is most moved when the observation target is contracted or relaxed.
  • the arrangement positions of the two measurement points are (a) a position where the two points are arranged as far apart as possible on the outline of the attention area, or (b) a position of the two points on the outline of the attention area. It is conceivable that the movement is at the maximum position.
  • the analysis target specifying unit 202 may specify the arrangement position of the measurement point based on, for example, the shape of the outline of the region of interest.
  • the analysis target specifying unit 202 specifies the arrangement position of the measurement point based on, for example, a change in the outline of the attention area on the moving image (that is, a change in the shape of the attention area). Also good.
  • a specific example of the method of specifying the measurement point arrangement position by the analysis target specifying unit 202 will be described.
  • FIG. 5 is a flowchart illustrating a first example of the method for specifying the measurement point arrangement position by the analysis target specifying unit 202.
  • FIG. 6 is a diagram for explaining a first example of a method of specifying the measurement point arrangement position by the analysis target specifying unit 202.
  • the analysis target specifying unit 202 calculates the center coordinates of the attention area (S101 in FIG. 5). For example, as shown in the schematic diagram F61 of FIG.
  • the analysis target specifying unit 202 calculates the coordinates of the center point 1101 of the attention area 1100.
  • the center point 1101 may be calculated, for example, by a weighted average of the coordinates of a plurality of tracking points CP arranged in the attention area 1100. Further, the center point 1101 may be calculated using a known method for obtaining center coordinates.
  • the analysis target specifying unit 202 specifies the position of the point farthest from the center point 1101 on the outline of the attention area 1100 as the arrangement position of the first measurement point SP1 (S103 in FIG. 5). For example, as illustrated in a schematic diagram F63 of FIG. 6, the analysis target specifying unit 202 sets the position of the point on the contour line of the attention area 1100 where the distance D1 to the center point 1101 is the largest as the first analysis target. It may be specified as the arrangement position of the measurement point SP1.
  • the analysis target specifying unit 202 may specify a point farthest from the center point 1101 among arbitrary positions on the contour line of the attention area 1100 as the first measurement point SP1, or a schematic diagram F63 in FIG. As shown, the tracking point CP farthest from the center point 1101 among the tracking points CP arranged on the contour line may be specified as the first measurement point SP1.
  • the analysis target specifying unit 202 specifies the position of the point farthest from the first measurement point SP1 on the contour line of the attention area 1100 as the arrangement position of the second measurement point SP2 (S105 in FIG. 5). For example, as illustrated in a schematic diagram F64 in FIG. 6, the analysis target specifying unit 202 sets the position of the point on the contour line of the attention area 1100 where the distance D2 from the first measurement point SP1 is the largest as the analysis target. You may specify as an arrangement position of a certain 2nd measurement point SP2.
  • the analysis target specifying unit 202 may specify a point farthest from the first measurement point SP1 among arbitrary positions on the contour line of the attention area 1100 as the second measurement point SP2, or the schematic of FIG. As shown in FIG. F64, the tracking point CP farthest from the first measurement point SP1 among the tracking points CP arranged on the contour line may be specified as the second measurement point SP2.
  • the movement related to the contraction and relaxation of the observation target relating to the attention area generally occurs along the longitudinal direction of the observation target. Therefore, it is possible to analyze the movement of the largest portion of the movement of the observation target by specifying the measurement point with the center position as a reference in the outline shape of the attention area. Therefore, it is possible to analyze the macrostrain of the observation target related to the attention area with higher accuracy.
  • the measurement point is specified based on the center position of the region of interest, but the present technology is not limited to such an example.
  • the analysis target specifying unit 202 estimates the point where the distance between the two points is the largest among the two arbitrary points on the contour line of the region of interest from the shape of the contour line, and determines the two estimated points as measurement points. May be specified.
  • FIG. 7 is a flowchart illustrating a second example of the method for specifying the measurement point arrangement position by the analysis target specifying unit 202.
  • FIG. 8 is a diagram for explaining a second example of the method of specifying the measurement point arrangement position by the analysis target specifying unit 202.
  • the detection unit 203 detects the motion vector of the tracking point arranged on the outline of the region of interest (S201 in FIG. 7). For example, as illustrated in a schematic diagram F81 of FIG.
  • the detection unit 203 calculates a motion vector MV of each tracking point CP.
  • a method for calculating the motion vector MV will be described later.
  • the motion detected here is a motion vector MV calculated based on the motion at two consecutive times when the observation target contracts or relaxes, but the present technology is not limited to such an example.
  • the detected motion may be a displacement amount calculated based on the magnitude of the motion of each tracking point CP when contracting and relaxing are performed for one cycle.
  • the detection unit 203 may rearrange the tracking points at appropriate positions for the attention area after movement. In this case, the position of the tracking point CP may be changed as appropriate. Therefore, when the measurement point is set based on the displacement amount related to the tracking point CP, the rearrangement of the tracking point CP by the detection unit 203 may not be performed.
  • the analysis target specifying unit 202 specifies the tracking point CP having the largest detected movement among the detected tracking points CP as the first measurement point SP3 (S203 in FIG. 7). For example, as illustrated in a schematic diagram F81 of FIG. 8, the analysis target specifying unit 202 uses the tracking point CP indicating the maximum motion vector MVa among the motion vectors MV calculated by the detection unit 203 as the first measurement point. You may specify as SP3 (refer the schematic diagram F82 of FIG. 8).
  • the analysis target specifying unit 202 specifies the position of the point farthest from the first measurement point SP3 on the outline of the attention area 1100 as the arrangement position of the second measurement point SP4 (S205 in FIG. 7). For example, as shown in the schematic diagram F83 of FIG. 8, the analysis target specifying unit 202 sets the position of the point on the contour line of the attention area 1100 where the distance D3 to the first measurement point SP3 is the largest as the analysis target. You may specify as arrangement
  • the measurement point once identified is fixed in a period to be subjected to strain analysis. This is because the movement of the measurement point is continuously measured through one analysis.
  • the tracking area of the specified measurement point (area centered on the measurement point considered in detection of the movement of the measurement point by the detection unit 203 described later) is set to a predetermined size.
  • the analysis target specifying unit 202 may specify the inside of the attention area as the analysis target as the analysis target. At this time, for example, the analysis target specifying unit 202 performs segmentation processing of the captured image using the attention area in order to detect the movement inside the attention area specified as the analysis target.
  • the segmentation process is a process of cutting out an image of a portion corresponding to a region of interest from a captured image.
  • FIG. 9 is a diagram for explaining an example of the analysis target specifying method by the analysis target specifying unit 202.
  • the analysis target specifying unit 202 generates a mask 1110 having the attention region 1100 set for the observation target region 1000 as a closed region.
  • a segmentation process is performed by applying the mask 1110 to the captured image of the observation target region 1000.
  • specification part 202 cuts the mesh 1120 about the inside of the attention area
  • the motion vectors MV3 and MV4 detected for each mesh 1120 are detected by the detection unit 203 as the motion to be analyzed. That is, in this embodiment, the movement inside the attention area corresponds to the movement for each mesh.
  • the generated mask 1110 can be generated by the analysis target specifying unit 202 for each movement or deformation of the region of interest (for example, for each captured image). That is, the segmentation process is performed on a region of interest that reflects the result of motion detection detected by the detection unit 203 described later.
  • the segmentation process related to the generation of the mask 1110 is not performed based on the image recognition of the observation target included in the captured image, but is performed based on the detection process of the movement of the attention area. For this reason, a processing load related to image recognition does not occur, and thus the calculation cost can be suppressed.
  • the analysis target specifying unit 202 may specify only a part inside the attention area as the analysis target.
  • the analysis target specifying unit 202 may specify only an area corresponding to a part that is considered to have a large change in the form of the corresponding observation target in the attention area as the analysis target.
  • the analysis target specified by the analysis target specifying unit 202 may be both inside the above two measurement points and the attention area. By specifying a plurality of analysis objects, it is possible to comprehensively evaluate the strain on the observation object using the results of macrostrain and microstrain.
  • the analysis target specifying unit 202 outputs information regarding the specified analysis target to the detection unit 203.
  • the detection unit 203 detects at least a motion on the moving image of the analysis target specified by the analysis target specifying unit 202. Further, the detection unit 203 may detect the movement of the attention area on the moving image. As illustrated in FIG. 3, the detection unit 203 includes an attention area motion detection unit 231 and an analysis target motion detection unit 232.
  • the attention region motion detection unit 231 has a function of detecting the motion of the attention region. For example, the attention area motion detection unit 231 detects the movement of the attention area in another captured image that is different from the one captured image in one captured image constituting the moving image. More specifically, the attention area motion detection unit 231 first detects the movement of each tracking point arranged for the attention area, and detects the movement of the attention area based on the estimated movement of each tracking point. Also good.
  • the attention area motion detection unit 231 detects the movement of the attention area by estimating the movement of the tracking points arranged for the attention area. Specifically, the attention area motion detection unit 231 first estimates the position of the tracking point arranged in one captured image in another captured image that is different from the one captured image. The other captured image may be any captured image of several frames before and after the frame of the one captured image. The attention area motion detection unit 231 detects the movement of the tracking point on the moving image by performing processing related to the estimation of the position of the tracking point in another captured image for each captured image constituting the moving image. Note that the motion detected by the attention area motion detection unit 231 may be motion in all or part of the moving image.
  • the attention area motion detection unit 231 may estimate the position of the tracking point based on, for example, a motion vector calculated by comparing one captured image with another captured image. This motion vector may be a motion vector calculated for each tracking point. The motion vector may be calculated by a technique such as block matching or a gradient method. The attention area motion detection unit 231 according to the present embodiment will be described assuming that the motion vector is estimated by block matching.
  • the attention area motion detection unit 231 selects, for a tracking area having a predetermined size including a tracking point, an area in which information regarding pixels in the tracking area most closely matches between one captured image and another captured image.
  • the position of the tracking point in another captured image may be estimated by detecting from a predetermined block size (search range) of the captured image.
  • the size of the tracking area and the block size may be determined according to the imaging condition (for example, imaging magnification) of the imaging device 10, the type of observation target, the type of analysis performed on the observation target, and the like. For example, when the movement of the observation target is large, the tracking area or the block size may be increased. Thereby, the estimation accuracy of the position of the tracking point by the attention area motion detection unit 231 can be improved. Further, when there are a large number of tracking points with respect to the attention area, the tracking area or the block size may be adjusted to be small in order to reduce the calculation load.
  • the attention area motion detection unit 231 may estimate the position of the tracking point in another captured image generated at the time of imaging determined based on the information regarding the observation target. For example, when tracking a change in the form of an observation target whose form change speed is slow, the difference in captured images between a plurality of consecutive frames generated by the imaging apparatus 10 is small. Therefore, when tracking a change in the shape of an observation target whose shape change speed is slow, the attention area motion detection unit 231 performs a detection process using a captured image that is several frames away from the frame of one captured image as another captured image. May be. More specifically, the region-of-interest motion detection unit 231 may perform the detection process using a captured image several frames after the frame of one captured image as another captured image.
  • the frame interval can be appropriately set according to the type or state of the observation target.
  • the attention area motion detection unit 231 further detects the movement of the attention area (for example, movement of the attention area or change in the shape of the outline of the attention area) based on the detected movement position of the tracking point. Thereby, the change of the form of the observation target related to the attention area can be tracked. Further, the attention area motion detection unit 231 may rearrange the tracking points for the attention area after the motion detection. Thereby, the estimation accuracy of the motion of the attention area can be increased.
  • Information related to the movement of the attention area may be output to the analysis target specifying unit 202.
  • the analysis target specifying unit 202 specifies the inside of the attention area as the analysis target, the segmentation process can be performed according to the movement of the attention area.
  • the analysis target motion detection unit 232 has a function of detecting the motion of the analysis target. For example, the analysis target motion detection unit 232 detects the motion of the analysis target in another captured image that is different from the one captured image in one captured image constituting the moving image. More specifically, the analysis target motion detection unit 232 may estimate the motion of the analysis target based on a motion vector calculated by comparing one captured image with another captured image. The detected motion vector is realized by a method similar to the method of the attention area motion detection unit 231 described above, such as block matching. The analysis target motion detection unit 232 according to the present embodiment detects a motion vector to be analyzed by block matching. Note that the motion detected by the analysis target motion detection unit 232 may be motion in all or part of the moving image.
  • the analysis target motion detection unit 232 detects a motion vector on the moving image of the measurement point.
  • the analysis target specifying unit 202 specifies the inside of the attention area as the analysis target
  • the analysis target motion detection unit 232 detects the motion vector of each mesh provided in the attention area.
  • the detector used in the attention area motion detection unit 231 and the detector used in the analysis target motion detection unit 232 may be different.
  • the block size described above is the attention area motion detection section 231 and the analysis target motion. It may be different among the detection units 232.
  • FIG. 10 and 11 are diagrams showing examples of the block size used for the attention area motion detection unit 231 and the block size used for the analysis target motion detection unit 232, respectively.
  • FIG. 10 shows a case where measurement points are arranged as analysis targets on the outline of the attention area
  • FIG. 11 shows a case where the inside of the attention area is specified as the analysis target.
  • the block sizes B1 and B2 of the measurement points SP1 and SP2 may be equal to or larger than the block size B3 of the tracking point CP1.
  • the positions of the measurement points SP1 and SP2 are larger than those of the other tracking points CP. Therefore, the block size of the measurement points SP1 and SP2 may be set to be greater than or equal to the block size of the tracking point CP in order to more reliably capture the shape change due to the contraction or relaxation of the observation target.
  • the block size B4 of the mesh 1120 may be equal to or smaller than the block size B3 of the tracking point CP1. This is because if the block size B4 is set too large, an image pattern close to the image pattern included in the mesh 1120 before motion detection may be detected except in the vicinity of the mesh 1120.
  • the size of these block sizes may be changed as appropriate according to the type of captured image (bright field image, phase difference image, etc.) of the observation target.
  • the block size is different between the attention area motion detection unit 231 and the analysis target motion detection unit 232, but the present technology is not limited to this example.
  • the size of the tracking region may be different between the attention region motion detection unit 231 and the analysis target motion detection unit 232.
  • the attention area motion detection unit 231 detects the movement of the attention area for each captured image constituting the moving image.
  • the analysis target motion detection unit 232 detects the motion of the analysis target for each captured image. Then, the analysis target motion detection unit 232 outputs information regarding the detected motion of the analysis target to the analysis unit 204. In addition, information related to the attention area and the detection result of the motion to be analyzed by the detection unit 203 is output to the display control unit 205.
  • the analysis unit 204 analyzes the strain of the observation target related to at least one region of interest based on the motion of the analysis target.
  • the analysis unit 204 according to the present embodiment performs at least one of macrostrain and microstrain based on at least one of the measurement points specified by the analysis target specifying unit 202 or the motion vector inside the attention area (mesh). To analyze.
  • an example of analysis processing by the analysis unit 204 will be described.
  • FIG. 12 is a diagram illustrating a first example of macrostrain analysis based on a motion vector of a measurement point. As shown in the schematic diagram F121 of FIG. 12, first, the analysis unit 204 calculates a distance L (t 0 ) of a line segment L0 connecting the measurement points SP1 and SP2. This distance L (t 0 ) is calculated from the positions of the measurement points SP1 and SP2 in the captured image captured at a time different from the time when the observation target is contracted or relaxed.
  • the analysis unit 204 analyzes the macrostrain ⁇ (t) over time by tracking changes in the positions of the measurement points SP1 and SP2.
  • FIG. 13 is a diagram illustrating a second example of macrostrain analysis based on a motion vector of a measurement point.
  • the analysis unit 204 calculates a distance L (t 0 ) of a line segment L0 connecting the measurement points SP1 and SP2. This distance L (t 0 ) is calculated from the positions of the measurement points SP1 and SP2 in the captured image captured at a time different from the time when the observation target is contracted or relaxed.
  • the analysis unit 204 sets this line segment L0 as a reference line.
  • the motion vectors of the measurement points SP1 and SP2 in the moving image are detected (see the schematic diagram F132 in FIG. 13).
  • the line segment connecting the measurement points SP1 ′ and SP2 ′ at this time is the line segment L2 (see the schematic diagram F133 in FIG. 13)
  • the above-described distance L (t) is obtained by projecting the line segment L2 onto the reference line L0. May be the length.
  • the directions of the motion vectors MV1 and MV2 at the measurement points SP1 and SP2 are not parallel to the reference line L0, a part of the force related to the contraction and relaxation of the observation target is in the reference line L0 direction, that is, the expansion / contraction direction of the observation target. It is thought that it contributes to change.
  • By projecting the line segment L2 onto the reference line L0 it is possible to analyze the macrostrain that contributes to the change in the expansion / contraction direction of the observation target.
  • the analysis section 204 is based on the motion vector inside the attention area and is the microstrain of the observation target. Analysis may be performed. Specifically, the analysis unit 204 may analyze the temporal change amount (ie, equivalent to acceleration) of the motion vector of each mesh as a microstrain.
  • the microstrain analyzed here is a microstrain for each mesh. Thereby, the partial strain of the observation target corresponding to the attention area can be obtained. That is, it is possible to know in detail the local mechanical characteristics related to the contraction and relaxation of the observation target.
  • a strain as a local mechanical characteristic in the region where the microstrain is analyzed.
  • a statistical value such as an average value, median value, maximum value, or minimum value of the microstrain obtained for each mesh can also be a value indicating local mechanical characteristics in the region in which the microstrain is analyzed.
  • the analysis section 204 calculates the affine parameters from the motion vector inside the attention area,
  • the strain to be observed may be analyzed based on the affine parameters.
  • the affine parameters according to the present embodiment are obtained by applying the least square method to the motion vector of each mesh. By using the affine parameters, it is possible to analyze both macrostrain and microstrain.
  • FIG. 14 is an example of a flowchart showing processing for analyzing macrostrain using affine parameters.
  • the analysis unit 204 acquires a motion vector inside (each mesh) of the region of interest (S301).
  • the analysis unit 204 calculates an affine parameter using the least square method for the obtained motion vector (S303).
  • the analysis unit 204 extracts parameters related to scaling and distortion from the affine parameters (S305).
  • the parameters related to expansion / contraction and distortion are related to the expansion / contraction and distortion in the longitudinal direction of the region of interest. That is, the parameter is a parameter related to the contraction and relaxation of the observation target.
  • the analysis unit 204 performs macrostrain analysis of the observation target from parameters related to expansion / contraction and distortion (S307). Specifically, the analysis unit 204 calculates a time change amount of a parameter related to expansion / contraction and distortion as an analysis value of macrostrain.
  • FIG. 15 is an example of a flowchart showing processing for analyzing microstrain using affine parameters.
  • the analysis unit 204 acquires a motion vector inside (each mesh) of the region of interest (S311).
  • the analysis unit 204 calculates an affine parameter using the least square method for the obtained motion vector (S313).
  • the analysis unit 204 converts the affine parameter into a motion vector for each pixel inside the region of interest (S315).
  • the analysis part 204 performs the microstrain analysis for every pixel based on the motion vector for every pixel (S317).
  • the microstrain analysis method is the same as the microstrain analysis method for each mesh described above.
  • microstrain analysis can be performed in finer units than the mesh. This makes it possible to obtain more detailed information about the observation target microstrain.
  • the analysis unit 204 outputs information related to the analyzed strain to the display control unit 205.
  • the display control unit 205 controls display of information related to the analyzed strain.
  • the display control unit 205 has a function for displaying information related to macrostrain or microstrain analyzed with respect to the observation target in various display modes such as graphs, imaging, and tables.
  • the display controlled by the display control unit 205 is displayed on a screen of a display device or the like (not shown).
  • a screen display example by the display control unit 205 will be described.
  • FIG. 16 is an example of a graph showing time series change of macrostrain.
  • the macrostrain ⁇ analyzed by the analysis unit 204 may be displayed as a time series graph.
  • the display control unit 205 may display an arrow indicating the size and direction of the microstrain, for example. Specifically, as shown in FIG. 3, an arrow indicating a microstrain may be superimposed on the region of interest. Thereby, it is possible to know the magnitude and the direction in which the local distortion of the observation target due to the pulsation occurs.
  • the display control unit 205 may display information related to microstrain by imaging such as color mapping. For example, the display control unit 205 may draw a portion where the microstrain is analyzed when the observation target is contracted or relaxed with a drawing color associated with the contracted state or the relaxed state of the observation target. In this case, the display control unit 205 determines whether the observation target is contracted or relaxed based on the movement of the attention area or the analysis target. The display control unit 205 according to the present embodiment determines whether the observation target is contracted or relaxed based on the movement of the two measurement points.
  • FIG. 17 is a graph showing an example of displacement when the movements of the measurement points are in the same phase and in different phases. Note that the graph relating to the displacement can be obtained, for example, by integrating the motion vector of the measurement point.
  • Whether or not the movements of the two measurement points are in phase can be determined based on the peak position of the time series change in the distance from the stationary position of the two measurement points. For example, if the peak positions of the measurement point SP1 and the measurement point SP2 are the same, the movements of the two measurement points are in phase (see graph G171 in FIG. 17), and if there is a shift in the peak position, the 2 The movement of the measurement point is out of phase (see graph G172 in FIG. 17).
  • the contraction and relaxation timings of the observation target are generally the same.
  • the contraction and relaxation timings of the observation target are different at the end portions in the length direction.
  • the position of the pulsation center of the observation target is estimated, and the portion of the observation target corresponding to each mesh is contracted or relaxed based on the position of the pulsation center and the direction of the motion vector of each mesh.
  • processing related to estimation of the pulsation center is realized by a known technique.
  • this processing may be realized by a technique disclosed in Japanese Patent Application Laid-Open No. 2014-75999.
  • FIG. 18 shows an example of a flowchart of the microstrain imaging process related to the contraction or relaxation of the observation target by the display control unit 205.
  • the display control unit 205 acquires time-series changes in the distance from the stationary position of the two measurement points (S401).
  • the display control unit 205 detects the peak position of the time series change of the two measurement points (S403).
  • the display control unit 205 determines whether the movements of the two measurement points are in the same phase or different phases from the detection result of the peak position (S405).
  • the display control unit 205 estimates the pulsation center to be observed (S407).
  • the display control unit 205 performs microstrain imaging processing related to contraction or relaxation (S409). First, the imaging process when the movements of two measurement points are in phase will be described.
  • FIG. 19 is a diagram illustrating a processing example of an imaging process of microstrain relating to contraction or relaxation of an observation target when movements of two measurement points are in phase.
  • a schematic diagram F191 in FIG. 19 is an example of an imaging process when the observation target is contracted.
  • a schematic diagram F192 in FIG. 19 is an example of an imaging process when the observation target is relaxed.
  • the display control unit 205 may draw the regions 1131a and 1131b in which the microstrain has been analyzed with a drawing color indicating contraction and reflect it on the screen 300.
  • the display control unit 205 may draw the regions 1132a and 1132b in which the microstrain has been analyzed with a drawing color indicating relaxation and reflect them on the screen 300.
  • FIG. 20 is a diagram showing a processing example of the microstrain imaging process related to the contracted state or the relaxed state of the observation target when the movements of the two measurement points are in different phases.
  • a schematic diagram F201 in FIG. 20 is an example of an imaging process when one end of the observation target is contracted.
  • a schematic diagram F202 in FIG. 20 is an example of an imaging process when one end of the observation target is relaxed.
  • the display control unit 205 determines that the analyzed direction of the microstrain MiS3 is the direction toward the pulsation center 1140. That is, the display control unit 205 determines that the microstrain MiS3 is a microstrain related to the contraction of the observation target. In this case, the display control unit 205 may draw the region 1141 in which the microstrain has been analyzed with a drawing color indicating contraction and reflect it on the screen 300.
  • the display control unit 205 determines that the analyzed direction of the microstrain MiS4 is a direction away from the pulsation center 1140. That is, the display control unit 205 determines that the microstrain MiS4 is a microstrain related to the relaxation of the observation target. In this case, the display control unit 205 may draw the region 1142 in which the microstrain has been analyzed with a drawing color indicating relaxation and reflect it on the screen 300.
  • the beat center 1140 shown in FIG. 20 may be displayed on the screen 300 or may not be displayed.
  • the determination as to whether the observation target is contraction or relaxation is 2 It is not limited to be performed using a point measurement point.
  • the display control unit 205 may control the display mode of information related to the strain based on a change in the shape of the outline of the attention area.
  • the drawing of the microstrain as shown in FIG. 19 may be controlled. More specifically, it is considered that the observation target is contracted when the length of the contour line decreases in time series. Further, when the length of the contour line increases in time series, it is considered that the observation target is relaxed. As described above, it is possible to determine the contracted state or the relaxed state of the observation target based on the change in the shape of the outline of the attention area. Therefore, it is possible to control the drawing mode related to the microstrain based on the change in the shape of the contour line.
  • the display control unit 205 may control the display mode of information related to strain based on the strength (size) of the micro strain. For example, the display control unit 205 may draw a portion where the microstrain is analyzed when the observation target is contracted or relaxed with a drawing color associated with the strength of the microstrain.
  • FIG. 21 is a diagram illustrating an example of an imaging process of strain intensity.
  • the display control unit 205 draws the regions 1150a and 1150b in which the microstrain has been analyzed on the screen 300 with a drawing color corresponding to the size of the microstrain. This makes it possible to intuitively recognize the microstrain distribution in the region contributing to the contraction or relaxation of the observation target.
  • the display control unit 205 is associated with the contracted state or the relaxed state according to the strength (size) of the microstrain.
  • the density of the drawing color may be controlled.
  • the example of display control by the display control unit 205 has been described above.
  • the information related to the analyzed strain may be output to another display device or a storage device via the communication unit 210 or may be stored in the storage unit 220.
  • the number of observation objects on which the strain is analyzed by the information processing apparatus 20 is not particularly limited.
  • a moving image includes images of a plurality of observation targets
  • attention areas are set for the plurality of observation targets
  • analysis targets are specified for the plurality of attention areas
  • each of the specified analysis targets is specified.
  • the movement may be detected, and the strain of each observation target may be analyzed based on each movement.
  • the strain analyzed for each observation target may be normalized. This is because the size of the strain varies depending on the size of the observation target. By normalizing the strain, it is possible to compare analysis results such as strain between a plurality of observation objects.
  • FIG. 22 is a flowchart illustrating an example of processing performed by the information processing apparatus 20 according to an embodiment of the present disclosure.
  • the control unit 200 acquires moving image data from the imaging device 10 via the communication unit 210 (S501).
  • the setting unit 201 extracts one captured image from the acquired moving image data, and sets at least one attention area from the one captured image (S503). Next, the setting unit 201 arranges the tracking point on the outline of the attention area (S505).
  • the analysis target specifying unit 202 specifies the analysis target for the attention area (S507).
  • the analysis target specified here is at least one of two measurement points or the inside (mesh) of the region of interest. Note that when the analysis target specifying unit 202 specifies two measurement points based on a change in the shape of the region of interest, the analysis target is not specified at the time of step S507. Instead, in step S603 to be described later, two measurement points as analysis targets are specified.
  • the detection unit 203 (attention region motion detection unit 231) detects the motion of the attention region on the moving image (S509).
  • the detection unit 203 (analysis target motion detection unit 232) detects a motion on the moving image to be analyzed, and the analysis unit 204 analyzes the strain based on the detected motion of the analysis target ( S511).
  • the content of the process in step S511 changes according to the analysis target specified in step S507.
  • FIG. 23 is a flowchart illustrating an example of processing according to step S511 when two measurement points are identified as analysis targets.
  • processing is performed when an analysis target is not specified in step S507 (S601). Specifically, if the analysis target specifying unit 202 has not specified two measurement points to be analyzed in step S507 (S601 / NO), the analysis target specifying unit 202 specifies two measurement points based on a change in the shape of the region of interest. (S603).
  • the analysis target motion detection unit 232 detects motion vectors at two measurement points (S605).
  • the analysis unit 204 analyzes the macro strain to be observed based on the detected motion vectors of the two measurement points (S607).
  • FIG. 24 is a flowchart illustrating an example of processing according to step S511 when the inside of a region of interest is identified as an analysis target.
  • the analysis target specifying unit 202 performs segmentation processing (and mesh processing) using a region of interest in which the detection result of the detection unit 203 is reflected, and specifies the inside of the region of interest as an analysis target. (S611).
  • the detection unit 203 detects a motion vector inside the attention area (S613).
  • the analysis unit 204 analyzes the macrostrain or microstrain to be observed based on the detected motion vector inside the attention area (S615).
  • step S511 The specific example of the process according to step S511 has been described above.
  • the display control unit 205 controls display of information related to the strain analyzed by the analysis unit 204 (S513). Thereafter, the control unit 200 determines whether or not to end these analysis processes (S515). When the analysis process is continued (S515 / NO), the process related to step S509 is performed again.
  • the information processing apparatus 20 specifies an analysis target for the attention area, detects the movement of the specified analysis target, and based on the detected movement of the analysis target, strains of the observation target related to the attention area Is analyzed.
  • the information processing apparatus 20 specifies an analysis target for the attention area, detects the movement of the specified analysis target, and based on the detected movement of the analysis target, strains of the observation target related to the attention area Is analyzed.
  • the information processing apparatus 20 can analyze the strain while tracking the change in the form of the observation target by detecting the tracking point and the movement of the analysis target. That is, the strain can be analyzed without performing direct image recognition on the observation target for each captured image. Therefore, calculation cost can be suppressed.
  • the information processing apparatus 20 can control the display mode of the information related to the analyzed strain based on the analysis target movement or the movement of the attention area. Therefore, since the display mode of the information regarding the strain changes according to the contraction or relaxation of the observation target, it is possible to easily grasp the relationship between the strain and the pulsation of the observation target.
  • FIG. 25 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the illustrated information processing apparatus 900 can realize, for example, the information processing apparatus 20 in the above-described embodiment.
  • the information processing apparatus 900 includes a CPU 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 925, and a communication device 929.
  • the information processing apparatus 900 may include a processing circuit called DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 900 according to various programs recorded in the ROM 903, the RAM 905, the storage apparatus 919, or the removable recording medium 923.
  • the CPU 901 controls the overall operation of each functional unit included in the information processing apparatus 20 in the above embodiment.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 927 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 can be, for example, a display device such as an LCD, PDP, and OELD, an acoustic output device such as a speaker and headphones, and a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as a video such as text or an image, or outputs it as a sound such as sound.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like. Note that the storage device 919 can realize the function of the storage unit 220 according to the embodiment.
  • the drive 921 is a reader / writer for a removable recording medium 923 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 923 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the mounted removable recording medium 923.
  • the connection port 925 is a port for directly connecting a device to the information processing apparatus 900.
  • the connection port 925 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like. Further, the connection port 925 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 929 is a communication interface configured with a communication device for connecting to the communication network NW, for example.
  • the communication device 929 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 929 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 929 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network NW connected to the communication device 929 is a network connected by wire or wireless, and is, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. Note that at least one of the connection port 925 and the communication device 929 can realize the function of the communication unit 210 according to the embodiment.
  • the information processing system 1 is configured to include the imaging device 10 and the information processing device 20, but the present technology is not limited to such an example.
  • the imaging apparatus 10 may include functions (setting function, analysis target specifying function, detection function, and analysis function) of the information processing apparatus 20.
  • the information processing system 1 is realized by the imaging device 10.
  • the information processing apparatus 20 may include a function (imaging function) of the imaging apparatus 10.
  • the information processing system 1 is realized by the information processing apparatus 20.
  • the imaging apparatus 10 may have a part of the functions of the information processing apparatus 20, and the information processing apparatus 20 may have a part of the functions of the imaging apparatus 10.
  • each step in the processing of the information processing apparatus of the present specification does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the information processing apparatus may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • a setting unit for setting at least one region of interest from one captured image constituting a moving image of a biological sample An analysis target specifying unit for specifying an analysis target for the at least one region of interest; A detection unit for detecting movement on the moving image to be analyzed; An analysis unit that analyzes a strain of the biological sample related to the at least one region of interest based on the detected movement of the analysis target;
  • An information processing apparatus comprising: (2) The analysis target specifying unit specifies two measurement points on the outline of the at least one region of interest as the analysis target, The detection unit detects movement of the two measurement points on the moving image; The information processing apparatus according to (1), wherein the analysis unit analyzes the strain based on movements of the two measurement points.
  • the information processing apparatus specifies an arrangement position of the two measurement points based on the shape of the contour line.
  • the analysis target specifying unit specifies an arrangement position of the two measurement points based on a change in a shape of the contour line on the moving image.
  • the analysis target specifying unit specifies the inside of the at least one region of interest as the analysis target,
  • the detection unit detects movement on the moving image inside the at least one region of interest;
  • the information processing apparatus according to any one of (1) to (4), wherein the analysis unit analyzes the strain based on an internal movement of the at least one region of interest.
  • the information processing apparatus calculates an affine parameter of a motion inside the at least one region of interest detected by the detection unit, and analyzes the strain based on the affine parameter. .
  • the detection unit can further detect the movement of the at least one region of interest; In the detection unit, any one of (1) to (6), wherein the motion detector used for detecting the motion of the analysis target is different from the motion detector used for detecting the motion of the at least one region of interest.
  • the information processing apparatus according to item.
  • (8) The information processing apparatus analyzes the strain based on a temporal change in the movement of the analysis target.
  • the information processing apparatus according to any one of (1) to (8), further including a display control unit that controls display of information related to the strain analyzed by the analysis unit.
  • the information processing apparatus controls a display mode of information related to the strain according to the movement of the analysis target.
  • the display control unit controls a display mode of information related to the strain using a beat center estimated for the at least one region of interest.
  • the display control unit controls a display mode of information related to the strain according to a change in a shape of the contour of the at least one region of interest on the moving image.
  • the information processing apparatus according to any one of (9) to (12), wherein the display control unit controls a display mode of information related to the strain based on a magnitude of a motion of the analysis target.
  • the strain includes a strain that exhibits a mechanical characteristic related to contraction or relaxation of the entire biological sample.
  • the strain includes a strain that shows local mechanical characteristics inside the biological sample.
  • the setting unit sets a region corresponding to the biological sample included in the one captured image as the at least one region of interest. apparatus.
  • the information processing apparatus according to any one of (1) to (16), wherein the biological sample is a biological sample that performs periodic motion.
  • An information processing method including: (19) Computer A setting unit for setting at least one region of interest from one captured image constituting a moving image of a biological sample; An analysis target specifying unit for specifying an analysis target for the at least one region of interest; A detection unit for detecting movement on the moving image to be analyzed; An analysis unit that analyzes a strain of the biological sample related to the at least one region of interest based on the detected movement of the analysis target; Program to function as.
  • An imaging device including an imaging unit that generates a moving image of a biological sample; A setting unit for setting at least one region of interest from one captured image constituting the moving image; An analysis target specifying unit for specifying an analysis target for the at least one region of interest; A detection unit for detecting movement on the moving image to be analyzed; An analysis unit that analyzes a strain of the biological sample related to the at least one region of interest based on the detected movement of the analysis target; An information processing apparatus comprising: An information processing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Organic Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Medicinal Chemistry (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Hematology (AREA)
  • Optics & Photonics (AREA)
  • Sustainable Development (AREA)
  • Image Analysis (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

【課題】生物学的試料のストレインをより精度高く解析すること。 【解決手段】生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、上記解析対象の上記動画像上における動きを検出する検出部と、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析する解析部と、を備える情報処理装置が提供される。

Description

情報処理装置、情報処理方法、プログラム及び情報処理システム
　本開示は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。
　医療および生命科学の分野において、多くの種類の生物学的試料の動きを観察し、これらの形態の変化について評価することが行われている。例えば、生物学的試料の収縮または弛緩に係る力学的特性（ストレイン）を評価するための技術が開発されている。このストレインを評価することにより、生物学的試料の形態の変化に係る力学的特性を定量的に評価することが可能となる。
　例えば、下記非特許文献１には、生物学的試料の一例である心筋細胞に対応する撮像画像中の関心領域についてセグメンテーション処理を行うことにより得られる当該心筋細胞の形状情報をフーリエ級数展開し、得られたフーリエ記述子に基づいて当該心筋細胞のストレインを解析する方法が開示されている。また、下記非特許文献２には、撮像画像に表示されている生物学的試料の内部の動きを相関関数により検出し、検出された動きを力学的なひずみテンソルと関連付けることにより、当該生物学的試料のストレインを算出する方法が開示されている。
C．Bazan　et　al．"Image　Processing　Techniques　for　Assessing　Contractility　in　Isolated　Adult　CardiacMyocytes"International　Journal　of　Biomedical　Imaging，2009，352954． A．Kamogue　et　al．"Quantification　of　cardiomyocyte　contraction　based　on　image　correlation　analysis."Cytometry　Part　A，75A，2009，p.298-308．
　しかし、上記非特許文献１に開示された技術では、心筋細胞に対応する関心領域を認識する処理、および関心領域についてのセグメンテーション処理を撮像画像のフレームごとに行う必要がある。そのため、ストレインの解析の処理にかかる負荷が膨大なものになる可能性がある。また、上記非特許文献２に開示された技術では、生物学的試料に対応する領域が特定されていないため、大きく形態を変化させる生物学的試料の内部の動きを取得することが困難である。そのため、解析の対象となる生物学的試料によっては、ストレインの解析結果の精度が低下する可能性がある。
　そこで、本開示では、生物学的試料のストレインをより精度高く解析することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムおよび情報処理システムを提案する。
　本開示によれば、生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、上記解析対象の上記動画像上における動きを検出する検出部と、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析する解析部と、を備える情報処理装置が提供される。
　また、本開示によれば、プロセッサが、生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定することと、上記少なくとも一の注目領域についての解析対象を特定することと、上記解析対象の上記動画像上における動きを検出することと、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析することと、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータを、生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、上記解析対象の上記動画像上における動きを検出する検出部と、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析する解析部と、として機能させるためのプログラムが提供される。
　また、本開示によれば、生物学的試料についての動画像を生成する撮像部を備える撮像装置と、上記動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、上記解析対象の上記動画像上における動きを検出する検出部と、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析する解析部と、を備える情報処理装置と、を有する情報処理システムが提供される。
　以上説明したように本開示によれば、生物学的試料のストレインをより精度高く解析することが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成の概要を示す図である。 同実施形態に係るストレインの種類を説明するための図である。 本開示の一実施形態に係る情報処理装置の機能構成例を示す機能ブロック図である。 設定部による観察対象についての注目領域の設定方法および追跡点の配置方法の一例を示す図である。 解析対象特定部による測定点の配置位置の特定方法の第１の例を示すフローチャートである。 解析対象特定部による測定点の配置位置の特定方法の第１の例について説明するための図である。 解析対象特定部による測定点の配置位置の特定方法の第２の例を示すフローチャートである。 解析対象特定部による測定点の配置位置の特定方法の第２の例について説明するための図である。 解析対象特定部による解析対象の特定方法の一例について説明するための図である。 注目領域動き検出部に用いられるブロックサイズおよび解析対象動き検出部に用いられるブロックサイズの一例を示す図である。 注目領域動き検出部に用いられるブロックサイズおよび解析対象動き検出部に用いられるブロックサイズの一例を示す図である。 測定点の動きベクトルに基づくマクロストレイン解析の第１の例を示す図である。 測定点の動きベクトルに基づくマクロストレイン解析の第２の例を示す図である。 アフィンパラメータを用いてマクロストレインを解析する処理を示すフローチャートの一例である。 アフィンパラメータを用いてミクロストレインを解析する処理を示すフローチャートの一例である。 マクロストレインの時系列変化を示すグラフの一例である。 測定点の動きが同位相である場合および異位相である場合の変位の一例を示すグラフである。 表示制御部による観察対象の収縮または弛緩に係るミクロストレインのイメージング処理のフローチャートの一例を示す。 ２点の測定点の動きが同位相である場合における観察対象の収縮または弛緩に係るミクロストレインのイメージング処理の処理例を示す図である。 ２点の測定点の動きが異位相である場合における観察対象の収縮状態または弛緩状態に係るミクロストレインのイメージング処理の処理例を示す図である。 ストレイン強度のイメージング処理の一例を示す図である。 同実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 解析対象として２つの測定点が特定された場合のステップＳ５１１に係る処理の一例を示すフローチャートである。 解析対象として注目領域の内部が特定された場合のステップＳ５１１に係る処理の一例を示すフローチャートである。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．情報処理システムの概要
　２．情報処理装置
　　２．１．構成例
　　２．２．処理例
　　２．３．効果
　３．ハードウェア構成例
　４．まとめ
　＜＜１．情報処理システムの概要＞＞
　図１は、本開示の一実施形態に係る情報処理システム１の構成の概要を示す図である。図１に示すように、情報処理システム１は、撮像装置１０、および情報処理装置２０を備える。撮像装置１０および情報処理装置２０は、有線または無線の各種ネットワークにより接続される。
　（撮像装置）
　撮像装置１０は、撮像画像（動画像）を生成する装置である。本実施形態に係る撮像装置１０は、例えば、デジタルカメラにより実現される。他にも、撮像装置１０は、例えばスマートフォン、タブレット、ゲーム機、またはウェアラブル装置など、撮像機能を有するあらゆる装置により実現されてもよい。このような撮像装置１０は、ＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を有し、これらを用いて実空間を撮像する。これらの撮像素子および各種の部材により、撮像装置１０の撮像部としての機能が実現される。また、撮像装置１０は、情報処理装置２０との間で動画像等を送受信するための通信装置を含む。本実施形態において、撮像装置１０は、観察対象である細胞等が培養されている培地Ｍを撮像するための撮像ステージＳの上方に設けられる。なお、細胞は生物学的試料の一例である。そして、撮像装置１０は、培地Ｍを所定のフレームレートで撮像することにより動画像を生成する。なお、撮像装置１０は、培地Ｍを直接（他の部材を介さずに）撮像してもよいし、顕微鏡等の他の部材を介して培地Ｍを撮像してもよい。また、上記フレームレートは特に限定されないが、観察対象の変化の度合いに応じて設定されることが好ましい。なお、撮像装置１０は、観察対象の変化を正しく追跡するため、培地Ｍを含む一定の撮像領域を撮像する。撮像装置１０により生成された動画像は、情報処理装置２０へ送信される。
　なお、本実施形態において、撮像装置１０は光学顕微鏡等に設置されるカメラであることを想定しているが、本技術はかかる例に限定されない。例えば、撮像装置１０は、ＳＥＭ（Scanning　Electron　Microscope：走査型電子顕微鏡）、もしくはＴＥＭ（Transmission　Electron　Microscope：透過型電子顕微鏡）等の電子線を用いた電子顕微鏡等に含まれる撮像装置、または、ＡＦＭ（Atomic　Force　Microscope：原子間力顕微鏡）、もしくはＳＴＭ（Scanning　Tunneling　Microscope：走査型トンネル顕微鏡）等の短針を用いたＳＰＭ（Scanning　Probe　Microscope：走査型プローブ顕微鏡）等に含まれる撮像装置であってもよい。この場合、撮像装置１０により生成される動画像は、例えば電子顕微鏡の場合、電子線を観察対象に照射することにより得られる動画像である。また、撮像装置１０がＳＰＭである場合、撮像装置１０により生成される動画像は、短針を用いて観察対象をなぞることにより得られる動画像である。これらの動画像も、本実施形態に係る情報処理装置２０により画像解析され得る。
　（情報処理装置）
　情報処理装置２０は、画像解析機能を有する装置である。情報処理装置２０は、ＰＣ（Personal　Computer）、タブレット、スマートフォンなど、画像解析機能を有するあらゆる装置により実現される。情報処理装置２０は、処理回路および通信装置を含む。例えば、本実施形態に係る情報処理装置２０では、通信装置が撮像装置１０から動画像を取得し、処理回路が取得した動画像について少なくとも一の注目領域を設定する。そして、当該処理回路は、設定された注目領域について解析対象を特定し、当該解析対象の動きを検出する。そして、当該処理回路は、当該解析対象の動きに基づいて、注目領域に係る観察対象のストレインを解析する。情報処理装置２０の処理回路により行われる各処理については、情報処理装置２０の内部または外部に備えられる記憶装置または表示装置等に出力される。なお、情報処理装置２０は、ネットワーク上の１または複数の情報処理装置によって実現されてもよい。情報処理装置２０の各機能を実現する機能構成については後述する。
　なお、本実施形態において、撮像装置１０および情報処理装置２０により情報処理システム１が構成されるが、本技術はかかる例に限定されない。例えば、撮像装置１０が、情報処理装置２０に関する処理（例えば、検出処理および解析処理）を行ってもよい。この場合、情報処理システム１は、検出機能および解析機能等を有する撮像装置により実現される。
　ここで、本実施形態に係る情報処理システム１の観察対象およびストレインについて説明する。まず、本実施形態に係る観察対象は、主に生物学的試料である。生物学的試料とは、例えば、各種細胞、細胞小器官もしくは生体組織、または微生物もしくはプランクトン等の生物など、光学顕微鏡等を用いて観察することが可能な生体を意味する。特に本実施形態において生物学的試料は、撮像装置１０の撮像ステージＳ上における培地Ｍにおいて運動し得る生体を意味する。以下、このような生物学的試料については、観察対象と呼称する。
　特に、本実施形態に係る観察対象は、周期的な運動を行う観察対象であってもよい。周期的な運動とは、例えば、筋肉等による収縮および弛緩を伴う運動（拍動）であってもよい。このような周期的な運動を示す観察対象として、例えば、サルコメア（筋節）および当該サルコメアにより構成される筋源繊維、筋繊維および筋肉等が挙げられる。筋肉は、骨格筋または内臓筋（特に心筋等の不随意筋）であってもよい。また、本実施形態に係る観察対象は、心筋を形成する心筋細胞であってもよいし、心臓の拍動に応じて拍動する動脈等の血管であってもよい。また、本技術の適用対象は、周期的な運動を行う観察対象に限定されない。例えば、外部刺激または内部刺激等により収縮および弛緩する観察対象は、本技術の適用対象として含まれる。
　なお、本実施形態において観察対象は生物学的試料であるが、本技術はかかる例に限定されない。例えば、観察対象は、大きさがミリメートルからナノメートルのスケールである生物または無生物等の構造体であってもよい。収縮および弛緩（または伸長）するような構造体であれば、情報処理システム１は、これらの観察対象の形態の変化に係る歪み（ストレインに相当）について解析するために用いられてもよい。
　次に、本実施形態に係るストレインについて説明する。ストレインは、生物学的試料（観察対象）の形態の変化に係る力学的特性を示す指標である。観察対象が拍動する際に、当該観察対象に局所的に歪みが生じることがある。この歪みが、観察対象の局所的な力学的特性を示すストレインである。このストレインを定量化することにより、観察対象の収縮能について評価することができる。例えば、観察対象が心筋細胞である場合に、心筋細胞に投与された薬剤に係る効果、および再生医療に係る技術を用いて作製された心筋細胞の収縮能等を、定量的に評価することが可能となる。
　本実施形態に係るストレインは、大きく２種類存在する。図２は、本実施形態に係るストレインの種類を説明するための図である。図２を参照すると、観察対象５００が収縮して形態を観察対象５０１のように変化している。このとき、観察対象５００のストレインとして、観察対象５００全体の収縮または弛緩に係る力学的特性を示すマクロストレインＭａＳ１およびＭａＳ２、並びに、観察対象５００の内部の局所的な力学的特性を示すミクロストレインＭｉＳ１およびＭｉＳ２の２種類が存在する。
　マクロストレインは、観察対象５００の伸縮方向における、観察対象５００の形態の変化の大きさを示すストレインである。つまり、マクロストレインは、観察対象５００の元の形態と、当該元の形態から収縮したときの観察対象５０１の形態との間の差分（歪み）に基づいて算出されるストレインである。
　一方、ミクロストレインは、観察対象５００の伸縮方向の運動に寄与する観察対象５００の局所的な動きの変化量を示すストレインである。つまり、ミクロストレインは、図２に示すように、観察対象５００の伸縮方向の運動に寄与する観察対象５００の内部の個々の動きの変化に基づいて算出されるストレインである。
　マクロストレインは、いわゆる無次元のひずみ量であるのに対し、ミクロストレインは、二次元上における動きの変化量（すなわち加速度に相当する）の次元を有する値である。また、本実施形態に係るミクロストレインは、ベクトル（大きさと方向を有する）である。本実施形態に係る情報処理システム１によれば、これらの２種のストレインの少なくともいずれかを用いることにより、観察対象の局所的な力学的特性について、より詳細な、かつ、複合的な評価をすることができる。
　以上、本開示の一実施形態に係る情報処理システム１の概要について説明した。本開示の一実施形態に係る情報処理システム１に含まれる情報処理装置２０は、以下の実施形態において実現される。以下、情報処理装置２０の具体的な構成例および処理例について説明する。なお、以下の説明においては、特に区別する必要がない限り、マクロストレインおよびミクロストレインを、総じてストレインと記載する。
　＜＜２．情報処理装置＞＞
　以下、図３～図２４を参照して本開示の一実施形態に係る情報処理装置２０について説明する。
　　＜２．１．構成例＞
　図３は、本開示の一実施形態に係る情報処理装置２０の機能構成例を示す機能ブロック図である。図３に示すように、本実施形態に係る情報処理装置２０は、制御部２００、通信部２１０および記憶部２２０を備える。制御部２００の機能は、情報処理装置２０が備えるＣＰＵ（Central　Processing　Unit）等の処理回路により実現される。また、通信部２１０の機能は、情報処理装置２０が備える通信装置により実現される。また、記憶部２２０の機能は、情報処理装置２０が備えるストレージ等の記憶装置により実現される。以下、各機能部について説明する。
　（制御部）
　制御部２００は、情報処理装置２０の動作全般を制御する。また、制御部２００は、図３に示すように、設定部２０１、解析対象特定部２０２、検出部２０３、解析部２０４および表示制御部２０５の各機能を含み、本実施形態に係る情報処理装置２０の動作を主導的に行う。制御部２００に含まれる各機能部の有する機能については後述する。
　（通信部）
　通信部２１０は、情報処理装置２０が備える通信手段であり、ネットワークを介して（あるいは直接的に）、外部装置と無線または有線により各種通信を行う。例えば、通信部２１０は撮像装置１０と通信を行う。より具体的には、通信部２１０は、撮像装置１０により生成された動画像を取得する。また、通信部２１０は、撮像装置１０以外の他の装置と通信を行ってもよい。例えば、通信部２１０は、後述する解析部２０４より得られる解析結果に関する情報、または表示制御部２０５より得られる分析結果等の表示に関する情報等を、外部の情報処理装置または表示装置等に送信してもよい。
　（記憶部）
　記憶部２２０は、情報処理装置２０が備える記憶手段であり、通信部２１０により取得された情報、または制御部２００の有する各機能部により得られた情報等を記憶する。また、記憶部２２０は、制御部２００の有する各機能部、または通信部２１０からの要求に応じて、記憶されている情報を適宜出力する。
　次に、制御部２００に含まれる各機能部の有する機能について説明する。
　（設定部）
　設定部２０１は、通信部２１０が撮像装置１０から取得した動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する。なお、本明細書において注目領域とは、観察対象の動きを推定するための領域を意味する。この注目領域は、動画像における観察対象（例えば、細胞等の生物学的試料）に相当する領域（以降、観察対象領域と呼称する）と必ずしも一致していなくてもよい。例えば、本実施形態に係る注目領域は、観察対象の輪郭に相当する閉曲線により形成される領域に設定されるものとして説明するが、当該注目領域は、観察対象の内部に存在する組織に相当する領域に設定されてもよい。
　また、本実施形態に係る注目領域は、閉曲線（始点と終点が一致する曲線）により包囲される領域であるものとして説明するが、開曲線（直線を含む）により表現される領域であってもよい。また、注目領域として、複数の領域が設定されてもよいし、８の字のような形状により表現される領域が設定されてもよい。
　また、注目領域は、情報処理装置２０を使用するユーザの操作等を介して設定されてもよいし、設定部２０１が画像解析等の手法により動画像から注目領域を自動的に検出してもよい。後者の場合、設定部２０１は、画像解析により観察対象領域を検出してもよい。例えば、設定部２０１は、観察対象の種類に応じて注目領域を設定してもよい。
　また、設定部２０１は、一の撮像画像から一または複数の注目領域を設定してもよい。例えば、一の撮像画像に複数の観察対象領域が含まれている場合、これらの観察対象の動きの比較のために、設定部２０１は各観察対象についてそれぞれ注目領域を設定してもよい。これにより、複数の観察対象の各々の動きが推定され、各々のストレインについて解析できるので、解析結果の比較が可能となる。
　なお、当該一の撮像画像は、通信部２１０が取得した動画像のうち、最初のフレームに相当する撮像画像であってもよい。最初のフレームの撮像画像について注目領域を設定することにより、例えば、動画像における注目領域の動きについて時系列に解析する際に、最初のフレームにおける注目領域の位置を基準とすることができる。そのため、任意の撮像画像における注目領域の位置を基準とするよりも、解析結果がより明確となる。また、当該一の撮像画像は、後述する解析部２０４による観察対象のストレインの解析の開始時点に相当するフレームにおける撮像画像であってもよい。これにより、当該観察対象の基準となる形態に基づく動きの検出を、後述する検出部２０３により行うことができる。
　また、本実施形態に係る設定部２０１は、一の撮像画像において注目領域を設定した際に、当該注目領域に関して複数の追跡点を配置してもよい。なお、本明細書において追跡点とは、ある撮像画像について設定された注目領域に対応して配置される点である。例えば本実施形態において、追跡点は注目領域を定義する線または輪郭上に、所定の間隔を空けて配置される。後述する検出部２０３において、当該注目領域が設定された際に用いられた一の撮像画像とは異なる時点において撮像された他の撮像画像における追跡点の位置が検出される。検出部２０３は、この追跡点の移動位置に基づいて当該注目領域の動きを検出することができる。
　また、追跡点の配置数および配置間隔は、観察対象の種類、または注目領域の形状に応じて決定されてもよい。例えば、注目領域の形状が大きく変化する場合、追跡点の配置数を増やし、配置間隔を小さくすることが好ましい。これにより、細胞の形態が大きく変化しても、細胞の形態の変化を精度高く追跡することができる。また、計算負荷の低減のためには、追跡点の配置数を減らし、配置間隔を大きくすることが好ましい。
　ここで、本実施形態に係る設定部２０１による注目領域の設定方法、および追跡点の配置方法について説明する。図４は、設定部２０１による観察対象についての注目領域の設定方法および追跡点の配置方法の一例を示す図である。図４を参照すると、まず撮像画像上において観察対象の像に相当する観察対象領域１０００が含まれているとする。この場合、図４に示すように、設定部２０１は、観察対象領域１０００を注目領域１１００として設定してもよい。この場合、注目領域１１００の輪郭線は、観察対象領域１０００の輪郭線（すなわち、観察対象領域１０００と非観察対象領域との境界線）であってもよい。そして、設定部２０１は、観察対象領域１０００の輪郭線（すなわち、注目領域１１００の輪郭線）上に、複数の追跡点ＣＰを配置してもよい。
　なお、図４に示した注目領域１１００は、例えば、観察対象に含まれる組織等の一部に相当する領域であってもよい。より具体的には、観察対象に含まれる組織の一部の拍動が当該観察対象の収縮および弛緩に係る力学的特性に寄与していると考えられる場合、設定部２０１は、当該組織の一部に相当する領域を注目領域として設定してもよい。これにより、所望の領域に相当する組織の上記力学的特性を把握することができ、また、注目領域の設定サイズを必要最小限度とすることにより、計算コストを抑制することができる。
　設定部２０１により設定された注目領域についての情報は、解析対象特定部２０２、および検出部２０３に出力される。
　（解析対象特定部）
　解析対象特定部２０２は、少なくとも一の注目領域についての解析対象を特定する。当該解析対象は、後述する解析部２０４がストレインを解析するために用いられる。当該解析対象は、ユーザの選択により、または解析部２０４により解析されるストレインの種類（例えば、マクロストレイン、もしくはミクロストレイン）等に応じて決定されてもよい。
　本実施形態に係る解析対象は、例えば、（１）注目領域の輪郭線上に配置される２つの測定点、または（２）注目領域の内部である。解析対象特定部２０２は、上記（１）または（２）のいずれか、または両方を解析対象として特定する。以下、解析対象特定部２０２による、上記（１）および（２）に係る解析対象の特定方法について説明する。
　（１）２つの測定点の特定方法
　解析対象特定部２０２は、解析対象として、注目領域の輪郭線上に２つの測定点を配置してもよい。この２つの測定点は、観察対象全体の収縮または弛緩に係る力学的特性を示すストレイン、すなわちマクロストレインを解析するために用いられる。そのため、当該２つの測定点は、注目領域の輪郭線上のうち、観察対象の収縮時または弛緩時において、当該観察対象のうち最も動きが大きいとされる部分に対応する位置に配置され得る。この２つの測定点の配置位置としては、（ａ）注目領域の輪郭線上において、当該２点が可能な限り離れて配置される位置、または（ｂ）注目領域の輪郭線上において、当該２点の動きが最大限大きい位置であることが考えられる。上記（ａ）については、解析対象特定部２０２は、例えば、注目領域の輪郭線の形状に基づいて測定点の配置位置を特定してもよい。また、上記（ｂ）については、解析対象特定部２０２は、例えば、注目領域の輪郭線の動画像上における変化（つまり注目領域の形状の変化）に基づいて測定点の配置位置を特定してもよい。以下、解析対象特定部２０２による測定点の配置位置の特定方法の具体例を説明する。
　まず、上記（ａ）の場合についての解析対象特定部２０２による測定点の配置位置の特定方法について説明する。図５は、解析対象特定部２０２による測定点の配置位置の特定方法の第１の例を示すフローチャートである。また、図６は、解析対象特定部２０２による測定点の配置位置の特定方法の第１の例について説明するための図である。まず、解析対象特定部２０２は、注目領域の中心座標を算出する（図５のＳ１０１）。例えば、図６の模式図Ｆ６１に示すように、観察対象について注目領域１１００および複数の追跡点ＣＰが配置されている場合、解析対象特定部２０２は、注目領域１１００の中心点１１０１の座標を算出する（図６の模式図Ｆ６２参照）。この中心点１１０１は、例えば、注目領域１１００に配置されている複数の追跡点ＣＰの座標の加重平均により算出されてもよい。また、中心点１１０１は、中心座標を求めるための公知の方法を用いて算出されてもよい。
　次に、解析対象特定部２０２は、注目領域１１００の輪郭線上における中心点１１０１から最も離れた点の位置を、第１の測定点ＳＰ１の配置位置として特定する（図５のＳ１０３）。例えば、図６の模式図Ｆ６３に示すように、解析対象特定部２０２は、注目領域１１００の輪郭線上における、中心点１１０１との距離Ｄ１が最も大きくなる点の位置を、解析対象である第１の測定点ＳＰ１の配置位置として特定してもよい。なお、解析対象特定部２０２は、注目領域１１００の輪郭線上の任意の位置のうち中心点１１０１から最も遠い点を第１の測定点ＳＰ１として特定してもよいし、図６の模式図Ｆ６３に示すように、当該輪郭線上に配置された追跡点ＣＰのうち中心点１１０１から最も遠い追跡点ＣＰを第１の測定点ＳＰ１として特定してもよい。
　次いで、解析対象特定部２０２は、注目領域１１００の輪郭線上における第１の測定点ＳＰ１と最も離れた点の位置を、第２の測定点ＳＰ２の配置位置として特定する（図５のＳ１０５）。例えば、図６の模式図Ｆ６４に示すように、解析対象特定部２０２は、注目領域１１００の輪郭線上における、第１の測定点ＳＰ１との距離Ｄ２が最も大きくなる点の位置を、解析対象である第２の測定点ＳＰ２の配置位置として特定してもよい。なお、解析対象特定部２０２は、注目領域１１００の輪郭線上の任意の位置のうち第１の測定点ＳＰ１から最も遠い点を第２の測定点ＳＰ２として特定してもよいし、図６の模式図Ｆ６４に示すように、当該輪郭線上に配置された追跡点ＣＰのうち第１の測定点ＳＰ１から最も遠い追跡点ＣＰを第２の測定点ＳＰ２として特定してもよい。
　注目領域に係る観察対象の収縮および弛緩に係る動きは、一般的に、当該観察対象の長手方向に沿って発生することが多い。そのため、注目領域の輪郭線の形状のうち、中心位置を基準として測定点を特定することにより、観察対象の動きのうち最も大きい部分の動きについて解析することが可能となる。したがって、注目領域に係る観察対象のマクロストレインをより精度高く解析することが可能である。なお、図５および図６に示した例では、注目領域の中心位置に基づいて測定点が特定されたが、本技術はかかる例に限定されない。例えば、解析対象特定部２０２は、注目領域の輪郭線の任意の２点のうち、当該２点の距離が最も大きくなる点を輪郭線の形状から推定し、当該推定された２点を測定点として特定してもよい。
　次に、上記（ｂ）の場合についての解析対象特定部２０２による測定点の配置位置の特定方法について説明する。図７は、解析対象特定部２０２による測定点の配置位置の特定方法の第２の例を示すフローチャートである。また、図８は、解析対象特定部２０２による測定点の配置位置の特定方法の第２の例について説明するための図である。まず、解析対象特定部２０２による解析対象の特定処理の前に、検出部２０３が、注目領域の輪郭線上に配置された追跡点の動きベクトルを検出する（図７のＳ２０１）。例えば、図８の模式図Ｆ８１に示すように、観察対象について注目領域１１００および複数の追跡点ＣＰが配置されている場合、検出部２０３は、各追跡点ＣＰの動きベクトルＭＶを算出する。なお、動きベクトルＭＶの算出方法については後述する。なお、ここで検出される動きは、観察対象が収縮または弛緩した際の連続する２時刻における動きに基づいて算出される動きベクトルＭＶであるが、本技術はかかる例に限定されない。例えば、検出される動きは、収縮および弛緩を一周期行った際の各追跡点ＣＰの動きの大きさに基づいて算出される変位量であってもよい。ただし、詳しくは後述するが、検出部２０３は、移動後の注目領域について追跡点を適切な位置に再配置することがある。この場合、追跡点ＣＰの位置が適宜入れ替わる可能性がある。そのため、追跡点ＣＰに係る変位量に基づいて測定点を設定する場合は、検出部２０３による追跡点ＣＰの再配置が行われなくてもよい。
　次に、解析対象特定部２０２は、検出された各追跡点ＣＰのうち、検出された動きが最も大きかった追跡点ＣＰを、第１の測定点ＳＰ３として特定する（図７のＳ２０３）。例えば、図８の模式図Ｆ８１に示すように、解析対象特定部２０２は、検出部２０３により算出された動きベクトルＭＶのうち最大の動きベクトルＭＶａを示した追跡点ＣＰを、第１の測定点ＳＰ３として特定してもよい（図８の模式図Ｆ８２参照）。
　次いで、解析対象特定部２０２は、注目領域１１００の輪郭線上における第１の測定点ＳＰ３と最も離れた点の位置を、第２の測定点ＳＰ４の配置位置として特定する（図７のＳ２０５）。例えば、図８の模式図Ｆ８３に示すように、解析対象特定部２０２は、注目領域１１００の輪郭線上における、第１の測定点ＳＰ３との距離Ｄ３が最も大きくなる点の位置を、解析対象である第２の測定点ＳＰ４の配置位置として特定してもよい。なお、解析対象特定部２０２は、注目領域１１００の輪郭線上の任意の位置のうち第１の測定点ＳＰ３から最も遠い点を第２の測定点ＳＰ４として特定してもよいし、図８の模式図Ｆ８３に示すように、当該輪郭線上に配置された追跡点ＣＰのうち第１の測定点ＳＰ３から最も遠い追跡点ＣＰを第２の測定点ＳＰ４として特定してもよい。
　このように、注目領域の輪郭線のうち、動きの最も大きい位置を測定点として特定することにより、観察対象の動きのうち最も大きい部分の動きについて解析することが可能となる。したがって、注目領域に係る観察対象のマクロストレインをより精度高く解析することが可能である。
　なお、一度特定された測定点は、ストレインの解析の対象となる期間において、固定であることが好ましい。これは、一の解析を通して測定点の動きを連続的に測定するためである。
　また、特定された測定点の追跡領域（後述する検出部２０３による測定点の動きの検出において考慮される、測定点を中心とする領域）は、所定の大きさに設定される。
　（２）注目領域の内部を解析対象とする場合の特定方法
　また、解析対象特定部２０２は、解析対象として、注目領域の内部を解析対象として特定してもよい。このとき、例えば、解析対象特定部２０２は、解析対象として特定された注目領域の内部の動きを検出するために、注目領域を用いて撮像画像のセグメンテーション処理を行う。セグメンテーション処理とは、撮像画像から注目領域に相当する部分の画像を切り出す処理である。
　図９は、解析対象特定部２０２による解析対象の特定方法の一例について説明するための図である。図９の模式図Ｆ９１および模式図Ｆ９２を参照すると、解析対象特定部２０２は、観察対象領域１０００について設定された注目領域１１００を閉領域とするマスク１１１０を生成する。このマスク１１１０を観察対象領域１０００についての撮像画像に適用することにより、セグメンテーション処理が行われる。
　そして、解析対象特定部２０２は、セグメンテーション処理後の注目領域１１００の内部についてメッシュ１１２０を切る（メッシュ処理、図９の模式図Ｆ９３参照）。このメッシュ１１２０ごとについて検出される動きベクトルＭＶ３およびＭＶ４が、解析対象の動きとして検出部２０３により検出される。すなわち、本実施形態において注目領域の内部の動きは、メッシュごとの動きに相当する。
　なお、観察対象の形態の変化に応じて、注目領域は移動または変形する。すなわち、生成されるマスク１１１０は、注目領域の移動または変形ごとに（例えば、各撮像画像ごとに）解析対象特定部２０２により生成され得る。つまり、セグメンテーション処理は、後述する検出部２０３により検出された動き検出の結果が反映された注目領域について行われる。このマスク１１１０の生成に係るセグメンテーション処理は、撮像画像に含まれる観察対象の画像認識に基づいて行われるものではなく、注目領域の動きの検出処理に基づいて行われる。そのため、画像認識に係る処理の負荷が生じないため、計算コストを抑制することができる。
　なお、解析対象特定部２０２は、注目領域の内部の一部のみを解析対象として特定してもよい。例えば、解析対象特定部２０２は、注目領域の内部のうち、対応する観察対象の形態の変化が大きいと思われる部分に対応する領域のみを、解析対象として特定してもよい。これにより、形態の変化の比較的小さい部分についての動きの検出処理を行わなくなるため、計算コストが抑制される。
　解析対象特定部２０２により特定される解析対象は、上記の２つの測定点および注目領域の内部の両方であってもよい。解析対象を複数特定することにより、マクロストレインおよびミクロストレインの結果を用いて、観察対象についてのストレインを総合的に評価することが可能となる。
　解析対象特定部２０２は、特定した解析対象に関する情報を検出部２０３に出力する。
　（検出部）
　検出部２０３は、少なくとも、解析対象特定部２０２により特定された解析対象の動画像上における動きを検出する。また、検出部２０３は、注目領域の動画像上における動きを検出してもよい。図３に示すように、検出部２０３は、注目領域動き検出部２３１、および解析対象動き検出部２３２を備える。
　－注目領域動き検出部
　注目領域動き検出部２３１は、注目領域の動きを検出する機能を有する。例えば、注目領域動き検出部２３１は、動画像を構成する一の撮像画像における、当該一の撮像画像とは撮像時点が異なる他の撮像画像における注目領域の動きを検出する。より具体的には、注目領域動き検出部２３１は、まず注目領域について配置された各追跡点の動きを検出し、推定された各追跡点の動きに基づいて、注目領域の動きを検出してもよい。
　まず、本実施形態に係る注目領域動き検出部２３１は、注目領域について配置された追跡点の動きを推定することにより、当該注目領域の動きを検出する。具体的には、注目領域動き検出部２３１は、まず、一の撮像画像において配置された追跡点の、当該一の撮像画像とは撮像時点が異なる他の撮像画像における位置を推定する。当該他の撮像画像は、当該一の撮像画像のフレームの前後数フレームのいずれかの撮像画像であってもよい。注目領域動き検出部２３１は、他の撮像画像における追跡点の位置の推定に係る処理を、動画像を構成する各撮像画像について行うことにより、動画像上の追跡点の動きを検出する。なお、注目領域動き検出部２３１により検出される動きは、動画像の全部または一部における動きであってもよい。
　注目領域動き検出部２３１は、例えば、一の撮像画像と他の撮像画像との比較により算出される動きベクトルに基づいて、追跡点の位置を推定してもよい。この動きベクトルとは、追跡点ごとに算出される動きベクトルであってもよい。当該動きベクトルは、例えばブロックマッチング、または勾配法等の手法により算出されてもよい。本実施形態に係る注目領域動き検出部２３１は、当該動きベクトルをブロックマッチングにより推定するものとして説明する。
　例えば、注目領域動き検出部２３１は、追跡点を含む所定の大きさの追跡領域について、一の撮像画像と他の撮像画像との間で追跡領域内の画素に関する情報が最も合致する領域を他の撮像画像の所定のブロックサイズ（探索範囲）から検出することにより、追跡点の他の撮像画像における位置を推定してもよい。このとき、追跡領域およびブロックサイズの大きさは、撮像装置１０の撮像条件（例えば撮像倍率）、観察対象の種類、または観察対象に対して行う解析の種類等に応じて決定されてもよい。例えば、観察対象の動きが大きい場合は、追跡領域またはブロックサイズをより大きくしてもよい。これにより、注目領域動き検出部２３１による追跡点の位置の推定精度を向上させることができる。また、追跡点が注目領域に関して多数存在する場合は、計算負荷の低減のために、追跡領域またはブロックサイズを小さくするよう調整してもよい。
　また、注目領域動き検出部２３１は、観察対象に関する情報に基づいて決定される撮像時点に生成された他の撮像画像における追跡点の位置を推定してもよい。例えば、形態の変化のスピードが遅い観察対象の形態の変化を追跡する場合、撮像装置１０により生成された連続する複数のフレームの間における撮像画像の違いは小さい。そのため、形状の変化スピードが遅い観察対象の形状の変化を追跡する際、注目領域動き検出部２３１、一の撮像画像のフレームから前後数フレーム離れた撮像画像を他の撮像画像として検出処理を行ってもよい。より具体的には、注目領域動き検出部２３１、一の撮像画像のフレームから数フレーム後の撮像画像を他の撮像画像として検出処理を行ってもよい。一の撮像画像と他の撮像画像のフレーム間隔を空けることにより、追跡処理の対象となる撮像画像のデータ数を減らすことができる。これにより、計算負荷を減らすことができ、また、より長時間にわたる注目領域の動きを追跡することができる。上記フレーム間隔は、観察対象の種類または状態等に応じて適宜設定され得る。
　注目領域動き検出部２３１は、さらに、検出した追跡点の移動位置に基づいて、当該注目領域の動き（例えば、注目領域の移動、または注目領域の輪郭線の形状の変化）を検出する。これにより、注目領域に係る観察対象の形態の変化を追跡することができる。また、注目領域動き検出部２３１は、動き検出後の注目領域についての追跡点を再配置してもよい。これにより、注目領域の動きの推定精度を高めることができる。
　注目領域の動きに係る情報は、解析対象特定部２０２に出力されてもよい。これにより、解析対象特定部２０２が注目領域の内部を解析対象として特定する場合において、注目領域の動きに応じてセグメンテーション処理を行うことができる。
　－解析対象動き検出部
　解析対象動き検出部２３２は、解析対象の動きを検出する機能を有する。例えば、解析対象動き検出部２３２は、動画像を構成する一の撮像画像における、当該一の撮像画像とは撮像時点が異なる他の撮像画像における解析対象の動きを検出する。より具体的には、解析対象動き検出部２３２は、一の撮像画像と他の撮像画像との比較により算出される動きベクトルに基づいて、解析対象の動きを推定してもよい。検出される動きベクトルは、ブロックマッチング等、上述した注目領域動き検出部２３１の有する手法と同様の手法により実現される。本実施形態に係る解析対象動き検出部２３２は、ブロックマッチングにより解析対象の動きベクトルを検出するものとする。なお、解析対象動き検出部２３２により検出される動きは、動画像の全部または一部における動きであってもよい。
　例えば、解析対象特定部２０２により注目領域の輪郭線上に測定点が配置されている場合、解析対象動き検出部２３２は、当該測定点の動画像上における動きベクトルを検出する。また、解析対象特定部２０２により注目領域の内部が解析対象として特定されている場合、解析対象動き検出部２３２は、注目領域の内部において設けられた各メッシュの動きベクトルを検出する。
　なお、本実施形態では、注目領域動き検出部２３１において用いられる検出器と、解析対象動き検出部２３２において用いられる検出器とが異なっていてもよい。例えば、注目領域動き検出部２３１および解析対象動き検出部２３２においてブロックマッチングによる動きベクトルの検出のための検出器が用いられている場合、上述したブロックサイズが注目領域動き検出部２３１および解析対象動き検出部２３２の間で異なっていてもよい。
　図１０および図１１は、それぞれ、注目領域動き検出部２３１に用いられるブロックサイズおよび解析対象動き検出部２３２に用いられるブロックサイズの一例を示す図である。図１０は、注目領域の輪郭線上に測定点が解析対象として配置されている場合を示し、図１１は、注目領域の内部が解析対象として特定されている場合を示す。
　図１０に示すように、例えば、測定点ＳＰ１およびＳＰ２のブロックサイズＢ１およびＢ２は、追跡点ＣＰ１のブロックサイズＢ３以上であってもよい。測定点ＳＰ１およびＳＰ２は、他の追跡点ＣＰよりもその位置の変化が大きい。そのため、観察対象の収縮または弛緩による形状の変化をより確実にとらえるために、測定点ＳＰ１およびＳＰ２のブロックサイズが追跡点ＣＰのブロックサイズ以上に設定されてもよい。
　また、図１１に示すように、例えば、メッシュ１１２０のブロックサイズＢ４は、追跡点ＣＰ１のブロックサイズＢ３以下であってもよい。ブロックサイズＢ４を大きく設定しすぎると、メッシュ１１２０の近傍以外において、動き検出前のメッシュ１１２０に含まれる画像パターンに近い画像パターンを検出してしまう可能性があるからである。
　なお、観察対象についての撮像画像の種類（明視野像、位相差像など）に応じて、これらのブロックサイズの大きさが適宜変更されてもよい。
　また、上述した例では、ブロックサイズが注目領域動き検出部２３１と解析対象動き検出部２３２との間で異なるとしたが、本技術はかかる例に限定されない。例えば、追跡領域の大きさが、注目領域動き検出部２３１と解析対象動き検出部２３２との間で異なっていてもよい。
　このように、注目領域動き検出部２３１と解析対象動き検出部２３２との間で検出器を異ならせることにより、それぞれの動きの特性に応じた動き検出が可能となる。これにより、動き検出の精度が向上する。
　注目領域動き検出部２３１は、動画像を構成する各撮像画像について注目領域の動きを検出する。また、解析対象動き検出部２３２は、上記各撮像画像について解析対象の動きを検出する。そして、解析対象動き検出部２３２は、検出した解析対象の動きに関する情報を解析部２０４に出力する。また、検出部２０３による注目領域および解析対象の動きの検出結果に係る情報は、表示制御部２０５に出力される。
　（解析部）
　解析部２０４は、解析対象の動きに基づいて、少なくとも一の注目領域に係る観察対象のストレインを解析する。本実施形態に係る解析部２０４は、解析対象特定部２０２により特定された測定点または注目領域の内部（メッシュ）の少なくともいずれかの動きベクトルに基づいて、マクロストレインまたはミクロストレインの少なくともいずれかを解析する。以下、解析部２０４による解析処理の例について説明する。
　－測定点の動きに基づくマクロストレイン解析
　解析部２０４は、解析対象特定部２０２により注目領域の輪郭線上に特定された測定点の動きベクトルに基づいて、観察対象のマクロストレイン解析を行ってもよい。図１２は、測定点の動きベクトルに基づくマクロストレイン解析の第１の例を示す図である。図１２の模式図Ｆ１２１に示すように、まず、解析部２０４は、測定点ＳＰ１およびＳＰ２を結ぶ線分Ｌ０の距離Ｌ（ｔ０）を算出する。この距離Ｌ（ｔ０）は、観察対象の収縮時または弛緩時とは異なる時点に撮像された撮像画像における測定点ＳＰ１およびＳＰ２の位置から算出される。
　観測対象の収縮時または弛緩時において（図１２の模式図Ｆ１２２では収縮時）、動画像における測定点ＳＰ１およびＳＰ２の動きベクトルＭＶ１およびＭＶ２が検出される。このとき、測定点ＳＰ１’およびＳＰ２’を結ぶ線分Ｌ１の距離Ｌ（ｔ）は、距離Ｌ（ｔ０）よりも短くなる（図１２の模式図Ｆ１２３参照）。なお、当該測定点の移動後の位置は、検出部２０３（解析対象動き検出部２３２）により検出される動きベクトルに基づいて推定される。すると、マクロストレインε（ｔ）は、下記式（１）のように示される。
Figure JPOXMLDOC01-appb-M000001
　解析部２０４は、測定点ＳＰ１およびＳＰ２の位置の変化を追跡することにより、マクロストレインε（ｔ）を経時的に解析する。
　なお、マクロストレインε（ｔ）の算出方法は、図１２に示した例に限定されない。図１３は、測定点の動きベクトルに基づくマクロストレイン解析の第２の例を示す図である。図１３の模式図Ｆ１３１に示すように、まず、解析部２０４は、測定点ＳＰ１およびＳＰ２を結ぶ線分Ｌ０の距離Ｌ（ｔ０）を算出する。この距離Ｌ（ｔ０）は、観察対象の収縮時または弛緩時とは異なる時点に撮像された撮像画像における測定点ＳＰ１およびＳＰ２の位置から算出される。解析部２０４は、この線分Ｌ０を基準線として設定する。
　観測対象の収縮時または弛緩時において、動画像における測定点ＳＰ１およびＳＰ２の動きベクトルが検出される（図１３の模式図Ｆ１３２参照）。このときの測定点ＳＰ１’およびＳＰ２’を結ぶ線分を線分Ｌ２とすると（図１３の模式図Ｆ１３３参照）、上述した距離Ｌ（ｔ）は、線分Ｌ２を基準線Ｌ０に射影したときの長さであってもよい。測定点ＳＰ１およびＳＰ２の動きベクトルＭＶ１およびＭＶ２の方向が基準線Ｌ０と平行でない場合においては、観察対象の収縮および弛緩に係る力の一部が、基準線Ｌ０方向、すなわち観察対象の拡縮方向の変化に寄与していると考えられる。当該基準線Ｌ０に線分Ｌ２を射影することにより、観察対象の拡縮方向の変化に寄与するマクロストレインを解析することができる。
　－メッシュの動きに基づくミクロストレイン解析
　解析部２０４は、解析対象特定部２０２により注目領域の内部が解析対象として特定されている場合、注目領域の内部の動きベクトルに基づいて、観察対象のミクロストレイン解析を行ってもよい。具体的には、解析部２０４は、各メッシュの動きベクトルの時間変化量（すなわち、加速度に相当）をミクロストレインとして解析してもよい。ここで解析されるミクロストレインは、メッシュごとのミクロストレインである。これにより、注目領域に対応する観察対象の部分的なストレインを得ることができる。すなわち、観察対象の収縮および弛緩に係る局所的な力学的特性について、より詳細に知ることができる。
　また、メッシュごとに得られるミクロストレインに対してグリーン‐ラグランジュひずみテンソルを適用することにより、当該ミクロストレインが解析された領域における局所的な力学的特性としてのストレインを得ることができる。また、メッシュごとに得られるミクロストレインの平均値、中央値、最大値または最小値等の統計値も、当該ミクロストレインが解析された領域における局所的な力学的特性を示す値となり得る。
　－アフィンパラメータを用いたストレイン解析
　また、解析部２０４は、解析対象特定部２０２により注目領域の内部が解析対象として特定されている場合、注目領域の内部の動きベクトルからアフィンパラメータを算出し、当該アフィンパラメータに基づいて観察対象のストレイン（マクロストレインまたはミクロストレイン）を解析してもよい。本実施形態に係るアフィンパラメータは、各メッシュの動きベクトルについて最小二乗法を適用することにより得られる。当該アフィンパラメータを用いることにより、マクロストレインおよびミクロストレインの両方を解析することが可能である。
　図１４は、アフィンパラメータを用いてマクロストレインを解析する処理を示すフローチャートの一例である。図１４を参照すると、まず、解析部２０４は、注目領域の内部（各メッシュ）の動きベクトルを取得する（Ｓ３０１）。次に、解析部２０４は、得られた動きベクトルについて最小二乗法を用いて、アフィンパラメータを算出する（Ｓ３０３）。次に、解析部２０４は、アフィンパラメータから、拡縮およびひずみに係るパラメータを抽出する（Ｓ３０５）。この拡縮およびひずみに係るパラメータは、注目領域の長手方向の拡縮およびひずみに関連する。すなわち、当該パラメータは、観察対象の収縮および弛緩に関連するパラメータである。次に、解析部２０４は、拡縮およびひずみに係るパラメータから、観察対象のマクロストレイン解析を行う（Ｓ３０７）。具体的には、解析部２０４は、拡縮およびひずみに係るパラメータの時間変化量を、マクロストレインの解析値として算出する。
　注目領域全体の拡縮およびひずみに係るパラメータを得ることにより、注目領域の輪郭線上に測定点を特定しなくとも、注目領域の内部の動きベクトルに基づいて、マクロストレインを解析することが可能となる。これにより、注目領域の内部の動きだけに基づいて、マクロストレインおよびミクロストレインの両方を解析することが可能となる。
　図１５は、アフィンパラメータを用いてミクロストレインを解析する処理を示すフローチャートの一例である。図１５を参照すると、まず、解析部２０４は、注目領域の内部（各メッシュ）の動きベクトルを取得する（Ｓ３１１）。次に、解析部２０４は、得られた動きベクトルについて最小二乗法を用いて、アフィンパラメータを算出する（Ｓ３１３）。次に、解析部２０４は、アフィンパラメータを注目領域の内部の画素ごとの動きベクトルに変換する（Ｓ３１５）。そして、解析部２０４は、画素ごとの動きベクトルに基づいて画素ごとのミクロストレイン解析を行う（Ｓ３１７）。ミクロストレインの解析方法は、上述したメッシュごとのミクロストレインの解析方法と同様である。
　アフィンパラメータを画素ごとの動きベクトルに変換することにより、メッシュよりもさらに細かい単位でのミクロストレイン解析を行うことができる。これにより、観察対象のミクロストレインについての情報を、より詳細に得ることが可能となる。
　解析部２０４は、解析されたストレインに係る情報を表示制御部２０５に出力する。
　（表示制御部）
　表示制御部２０５は、解析されたストレインに係る情報の表示を制御する。例えば、表示制御部２０５は、観察対象について解析されたマクロストレインまたはミクロストレインに係る情報を、グラフ、イメージングまたは表等の様々な表示態様により表示するための機能を有する。表示制御部２０５により制御される表示は、不図示の表示装置等の画面において表示される。以下、表示制御部２０５による画面表示例について説明する。
　－マクロストレインの時系列変化を示すグラフ
　図１６は、マクロストレインの時系列変化を示すグラフの一例である。図１６に示すように、解析部２０４により解析されるマクロストレインεは、時系列グラフとして表示されてもよい。マクロストレインεをグラフ化することにより、単に観察対象の拍動周期だけではなく、収縮時および弛緩時における観察対象の形態の変化の特徴を定量的に評価することが可能である。
　－収縮／弛緩のイメージング
　表示制御部２０５は、例えば、ミクロストレインとして、その大きさおよび方向を示す矢印を表示してもよい。具体的には、図３に示したように、ミクロストレインを示す矢印が、注目領域に重畳されてもよい。これにより、拍動による観察対象の局所的な歪みが、どの程度の大きさで、どの方向に生じているかを知ることができる。
　また、表示制御部２０５は、カラーマッピング等のイメージングによってミクロストレインに係る情報を表示してもよい。例えば、表示制御部２０５は、観察対象の収縮時または弛緩時においてミクロストレインが解析された箇所を、観察対象の収縮状態または弛緩状態に関連付けられた描画色により描画してもよい。この場合、表示制御部２０５は、観察対象が収縮時または弛緩時であるかを、注目領域の動きまたは解析対象の動きに基づいて判定する。本実施形態に係る表示制御部２０５は、２つの測定点の動きに基づいて、観察対象が収縮時または弛緩時であるかを判定する。
　ところが、観察対象によっては、観察対象の長さ方向の端部（収縮および弛緩による動きが最も大きい箇所、測定点に相当）の収縮または弛緩に係る動きは、同位相または異位相である場合が存在する。図１７は、測定点の動きが同位相である場合および異位相である場合の変位の一例を示すグラフである。なお、当該変位に係るグラフは、例えば、測定点の動きベクトルを積分することにより得ることができる。
　２点の測定点の動きが同位相であるか否かは、当該２点の測定点の静止位置からの距離の時系列変化のピーク位置に基づいて判定することができる。例えば、測定点ＳＰ１と測定点ＳＰ２のピーク位置が同じであれば当該２点の測定点の動きは同位相であり（図１７のグラフＧ１７１参照）、ピーク位置にズレが生じていれば当該２点の測定点の動きは異位相である（図１７のグラフＧ１７２参照）。
　２点の測定点の動きが同位相である場合、観察対象の収縮および弛緩のタイミングは全体的に同一である。一方で、２点の測定点の動きが異位相である場合、観察対象の収縮および弛緩のタイミングが、長さ方向の端部で異なることとなる。この場合、例えば、観察対象の拍動中心の位置を推定し、当該拍動中心の位置および各メッシュの動きベクトルの方向に基づいて、各メッシュに対応する観察対象の部分が収縮または弛緩であるかを判定することができる。より具体的には、各メッシュの拍動中心に対する方向と各メッシュの動きベクトルの方向との内積が正であれば、各メッシュに対応する観察対象の部分は収縮していると判定することができる。逆に、各メッシュの拍動中心に対する方向と各メッシュの動きベクトルの方向との内積が負であれば、各メッシュに対応する観察対象の部分は弛緩していると判定することができる。
　なお、拍動中心の推定に係る処理は、公知の技術により実現される。例えば、当該処理は、特開２０１４－７５９９９号公報に開示されている技術により実現されてもよい。
　次に、観察対象の収縮または弛緩に係るミクロストレインのイメージング処理の流れについて説明する。図１８は、表示制御部２０５による観察対象の収縮または弛緩に係るミクロストレインのイメージング処理のフローチャートの一例を示す。図１８を参照すると、まず、表示制御部２０５は、２点の測定点の静止位置からの距離の時系列変化を取得する（Ｓ４０１）。次に、表示制御部２０５は、２点の測定点の時系列変化のピーク位置を検出する（Ｓ４０３）。そして、表示制御部２０５は、ピーク位置の検出結果から、２点の測定点の動きが同位相であるか異位相であるかを判定する（Ｓ４０５）。当該動きが異位相である場合（Ｓ４０５／ＹＥＳ）、表示制御部２０５は、観察対象の拍動中心の推定を行う（Ｓ４０７）。
　次いで、表示制御部２０５は、収縮または弛緩に係るミクロストレインのイメージング処理を行う（Ｓ４０９）。まず、２点の測定点の動きが同位相である場合についての当該イメージング処理について説明する。
　図１９は、２点の測定点の動きが同位相である場合における観察対象の収縮または弛緩に係るミクロストレインのイメージング処理の処理例を示す図である。図１９の模式図Ｆ１９１は、観察対象が収縮している場合のイメージング処理の一例である。また、図１９の模式図Ｆ１９２は、観察対象が弛緩している場合のイメージング処理の一例である。
　模式図Ｆ１９１を参照すると、観察対象が収縮している場合、注目領域１１００の端部におけるミクロストレインは、それぞれ収縮方向を示す。この場合、表示制御部２０５は、ミクロストレインが解析された領域１１３１ａおよび１１３１ｂを、収縮を示す描画色により描画して、画面３００に反映させてもよい。また、模式図Ｆ１９２を参照すると、観察対象が弛緩している場合、注目領域１１００の端部におけるミクロストレインは、それぞれ弛緩方向に生じ得る。この場合、表示制御部２０５は、ミクロストレインが解析された領域１１３２ａおよび１１３２ｂを、弛緩を示す描画色により描画して、画面３００に反映させてもよい。ミクロストレインが解析された領域の描画色を、観察対象の収縮時および弛緩時の間で異ならせることにより、観察対象の収縮または弛緩に寄与する力学的特性を示す領域を、ユーザが容易に判断することができる。
　次に、２点の測定点の動きが異位相である場合についての当該イメージング処理について説明する。
　図２０は、２点の測定点の動きが異位相である場合における観察対象の収縮状態または弛緩状態に係るミクロストレインのイメージング処理の処理例を示す図である。図２０の模式図Ｆ２０１は、観察対象の一端が収縮している場合のイメージング処理の一例である。また、図２０の模式図Ｆ２０２は、観察対象の一端が弛緩している場合のイメージング処理の一例である。
　模式図Ｆ２０１を参照すると、まず、図１８のステップＳ４０７において拍動中心１１４０が注目領域１１００について推定されたとする。このとき、表示制御部２０５は、解析されたミクロストレインＭｉＳ３の方向が拍動中心１１４０に向かう方向であると判定する。すなわち、表示制御部２０５は、ミクロストレインＭｉＳ３が観察対象の収縮に係るミクロストレインであると判定する。この場合、表示制御部２０５は、ミクロストレインが解析された領域１１４１を、収縮を示す描画色により描画して、画面３００に反映させてもよい。
　また、模式図Ｆ２０２を参照すると、表示制御部２０５は、解析されたミクロストレインＭｉＳ４の方向が拍動中心１１４０から遠ざかる方向であると判定する。すなわち、表示制御部２０５は、ミクロストレインＭｉＳ４が観察対象の弛緩に係るミクロストレインであると判定する。この場合、表示制御部２０５は、ミクロストレインが解析された領域１１４２を、弛緩を示す描画色により描画して、画面３００に反映させてもよい。
　このように、拍動中心を用いることにより、観察対象の端部の動きが異位相であっても、観察対象の収縮および弛緩に寄与する領域を、ユーザに提示することができる。なお、図２０に示した拍動中心１１４０は、画面３００に表示されてもよいし、表示されなくてもよい。
　なお、観測対象の収縮時または弛緩時における当該観測対象の端部の動きが同位相であることが予め把握されている場合、観察対象が収縮時または弛緩時であるかの判定については、２点の測定点を用いて行われることに限定されない。例えば、表示制御部２０５は、注目領域の輪郭線の形状の変化に基づいて、ストレインに関する情報の表示態様を制御してもよい。
　具体的には、注目領域の輪郭線の長さまたは輪郭線に囲まれた面積の時間変化（形状微分）に基づいて、観察対象が収縮時または弛緩時であるかの判定を行い、当該判定結果に基づいて、図１９に示したようなミクロストレインの描画を制御してもよい。より具体的には、輪郭線の長さが時系列に減少している場合は、観察対象が収縮していると考えられる。また、輪郭線の長さが時系列に増加している場合は、観察対象が弛緩していると考えられる。このように、注目領域の輪郭線の形状の変化に基づいて、観察対象の収縮状態または弛緩状態についての判定が可能となる。したがって、当該輪郭線の形状の変化に基づいて、ミクロストレインに係る描画の態様を制御することができる。
　－ストレイン強度のイメージング
　また、表示制御部２０５は、ミクロストレインの強度（大きさ）に基づいてストレインに関する情報の表示態様を制御してもよい。例えば、表示制御部２０５は、観察対象の収縮時または弛緩時においてミクロストレインが解析された箇所を、当該ミクロストレインの強度に関連付けた描画色により描画してもよい。
　図２１は、ストレイン強度のイメージング処理の一例を示す図である。図２１を参照すると、表示制御部２０５は、ミクロストレインが解析された領域１１５０ａおよび１１５０ｂを、画面３００において、ミクロストレインの大きさに応じた描画色により描画する。これにより、観察対象の収縮または弛緩に寄与する領域における、ミクロストレインの分布を直感的に認識することができる。
　なお、上述した観察対象の収縮状態または弛緩状態に応じたミクロストレインのイメージング処理において、表示制御部２０５は、当該ミクロストレインの強度（大きさ）に応じて、収縮状態または弛緩状態に関連付けられた描画色の濃淡を制御してもよい。これにより、観察対象の収縮または弛緩に寄与する力学的特性を示す領域における、ミクロストレインの強度分布を得ることができる。
　以上、表示制御部２０５による表示制御例について説明した。なお、解析されたストレインに係る情報は、通信部２１０を介して他の表示装置または記憶装置等に出力されてもよいし、記憶部２２０に記憶されてもよい。
　なお、本実施形態に係る情報処理装置２０によりストレインについての解析が行われる観察対象の数は特に限定されない。例えば、動画像に複数の観察対象の像が含まれている場合、複数の観察対象についてそれぞれ注目領域が設定され、複数の注目領域についてそれぞれ解析対象が特定され、特定された解析対象のそれぞれの動きが検出され、それぞれの動きに基づいて、各観察対象のストレインが解析されてもよい。この場合、各観察対象について解析されたストレインは正規化されてもよい。観察対象の大きさに応じてストレインの大きさも異なるからである。ストレインを正規化することにより、複数の観察対象間におけるストレイン等の解析結果の比較が可能となる。
　　＜２．２．処理例＞
　以上、本開示の一実施形態に係る情報処理装置２０の構成および機能について説明した。次に、本開示の一実施形態に係る情報処理装置２０による処理の一例について、図２２～図２４を用いて説明する。
　図２２は、本開示の一実施形態に係る情報処理装置２０による処理の一例を示すフローチャートである。まず、制御部２００は、通信部２１０を介して撮像装置１０から動画像データを取得する（Ｓ５０１）。
　次に、設定部２０１は、取得した動画像データから一の撮像画像を抽出し、当該一の撮像画像から少なくとも一の注目領域を設定する（Ｓ５０３）。次いで、設定部２０１は、追跡点を注目領域の輪郭線上に配置する（Ｓ５０５）。
　次に、解析対象特定部２０２は、注目領域について解析対象を特定する（Ｓ５０７）。ここで特定される解析対象は、２つの測定点、または注目領域の内部（メッシュ）の少なくともいずれかである。なお、解析対象特定部２０２が２つの測定点を注目領域の形状の変化に基づいて特定する場合、ステップＳ５０７の時点では、解析対象は特定されない。代わりに、後述するステップＳ６０３において、解析対象としての２つの測定点が特定される。
　次いで、検出部２０３（注目領域動き検出部２３１）は、注目領域の動画像上における動きを検出する（Ｓ５０９）。次に、検出部２０３（解析対象動き検出部２３２）は、解析対象の動画像上の動きを検出し、解析部２０４は、検出された解析対象の動きに基づいて、ストレインの解析を行う（Ｓ５１１）。ここで、ステップＳ５０７において特定された解析対象に応じて、ステップＳ５１１における処理の内容は変化する。
　まず、解析対象特定部２０２が解析対象として２つの測定点を特定した場合について説明する。図２３は、解析対象として２つの測定点が特定された場合のステップＳ５１１に係る処理の一例を示すフローチャートである。図２３を参照すると、まず、ステップＳ５０７において解析対象が特定されていない場合の処理が行われる（Ｓ６０１）。具体的には、解析対象特定部２０２は、ステップＳ５０７において解析対象である２つの測定点を特定していない場合（Ｓ６０１／ＮＯ）、注目領域の形状の変化に基づいて２つの測定点を特定する（Ｓ６０３）。次に、解析対象動き検出部２３２は、２つの測定点の動きベクトルを検出する（Ｓ６０５）。そして、解析部２０４は、検出された２つの測定点の動きベクトルに基づいて、観察対象のマクロストレインの解析を行う（Ｓ６０７）。
　次に、解析対象特定部２０２が解析対象として注目領域の内部（メッシュ）を特定した場合について説明する。図２４は、解析対象として注目領域の内部が特定された場合のステップＳ５１１に係る処理の一例を示すフローチャートである。図２４を参照すると、まず、解析対象特定部２０２は、検出部２０３による検出結果が反映された注目領域を用いたセグメンテーション処理（およびメッシュ処理）を行い、注目領域の内部を解析対象として特定する（Ｓ６１１）。次に、検出部２０３は、注目領域の内部の動きベクトルを検出する（Ｓ６１３）。そして、解析部２０４は、検出された注目領域の内部の動きベクトルに基づいて、観察対象のマクロストレインまたはミクロストレインの解析を行う（Ｓ６１５）。
　以上、ステップＳ５１１に係る処理の具体例について説明した。再度図２２を参照すると、表示制御部２０５は、解析部２０４により解析されたストレインに係る情報の表示を制御する（Ｓ５１３）。その後、制御部２００は、これらの解析処理を終了するか否かを判定する（Ｓ５１５）。引き続き解析処理を継続する場合（Ｓ５１５／ＮＯ）、再びステップＳ５０９に係る処理が行われる。
　　＜２．３．効果＞
　以上、本開示の一実施形態に係る情報処理装置２０の構成例および処理例について説明した。本実施形態に係る情報処理装置２０は、注目領域について解析対象を特定し、特定された解析対象の動きを検出し、検出された解析対象の動きに基づいて、注目領域に係る観察対象のストレインを解析する。かかる構成により、観察対象について特定される解析対象の動きを検出してその動きを追跡することにより、観察対象の収縮または弛緩に係るマクロストレインおよびミクロストレインの両方を解析することができる。これにより、観察対象の周期的な形態の変化に係るストレインと、当該観察対象の形態の変化に寄与する領域のストレインと、を得ることができる。ゆえに、観察対象のストレインをより精度高く解析することができる。
　また、本実施形態に係る情報処理装置２０は、追跡点および解析対象の動きを検出することにより、観察対象の形態の変化を追跡しつつ、ストレインを解析することができる。すなわち、観察対象についての直接的な画像認識を各撮像画像ごとに行うことなく、ストレインを解析することができる。したがって、計算コストを抑制することができる。
　また、本実施形態に係る情報処理装置２０は、解析対象の動きまたは注目領域の動き等に基づいて、解析されたストレインに係る情報の表示態様を制御することができる。これにより、観察対象の収縮または弛緩に応じてストレインに係る情報の表示態様が変化するので、ストレインと観察対象の拍動との関係性を容易に把握することが可能となる。
　＜＜３．ハードウェア構成例＞＞
　次に、図２５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２５は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における情報処理装置２０を実現しうる。
　情報処理装置９００は、ＣＰＵ９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５、通信装置９２９を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）またはＡＳＩＣ（Application　Specific　Integrated　Circuit）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。例えば、ＣＰＵ９０１は、上記の実施形態における情報処理装置２０に含まれる各機能部の動作全般を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２７であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＥＬＤなどの表示装置、スピーカおよびヘッドホンなどの音響出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音響などの音として出力したりする。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。なお、ストレージ装置９１９は、上記実施形態に係る記憶部２２０の機能を実現し得る。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２３のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録を書き込む。
　接続ポート９２５は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２５は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２５は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２５に外部接続機器９２７を接続することで、情報処理装置９００と外部接続機器９２７との間で各種のデータが交換されうる。
　通信装置９２９は、例えば、通信ネットワークＮＷに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２９は、例えば、有線または無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２９は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２９は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２９に接続される通信ネットワークＮＷは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。なお、接続ポート９２５または通信装置９２９の少なくともいずれかは、上記実施形態に係る通信部２１０の機能を実現し得る。
　以上、情報処理装置９００のハードウェア構成の一例を示した。
　＜＜４．まとめ＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、情報処理システム１は撮像装置１０と情報処理装置２０とを備える構成であるとしたが、本技術はかかる例に限定されない。例えば、撮像装置１０が情報処理装置２０の有する機能（設定機能、解析対象特定機能、検出機能および解析機能）を備えてもよい。この場合、情報処理システム１は、撮像装置１０により実現される。また、情報処理装置２０が撮像装置１０の有する機能（撮像機能）を備えてもよい。この場合、情報処理システム１は、情報処理装置２０により実現される。また、情報処理装置２０の有する機能の一部を撮像装置１０が有してもよく、撮像装置１０の有する機能の一部を情報処理装置２０が有してもよい。
　なお、本明細書の情報処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
　前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
　前記解析対象の前記動画像上における動きを検出する検出部と、
　検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
　を備える情報処理装置。
（２）
　前記解析対象特定部は、前記解析対象として、前記少なくとも一の注目領域の輪郭線上に２つの測定点を特定し、
　前記検出部は、前記２つの測定点の前記動画像上における動きを検出し、
　前記解析部は、前記２つの測定点の動きに基づいて前記ストレインを解析する、（１）に記載の情報処理装置。
（３）
　前記解析対象特定部は、前記輪郭線の形状に基づいて、前記２つの測定点の配置位置を特定する、（２）に記載の情報処理装置。
（４）
　前記解析対象特定部は、前記動画像上における前記輪郭線の形状の変化に基づいて、前記２つの測定点の配置位置を特定する、（２）または（３）に記載の情報処理装置。
（５）
　前記解析対象特定部は、前記少なくとも一の注目領域の内部を前記解析対象として特定し、
　前記検出部は、前記少なくとも一の注目領域の内部の前記動画像上における動きを検出し、
　前記解析部は、前記少なくとも一の注目領域の内部の動きに基づいて前記ストレインを解析する、（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記解析部は、前記検出部により検出された前記少なくとも一の注目領域の内部の動きのアフィンパラメータを算出し、前記アフィンパラメータに基づいて前記ストレインを解析する、（５）に記載の情報処理装置。
（７）
　前記検出部は、前記少なくとも一の注目領域の動きをさらに検出可能であり、
　前記検出部において、前記解析対象の動きの検出に用いられる動き検出器と、前記少なくとも一の注目領域の動きの検出に用いられる動き検出器は異なる、（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記解析部は、前記解析対象の動きの時間変化に基づいて前記ストレインを解析する、（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記解析部により解析された前記ストレインに係る情報の表示を制御する表示制御部をさらに備える、（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記表示制御部は、前記解析対象の動きに応じて、前記ストレインに係る情報の表示態様を制御する、（９）に記載の情報処理装置。
（１１）
　前記表示制御部は、前記少なくとも一の注目領域について推定される拍動中心を用いて、前記ストレインに係る情報の表示態様を制御する、（１０）に記載の情報処理装置。
（１２）
　前記表示制御部は、前記少なくとも一の注目領域の輪郭線の前記動画像上における形状の変化に応じて、前記ストレインに係る情報の表示態様を制御する、（９）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記表示制御部は、前記解析対象の動きの大きさに基づいて、前記ストレインに係る情報の表示態様を制御する、（９）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　前記ストレインは、前記生物学的試料全体の収縮または弛緩に係る力学的特性を示すストレインを含む、（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
　前記ストレインは、前記生物学的試料の内部の局所的な力学的特性を示すストレインを含む、（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記設定部は、前記一の撮像画像に含まれる前記生物学的試料に相当する領域を前記少なくとも一の注目領域として設定する、（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）
　前記生物学的試料は、周期的な運動を行う生物学的試料である、（１）～（１６）のいずれか１項に記載の情報処理装置。
（１８）
　プロセッサが、
　生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定することと、
　前記少なくとも一の注目領域についての解析対象を特定することと、
　前記解析対象の前記動画像上における動きを検出することと、
　検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析することと、
　を含む情報処理方法。
（１９）
　コンピュータを、
　生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
　前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
　前記解析対象の前記動画像上における動きを検出する検出部と、
　検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
　として機能させるためのプログラム。
（２０）
　　生物学的試料についての動画像を生成する撮像部
　を備える撮像装置と、
　　前記動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
　　前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
　　前記解析対象の前記動画像上における動きを検出する検出部と、
　　検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
　を備える情報処理装置と、
　を有する情報処理システム。
　１　　　　情報処理システム
　１０　　　撮像装置
　２０　　　情報処理装置
　２００　　制御部
　２０１　　設定部
　２０２　　解析対象特定部
　２０３　　検出部
　２０４　　解析部
　２０５　　表示制御部
　２１０　　通信部
　２２０　　記憶部
　２３１　　注目領域動き検出部
　２３２　　解析対象動き検出部
 

Claims (20)

  1. 　生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
    　前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
    　前記解析対象の前記動画像上における動きを検出する検出部と、
    　検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
    　を備える情報処理装置。
  2. 　前記解析対象特定部は、前記解析対象として、前記少なくとも一の注目領域の輪郭線上に２つの測定点を特定し、
    　前記検出部は、前記２つの測定点の前記動画像上における動きを検出し、
    　前記解析部は、前記２つの測定点の動きに基づいて前記ストレインを解析する、請求項１に記載の情報処理装置。
  3. 　前記解析対象特定部は、前記輪郭線の形状に基づいて、前記２つの測定点の配置位置を特定する、請求項２に記載の情報処理装置。
  4. 　前記解析対象特定部は、前記動画像上における前記輪郭線の形状の変化に基づいて、前記２つの測定点の配置位置を特定する、請求項２に記載の情報処理装置。
  5. 　前記解析対象特定部は、前記少なくとも一の注目領域の内部を前記解析対象として特定し、
    　前記検出部は、前記少なくとも一の注目領域の内部の前記動画像上における動きを検出し、
    　前記解析部は、前記少なくとも一の注目領域の内部の動きに基づいて前記ストレインを解析する、請求項１に記載の情報処理装置。
  6. 　前記解析部は、前記検出部により検出された前記少なくとも一の注目領域の内部の動きのアフィンパラメータを算出し、前記アフィンパラメータに基づいて前記ストレインを解析する、請求項５に記載の情報処理装置。
  7. 　前記検出部は、前記少なくとも一の注目領域の動きをさらに検出可能であり、
    　前記検出部において、前記解析対象の動きの検出に用いられる動き検出器と、前記少なくとも一の注目領域の動きの検出に用いられる動き検出器は異なる、請求項１に記載の情報処理装置。
  8. 　前記解析部は、前記解析対象の動きの時間変化に基づいて前記ストレインを解析する、請求項１に記載の情報処理装置。
  9. 　前記解析部により解析された前記ストレインに係る情報の表示を制御する表示制御部をさらに備える、請求項１に記載の情報処理装置。
  10. 　前記表示制御部は、前記解析対象の動きに応じて、前記ストレインに係る情報の表示態様を制御する、請求項９に記載の情報処理装置。
  11. 　前記表示制御部は、前記少なくとも一の注目領域について推定される拍動中心を用いて、前記ストレインに係る情報の表示態様を制御する、請求項１０に記載の情報処理装置。
  12. 　前記表示制御部は、前記少なくとも一の注目領域の輪郭線の前記動画像上における形状の変化に応じて、前記ストレインに係る情報の表示態様を制御する、請求項９に記載の情報処理装置。
  13. 　前記表示制御部は、前記解析対象の動きの大きさに基づいて、前記ストレインに係る情報の表示態様を制御する、請求項９に記載の情報処理装置。
  14. 　前記ストレインは、前記生物学的試料全体の収縮または弛緩に係る力学的特性を示すストレインを含む、請求項１に記載の情報処理装置。
  15. 　前記ストレインは、前記生物学的試料の内部の局所的な力学的特性を示すストレインを含む、請求項１に記載の情報処理装置。
  16. 　前記設定部は、前記一の撮像画像に含まれる前記生物学的試料に相当する領域を前記少なくとも一の注目領域として設定する、請求項１に記載の情報処理装置。
  17. 　前記生物学的試料は、周期的な運動を行う生物学的試料である、請求項１に記載の情報処理装置。
  18. 　プロセッサが、
    　生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定することと、
    　前記少なくとも一の注目領域についての解析対象を特定することと、
    　前記解析対象の前記動画像上における動きを検出することと、
    　検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析することと、
    　を含む情報処理方法。
  19. 　コンピュータを、
    　生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
    　前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
    　前記解析対象の前記動画像上における動きを検出する検出部と、
    　検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
    　として機能させるためのプログラム。
  20. 　　生物学的試料についての動画像を生成する撮像部
    　を備える撮像装置と、
    　　前記動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
    　　前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
    　　前記解析対象の前記動画像上における動きを検出する検出部と、
    　　検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
    　を備える情報処理装置と、
    　を有する情報処理システム。
PCT/JP2016/089220 2016-03-09 2016-12-29 情報処理装置、情報処理方法、プログラム及び情報処理システム WO2017154318A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/080,508 US10845186B2 (en) 2016-03-09 2016-12-29 Information processing device, information processing method, and information processing system
EP16893641.7A EP3428268B1 (en) 2016-03-09 2016-12-29 Information processing device, information processing method, program, and information processing system
JP2018504014A JP6922891B2 (ja) 2016-03-09 2016-12-29 情報処理装置、情報処理方法、プログラム及び情報処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-045380 2016-03-09
JP2016045380 2016-03-09

Publications (1)

Publication Number Publication Date
WO2017154318A1 true WO2017154318A1 (ja) 2017-09-14

Family

ID=59790185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/089220 WO2017154318A1 (ja) 2016-03-09 2016-12-29 情報処理装置、情報処理方法、プログラム及び情報処理システム

Country Status (4)

Country Link
US (1) US10845186B2 (ja)
EP (1) EP3428268B1 (ja)
JP (1) JP6922891B2 (ja)
WO (1) WO2017154318A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020043842A (ja) * 2018-09-21 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
JPWO2019150755A1 (ja) * 2018-01-31 2020-12-10 ヤマハ発動機株式会社 撮像システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789495B2 (en) 2016-12-21 2020-09-29 Volkswagen Ag System and method for 1D root association providing sparsity guarantee in image data
US11870997B2 (en) * 2019-03-05 2024-01-09 Vid Scale, Inc. Affine motion model derivation method
US10922824B1 (en) * 2019-08-13 2021-02-16 Volkswagen Ag Object tracking using contour filters and scalers
WO2021034569A2 (en) * 2019-08-16 2021-02-25 Protochips, Inc. Automated application of drift correction to sample studied under electron microscope
US11902665B2 (en) 2019-08-16 2024-02-13 Protochips, Inc. Automated application of drift correction to sample studied under electron microscope
EP4320637A1 (en) 2021-04-07 2024-02-14 Protochips, Inc. Systems and methods of metadata and image management for reviewing data from transmission electron microscope (tem) sessions

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06138137A (ja) * 1992-10-26 1994-05-20 Toshiba Corp 動物体抽出装置
WO2000051079A1 (fr) * 1999-02-26 2000-08-31 Sony Corporation Dispositif et procede de generation de courbes et support d'enregistrement de programmes
JP2001034764A (ja) * 1999-05-18 2001-02-09 Sanyo Electric Co Ltd 動画像処理方法、及び装置並びに媒体
JP2003256850A (ja) * 2001-12-27 2003-09-12 Sanyo Electric Co Ltd 動き認識装置および画像処理装置並びにプログラム
JP2007117611A (ja) * 2005-10-31 2007-05-17 Toshiba Corp 心機能解析装置及びその方法
JP2011101336A (ja) * 2009-10-06 2011-05-19 Nanao Corp 階層マスク生成装置、フレーム補間処理装置
WO2011122200A1 (ja) * 2010-03-29 2011-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム
JP2014075999A (ja) * 2012-10-10 2014-05-01 Nikon Corp 心筋細胞の運動検出方法、画像処理プログラム及び画像処理装置、心筋細胞の培養方法、心筋細胞の薬剤評価方法及び薬剤製造方法
JP2015019620A (ja) * 2013-07-19 2015-02-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2015518378A (ja) * 2012-05-03 2015-07-02 ゼネラル・エレクトリック・カンパニイ 細胞運動の自動セグメンテーション及び特徴付け

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2938739B2 (ja) * 1993-02-26 1999-08-25 富士通株式会社 動画像処理装置
EP1139286A1 (en) 1999-05-18 2001-10-04 Sanyo Electric Co., Ltd. Dynamic image processing method and device and medium
US20050063596A1 (en) * 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
JP6494903B2 (ja) * 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法
CN104156975B (zh) * 2013-05-13 2018-04-24 东芝医疗***株式会社 医学图像分析装置和方法以及医学成像设备
JP6640444B2 (ja) * 2014-09-30 2020-02-05 キヤノンメディカルシステムズ株式会社 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6696152B2 (ja) * 2015-11-11 2020-05-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06138137A (ja) * 1992-10-26 1994-05-20 Toshiba Corp 動物体抽出装置
WO2000051079A1 (fr) * 1999-02-26 2000-08-31 Sony Corporation Dispositif et procede de generation de courbes et support d'enregistrement de programmes
JP2001034764A (ja) * 1999-05-18 2001-02-09 Sanyo Electric Co Ltd 動画像処理方法、及び装置並びに媒体
JP2003256850A (ja) * 2001-12-27 2003-09-12 Sanyo Electric Co Ltd 動き認識装置および画像処理装置並びにプログラム
JP2007117611A (ja) * 2005-10-31 2007-05-17 Toshiba Corp 心機能解析装置及びその方法
JP2011101336A (ja) * 2009-10-06 2011-05-19 Nanao Corp 階層マスク生成装置、フレーム補間処理装置
WO2011122200A1 (ja) * 2010-03-29 2011-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム
JP2015518378A (ja) * 2012-05-03 2015-07-02 ゼネラル・エレクトリック・カンパニイ 細胞運動の自動セグメンテーション及び特徴付け
JP2014075999A (ja) * 2012-10-10 2014-05-01 Nikon Corp 心筋細胞の運動検出方法、画像処理プログラム及び画像処理装置、心筋細胞の培養方法、心筋細胞の薬剤評価方法及び薬剤製造方法
JP2015019620A (ja) * 2013-07-19 2015-02-02 ソニー株式会社 画像処理装置および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3428268A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019150755A1 (ja) * 2018-01-31 2020-12-10 ヤマハ発動機株式会社 撮像システム
JP7018078B2 (ja) 2018-01-31 2022-02-09 ヤマハ発動機株式会社 撮像システム
JP2020043842A (ja) * 2018-09-21 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
JP7197316B2 (ja) 2018-09-21 2022-12-27 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体

Also Published As

Publication number Publication date
US20190017811A1 (en) 2019-01-17
JPWO2017154318A1 (ja) 2019-01-10
EP3428268A4 (en) 2019-01-23
US10845186B2 (en) 2020-11-24
EP3428268A1 (en) 2019-01-16
EP3428268B1 (en) 2021-12-22
JP6922891B2 (ja) 2021-08-18

Similar Documents

Publication Publication Date Title
WO2017154318A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP6504417B2 (ja) 心筋細胞評価装置および方法、並びに、プログラム
JP6696152B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP6777086B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
KR101982149B1 (ko) 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
US10929985B2 (en) System and methods for tracking motion of biological cells
US20110082371A1 (en) Medical image processing device and medical image processing method
JP5491747B2 (ja) 医用画像解析装置及び画像解析用制御プログラム
US20100138191A1 (en) Method and system for acquiring and transforming ultrasound data
JP2011031040A (ja) ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法
WO2015119338A1 (ko) 3차원 초음파 프로브의 스캔 위치 가이드 방법 및 이 방법이 포함된 초음파 진단기
JP2017023347A (ja) 超音波画像処理装置及びプログラム
JP2014075999A5 (ja) 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
EP3432269B1 (en) Information processing device, information processing method, program, and information processing system
Li et al. A convolutional neural network for gait recognition based on plantar pressure images
WO2017169397A1 (ja) 画像処理装置、画像処理方法、及び画像処理システム
Cao et al. Semi-coupled dictionary learning for deformation prediction
JP7215053B2 (ja) 超音波画像評価装置、超音波画像評価方法および超音波画像評価プログラム
JP6996303B2 (ja) 医用画像生成装置
Li et al. Video-based skeleton data analysis for ADHD detection
Henze et al. Towards identification of biometric properties in blood flow sounds using neural networks and saliency maps
JP4670054B2 (ja) 超音波診断装置
Nie et al. Algorithm for automatic behavior quantification of laboratory mice using high-frame-rate videos
WO2017061080A1 (en) Information processing device, information processing method, and information processing system
Wadhwa et al. Yoga Posture Analysis using Deep Learning

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018504014

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016893641

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016893641

Country of ref document: EP

Effective date: 20181009

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16893641

Country of ref document: EP

Kind code of ref document: A1