WO2021181464A1 - 計測方法、計測装置、および記録媒体 - Google Patents
計測方法、計測装置、および記録媒体 Download PDFInfo
- Publication number
- WO2021181464A1 WO2021181464A1 PCT/JP2020/010021 JP2020010021W WO2021181464A1 WO 2021181464 A1 WO2021181464 A1 WO 2021181464A1 JP 2020010021 W JP2020010021 W JP 2020010021W WO 2021181464 A1 WO2021181464 A1 WO 2021181464A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- point
- image
- area
- subject
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
Definitions
- the present invention relates to a measuring method, a measuring device, and a recording medium.
- Industrial endoscope equipment is used for observing and inspecting internal scratches and corrosion of boilers, pipes, aircraft engines, etc.
- the endoscope device provides a plurality of types of optical adapters for observing and inspecting various observation objects.
- the optical adapter is attached to the tip of the endoscope and is replaceable.
- the endoscope device is equipped with a function of measuring the geometrical size of the subject based on the information of points specified on the image by the user. For example, in the distance measurement between two points, a three-dimensional distance between two measurement points specified by a user is measured.
- line reference measurement a reference line is set based on two reference points specified by the user, and a three-dimensional distance between the measurement point specified by the user and the reference line is measured.
- surface reference measurement a reference plane is set based on three or more reference points designated by the user, and a three-dimensional distance between the measurement point designated by the user and the reference plane is measured.
- the user specifies a point on the image displayed on the display.
- the accuracy of the 3D measurement depends on the position of the point specified by the user. For example, two objects may overlap and the boundary between the two objects may be difficult to identify in the image. Even if the user decides that he or she has specified the correct point, the specified position may actually be on an object that is different from the object in which the point exists. Since the wrong point is specified, the endoscopic device cannot obtain the correct measurement result.
- Patent Document 1 discloses a technique used when a user moves a cursor to a position suitable for measurement in a two-dimensional image.
- the movement of the cursor is controlled based on the feature amount of the image.
- the cursor moves to the position where the feature amount of the image is maximized.
- the moving speed of the cursor changes based on the feature amount of the image.
- the moving direction of the cursor changes based on the feature amount of the image.
- Patent Document 1 does not consider the characteristics of the three-dimensional shape of the subject. Therefore, the user may specify the wrong point.
- An object of the present invention is to provide a measuring method, a measuring device, and a recording medium capable of supporting accurate designation of a point on a subject.
- the measurement method includes a generation step, an area detection step, an image display step, a point input step, and a measurement step.
- the generation step the three-dimensional coordinates of two or more points on the subject are calculated based on the two-dimensional image of the subject, and the three-dimensional image data including the three-dimensional coordinates of the two or more points is generated.
- the area detection step two or more feature areas on the subject are detected based on the three-dimensional image data.
- the three-dimensional shape of the subject has common features in each of the two or more feature regions.
- the image display step an image of the two or more feature areas is displayed on the display so that the two or more feature areas are visually distinguished from each other.
- the point input step points on the subject are accepted through the input device, and point information indicating the accepted points is generated.
- the size of the subject is measured based on the three-dimensional coordinates of two or more points on the subject including the point indicated by the point information.
- the measurement method may further include a region selection step and an information control step.
- region selection step one of the two or more feature regions may be selected as the selection region.
- the point information may be enabled in the information control step only when the point in the selection area is accepted in the point input step.
- the size of the subject may be measured based on the three-dimensional coordinates of the two or more points including the point indicated by the valid point information.
- one of the image of the three-dimensional image data and the two-dimensional image may be further displayed on the display in the image display step.
- the measurement method may further include an area selection step, a mark display step, and a position calculation step.
- region selection step one of the two or more feature regions may be selected as the selection region.
- mark display step the mark may be displayed on one of the image and the two-dimensional image of the three-dimensional image data.
- position calculation step the position where the mark is displayed may be calculated based on the information received through the input device. The position where the mark is displayed may be limited to the area corresponding to the selected area.
- the point input step the point corresponding to the position of the mark may be accepted.
- the measurement method may further include an area selection step, a mark display step, and a position calculation step.
- region selection step one of the two or more feature regions may be selected as the selection region.
- mark display step the mark may be displayed on the image of the two or more feature regions.
- position calculation step the position where the mark is displayed may be calculated based on the information received through the input device. The position where the mark is displayed may be limited within the selected area.
- point input step the point corresponding to the position of the mark may be accepted.
- the measurement method may further include a region selection step and an information control step.
- region selection step one of the two or more feature regions may be selected as the selection region.
- the received point information is invalidated in the information control step, and new point information indicating a point in the selected area is generated. May be done.
- the size of the subject may be measured based on the three-dimensional coordinates of the two or more points indicated by the point information excluding the invalid point information.
- one of the image of the three-dimensional image data and the two-dimensional image may be further displayed on the display in the image display step.
- the measurement method may further include an area selection step, a mark display step, and a position calculation step.
- region selection step one of the two or more feature regions may be selected as the selection region.
- mark display step the mark may be displayed on one of the image and the two-dimensional image of the three-dimensional image data.
- position calculation step the position where the mark is displayed may be calculated based on the information received through the input device.
- the point indicated by the point information is included in the measurement step.
- the size of the subject may be measured based on the three-dimensional coordinates of the two or more points.
- the measurement method may further include an area selection step, a mark display step, and a position calculation step.
- region selection step one of the two or more feature regions may be selected as the selection region.
- mark display step the mark may be displayed on the image of the two or more feature regions.
- position calculation step the position where the mark is displayed may be calculated based on the information received through the input device.
- the mark is displayed in the selected area and the point corresponding to the position of the mark is accepted in the point input step, the two or more points including the point indicated by the point information in the measurement step.
- the size of the subject may be measured based on the three-dimensional coordinates of the point.
- the position where the mark is displayed is changed to a position in the selected area. You may.
- the feature area including the first point is the area selection. It may be selected in the step.
- the second point in the selection area is accepted in the point input step, it is based on the three-dimensional coordinates of the first point and the two or more points including the second point in the measurement step. The size of the subject may be measured. The second point may be different from the first point.
- the feature corresponding to the received position when the position on the image of the two or more feature regions is received through the input device, the feature corresponding to the received position.
- the region may be selected in the region selection step.
- the measurement method may further include a region selection step of selecting one of the two or more feature regions as a selection region. ..
- the selected area may be displayed in the first color in the image display step, and the feature area different from the selected area may be displayed in the second color different from the first color in the image display step.
- the measurement method may further include a region selection step of selecting one of the two or more feature regions as a selection region. .. Only the selected area may be displayed in the image display step.
- the measurement method may further include a region selection step of selecting one of the two or more feature regions as a selection region. .. The selected area may be highlighted in the image display step.
- the measurement method includes a generation step, an area detection step, an image display step, a point input step, a control step, and a measurement step.
- the generation step the three-dimensional coordinates of two or more points on the subject are calculated based on the two-dimensional image of the subject, and the three-dimensional image data including the three-dimensional coordinates of the two or more points is generated. Will be done.
- the area detection step one or more feature areas on the subject are detected based on the three-dimensional image data.
- the three-dimensional shape of the subject has common features in each of the one or more feature regions.
- the image display step one of the image of the three-dimensional image data, the two-dimensional image, and the image of the one or more feature regions is displayed on the display.
- points on the subject are accepted through the input device, and point information indicating the accepted points is generated.
- the control step one of the first control and the second control is executed.
- the point information is controlled so that the point information indicates a point in one of the one or more feature regions.
- a mark is displayed on one of the image of the three-dimensional image data, the two-dimensional image, and the image of the one or more feature regions. The position of the mark is limited to the area corresponding to one of the one or more feature areas.
- the point corresponding to the position of the mark is accepted.
- the size of the subject is measured based on the three-dimensional coordinates of two or more points on the subject including the point indicated by the point information.
- the measuring device includes a generation unit, a region detection unit, a display control unit, a point input unit, and a measurement unit.
- the generation unit calculates the three-dimensional coordinates of two or more points on the subject based on the two-dimensional image of the subject, and generates three-dimensional image data including the three-dimensional coordinates of the two or more points. do.
- the area detection unit detects two or more feature areas on the subject based on the three-dimensional image data.
- the three-dimensional shape of the subject has common features in each of the two or more feature regions.
- the display control unit displays an image of the two or more feature areas on the display so that the two or more feature areas are visually distinguished from each other.
- the point input unit accepts points on the subject through the input device and generates point information indicating the accepted points.
- the measuring unit measures the size of the subject based on the three-dimensional coordinates of two or more points on the subject including the point indicated by the point information.
- a computer-readable recording medium in which a program for causing a computer to execute a generation step, an area detection step, an image display step, a point input step, and a measurement step is recorded.
- NS the three-dimensional coordinates of two or more points on the subject are calculated based on the two-dimensional image of the subject, and the three-dimensional image data including the three-dimensional coordinates of the two or more points is generated.
- NS. the area detection step, two or more feature areas on the subject are detected based on the three-dimensional image data.
- the three-dimensional shape of the subject has common features in each of the two or more feature regions.
- the image display step an image of the two or more feature areas is displayed on the display so that the two or more feature areas are visually distinguished from each other.
- the point input step points on the subject are accepted through the input device, and point information indicating the accepted points is generated.
- the measurement step the size of the subject is measured based on the three-dimensional coordinates of two or more points on the subject including the point indicated by the point information.
- the measuring method, measuring device, and recording medium can support the accurate designation of points on the subject.
- the generation unit 70 calculates the three-dimensional coordinates of two or more points on the subject based on the two-dimensional image of the subject, and the point group data (three-dimensional image data) including the three-dimensional coordinates of the two or more points. ) Is generated (generation step).
- the area detection unit 71 detects two or more feature areas on the subject based on the point cloud data (area detection step).
- the three-dimensional shape of the subject has common features in each of the two or more feature regions.
- the display control unit 72 displays an image of the two or more feature areas on the display so that the two or more feature areas are visually distinguished from each other (image display step).
- the point input unit 73 accepts the points on the subject through the input device and generates point information indicating the accepted points (point input step).
- the measuring unit 74 measures the size of the subject based on the three-dimensional coordinates of two or more points on the subject including the points indicated by the point information (measurement step).
- Each part shown in FIG. 1 may be composed of at least one of a processor and a logic circuit.
- the processor is at least one of a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
- the logic circuit is at least one of an ASIC (Application Specific Integrated Circuit) and an FPGA (Field-Programmable Gate Array).
- Each part shown in FIG. 1 can include one or more processors.
- Each part shown in FIG. 1 may include one or more logic circuits.
- the computer of the measuring device 7 may read the program and execute the read program.
- the program includes instructions that define the operations of the generation unit 70, the area detection unit 71, the display control unit 72, the point input unit 73, and the measurement unit 74. That is, the functions of the generation unit 70, the area detection unit 71, the display control unit 72, the point input unit 73, and the measurement unit 74 may be realized by software.
- the above program may be recorded on a computer-readable recording medium.
- the program may be transmitted from the computer holding the program to the measuring device 7 via the transmission medium or by the transmission wave in the transmission medium.
- a "transmission medium" for transmitting a program is a medium having a function of transmitting information.
- the medium having a function of transmitting information includes a network (communication network) such as the Internet and a communication line (communication line) such as a telephone line.
- the above-mentioned program may realize a part of the above-mentioned function.
- the above-mentioned program may be a difference file (difference program). The combination of the program already recorded in the computer and the difference program may realize the above-mentioned function.
- FIG. 2 shows a procedure for three-dimensional measurement.
- the generation unit 70 calculates the three-dimensional coordinates (3D coordinates) of two or more points on the subject based on the two-dimensional image (2D image) of the subject, and the point including the 3D coordinates of the two or more points.
- Group data is generated (step S1). Step S1 corresponds to the generation step.
- one 2D image includes an image of the subject viewed from the first viewpoint and an image of the subject viewed from a second viewpoint different from the first viewpoint.
- the generation unit 70 calculates the 3D coordinates corresponding to each pixel of the 2D image.
- the generation unit 70 generates point cloud data including 3D coordinates of two or more points on the subject.
- the 3D coordinates of each of the two or more points are associated with the points on the 2D image.
- the 3D coordinates in the point cloud data are associated with the pixels on the 2D image.
- the point cloud data includes 3D coordinates and pixel position information on a 2D image.
- the generation unit 70 may calculate the 3D coordinates of two or more points on the subject by using two or more images and by applying SfM (Structure from Motion).
- the generation unit 70 uses two or more 2D images of a subject on which two or more fringe patterns having different spatial phases are projected, and by applying the phase shift method, the 2 on the subject. You may calculate the 3D coordinates of one or more points. Even if the generation unit 70 calculates the 3D coordinates of two or more points on the subject by using one 2D image of the subject irradiated with the pattern light in which the bright part and the dark part are randomly arranged. good.
- the method for generating point cloud data is not limited to the above method.
- the generation unit 70 may generate a three-dimensional image (3D image) for displaying the point cloud data on the display.
- the 3D image is an image of a three-dimensional shape (3D shape) indicated by the point cloud data.
- the 3D image includes color data of each pixel.
- Each pixel of the 3D image is associated with 3D coordinates.
- the generation unit 70 may generate a 3D image corresponding to each of two or more viewpoints different from each other.
- the generation unit 70 may generate an image of the feature region.
- the image of the feature area includes the color data of each pixel.
- Each pixel of the image in the feature area is associated with 3D coordinates.
- Each pixel of the image in the feature area is associated with a pixel of a 2D image or a pixel of a 3D image.
- step S1 the area detection unit 71 detects two or more feature areas on the subject based on the point cloud data (step S2).
- step S2 corresponds to the area detection step.
- the area detection unit 71 extracts the features of the 3D shape of the subject by using the point cloud data.
- the region detection unit 71 assigns each point corresponding to the 3D coordinates in the point cloud data to one of two or more feature regions according to the extracted features.
- the 3D shape of the subject has common features within one feature area.
- the features of the 3D shape of the subject differ from each other between two or more different feature areas. Only one point may be assigned to one feature area.
- the two or more points satisfy a common condition indicating the features of the 3D shape of the subject.
- the condition satisfied by the points in the first feature region and the condition satisfied by the points in the second feature region different from the first feature region are different from each other.
- segmentation is a simple method to classify each point corresponding to the point cloud data.
- the region detection unit 71 can use the European Cruster Extension for segmentation. This is a function installed in the open source PCL (Point Cloud Library).
- the area detection unit 71 determines that a point within a predetermined distance from each point is a neighborhood point.
- One point and its neighbors are on the same object. For example, when the subject has a first object and a second object that are separated from each other, each point corresponding to the point group data is either a point on the first object or a point on the second object. It is classified into one.
- Each of the first object and the second object is a feature region (segment). In this case, two or more points in one feature area have the feature that they are on the same object.
- the area detection unit 71 may use a Watershed algorithm, Deep Learning, or the like for segmentation.
- the area detection unit 71 may calculate a normal line perpendicular to the surface of the subject based on the point cloud data, and detect an edge or a step of the subject as a feature area based on a change in the normal direction.
- the region detection unit 71 may detect a first feature region composed of an edge or a step and a second feature region composed of a portion other than the edge or the step.
- the area detection unit 71 may detect the edge of the subject by performing image processing on the 2D image of the subject.
- the area detection unit 71 may detect a feature region corresponding to an edge on the 2D image of the subject from the 3D shape of the subject indicated by the point cloud data.
- the area detection unit 71 may detect a feature area based on the brightness or color of the 2D image of the subject or the 3D image of the point cloud data.
- the area detection unit 71 may execute a matching process on the stereo image of the subject and detect the feature area based on the correlation value obtained in the matching process.
- FIG. 3 shows an example of a 3D image of point cloud data.
- the generation unit 70 converts the point cloud data into mesh data and adds a texture to the mesh data.
- the generation unit 70 generates the 3D image G1 by executing this process.
- FIG. 4 shows an example of an image of the feature area.
- the generation unit 70 generates the image G2 of the feature region based on the information of the two or more feature regions detected by the region detection unit 71.
- the feature area R1, the feature area R2, the feature area R3, and the feature area R4 are displayed on the image G2.
- Step S2 the display control unit 72 displays an image of the two or more feature areas on the display so that the two or more feature areas are visually distinguished from each other (step S3).
- Step S3 corresponds to the image display step.
- the display control unit 72 outputs an image of two or more feature areas detected by the area detection unit 71 to the display, and displays the image on the display. For example, the display control unit 72 displays an image of the feature area and a 2D image of the subject on the display. The display control unit 72 may display the image of the feature area and the 3D image of the point cloud data on the display. The display control unit 72 may display only the image of the feature area on the display without displaying the 2D image of the subject and the 3D image of the point cloud data on the display.
- the image of the feature area may be superimposed on the 2D image of the subject.
- the display control unit 72 may superimpose the data of each pixel in the image of the feature area on the data of the pixel in the 2D image of the subject associated with the pixel in the image of the feature area.
- the display control unit 72 may display a 2D image of the subject on which the image of the feature area is superimposed on the display. In the 2D image, the undulations on the surface of the subject and the position of the feature area can be visually recognized.
- the image of the feature area may be superimposed on the 3D image of the point cloud data.
- the display control unit 72 may superimpose the data of each pixel in the image of the feature area on the data of the pixel in the 3D image of the point cloud data associated with the pixel in the image of the feature area.
- the display control unit 72 may display a 3D image of the point cloud data on which the image of the feature region is superimposed on the display. In the 3D image, the undulations on the surface of the subject and the position of the feature area can be visually recognized.
- two or more feature areas are displayed in different colors in the image.
- a line indicating the boundary between two or more feature regions may be superimposed on the image.
- Characters, symbols, marks, etc. indicating each feature area may be displayed on each feature area. The user can visually distinguish two or more feature areas on the image displayed on the display.
- step S3 the point input unit 73 accepts a point on the subject through the input device and generates point information indicating the accepted point (step S4).
- Step S4 corresponds to the point input step.
- the user inputs the information of the point on the subject into the input device by operating the input device.
- the input device is a user interface.
- the input device includes at least one of a button, a switch, a key, a mouse, a joystick, a touchpad, a trackball, and a touch panel.
- the input device outputs information on the points input by the user.
- the point input unit 73 accepts points on the subject by acquiring the information output from the input device.
- the point input unit 73 generates point information indicating the position of a point in at least one of a 2D image of a subject, a 3D image of point cloud data, and an image of a feature region.
- the point information includes the coordinates of the pixel corresponding to the point.
- the coordinates of the pixel are associated with the 3D coordinates in the point cloud data.
- the point information includes the 3D coordinates of the point.
- the point input unit 73 when the distance measurement between two points is executed, the point input unit 73 generates point information indicating the position of each of the two measurement points.
- the point input unit 73 When the line reference measurement is executed, the point input unit 73 generates point information indicating the positions of the two reference points that define the reference line and the one measurement point.
- the point input unit 73 When surface reference measurement is executed, the point input unit 73 generates point information indicating the positions of three or more reference points that define the reference surface and one measurement point.
- area measurement or perimeter measurement is executed, the point input unit 73 generates point information indicating the positions of each of the three or more measurement points.
- the point cloud data includes 3D coordinates of three or more points on the subject.
- the point input unit 73 may accept only a part of two or more points used for measurement. For example, in a 2D image of a subject or a 3D image of point cloud data, one or more points may be detected by image processing such as feature point detection, and point information of the detected points may be generated. In this example, one or more points received by the point input unit 73 and one or more points detected by image processing are used for measurement.
- two reference points may be detected by image processing, and the point input unit 73 may accept one measurement point.
- the point input unit 73 may accept two reference points and one measurement point may be detected by image processing.
- one measurement point that maximizes the three-dimensional distance (3D distance) between the reference line and the measurement point may be detected by image processing.
- three reference points may be detected by image processing, and the point input unit 73 may accept one measurement point.
- the point input unit 73 may receive three reference points and one measurement point may be detected by image processing.
- one measurement point that maximizes the 3D distance between the reference plane and the measurement point may be detected by image processing.
- the point received by the point input unit 73 does not have to be one point corresponding to one pixel on the screen.
- the points received by the point input unit 73 may include a region of any size.
- the point received by the point input unit 73 may include an area that can be specified in sub-pixel units.
- FIG. 5 shows an example of an image displayed on the display in step S4.
- the same image G2 as the image G2 shown in FIG. 4 is displayed on the display.
- a cursor not shown in FIG. 5 is displayed on the image G2.
- the user inputs information indicating the position of the cursor into the input device.
- the display control unit 72 displays the cursor at a position corresponding to the information in the image G2.
- the point input unit 73 accepts the point. Displaying the cursor is not mandatory.
- the input device and the display are configured as a touch panel, the user inputs point information by touching the screen of the display. At this time, the point input unit 73 accepts the point.
- the user inputs information on two points into the input device.
- the point input unit 73 receives the points P1 and P2 shown in FIG.
- the points P1 and P2 are within the feature region R1.
- Marks indicating the points P1 and P2 are displayed on the image G2. It is not essential to display a mark indicating a point received by the point input unit 73.
- the four feature regions are visually easy to understand in the image G2. Therefore, the user can easily specify a point in the feature area that he / she desires.
- FIG. 6 shows another example of the image displayed on the display in step S4.
- the same image G2 as the image G2 shown in FIG. 4 and the 2D image G3 of the subject are displayed on the display.
- a cursor not shown in FIG. 6 is displayed on the 2D image G3.
- the user inputs information indicating the position of the cursor into the input device.
- the display control unit 72 displays the cursor at a position corresponding to the information in the 2D image G3.
- the point input unit 73 accepts the point. Displaying the cursor is not mandatory.
- the input device and the display are configured as a touch panel, the user inputs point information by touching the screen of the display. At this time, the point input unit 73 accepts the point.
- the point input unit 73 identifies a point associated with the accepted point on the 2D image G3 in the point cloud data, and generates point information for that point.
- the user inputs information on two points into the input device.
- the point input unit 73 receives the points P3 and P4 shown in FIG. A mark indicating the point P3 and the point P4 is displayed on the 2D image G3. It is not essential to display a mark indicating a point received by the point input unit 73.
- the user specifies a point on the 2D image G3 with reference to the image G2. Therefore, the user can easily specify a point on the area corresponding to the feature area desired by the user.
- the display control unit 72 may display the points corresponding to the points received by the point input unit 73 on the image G2.
- the image G2 and the 2D image G3 are arranged in the horizontal direction of the display screen.
- the arrangement of the image G2 and the 2D image G3 is not limited to this example.
- the image G2 and the 2D image G3 may be arranged vertically on the screen of the display. At this time, the image G2 and the 2D image G3 may be rotated by 90 degrees. A part of the image G2 and the 2D image G3 may overlap each other.
- step S4 the measuring unit 74 measures the size of the subject based on the 3D coordinates of two or more points on the subject including the points indicated by the point information (step S5).
- Step S5 corresponds to the measurement step.
- step S5 is executed, the three-dimensional measurement ends.
- the measuring unit 74 acquires the 3D coordinates of each of the two or more points on the subject.
- the measurement unit 74 acquires the 3D coordinates associated with the coordinates from the point cloud data.
- the measurement unit 74 acquires the 3D coordinates from the point information.
- the measurement unit 74 acquires the 3D coordinates associated with the coordinates from the point cloud data.
- the measuring unit 74 measures the size of the subject based on the 3D coordinates of two or more points on the subject. For example, in the distance measurement between two points, the measurement unit 74 measures the 3D distance between the two measurement points indicated by the point information.
- the measurement unit 74 calculates a reference line based on the two reference points indicated by the point information, and measures the 3D distance between the reference line and one measurement point indicated by the point information.
- the measurement unit 74 calculates the reference plane based on three or more reference points indicated by the point information, and measures the 3D distance between the reference plane and one measurement point indicated by the point information. do.
- the measurement unit 74 calculates the area of the area surrounded by three or more measurement points indicated by the point information.
- the measurement unit 74 measures the perimeter of a region surrounded by three or more measurement points indicated by point information. The measurement performed by the measuring unit 74 is not limited to the above example.
- an image of the feature area is displayed on the display, and points on the image are input to the input device.
- the image of the feature area and the 2D image of the subject are displayed on the display, and the points on the 2D image of the subject are input to the input device.
- the combination of the image displayed on the display and the image used for inputting points is not limited to these examples.
- the 2D image of the subject may be displayed on the display, and the points on the 2D image may be input to the input device.
- a 3D image of the point cloud data may be displayed on the display, and points on the 3D image may be input to the input device.
- the image of the feature area and the 2D image of the subject may be displayed on the display, and the points on the image of the feature area may be input to the input device.
- the image of the feature area and the 3D image of the point cloud data may be displayed on the display, and the points on the 3D image may be input to the input device.
- the image of the feature area and the 3D image of the point cloud data may be displayed on the display, and the points on the image of the feature area may be input to the input device.
- a 2D image of the subject on which the image of the feature area is superimposed may be displayed on the display, and points on the 2D image may be input to the input device.
- a 3D image of the point cloud data on which the image of the feature region is superimposed may be displayed on the display, and the points on the 3D image may be input to the input device.
- the 2D image of the subject and the 3D image of the point cloud data on which the image of the feature area is superimposed may be displayed on the display, and the points on the 2D image may be input to the input device.
- the 2D image of the subject and the 3D image of the point cloud data on which the image of the feature region is superimposed may be displayed on the display, and the points on the 3D image may be input to the input device.
- the 3D image of the point cloud data and the 2D image of the subject on which the image of the feature area is superimposed may be displayed on the display, and the points on the 3D image may be input to the input device.
- the 3D image of the point cloud data and the 2D image of the subject on which the image of the feature region is superimposed may be displayed on the display, and the points on the 2D image may be input to the input device.
- the measuring device 7 displays images of two or more feature regions on the display.
- the user can easily specify a point in the feature area desired by the user with reference to the image displayed on the display. Therefore, the measuring device 7 can support the accurate designation of the point on the subject.
- FIG. 7 shows the configuration of the measuring device 7a of the second embodiment.
- the measuring device 7a shown in FIG. 7 includes a generation unit 70, an area detection unit 71a, a display control unit 72a, a point input unit 73, a measurement unit 74, and an information control unit 75.
- the description of the same configuration as that shown in FIG. 1 will be omitted.
- Each part shown in FIG. 7 may be composed of at least one of a processor and a logic circuit. Each part shown in FIG. 7 can include one or more processors. Each part shown in FIG. 7 can include one or more logic circuits.
- the computer of the measuring device 7a may read the program and execute the read program.
- the program is realized in the same manner as the program executed by the computer of the measuring device 7 shown in FIG.
- the area detection unit 71a detects one or more feature areas on the subject based on the point cloud data (area detection step).
- the region detection unit 71 in the first embodiment detects two or more feature regions, but the region detection unit 71a in the second embodiment may detect one feature region.
- the area detection unit 71a detects one feature area.
- the 3D shape of the subject has common features within one feature area. The features of the 3D shape of the subject differ from each other between two or more different feature areas. Only one point may be assigned to one feature area. When two or more points are assigned to one feature area, the two or more points satisfy a common condition indicating the features of the 3D shape of the subject. The condition satisfied by the points in the first feature region and the condition satisfied by the points in the second feature region different from the first feature region are different from each other.
- the display control unit 72a displays one of the 3D image of the point cloud data, the 2D image of the subject, and the image of one or more feature areas on the display (image display step).
- the 3D image of the point cloud data is an image of the 3D shape indicated by the point cloud data.
- the information control unit 75 executes one of the first control and the second control (control step).
- the information control unit 75 controls the point information so that the point information indicates a point in one of the one or more feature regions.
- the point information indicates a point received by the point input unit 73.
- the information control unit 75 displays a mark on one of the 3D image of the point cloud data, the 2D image of the subject, and the image of one or more feature regions.
- the mark is an icon, a pointer, or the like.
- the mark is a cursor.
- the information control unit 75 limits the position of the mark within the area corresponding to one of the one or more feature areas.
- the point input unit 73 receives a point corresponding to the position of the mark.
- the display control unit 72a may execute the second control. In this case, the display control unit 72a has the function of the information control unit 75.
- FIG. 8 shows a procedure for three-dimensional measurement. The description of the same process as that shown in FIG. 2 will be omitted.
- the area detection unit 71a detects one or more feature areas on the subject based on the point cloud data (step S2a).
- Step S2a corresponds to the area detection step.
- the region detection unit 71a can detect the feature region by the same method as that described in the first embodiment.
- Step S2a the display control unit 72a displays one of the 3D image of the point cloud data, the 2D image of the subject, and the image of one or more feature areas on the display (step S3a).
- Step S3a corresponds to the image display step.
- the display control unit 72a displays the 3D image of the point cloud data on the display without displaying the 2D image of the subject and the image of the feature area.
- the display control unit 72a may display the 2D image of the subject on the display without displaying the 3D image of the point cloud data and the image of the feature area.
- the display control unit 72a may display the image of the feature region on the display without displaying the 3D image of the point cloud data and the 2D image of the subject.
- the display control unit 72a may display two or more of the 3D image of the point cloud data, the 2D image of the subject, and the image of the feature area on the display.
- the display control unit 72a may display a 3D image of the point cloud data and an image of the feature area on the display.
- the display control unit 72a may display a 2D image of the subject and an image of the feature area on the display.
- the display control unit 72a may display a 3D image of the point cloud data on which the image of the feature region is superimposed or a 2D image of the subject on which the image of the feature region is superimposed on the display.
- the point input unit 73 accepts a point on the subject through the input device in step S4, and generates point information indicating the accepted point.
- the information control unit 75 executes the first control. That is, the information control unit 75 controls the point information so that the point information generated in step S4 indicates a point in one of the one or more feature regions (step S6). Step S6 corresponds to the control step.
- step S6 After step S6, step S5 is executed.
- FIG. 9 shows another procedure for three-dimensional measurement. The description of the same processing as that shown in FIGS. 2 and 8 will be omitted.
- the information control unit 75 executes the second control. That is, the information control unit 75 displays the mark on one of the 3D image of the point cloud data, the 2D image of the subject, and the image of one or more feature regions.
- the mark is displayed on the 3D image.
- the 2D image of the subject is displayed on the display in step S3a
- the mark is displayed on the 2D image.
- the image of the feature area is displayed on the display in step S3a
- the mark is displayed on the image.
- the information control unit 75 limits the position of the mark within the area corresponding to one of the one or more feature areas (step S7). Step S7 corresponds to the control step.
- the display control unit 72a may execute step S7.
- step S7 the point input unit 73 receives the point corresponding to the position of the mark in step S4.
- the order of processing in the three-dimensional measurement is not limited to the order shown in FIGS. 8 and 9.
- a 3D image of the point cloud data may be displayed on the display before step S2a is executed.
- a 2D image of the subject may be displayed on the display before step S1 or step S2a is performed.
- the information control unit 75 may execute the second control based on the point in step S7.
- the measuring device 7a executes one of the first control and the second control.
- the point information is controlled so that the point information indicates a point in one of the one or more feature regions.
- the position of the mark on the image is limited to the area corresponding to one of the one or more feature areas.
- the 3D coordinates of the points in one feature area are used for the measurement. Therefore, the measuring device 7a can support the accurate designation of the point on the subject.
- the measuring device is an endoscopic device.
- the measuring device need only be a device having a measuring function, and is not limited to the endoscopic device.
- the measuring device may be an embedded device mounted on a specific device or system.
- the measuring device may be an environment on the cloud.
- the subject is an industrial product.
- FIG. 10 shows the appearance of the endoscope device 1 of the third embodiment.
- FIG. 11 shows the internal configuration of the endoscope device 1.
- the endoscope device 1 takes an image of a subject and generates an image.
- the inspector shall replace the optical adapter attached to the tip of the insertion unit 2, select the built-in video processing program, and add the video processing program in order to observe various subjects. Is possible.
- the endoscope device 1 shown in FIG. 10 has an insertion unit 2, a main body unit 3, an operation unit 4, and a display unit 5.
- the insertion unit 2 is inserted inside the subject.
- the insertion portion 2 is an elongated tubular shape that can be bent from the tip end 20 to the base end portion.
- the insertion unit 2 images the subject and outputs the image pickup signal to the main body unit 3.
- An optical adapter is attached to the tip 20 of the insertion portion 2.
- a monocular optical adapter is attached to the tip 20 of the insertion portion 2.
- the main body 3 is a control device including a storage portion for accommodating the insertion portion 2.
- the operation unit 4 receives the user's operation on the endoscope device 1.
- the display unit 5 has a display screen, and displays the image of the subject, the operation menu, and the like acquired by the insertion unit 2 on the display screen.
- the operation unit 4 is a user interface (input device).
- the operation unit 4 is at least one of a button, a switch, a key, a mouse, a joystick, a touch pad, a trackball, and a touch panel.
- the display unit 5 is a monitor (display) such as an LCD (Liquid Crystal Display).
- the display unit 5 may be a touch panel. In that case, the operation unit 4 and the display unit 5 are integrated.
- the main body 3 shown in FIG. 11 includes an endoscope unit 8, a CCU (Camera Control Unit) 9, and a control device 10.
- the endoscope unit 8 has a light source device and a bending device (not shown).
- the light source device supplies the illumination light necessary for observation.
- the bending device bends the bending mechanism built in the insertion portion 2.
- An image sensor 28 is built in the tip 20 of the insertion portion 2.
- the image sensor 28 is an image sensor.
- the image pickup element 28 photoelectrically converts the optical image of the subject formed by the optical adapter and generates an image pickup signal.
- the CCU 9 drives the image sensor 28.
- the image pickup signal output from the image sensor 28 is input to the CCU 9.
- the CCU 9 performs preprocessing including amplification and noise removal on the image pickup signal acquired by the image pickup device 28.
- the CCU 9 converts the preprocessed imaging signal into a video signal such as an NTSC signal.
- the control device 10 includes a video signal processing circuit 12, a ROM (Read Only Memory) 13, a RAM (Random Access Memory) 14, a card interface 15, an external device interface 16, a control interface 17, and a CPU (Central Processing Unit) 18. ..
- ROM Read Only Memory
- RAM Random Access Memory
- CPU Central Processing Unit
- the video signal processing circuit 12 performs predetermined video processing on the video signal output from the CCU 9.
- the video signal processing circuit 12 executes video processing related to improving visibility.
- the image processing includes color reproduction, gradation correction, noise suppression, and contour enhancement.
- the video signal processing circuit 12 synthesizes the video signal output from the CCU 9 and the graphic image signal generated by the CPU 18.
- the graphic image signal includes an image of the operation screen, measurement information, and the like.
- the measurement information includes a 3D image of point cloud data, an image of a feature area, a measurement result, and the like.
- the video signal processing circuit 12 outputs the synthesized video signal to the display unit 5. Further, the video signal processing circuit 12 outputs image data based on the video signal output from the CCU 9 to the CPU 18.
- the ROM 13 is a non-volatile recording medium in which a program for the CPU 18 to control the operation of the endoscope device 1 is recorded.
- the RAM 14 is a volatile recording medium that temporarily stores information used by the CPU 18 for controlling the endoscope device 1.
- the CPU 18 controls the operation of the endoscope device 1 based on the program recorded in the ROM 13.
- a memory card 42 which is a removable recording medium, is connected to the card interface 15.
- the card interface 15 takes in the control processing information, the image information, and the like stored in the memory card 42 into the control device 10. Further, the card interface 15 records the control processing information, the image information, and the like generated by the endoscope device 1 on the memory card 42.
- An external device such as a USB device is connected to the external device interface 16.
- a personal computer (PC) 41 is connected to the external device interface 16.
- the external device interface 16 transmits information to the PC 41 and receives the information from the PC 41.
- the monitor of the PC 41 can display the information.
- the user can perform an operation related to the control of the endoscope device 1 by inputting an instruction to the PC 41.
- the control interface 17 executes communication for operation control with the operation unit 4, the endoscope unit 8, and the CCU 9.
- the control interface 17 notifies the CPU 18 of an instruction input to the operation unit 4 by the user.
- the control interface 17 outputs a control signal for controlling the light source device and the bending device to the endoscope unit 8.
- the control interface 17 outputs a control signal for controlling the image pickup element 28 to the CCU 9.
- the program executed by the CPU 18 may be recorded on a computer-readable recording medium.
- a computer other than the endoscope device 1 may read and execute the program recorded on the recording medium.
- the PC 41 may read and execute the program.
- the PC 41 may control the endoscope device 1 by transmitting control information for controlling the endoscope device 1 to the endoscope device 1 according to a program.
- the PC 41 may acquire a video signal from the endoscope device 1 and process the acquired video signal.
- the endoscope device 1 has an image sensor 28 and a CPU 18.
- the image sensor 28 images the subject and generates an image pickup signal.
- the image pickup signal includes an image of the subject. Therefore, the image sensor 28 acquires an image of the subject generated by imaging the subject.
- the image acquired by the image pickup element 28 is input to the CPU 18 via the video signal processing circuit 12.
- the image pickup element 28 has a function of an image acquisition unit that acquires an image of a subject.
- the image acquisition unit may be an image input device.
- the image acquisition unit is a communication interface (communication device) that executes communication with the endoscope device 1.
- the image acquisition unit may be a wireless communication device.
- the image acquisition unit may be a readout circuit that reads an image from a recording medium on which the image is recorded.
- FIG. 12 shows the functional configuration of the CPU 18.
- the functions of the CPU 18 are configured by the control unit 180, the generation unit 181, the area detection unit 182, the display control unit 183, the cursor calculation unit 184, the point input unit 185, the area selection unit 186, and the measurement unit 187.
- At least one of the blocks shown in FIG. 12 may be configured by a circuit different from that of the CPU 18.
- Each part shown in FIG. 12 may be composed of at least one of a processor and a logic circuit. Each part shown in FIG. 12 can include one or more processors. Each part shown in FIG. 12 can include one or more logic circuits.
- the control unit 180 acquires a 2D image (image data) of the subject from the video signal processing circuit 12 and controls the processing executed by each unit shown in FIG.
- the generation unit 181 has the same function as the function of the generation unit 70 shown in FIG.
- the generation unit 181 calculates the 3D coordinates of two or more points on the subject based on the 2D image of the subject, and generates point cloud data including the 3D coordinates of the two or more points (generation step).
- the generation unit 181 can generate the point cloud data by the same method as that described in the first embodiment.
- the generation unit 181 generates an image of the feature region.
- the generation unit 181 may generate a 3D image for displaying the point cloud data on the display unit 5.
- the area detection unit 182 has the same function as the area detection unit 71 shown in FIG.
- the area detection unit 182 detects two or more feature areas on the subject based on the point cloud data (area detection step).
- the region detection unit 182 can detect the feature region by the same method as that described in the first embodiment.
- the display control unit 183 displays a 2D image of the subject acquired by the image sensor 28 and an image of two or more feature regions generated by the generation unit 181 on the display unit 5.
- the display control unit 183 displays an image of the two or more feature areas on the display unit 5 so that the two or more feature areas are visually distinguished from each other (image display step).
- the display control unit 183 may display a 3D image of the point cloud data on the display unit 5.
- the display control unit 183 may display a 2D image of the subject on which the image of the feature area is superimposed on the display unit 5.
- the display control unit 183 may display a 3D image of the point cloud data on which the image of the feature region is superimposed on the display unit 5.
- the display control unit 183 controls the processing executed by the video signal processing circuit 12.
- the display control unit 183 outputs the video signal processed by the video signal processing circuit 12 from the video signal processing circuit 12 to the display unit 5.
- the video signal includes color data of each pixel of the 2D image of the subject.
- the display unit 5 displays a 2D image of the subject based on the video signal output from the video signal processing circuit 12.
- the display control unit 183 outputs a video signal for displaying an image in the feature region to the display unit 5 via the video signal processing circuit 12.
- the video signal includes color data of each pixel of the image in the feature area.
- the display unit 5 displays an image of the feature region based on the video signal output from the video signal processing circuit 12.
- the display control unit 183 generates a graphic image signal for displaying an image in the feature area.
- the display control unit 183 outputs the generated graphic image signal to the video signal processing circuit 12.
- the video signal processing circuit 12 synthesizes the video signal output from the CCU 9 and the graphic image signal output from the CPU 18.
- the video signal processing circuit 12 outputs the synthesized video signal to the display unit 5.
- the display unit 5 displays a 2D image of the subject and an image of the feature area.
- the display control unit 183 may output the 3D video signal to the display unit 5 via the video signal processing circuit 12.
- the 3D video signal includes color data of each pixel of the 3D image of the point cloud data.
- the display unit 5 may display a 3D image of the point cloud data based on the 3D video signal output from the video signal processing circuit 12.
- the display control unit 183 displays various information on the display unit 5. That is, the display control unit 183 displays various information on the image. Various information includes a cursor, measurement results, and the like.
- the cursor is a mark that allows the user to specify a specific point on the image.
- the display control unit 183 generates graphic image signals of various information.
- the display control unit 183 outputs the generated graphic image signal to the video signal processing circuit 12.
- the video signal processing circuit 12 synthesizes the video signal output from the CCU 9 and the graphic image signal output from the CPU 18. As a result, various information is superimposed on the image.
- the video signal processing circuit 12 outputs the synthesized video signal to the display unit 5.
- the display unit 5 displays an image on which various information is superimposed.
- the user inputs the position information of the cursor into the operation unit 4 by operating the operation unit 4.
- the operation unit 4 outputs the position information input to the operation unit 4 by the user.
- the position information input to the operation unit 4 is input to the control interface 17 which is an input unit.
- the position information is output from the control interface 17 to the CPU 18.
- the cursor calculation unit 184 calculates the position on the image based on the position information input to the operation unit 4.
- the display control unit 183 displays the cursor at the position calculated by the cursor calculation unit 184.
- the point input unit 185 has the same function as the point input unit 73 shown in FIG.
- the point input unit 185 receives a point on the subject through the operation unit 4. For example, the user moves the cursor to a desired position on the image and performs a predetermined operation. At this time, the point input unit 185 accepts a point corresponding to the position.
- the display unit 5 and the operation unit 4 are configured as a touch panel, the user inputs a point on the image to the operation unit 4 by touching the screen of the display unit 5.
- the point input unit 185 accepts the point.
- the point input unit 185 generates point information indicating the accepted point (point input step).
- the point information includes the coordinates of the pixel corresponding to the point.
- the coordinates of the pixel are associated with the 3D coordinates in the point cloud data.
- the point information includes the coordinates of the pixel corresponding to the point.
- the coordinates of the pixel are associated with the 3D coordinates in the point cloud data.
- the point information includes the 3D coordinates of the point.
- the point information includes the coordinates of the pixel corresponding to the point.
- the coordinates of the pixel are associated with the 3D coordinates in the point cloud data.
- the point information includes the 3D coordinates of the point.
- the point input unit 185 receives a reference point and a measurement point.
- the reference point indicates a reference position for calculating a reference line in line reference measurement or a reference plane in surface reference measurement.
- the measurement point indicates a position for measuring the size of the subject.
- the point input unit 185 sets the accepted point in the 2D image.
- the point input unit 185 receives a point on the 3D image of the point cloud data
- the point input unit 185 sets the accepted point in the 3D image.
- the point input unit 185 receives a point on the image of the feature area
- the point input unit 185 sets the accepted point in the image.
- the point input unit 185 accepts a point on the 2D image of the subject on which the image of the feature region is superimposed, the point input unit 185 sets the accepted point in the 2D image.
- the point input unit 185 When the point input unit 185 accepts a point on the 3D image of the point cloud data on which the image of the feature region is superimposed, the point input unit 185 sets the accepted point in the 3D image.
- the position information of the point set by the point input unit 185 is held in the RAM 14.
- a point is set by associating it with a particular image.
- the area selection unit 186 selects one of the two or more feature areas detected by the area detection unit 182 as the selection area (area selection step). For example, the user operates the operation unit 4 to move the cursor to a desired position on the 2D image of the subject or the 3D image of the point cloud data. Its position is within the area corresponding to the feature area where the user wants to specify a point. When the cursor is displayed at that position, the user performs a given operation. At this time, the area selection unit 186 calculates the position on the image of the feature area corresponding to the position. Each pixel of the 2D image and each pixel of the 3D image is associated with a pixel of the image in the feature area. Therefore, the area selection unit 186 can calculate the position on the image of the feature area corresponding to the position on the 2D image or the 3D image. The area selection unit 186 selects a feature area including the calculated position.
- the user may move the cursor to a desired position on the image of the feature area by operating the operation unit 4. Its position is within the feature area where the user wants to specify a point.
- the area selection unit 186 selects a feature area including the position.
- the user may input the position on the image into the operation unit 4 by touching the screen of the display unit 5.
- the area selection unit 186 may select a feature area that satisfies a preset criterion. For example, the area selection unit 186 may select a feature area having the widest area. The area selection unit 186 may calculate the brightness of the image for each feature area and select a feature area whose brightness is within a predetermined range. The area selection unit 186 may calculate the contrast for each feature area and select the feature area having the highest contrast. The area selection unit 186 may select a feature area based on the measurement mode. For example, when the measurement mode is line reference measurement, the area selection unit 186 may select a feature area including the edge of the subject. The method of selecting the feature area is not limited to the above method.
- the measuring unit 187 has the same function as the measuring unit 74 shown in FIG.
- the measurement unit 187 measures the size of the subject based on the 3D coordinates of two or more points on the subject including the points indicated by the point information (measurement step). Specifically, the measuring unit 187 acquires the 3D coordinates of each of the two or more points on the subject.
- the measurement unit 187 acquires the 3D coordinates associated with the coordinates from the point cloud data.
- the measurement unit 187 acquires the 3D coordinates from the point information.
- the measurement unit 187 acquires the 3D coordinates associated with the coordinates from the point cloud data.
- the measurement unit 187 executes the measurement by using the acquired 3D coordinates.
- the measuring unit 187 executes at least one of the distance measurement between two points, the line reference measurement, the surface reference measurement, the area measurement, and the circumference measurement.
- the measurement performed by the measurement unit 187 is not limited to these.
- the measurement unit 187 may execute the measurement by using the 3D coordinates of one or more points received by the point input unit 185 and the 3D coordinates of the one or more points detected in the image processing. ..
- FIG. 13 shows a procedure for three-dimensional measurement.
- the generation unit 181 calculates the 3D coordinates of two or more points on the subject based on the 2D image of the subject, and generates point cloud data including the 3D coordinates of the two or more points (step S101).
- Step S101 corresponds to the generation step.
- the area detection unit 182 extracts the features of the 3D shape of the subject by using the point cloud data (step S102).
- the region detection unit 182 assigns each point corresponding to the 3D coordinates in the point cloud data to each of the two or more feature regions according to the extracted features.
- the area detection unit 182 divides the 3D shape of the subject into two or more feature areas (step S103). Step S102 and step S103 correspond to the area detection step.
- Step S104 corresponds to the image display step.
- FIG. 14 shows an example of an image displayed on the display unit 5 in step S104.
- the 2D image G11 of the subject and the image G12 of the feature area are displayed on the display unit 5.
- the feature area R11, the feature area R12, the feature area R13, and the feature area R14 are displayed on the image G12.
- the feature area R11, the feature area R12, the feature area R13, and the feature area R14 are displayed in different colors in the image. The user can visually distinguish two or more feature areas on the image displayed on the display unit 5.
- a line indicating the boundary between the feature area R11, the feature area R12, the feature area R13, and the feature area R14 may be superimposed on the image G12. Characters, symbols, marks, etc. indicating each feature area may be displayed on each feature area.
- the 2D image G11 and the image G12 are arranged in the horizontal direction of the screen of the display unit 5.
- the arrangement of the 2D image G11 and the image G12 is not limited to this example.
- the 2D image G11 and the image G12 may be arranged in the vertical direction of the screen of the display unit 5.
- the 2D image G11 and the image G12 may be rotated by 90 degrees.
- a part of the 2D image G11 and the image G12 may overlap each other.
- the display control unit 183 displays the cursor on the 2D image of the subject (step S105).
- the user can move the cursor on the 2D image by operating the operation unit 4.
- the cursor calculation unit 184 calculates the position on the 2D image based on the position information input to the operation unit 4.
- the display control unit 183 updates the cursor by displaying the cursor at the position calculated by the cursor calculation unit 184.
- FIG. 15 shows an example of an image displayed on the display unit 5 in step S105.
- the same 2D image G11 as the 2D image G11 shown in FIG. 14 and the same image G12 as the image G12 shown in FIG. 14 are displayed on the display unit 5.
- the cursor C11 is displayed on the 2D image G11.
- the cursor C11 is first displayed at a predetermined position on the 2D image G11.
- the predetermined position is the center of the 2D image G11 or the like.
- step S105 the area selection unit 186 selects one of the two or more feature areas detected by the area detection unit 182 as the selection area (step S106).
- Step S106 corresponds to the area selection step.
- the area selection unit 186 selects a feature area corresponding to the area including the cursor position.
- the area selection unit 186 selects a feature area that satisfies a predetermined criterion.
- FIG. 16 shows an example of an image displayed on the display unit 5 in step S106.
- the same 2D image G11 as the 2D image G11 shown in FIG. 14 and the same image G12 as the image G12 shown in FIG. 14 are displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the 2D image G11.
- the user moves the cursor C11 on the 2D image G11.
- the area selection unit 186 calculates the position on the image G12 corresponding to the position of the cursor C11.
- the area selection unit 186 selects a feature area including the calculated position.
- the area selection unit 186 selects the feature area R11 as the selection area.
- the display control unit 183 highlights the feature area R11, which is the selected area, in step S106.
- Step S106 corresponds to the image display step.
- the feature region R11 is surrounded by a thick line.
- the line is included in the graphic image signal generated by the display control unit 183.
- the feature area R12, feature area R13, and feature area R14 are not highlighted.
- a color or pattern that attracts the user's attention may be added to the feature area R11. Characters, symbols, marks, etc. indicating the selected area may be displayed on the feature area R11.
- the method of highlighting the selected area is not limited to the above method. Since the selected area is highlighted, the user can easily see the area on the 2D image G11 to specify the point.
- the display control unit 183 may display only the feature area R11 which is the selection area.
- the feature area R12, the feature area R13, and the feature area R14 are not displayed. Since only the selected area is displayed, the user can easily confirm the area on the 2D image G11 to which the point should be specified.
- the display control unit 183 may display the selected area in the first color in step S106, and may display the feature area different from the selected area in the second color different from the first color in step S106.
- the feature area R11 is displayed in a color such as red
- the feature area R12, the feature area R13, and the feature area R14 are displayed in a color such as gray.
- the feature area R12, the feature area R13, and the feature area R14 are displayed in the same color. Since the selected area and the other feature areas are displayed in different colors, the user can easily confirm the area on the 2D image G11 to which a point should be specified.
- the cursor calculation unit 184 calculates the position of the subject on the 2D image based on the position information input to the operation unit 4 (step S107).
- the display control unit 183 updates the cursor by displaying the cursor at the position calculated by the cursor calculation unit 184 (step S108).
- the point input unit 185 accepts one point on the 2D image of the subject through the operation unit 4 and generates point information indicating the accepted point (step S109).
- Step S109 corresponds to the point input step.
- FIG. 17 shows an example of an image displayed on the display unit 5 in step S109.
- the same 2D image G11 as the 2D image G11 shown in FIG. 14 and the same image G12 as the image G12 shown in FIG. 14 are displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the 2D image G11.
- the user moves the cursor C11 to a desired position on the 2D image G11 and executes a predetermined operation.
- the point input unit 185 accepts a point corresponding to the position.
- the point input unit 185 receives the point P11.
- a mark indicating the point P11 is displayed on the 2D image G11. It is not essential to display the mark indicating the point accepted by the point input unit 185.
- the user specifies a point on the 2D image G11 corresponding to the position in the feature area R11 with reference to the image G12. Therefore, the user can easily specify a point on the area corresponding to the feature area desired by the user.
- the display control unit 183 may display the points corresponding to the points received by the point input unit 185 on the image G12.
- the point input unit 185 After the point input unit 185 receives the point, the point may be corrected. For example, the user may determine that the point specified by himself / herself is incorrect and input an instruction for correcting the point to the operation unit 4. In this case, the user inputs a new point to the operation unit 4. The point input unit 185 receives the instruction and a new point. The point input unit 185 updates the point for which the correction is instructed with the new point.
- step S109 the control unit 180 determines whether or not the point input unit 185 has received the required number of points (step S110).
- Two measurement points are required for distance measurement between two points.
- Three points, including two reference points and one measurement point, are required for line reference measurement.
- Four or more points, including three or more reference points and one measurement point, are required for surface reference measurement.
- Three or more measurement points are required for area measurement and circumference measurement.
- step S110 determines in step S110 that the point input unit 185 has not received the required number of points. If the control unit 180 determines in step S110 that the point input unit 185 has not received the required number of points, step S107 is executed. After that, step S108 and step S109 are executed again. Therefore, the point input unit 185 accepts two or more points.
- FIG. 18 shows an example of an image displayed on the display unit 5 after step S109 is executed twice or more.
- the same 2D image G11 as the 2D image G11 shown in FIG. 14 and the same image G12 as the image G12 shown in FIG. 14 are displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the 2D image G11.
- FIG. 18 shows an example of line-based measurement, in which the point input unit 185 accepts three points on the 2D image G11. After the point P11 is specified, the user moves the cursor C11 and specifies the point P12 and the point P13 in order.
- the point input unit 185 receives the point P11 in the first step S109. After that, the point input unit 185 receives the point P12 in the second step S109 and the point P13 in the third step S109.
- the control unit 180 determines in step S110 that the point input unit 185 has not received the required number of points. After the point input unit 185 receives the point P13, the control unit 180 determines in step S110 that the point input unit 185 has received the required number of points.
- step S111 the display control unit 183 may display the measurement result on the display unit 5.
- the measurement result is included in the graphic image signal generated by the display control unit 183.
- a 2D image of the subject and an image of the feature area are displayed on the display unit 5, and the 2D image is used for inputting points.
- an image of the feature area is displayed on the display unit 5, and the image is used for inputting points.
- the combination of the image displayed on the display unit 5 and the image used for inputting points is not limited to this example.
- the 2D image of the subject may be displayed on the display unit 5, and points on the 2D image may be input to the operation unit 4.
- a 3D image of the point cloud data may be displayed on the display unit 5, and points on the 3D image may be input to the operation unit 4.
- the image of the feature area and the 2D image of the subject may be displayed on the display unit 5, and the points on the image of the feature area may be input to the operation unit 4.
- the image of the feature area and the 3D image of the point cloud data may be displayed on the display unit 5, and the points on the 3D image may be input to the operation unit 4.
- the image of the feature area and the 3D image of the point cloud data may be displayed on the display unit 5, and the points on the image of the feature area may be input to the operation unit 4.
- a 2D image of the subject on which the image of the feature area is superimposed may be displayed on the display unit 5, and points on the 2D image may be input to the operation unit 4.
- a 3D image of the point cloud data on which the image of the feature region is superimposed may be displayed on the display unit 5, and the points on the 3D image may be input to the operation unit 4.
- the 2D image of the subject and the 3D image of the point cloud data on which the image of the feature area is superimposed may be displayed on the display unit 5, and the points on the 2D image may be input to the operation unit 4.
- the 2D image of the subject and the 3D image of the point cloud data on which the image of the feature region is superimposed may be displayed on the display unit 5, and the points on the 3D image may be input to the operation unit 4.
- the 3D image of the point cloud data and the 2D image of the subject on which the image of the feature area is superimposed may be displayed on the display unit 5, and the points on the 3D image may be input to the operation unit 4.
- the 3D image of the point cloud data and the 2D image of the subject on which the image of the feature region is superimposed may be displayed on the display unit 5, and the points on the 2D image may be input to the operation unit 4.
- the display unit 5 and the operation unit 4 are configured as a touch panel, the user can input points to the operation unit 4 by touching the screen of the display unit 5. Therefore, the display of the cursor is not essential. Therefore, steps S105, S107, and S108 need not be executed.
- the CPU 18 does not need to have the function of the cursor calculation unit 184.
- step S106 does not need to be executed.
- the CPU 18 does not need to have the function of the area selection unit 186.
- the order of processing in the three-dimensional measurement is not limited to the order shown in FIG.
- a 2D image of the subject may be displayed on the display unit 5 before step S101, step S102, or step S103 is executed.
- the 3D image may be displayed on the display unit 5 before step S102 or step S103 is executed.
- the endoscope device 1 displays images of two or more feature regions on the display unit 5.
- the user can easily specify a point in the feature area desired by the user with reference to the image displayed on the display unit 5. Therefore, the endoscope device 1 can support the accurate designation of a point on the subject.
- FIG. 20 shows the functional configuration of the CPU 18a.
- the functions of the CPU 18a are configured by the control unit 180, the generation unit 181, the area detection unit 182, the display control unit 183, the cursor calculation unit 184, the point input unit 185, the area selection unit 186, the measurement unit 187, and the information control unit 188.
- At least one of the blocks shown in FIG. 20 may be configured by a circuit different from the CPU 18a. The description of the same configuration as that shown in FIG. 12 will be omitted.
- Each part shown in FIG. 20 may be composed of at least one of a processor and a logic circuit. Each part shown in FIG. 20 can include one or more processors. Each part shown in FIG. 20 may include one or more logic circuits.
- the area detection unit 182 detects one or more feature areas on the subject based on the point cloud data.
- the region detection unit 182 in the third embodiment detects two or more feature regions, but the region detection unit 182 in the fourth embodiment may detect one feature region.
- the area detection unit 182 allocates all the points in the point cloud data to the feature area.
- the information control unit 188 executes the first control.
- the information control unit 188 controls the point information so that the point information generated by the point input unit 185 indicates a point in one of one or more feature regions.
- the area selection unit 186 selects one of the one or more feature areas detected by the area detection unit 182 as a selection area (area selection step). When the area detection unit 182 detects two or more feature areas, the area selection unit 186 selects one of the two or more feature areas as a selection area. When the area detection unit 182 detects only one feature area, the area selection unit 186 selects the feature area. Only when the point input unit 185 receives a point in the selected area, the information control unit 188 enables the point information indicating the point (information control step). The measuring unit 187 measures the size of the subject based on the 3D coordinates of two or more points including the point indicated by the valid point information.
- the measurement unit 187 uses the 3D coordinates of one or more points indicated by valid point information for measurement. It is not necessary that all the point information of the two or more points used by the measuring unit 187 is valid. Some point information of two or more points used by the measuring unit 187 may not be valid. For example, when surface reference measurement is performed, only the point information of the three reference points that define the reference plane may be valid, and the point information of one measurement point may not be valid. Alternatively, the point information of one measurement point may be valid regardless of the position of the measurement point.
- the area selection unit 186 selects one of the two or more feature areas detected by the area detection unit 182 as the first selection area, and the area selection unit 186 selects one or more feature areas excluding the first selection area. One of them may be selected as the second selection area. Only when the point input unit 185 receives a point in the first selection area or the second selection area, the information control unit 188 may enable the point information indicating the point. For example, when surface reference measurement is executed, the point input unit 185 may accept three reference points in the first selection area, and the point input unit 185 may receive one measurement point in the second selection area. ..
- FIG. 21 shows a procedure for three-dimensional measurement. The description of the same process as that shown in FIG. 13 will be omitted.
- the point input unit 185 accepts one point on the 2D image of the subject through the operation unit 4, and generates point information indicating the accepted point.
- the information control unit 188 validates the point information (step S121). Step S121 corresponds to the point input step.
- the information control unit 188 generates information indicating that the point information is valid, and adds the information to the point information.
- the information control unit 188 may manage a table including point information and information indicating that the point information is valid.
- the area selection unit 186 detects the position on the image of the feature area corresponding to the point received in step S121.
- the area selection unit 186 selects a feature area including the position as a selection area (step S122).
- Step S122 corresponds to the area selection step.
- step S107 is executed.
- the information control unit 188 calculates the position on the image of the feature region corresponding to the point received in step S109.
- the information control unit 188 can calculate the position on the image of the feature region corresponding to the position on the 2D image of the subject.
- the information control unit 188 determines whether or not the calculated position is within the selected area (step S123). Points on the boundary between the selected area and other feature areas are treated as points within the selected area. Points on the boundary between the selected area and other feature areas may be treated as points outside the selected area.
- step S107 is executed. In that case, the point information at that point is not valid.
- the information control unit 188 may discard the point information at that point.
- the display control unit 183 may display information indicating that the received point is not valid on the display unit 5. As a result, the endoscope device 1 can prompt the user to specify an effective point.
- step S124 corresponds to the information control step.
- the method for validating the point information is the same as the method in step S121. After step S124, step S110 is executed.
- step S111 the measurement unit 187 measures the size of the subject based on the 3D coordinates of only the points indicated by the valid point information.
- the points indicated by the valid point information are within the selected area. Since the points in the selected area are used for measurement, the endoscope device 1 can avoid the use of points unintended by the user.
- FIG. 22 shows an example of an image displayed on the display unit 5.
- the same 2D image G11 as the 2D image G11 shown in FIG. 14 and the same image G12 as the image G12 shown in FIG. 14 are displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the 2D image G11.
- FIG. 22 shows a state after the feature region R11 is selected in step S122.
- the user moves the cursor C11 and specifies a point on the 2D image G11.
- the user specifies the point P21
- the point input unit 185 accepts the point P21.
- the point P21 corresponds to a point in the feature region R12.
- the information control unit 188 determines that the point on the image G12 corresponding to the point P21 is not in the feature region R11. Therefore, the point information of the point P21 is not valid, and the measurement unit 187 does not use the 3D coordinates of the point P21 for the measurement.
- the user specifies the point P22, and the point input unit 185 accepts the point P22.
- the point P22 corresponds to a point in the feature region R11.
- the information control unit 188 determines that the point on the image G12 corresponding to the point P22 is in the feature region R11. Therefore, the information control unit 188 validates the point information of the point P22 in step S124.
- the measuring unit 187 uses the 3D coordinates of the point P22 for the measurement.
- FIG. 23 shows another example of the image displayed on the display unit 5.
- the 2D image of the subject is not displayed in step S104.
- the same image G12 as the image G12 shown in FIG. 14 is displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the image G12.
- the area selection unit 186 selects the feature area corresponding to the position in step S122.
- FIG. 23 shows a state after the feature region R11 is selected in step S122.
- the user moves the cursor C11 and specifies a point on the image G12. For example, the user specifies the point P23, and the point input unit 185 accepts the point P23.
- the point P23 is within the feature region R12.
- the information control unit 188 determines that the point P23 is not within the feature region R11. Therefore, the point information of the point P23 is not valid, and the measurement unit 187 does not use the 3D coordinates of the point P23 for the measurement.
- the user specifies the point P24, and the point input unit 185 accepts the point P24.
- the point P24 is in the feature region R11.
- the information control unit 188 determines that the point P24 is in the feature region R11. Therefore, the information control unit 188 validates the point information of the point P24 in step S124.
- the measuring unit 187 uses the 3D coordinates of the point P24 for the measurement.
- the point input unit 185 may accept points in an area (background) that is neither the feature area R11, the feature area R12, the feature area R13, nor the feature area R14. In that case, the information control unit 188 determines in step S123 that the point is not within the feature region R11. Therefore, the point information of the point is not valid, and the measuring unit 187 does not use the 3D coordinates of the point for the measurement.
- the area selection unit 186 sets the feature area including the first point as the selection area in step S122. Select in.
- the measurement unit 187 is based on the 3D coordinates of the first point and two or more points including the second point in step S111. Measure the size of the subject. The second point is different from the first point.
- the point input unit 185 receives three or more points, the three or more points include the first point and the second point described above. Since two or more points in the selected area are used for measurement, the endoscope device 1 can avoid the use of points unintended by the user.
- a 2D image of the subject and an image of the feature area are displayed on the display unit 5, and the 2D image is used for inputting points.
- an image of the feature area is displayed on the display unit 5, and the image is used for inputting points.
- the combination of the image displayed on the display unit 5 and the image used for inputting points is not limited to this example. The combination is the same as in the third embodiment.
- the display of the image of the feature area is not essential.
- the measurement unit 187 uses the point received in step S121 for the measurement. That point may be used only for the selection of feature areas. It is not necessary for the measuring unit 187 to use that point for measurement.
- the display control unit 183 may highlight the selected area in step S122. Alternatively, the display control unit 183 may display only the selected area on the display unit 5 in step S122.
- the cursor display is not essential. Therefore, steps S105, S107, and S108 need not be executed.
- the CPU 18 does not need to have the function of the cursor calculation unit 184.
- the order of processing in the three-dimensional measurement is not limited to the order shown in FIG.
- a 2D image of the subject may be displayed on the display unit 5 before step S101, step S102, or step S103 is executed.
- the 3D image may be displayed on the display unit 5 before step S102 or step S103 is executed.
- the endoscope device 1 executes the first control.
- the point information is controlled so that the point information indicates a point in the selected area.
- the endoscope device 1 uses the 3D coordinates of a point in the selected area for measurement. Therefore, the endoscope device 1 can support the accurate designation of a point on the subject. The user can easily specify a point on the boundary of the selection area.
- the endoscope device 1 of the fifth embodiment has the CPU 18 shown in FIG.
- the position of the mark on the image is limited to one feature area.
- the display control unit 183 and the cursor calculation unit 184 execute the second control.
- the display control unit 183 displays the mark on the image.
- the cursor calculation unit 184 limits the position of the mark within the area corresponding to one of the one or more feature areas.
- the display control unit 183 displays one of the 3D image of the point cloud data and the 2D image of the subject on the display unit 5 (image display step).
- the area selection unit 186 selects one of the one or more feature areas detected by the area detection unit 182 as a selection area (area selection step). When the area detection unit 182 detects two or more feature areas, the area selection unit 186 selects one of the two or more feature areas as a selection area. When the area detection unit 182 detects only one feature area, the area selection unit 186 selects the feature area.
- the display control unit 183 displays the mark on one of the 3D image of the point cloud data and the 2D image of the subject (mark display step).
- the cursor calculation unit 184 calculates the position where the mark is displayed based on the information received through the operation unit 4 (position calculation step). The position where the mark is displayed is limited to the area corresponding to the selected area.
- the point input unit 185 receives a point corresponding to the position of the mark (point input step).
- the display control unit 183 may display the mark on the image of one or more feature areas (mark display step). When the mark is displayed on the image of the feature area, the display control unit 183 does not need to display the 3D image of the point cloud data and the 2D image of the subject on the display unit 5.
- the area selection unit 186 selects one of the two or more feature areas detected by the area detection unit 182 as the first selection area, and the area selection unit 186 selects one or more feature areas excluding the first selection area. One of them may be selected as the second selection area.
- the position where the mark is displayed may be limited to the area corresponding to the first selection area or the second selection area. For example, when surface reference measurement is performed, the position of the mark may be limited to the area corresponding to the first selection area, and the point input unit 185 may accept three reference points in the first selection area. .. After that, the position of the mark is limited to the area corresponding to the second selection area, and the point input unit 185 may accept one measurement point in the second selection area.
- FIG. 24 shows a procedure for three-dimensional measurement. The description of the same processing as that shown in FIGS. 13 and 21 will be omitted.
- the display control unit 183 displays the 2D image of the subject and the image of the feature area on the display unit 5 in step S104.
- the point input unit 185 accepts one point on the 2D image of the subject through the operation unit 4 and generates point information indicating the accepted point (step S131).
- Step S131 corresponds to the point input step.
- step S131 the area selection unit 186 selects one feature area as the selection area in step S122.
- step S107 the cursor calculation unit 184 calculates the position of the subject on the 2D image based on the position information input to the operation unit 4. Step S107 corresponds to the position calculation step.
- the cursor calculation unit 184 calculates the position on the image of the feature region corresponding to the position calculated in step S107.
- Each pixel of the 2D image of the subject is associated with a pixel of the image in the feature area. Therefore, the cursor calculation unit 184 can calculate the position on the image of the feature region corresponding to the position on the 2D image of the subject.
- the cursor calculation unit 184 determines whether or not the calculated position is within the selected area (step S132). Points on the boundary between the selected area and other feature areas are treated as points within the selected area. Points on the boundary between the selected area and other feature areas may be treated as points outside the selected area.
- step S107 is executed.
- the display control unit 183 displays the cursor at that position in step S108.
- Step S108 corresponds to the mark display step. The cursor is displayed within the area of the 2D image corresponding to the selected area. The user can move the cursor only within that area.
- step S109 the point input unit 185 accepts points in the area of the 2D image corresponding to the selected area.
- the measuring unit 187 measures the size of the subject based on the 3D coordinates of only the points in the area of the 2D image corresponding to the selected area. Since the points in the selected area are used for measurement, the endoscope device 1 can avoid the use of points unintended by the user.
- FIG. 25 shows an example of an image displayed on the display unit 5.
- the same 2D image G11 as the 2D image G11 shown in FIG. 14 and the same image G12 as the image G12 shown in FIG. 14 are displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the 2D image G11.
- FIG. 25 shows a state after the feature region R11 is selected in step S122.
- the user moves the cursor C11 and specifies a point on the 2D image G11.
- the cursor calculation unit 184 is characterized in the position on the image G12 corresponding to the position of the cursor C11 in step S132. It is determined that it is not in the area R11. Therefore, step S108 is not executed.
- the user cannot move the cursor C11 to a position on the 2D image G11 corresponding to the position in the feature area R12.
- the user can move the cursor C11 to a position on the 2D image G11 corresponding to the position in the feature area R11.
- the user specifies the point P31, and the point input unit 185 accepts the point P31.
- the point P31 corresponds to a point in the feature region R11.
- the measuring unit 187 uses the 3D coordinates of the point P31 for the measurement.
- FIG. 26 shows another example of the image displayed on the display unit 5.
- the 2D image of the subject is not displayed in step S104.
- the same image G12 as the image G12 shown in FIG. 14 is displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the image G12.
- the area selection unit 186 selects the feature area corresponding to the position in step S122.
- FIG. 26 shows a state after the feature region R11 is selected in step S122.
- step S108 is not executed.
- the user cannot move the cursor C11 to a position in the feature area R12.
- the user can move the cursor C11 to a position in the feature area R11.
- the user specifies the point P32, and the point input unit 185 accepts the point P32.
- the point P32 is in the feature region R11.
- the measuring unit 187 uses the 3D coordinates of the point P32 for the measurement.
- the area selection unit 186 sets the feature area including the first point as the selection area in step S122. Select in.
- the measurement unit 187 is based on the 3D coordinates of the first point and two or more points including the second point in step S111. Measure the size of the subject. The second point is different from the first point.
- the point input unit 185 receives three or more points, the three or more points include the first point and the second point described above. Since two or more points in the selected area are used for measurement, the endoscope device 1 can avoid the use of points unintended by the user.
- a 2D image of the subject and an image of the feature area are displayed on the display unit 5, and the 2D image is used for inputting points.
- an image of the feature area is displayed on the display unit 5, and the image is used for inputting points.
- the combination of the image displayed on the display unit 5 and the image used for inputting points is not limited to this example. The combination is the same as in the third embodiment.
- the display of the image of the feature area is not essential.
- the measurement unit 187 uses the point received in step S131 for the measurement. That point may be used only for the selection of feature areas. It is not necessary for the measuring unit 187 to use that point for measurement.
- the display control unit 183 may highlight the selected area in step S122. Alternatively, the display control unit 183 may display only the selected area on the display unit 5 in step S122.
- the order of processing in the three-dimensional measurement is not limited to the order shown in FIG. 24.
- a 2D image of the subject may be displayed on the display unit 5 before step S101, step S102, or step S103 is executed.
- the 3D image may be displayed on the display unit 5 before step S102 or step S103 is executed.
- the endoscope device 1 executes the second control.
- the mark is displayed on the image and the position of the mark is limited to the area corresponding to the selected area.
- the endoscope device 1 uses the 3D coordinates of a point in the selected area for measurement. Therefore, the endoscope device 1 can support the accurate designation of a point on the subject. The user can easily specify a point on the boundary of the selection area.
- the endoscope device 1 of the sixth embodiment has the CPU 18a shown in FIG.
- the sixth embodiment when a point outside one feature area is accepted, that point is changed to a point inside the feature area.
- the information control unit 188 executes the first control.
- the information control unit 188 controls the point information so that the point information generated by the point input unit 185 indicates a point in one of one or more feature regions.
- the area selection unit 186 selects one of the one or more feature areas detected by the area detection unit 182 as a selection area (area selection step).
- area selection unit 186 selects one of the two or more feature areas as a selection area.
- the area detection unit 182 detects only one feature area
- the area selection unit 186 selects the feature area.
- the point input unit 185 receives a point outside the selected area
- the information control unit 188 invalidates the point information indicating the point. Further, the information control unit 188 generates new point information indicating a point in the selected area (information control step).
- the measurement unit 187 measures the size of the subject based on the 3D coordinates of two or more points indicated by the point information excluding the invalid point information (measurement step).
- the measurement unit 187 does not use the 3D coordinates of one or more points indicated by invalid point information for measurement.
- the measuring unit 187 uses the 3D coordinates of one or more points indicated by the non-invalid point information for the measurement.
- Some point information of two or more points used by the measuring unit 187 does not have to be the target of the above processing.
- the point information of the three reference points that define the reference plane may be the target of the above processing, and the point information of one measurement point is the target of the above processing. It does not have to be.
- the area selection unit 186 selects one of the two or more feature areas detected by the area detection unit 182 as the first selection area, and the area selection unit 186 selects one or more feature areas excluding the first selection area. One of them may be selected as the second selection area. Only when the point input unit 185 receives a point in an area other than the first selection area and the second selection area, the information control unit 188 may invalidate the point information indicating the point. For example, when surface reference measurement is executed, the point input unit 185 may accept three reference points in the first selection area, and the point input unit 185 may receive one measurement point in the second selection area. ..
- FIG. 27 shows a procedure for three-dimensional measurement. The description of the same processing as that shown in FIGS. 13, 21, and 24 will be omitted.
- the display control unit 183 displays the 2D image of the subject and the image of the feature area on the display unit 5 in step S104.
- the point input unit 185 receives a point on the 2D image of the subject.
- the area selection unit 186 selects one feature area as the selection area in step S122.
- the point input unit 185 receives a point on the 2D image of the subject in step S109.
- the information control unit 188 calculates the position of the feature region corresponding to that point on the image.
- the information control unit 188 determines whether or not the position is within the selected area.
- Step S141 corresponds to the information control step.
- the information control unit 188 generates information indicating that the point information is invalid, and adds the information to the point information.
- the information control unit 188 may manage a table including point information and information indicating that the point information is invalid. Invalid point information indicates prohibition of use of the point indicated by the point information in the measurement.
- the information control unit 188 may invalidate the point information by discarding the point information.
- Step S141 the information control unit 188 generates new point information indicating a point in the selected area (step S142).
- Step S142 corresponds to the information control step.
- the information control unit 188 calculates the position in the selection area based on the position calculated in step S123. For example, the information control unit 188 calculates the position closest to the position calculated in step S123. The information control unit 188 generates point information indicating the position. The information control unit 188 describes the distance between the position calculated in step S123 and the position in the selected area, the brightness in the position in the selected area, the contrast in the position in the selected area, and the correlation obtained in the matching process. The position of a new point may be calculated based on a value or the like. After step S142, step S110 is executed.
- step S111 the measuring unit 187 measures the size of the subject based on the 3D coordinates of only the points indicated by the non-invalid point information.
- the points indicated by the non-invalid point information are within the selected area. Since the points in the selected area are used for measurement, the endoscope device 1 can avoid the use of points unintended by the user.
- FIG. 28 shows an example of an image displayed on the display unit 5.
- the same 2D image G11 as the 2D image G11 shown in FIG. 14 and the same image G12 as the image G12 shown in FIG. 14 are displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the 2D image G11.
- FIG. 28 shows the state after the feature region R11 is selected in step S122.
- the user moves the cursor C11 and specifies a point on the 2D image G11.
- the user specifies the point P41
- the point input unit 185 accepts the point P41.
- the point P41 corresponds to a point in the feature region R12.
- the information control unit 188 determines that the point on the image G12 corresponding to the point P41 is not in the feature region R11. Therefore, the information control unit 188 invalidates the point information of the point P41 in step S141. Further, the information control unit 188 generates new point information indicating the point P42 in the region corresponding to the feature region R11 in step S142. At this time, the mark of the point P42 may not be displayed and the mark of the point P42 may be displayed. In the example shown in FIG.
- the point P42 is the closest to the point P41 among the points in the region corresponding to the feature region R11.
- the measurement unit 187 does not use the 3D coordinates of the point P41 for the measurement, but uses the 3D coordinates of the point P42 for the measurement.
- FIG. 29 shows another example of the image displayed on the display unit 5.
- the 2D image of the subject is not displayed in step S104.
- the same image G12 as the image G12 shown in FIG. 14 is displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the image G12.
- the area selection unit 186 selects the feature area corresponding to the position in step S122.
- FIG. 29 shows a state after the feature region R11 is selected in step S122.
- the user moves the cursor C11 and specifies a point on the image G12. For example, the user specifies the point P43, and the point input unit 185 accepts the point P43.
- the point P43 is in the feature region R12.
- the information control unit 188 determines that the point P43 is not within the feature region R11. Therefore, the information control unit 188 invalidates the point information of the point P43 in step S141. Further, the information control unit 188 generates new point information indicating the point P44 in the feature region R11 in step S142. At this time, the mark of the point P43 may not be displayed and the mark of the point P44 may be displayed. In the example shown in FIG. 29, the point P44 is the closest to the point P43 among the points in the feature region R11.
- the measurement unit 187 does not use the 3D coordinates of the point P43 for the measurement, but uses the 3D coordinates of the point P44 for the measurement.
- the point input unit 185 may accept points in an area (background) that is neither the feature area R11, the feature area R12, the feature area R13, nor the feature area R14. In that case, the information control unit 188 determines in step S123 that the point is not within the feature region R11. Therefore, the point information of the point is invalid, and the measuring unit 187 does not use the 3D coordinates of the point for the measurement.
- the area selection unit 186 sets the feature area including the first point as the selection area in step S122. Select in.
- the measurement unit 187 is based on the 3D coordinates of the first point and two or more points including the second point in step S111. Measure the size of the subject. The second point is different from the first point.
- the point input unit 185 receives three or more points, the three or more points include the first point and the second point described above. Since two or more points in the selected area are used for measurement, the endoscope device 1 can avoid the use of points unintended by the user.
- a 2D image of the subject and an image of the feature area are displayed on the display unit 5, and the 2D image is used for inputting points.
- an image of the feature area is displayed on the display unit 5, and the image is used for inputting points.
- the combination of the image displayed on the display unit 5 and the image used for inputting points is not limited to this example. The combination is the same as in the third embodiment.
- the display of the image of the feature area is not essential.
- the measurement unit 187 uses the point received in step S131 for the measurement. That point may be used only for the selection of feature areas. It is not necessary for the measuring unit 187 to use that point for measurement.
- the display control unit 183 may highlight the selected area in step S122. Alternatively, the display control unit 183 may display only the selected area on the display unit 5 in step S122.
- the cursor display is not essential. Therefore, steps S105, S107, and S108 need not be executed.
- the CPU 18 does not need to have the function of the cursor calculation unit 184.
- the order of processing in the three-dimensional measurement is not limited to the order shown in FIG. 27.
- a 2D image of the subject may be displayed on the display unit 5 before step S101, step S102, or step S103 is executed.
- the 3D image may be displayed on the display unit 5 before step S102 or step S103 is executed.
- the endoscope device 1 executes the first control.
- the point information is controlled so that the point information indicates a point in the selected area.
- the endoscope device 1 uses the 3D coordinates of a point in the selected area for measurement. Therefore, the endoscope device 1 can support the accurate designation of a point on the subject. The user can easily specify a point on the boundary of the selection area.
- the endoscope device 1 of the seventh embodiment has the CPU 18a shown in FIG.
- the position of the mark is changed to a position within the feature area.
- the display control unit 183 and the cursor calculation unit 184 execute the second control.
- the display control unit 183 displays the mark on the image.
- the cursor calculation unit 184 limits the position of the mark within the area corresponding to one of the one or more feature areas.
- the display control unit 183 displays one of the 3D image of the point cloud data and the 2D image of the subject on the display unit 5 (image display step).
- the area selection unit 186 selects one of the one or more feature areas detected by the area detection unit 182 as a selection area (area selection step). When the area detection unit 182 detects two or more feature areas, the area selection unit 186 selects one of the two or more feature areas as a selection area. When the area detection unit 182 detects only one feature area, the area selection unit 186 selects the feature area.
- the display control unit 183 displays the mark on one of the 3D image of the point cloud data and the 2D image of the subject (mark display step).
- the cursor calculation unit 184 calculates the position where the mark is displayed based on the information received through the operation unit 4 (position calculation step).
- the size of the subject is measured based on the 3D coordinates (measurement step).
- the display control unit 183 may display the mark on the image of one or more feature areas (mark display step).
- the measurement unit 187 is based on the 3D coordinates of two or more points including the point indicated by the point information. You may measure the size of the subject (measurement step).
- the mark may be displayed inside the selected area.
- the display control unit 183 does not need to display the 3D image of the point cloud data and the 2D image of the subject on the display unit 5.
- the area selection unit 186 selects one of the two or more feature areas detected by the area detection unit 182 as the first selection area, and the area selection unit 186 selects one or more feature areas excluding the first selection area. One of them may be selected as the second selection area.
- the position where the mark is displayed may be limited to the area corresponding to the first selection area or the second selection area. For example, when surface reference measurement is performed, the position of the mark may be limited to the area corresponding to the first selection area, and the point input unit 185 may accept three reference points in the first selection area. .. After that, the position of the mark is limited to the area corresponding to the second selection area, and the point input unit 185 may accept one measurement point in the second selection area.
- FIG. 30 shows a procedure for three-dimensional measurement. The description of the same processing as that shown in FIGS. 13, 21, 24, and 27 will be omitted.
- the display control unit 183 displays the 2D image of the subject and the image of the feature area on the display unit 5 in step S104.
- the point input unit 185 receives a point on the 2D image of the subject.
- the area selection unit 186 selects one feature area as the selection area in step S122.
- the point input unit 185 receives a point on the 2D image of the subject in step S109.
- the information control unit 188 calculates the position of the feature region corresponding to that point on the image.
- the information control unit 188 determines whether or not the position is within the selected area.
- step S123 If the information control unit 188 determines in step S123 that the position is not within the selected area, the information control unit 188 invalidates the point information at that point in step S141.
- Step S141 the cursor calculation unit 184 calculates a new position of the cursor on the 2D image of the subject (step S151).
- Step S151 corresponds to the position calculation step.
- the cursor calculation unit 184 calculates the position in the selection area based on the position calculated in step S123. For example, the cursor calculation unit 184 calculates the position closest to the position calculated in step S123. The cursor calculation unit 184 describes the distance between the position calculated in step S123 and the position in the selected area, the brightness in the position in the selected area, the contrast in the position in the selected area, and the correlation obtained in the matching process. The new position of the cursor may be calculated based on the value or the like. After step S151, step S108 is executed.
- the display control unit 183 updates the cursor by displaying the cursor at the position calculated by the cursor calculation unit 184 in step S108.
- step S108 is executed, the cursor moves from a position outside the area of the 2D image corresponding to the selected area to a position within the area of the 2D image corresponding to the selected area.
- step S111 the measuring unit 187 measures the size of the subject based on the 3D coordinates of only the points indicated by the non-invalid point information.
- the points indicated by the non-invalid point information are within the selected area. Since the points in the selected area are used for measurement, the endoscope device 1 can avoid the use of points unintended by the user.
- FIG. 31 shows an example of an image displayed on the display unit 5.
- the same 2D image G11 as the 2D image G11 shown in FIG. 14 and the same image G12 as the image G12 shown in FIG. 14 are displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the 2D image G11.
- FIG. 31 shows a state after the feature region R11 is selected in step S122.
- the user moves the cursor C11 and specifies a point on the 2D image G11.
- the user specifies the point P51
- the point input unit 185 accepts the point P51.
- the point P51 corresponds to a point in the feature region R12.
- the information control unit 188 determines that the point on the image G12 corresponding to the point P51 is not in the feature region R11. Therefore, the information control unit 188 invalidates the point information of the point P51 in step S141.
- the cursor calculation unit 184 calculates a new position of the cursor C11 in step S151. The position is in the region corresponding to the feature region R11.
- the display control unit 183 displays the cursor C11 at the position in step S151.
- the measuring unit 187 does not use the 3D coordinates of the point P51 for the measurement.
- FIG. 32 shows another example of the image displayed on the display unit 5.
- the 2D image of the subject is not displayed in step S104.
- the same image G12 as the image G12 shown in FIG. 14 is displayed on the display unit 5.
- the same cursor C11 as the cursor C11 shown in FIG. 15 is displayed on the image G12.
- the area selection unit 186 selects the feature area corresponding to the position in step S122.
- FIG. 32 shows a state after the feature region R11 is selected in step S122.
- the user moves the cursor C11 and specifies a point on the image G12. For example, the user specifies the point P52, and the point input unit 185 accepts the point P52.
- the point P52 is within the feature region R12.
- the information control unit 188 determines in step S123 that the point P52 is not within the feature region R11. Therefore, the information control unit 188 invalidates the point information of the point P52 in step S141.
- the cursor calculation unit 184 calculates a new position of the cursor C11 in step S151. Its position is within the feature region R11.
- the display control unit 183 displays the cursor C11 at the position in step S108.
- the measuring unit 187 does not use the 3D coordinates of the point P52 for the measurement.
- the point input unit 185 may accept points in an area (background) that is neither the feature area R11, the feature area R12, the feature area R13, nor the feature area R14. In that case, the information control unit 188 determines in step S123 that the point is not within the feature region R11. Therefore, the point information of the point is invalid, and the measuring unit 187 does not use the 3D coordinates of the point for the measurement.
- the area selection unit 186 sets the feature area including the first point as the selection area in step S122. Select in.
- the measurement unit 187 is based on the 3D coordinates of the first point and two or more points including the second point in step S111. Measure the size of the subject. The second point is different from the first point.
- the point input unit 185 receives three or more points, the three or more points include the first point and the second point described above. Since two or more points in the selected area are used for measurement, the endoscope device 1 can avoid the use of points unintended by the user.
- a 2D image of the subject and an image of the feature area are displayed on the display unit 5, and the 2D image is used for inputting points.
- an image of the feature area is displayed on the display unit 5, and the image is used for inputting points.
- the combination of the image displayed on the display unit 5 and the image used for inputting points is not limited to this example. The combination is the same as in the third embodiment.
- the display of the image of the feature area is not essential.
- the measurement unit 187 uses the point received in step S131 for the measurement. That point may be used only for the selection of feature areas. It is not necessary for the measuring unit 187 to use that point for measurement.
- the display control unit 183 may highlight the selected area in step S122. Alternatively, the display control unit 183 may display only the selected area on the display unit 5 in step S122.
- the order of processing in the three-dimensional measurement is not limited to the order shown in FIG.
- a 2D image of the subject may be displayed on the display unit 5 before step S101, step S102, or step S103 is executed.
- the 3D image may be displayed on the display unit 5 before step S102 or step S103 is executed.
- the endoscope device 1 executes the second control.
- the mark is displayed on the image and the position of the mark is limited to the area corresponding to the selected area.
- the endoscope device 1 uses the 3D coordinates of a point in the selected area for measurement. Therefore, the endoscope device 1 can support the accurate designation of a point on the subject. The user can easily specify a point on the boundary of the selection area.
- the external device interface 16 of the endoscope device 1 executes communication with the PC 41. Specifically, the external device interface 16 transmits a 2D image of one or more subjects to the PC 41. The PC 41 receives the 2D image from the endoscope device 1.
- the external device interface 16 is connected to the PC 41 by a cable or wirelessly. Communication between the external device interface 16 and the PC 41 may be executed via a LAN (Local Area Network) or the Internet.
- LAN Local Area Network
- the Internet the Internet
- FIG. 33 shows the configuration of the PC 41.
- the PC 41 shown in FIG. 33 has a communication unit 43, a CPU 44, and a display unit 45.
- the communication unit 43 executes communication with the external device interface 16 of the endoscope device 1. Specifically, the communication unit 43 receives a 2D image of one or more subjects from the external device interface 16.
- the CPU 44 executes a process for three-dimensional measurement.
- the display unit 45 is a monitor (display) such as an LCD.
- the display unit 45 has a display screen and displays an image, an operation menu, and the like on the display screen.
- FIG. 34 shows the functional configuration of the CPU 44.
- the functions of the CPU 44 are configured by the control unit 440, the generation unit 441, the area detection unit 442, the display control unit 443, the cursor calculation unit 444, the point input unit 445, the area selection unit 446, the measurement unit 447, and the communication control unit 448. There is. At least one of the blocks shown in FIG. 34 may be configured by a circuit different from that of the CPU 44.
- Each part shown in FIG. 34 may be composed of at least one of a processor and a logic circuit. Each part shown in FIG. 34 can include one or more processors. Each part shown in FIG. 34 may include one or more logic circuits.
- the control unit 440 controls the processing executed by each unit.
- the generation unit 441 has the same function as the function of the generation unit 181 shown in FIG.
- the area detection unit 442 has the same function as the function of the area detection unit 182 shown in FIG.
- the display control unit 443 has the same function as the function of the display control unit 183 shown in FIG.
- the cursor calculation unit 444 has the same function as the function of the cursor calculation unit 184 shown in FIG.
- the point input unit 445 has the same function as the function of the point input unit 185 shown in FIG.
- the area selection unit 446 has the same function as the function of the area selection unit 186 shown in FIG.
- the measuring unit 447 has the same function as the function of the measuring unit 187 shown in FIG.
- the communication control unit 448 executes communication with the external device interface 16 of the endoscope device 1 by controlling the communication unit 43.
- the CPU 44 executes the three-dimensional measurement shown in FIG. 13 or FIG. 24.
- the CPU 44 may have the function of the information control unit 188 shown in FIG.
- the CPU 44 may execute the three-dimensional measurement shown in FIG. 21, FIG. 27, or FIG. 30.
- the CPU 44 may read a program including an instruction that defines the operation of the CPU 44 and execute the read program. That is, the function of the CPU 44 may be realized by software.
- the endoscope device 1 may generate point cloud data based on the 2D image of the subject, and the external device interface 16 of the endoscope device 1 may transmit the 2D image and the point cloud data to the PC 41.
- the communication unit 43 of the PC 41 may receive the 2D image and the point cloud data thereof from the external device interface 16. Therefore, it is not necessary for the CPU 44 to have the generation unit 181.
- the PC 41 can support the accurate designation of points on the subject.
- the measuring method, the measuring device, and the recording medium can support the accurate designation of points on the subject.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
計測方法は、生成ステップ、領域検出ステップ、画像表示ステップ、点入力ステップ、および計測ステップを有する。前記生成ステップにおいて被写体上の2つ以上の点の3次元座標を含む3次元画像データが生成される。前記領域検出ステップにおいて、前記3次元画像データに基づいて前記被写体上の2つ以上の特徴領域が検出される。前記画像表示ステップにおいて、前記2つ以上の特徴領域の画像がディスプレイに表示される。前記点入力ステップにおいて、前記被写体上の点が、入力装置を通して受け付けられる。前記計測ステップにおいて、前記被写体上の2つ以上の点の3次元座標に基づいて前記被写体の大きさが計測される。
Description
本発明は、計測方法、計測装置、および記録媒体に関する。
ボイラー、パイプ、および航空機エンジン等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な観察物を観察および検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。このような内視鏡装置を使用した検査において、被写体の欠陥および傷の大きさを定量的に計測したいという要望がある。この要望に応えるために、3次元計測機能が搭載された内視鏡装置が存在する。
例えば、ユーザーによって画像上で指定された点の情報に基づいて被写体の幾何学的な大きさを計測する機能が内視鏡装置に搭載されている。例えば、2点間距離計測では、ユーザーによって指定された2つの計測点間の3次元距離が計測される。線基準計測では、ユーザーによって指定された2つの基準点に基づいて基準線が設定され、かつユーザーによって指定された計測点と基準線との間の3次元距離が計測される。面基準計測では、ユーザーによって指定された3つ以上の基準点に基づいて基準面が設定され、かつユーザーによって指定された計測点と基準面との間の3次元距離が計測される。
ユーザーは、ディスプレイに表示された画像上の点を指定する。3次元計測の精度は、ユーザーによって指定された点の位置に依存する。例えば、2つの物体が重なっており、その2つの物体の間の境界が画像において識別しにくい場合がある。ユーザーが正しい点を指定したと自ら判断した場合であっても、実際には指定された位置は、その点が存在する物体とは異なる物体上にあるかもしれない。誤った点が指定されるため、内視鏡装置は正しい計測結果を得ることができない。
特許文献1は、ユーザーが2次元画像において計測に適した位置にカーソルを移動させるときに使用される技術を開示している。この技術では、画像の特徴量に基づいてカーソルの動きが制御される。第1の例では、画像の特徴量が最大となる位置にカーソルが移動する。第2の例では、画像の特徴量に基づいてカーソルの移動速度が変化する。第3の例では、画像の特徴量に基づいてカーソルの移動方向が変化する。
しかしながら、特許文献1に開示された技術では、被写体の3次元形状の特徴は考慮されていない。そのため、ユーザーが誤った点を指定する可能性がある。
本発明は、被写体上の点の正確な指定を支援することができる計測方法、計測装置、および記録媒体を提供することを目的とする。
本発明の第1の態様によれば、計測方法は、生成ステップ、領域検出ステップ、画像表示ステップ、点入力ステップ、および計測ステップを有する。前記生成ステップにおいて被写体の2次元画像に基づいて前記被写体上の2つ以上の点の3次元座標が算出され、かつ前記2つ以上の点の前記3次元座標を含む3次元画像データが生成される。前記領域検出ステップにおいて、前記3次元画像データに基づいて前記被写体上の2つ以上の特徴領域が検出される。前記被写体の3次元形状は前記2つ以上の特徴領域の各々において共通の特徴を持つ。前記画像表示ステップにおいて、前記2つ以上の特徴領域が互いに視覚的に区別されるように前記2つ以上の特徴領域の画像がディスプレイに表示される。前記画像表示ステップが実行された後、前記点入力ステップにおいて、前記被写体上の点が、入力装置を通して受け付けられ、かつ受け付けられた前記点を示す点情報が生成される。前記計測ステップにおいて、前記点情報が示す前記点を含む前記被写体上の2つ以上の点の3次元座標に基づいて前記被写体の大きさが計測される。
本発明の第2の態様によれば、第1の態様において、前記計測方法は、領域選択ステップおよび情報制御ステップをさらに有してもよい。前記領域選択ステップにおいて、前記2つ以上の特徴領域のうちの1つが選択領域として選択されてもよい。前記選択領域における点が前記点入力ステップにおいて受け付けられた場合のみ、前記情報制御ステップにおいて前記点情報が有効にされてもよい。前記計測ステップにおいて、有効な前記点情報が示す前記点を含む前記2つ以上の点の3次元座標に基づいて前記被写体の前記大きさが計測されてもよい。
本発明の第3の態様によれば、第1の態様において、前記画像表示ステップにおいて、前記3次元画像データの画像および前記2次元画像の一方が前記ディスプレイにさらに表示されてもよい。前記計測方法は、領域選択ステップ、マーク表示ステップ、および位置算出ステップをさらに有してもよい。前記領域選択ステップにおいて、前記2つ以上の特徴領域のうちの1つが選択領域として選択されてもよい。前記マーク表示ステップにおいて、マークが前記3次元画像データの前記画像および前記2次元画像の一方上に表示されてもよい。前記位置算出ステップにおいて、前記マークが表示される位置が、前記入力装置を通して受け付けられた情報に基づいて算出されてもよい。前記マークが表示される前記位置は前記選択領域に対応する領域内に制限されてもよい。前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられてもよい。
本発明の第4の態様によれば、第1の態様において、前記計測方法は、領域選択ステップ、マーク表示ステップ、および位置算出ステップをさらに有してもよい。前記領域選択ステップにおいて、前記2つ以上の特徴領域のうちの1つが選択領域として選択されてもよい。前記マーク表示ステップにおいて、マークが前記2つ以上の特徴領域の前記画像上に表示されてもよい。前記位置算出ステップにおいて、前記マークが表示される位置が、前記入力装置を通して受け付けられた情報に基づいて算出されてもよい。前記マークが表示される前記位置は前記選択領域内に制限されてもよい。前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられてもよい。
本発明の第5の態様によれば、第1の態様において、前記計測方法は、領域選択ステップおよび情報制御ステップをさらに有してもよい。前記領域選択ステップにおいて、前記2つ以上の特徴領域のうちの1つが選択領域として選択されてもよい。前記選択領域外の点が前記点入力ステップにおいて受け付けられた場合、前記情報制御ステップにおいて、受け付けられた前記点情報が無効にされ、かつ前記選択領域内の点を示す新たな前記点情報が生成されてもよい。前記計測ステップにおいて、無効な前記点情報を除く前記点情報が示す前記2つ以上の点の3次元座標に基づいて前記被写体の前記大きさが計測されてもよい。
本発明の第6の態様によれば、第1の態様において、前記画像表示ステップにおいて、前記3次元画像データの画像および前記2次元画像の一方が前記ディスプレイにさらに表示されてもよい。前記計測方法は、領域選択ステップ、マーク表示ステップ、および位置算出ステップをさらに有してもよい。前記領域選択ステップにおいて、前記2つ以上の特徴領域のうちの1つが選択領域として選択されてもよい。前記マーク表示ステップにおいて、マークが前記3次元画像データの前記画像および前記2次元画像の一方上に表示されてもよい。前記位置算出ステップにおいて、前記マークが表示される位置が、前記入力装置を通して受け付けられた情報に基づいて算出されてもよい。前記選択領域に対応する領域内に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記点情報が示す前記点を含む前記2つ以上の点の前記3次元座標に基づいて前記被写体の前記大きさが計測されてもよい。前記選択領域に対応する前記領域外に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記マークが表示される位置は、前記選択領域に対応する前記領域内の位置に変更されてもよい。
本発明の第7の態様によれば、前記計測方法は、領域選択ステップ、マーク表示ステップ、および位置算出ステップをさらに有してもよい。前記領域選択ステップにおいて、前記2つ以上の特徴領域のうちの1つが選択領域として選択されてもよい。前記マーク表示ステップにおいて、マークが前記2つ以上の特徴領域の前記画像上に表示されてもよい。前記位置算出ステップにおいて、前記マークが表示される位置が、前記入力装置を通して受け付けられた情報に基づいて算出されてもよい。前記選択領域内に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記点情報が示す前記点を含む前記2つ以上の点の前記3次元座標に基づいて前記被写体の前記大きさが計測されてもよい。前記選択領域外に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記マークが表示される位置は、前記選択領域内の位置に変更されてもよい。
本発明の第8の態様によれば、第2の態様において、前記被写体上の第1の点が前記点入力ステップにおいて受け付けられた場合、前記第1の点を含む前記特徴領域が前記領域選択ステップにおいて選択されてもよい。前記選択領域における第2の点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記第1の点および前記第2の点を含む前記2つ以上の点の前記3次元座標に基づいて前記被写体の前記大きさが計測されてもよい。前記第2の点は前記第1の点と異なってもよい。
本発明の第9の態様によれば、第2の態様において、前記2つ以上の特徴領域の前記画像上の位置が前記入力装置を通して受け付けられた場合、受け付けられた前記位置に対応する前記特徴領域が前記領域選択ステップにおいて選択されてもよい。
本発明の第10の態様によれば、第1の態様において、前記計測方法は、前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップをさらに有してもよい。前記画像表示ステップにおいて前記選択領域が第1の色で表示され、かつ前記画像表示ステップにおいて前記選択領域と異なる前記特徴領域が前記第1の色と異なる第2の色で表示されてもよい。
本発明の第11の態様によれば、第1の態様において、前記計測方法は、前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップをさらに有してもよい。前記画像表示ステップにおいて前記選択領域のみが表示されてもよい。
本発明の第12の態様によれば、第1の態様において、前記計測方法は、前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップをさらに有してもよい。前記画像表示ステップにおいて前記選択領域が強調表示されてもよい。
本発明の第13の態様によれば、計測方法は、生成ステップ、領域検出ステップ、画像表示ステップ、点入力ステップ、制御ステップ、および計測ステップを有する。前記生成ステップにおいて、被写体の2次元画像に基づいて前記被写体上の2つ以上の点の3次元座標が算出され、かつ前記2つ以上の点の前記3次元座標を含む3次元画像データが生成される。前記領域検出ステップにおいて、前記3次元画像データに基づいて前記被写体上の1つ以上の特徴領域が検出される。前記被写体の3次元形状は前記1つ以上の特徴領域の各々において共通の特徴を持つ。前記画像表示ステップにおいて、前記3次元画像データの画像、前記2次元画像、および前記1つ以上の特徴領域の画像のうちの1つがディスプレイに表示される。前記画像表示ステップが実行された後、前記点入力ステップにおいて、前記被写体上の点が、入力装置を通して受け付けられ、かつ受け付けられた前記点を示す点情報が生成される。前記制御ステップにおいて、第1の制御および第2の制御の一方が実行される。前記第1の制御において、前記点情報が前記1つ以上の特徴領域のうちの1つ内の点を示すように前記点情報が制御される。前記第2の制御において、前記3次元画像データの前記画像、前記2次元画像、および前記1つ以上の特徴領域の画像のうちの1つ上にマークが表示される。前記マークの位置は前記1つ以上の特徴領域のうちの1つに対応する領域内に制限される。前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられる。前記計測ステップにおいて、前記点情報が示す前記点を含む前記被写体上の2つ以上の点の3次元座標に基づいて前記被写体の大きさが計測される。
本発明の第14の態様によれば、計測装置は、生成部、領域検出部、表示制御部、点入力部、および計測部を有する。前記生成部は、被写体の2次元画像に基づいて前記被写体上の2つ以上の点の3次元座標を算出し、かつ前記2つ以上の点の前記3次元座標を含む3次元画像データを生成する。前記領域検出部は、前記3次元画像データに基づいて前記被写体上の2つ以上の特徴領域を検出する。前記被写体の3次元形状は前記2つ以上の特徴領域の各々において共通の特徴を持つ。前記表示制御部は、前記2つ以上の特徴領域が互いに視覚的に区別されるように前記2つ以上の特徴領域の画像をディスプレイに表示する。前記2つ以上の特徴領域の前記画像が表示された後、前記点入力部は、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する。前記計測部は、前記点情報が示す前記点を含む前記被写体上の2つ以上の点の3次元座標に基づいて前記被写体の大きさを計測する。
本発明の第15の態様によれば、生成ステップ、領域検出ステップ、画像表示ステップ、点入力ステップ、および計測ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。前記生成ステップにおいて被写体の2次元画像に基づいて前記被写体上の2つ以上の点の3次元座標が算出され、かつ前記2つ以上の点の前記3次元座標を含む3次元画像データが生成される。前記領域検出ステップにおいて、前記3次元画像データに基づいて前記被写体上の2つ以上の特徴領域が検出される。前記被写体の3次元形状は前記2つ以上の特徴領域の各々において共通の特徴を持つ。前記画像表示ステップにおいて、前記2つ以上の特徴領域が互いに視覚的に区別されるように前記2つ以上の特徴領域の画像がディスプレイに表示される。前記画像表示ステップが実行された後、前記点入力ステップにおいて、前記被写体上の点が、入力装置を通して受け付けられ、かつ受け付けられた前記点を示す点情報が生成される。前記計測ステップにおいて、前記点情報が示す前記点を含む前記被写体上の2つ以上の点の3次元座標に基づいて前記被写体の大きさが計測される。
上記の各態様によれば、計測方法、計測装置、および記録媒体は、被写体上の点の正確な指定を支援することができる。
図面を参照し、本発明の実施形態を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態の計測装置7の構成を示す。図1に示す計測装置7は、生成部70、領域検出部71、表示制御部72、点入力部73、および計測部74を有する。
図1は、本発明の第1の実施形態の計測装置7の構成を示す。図1に示す計測装置7は、生成部70、領域検出部71、表示制御部72、点入力部73、および計測部74を有する。
生成部70は、被写体の2次元画像に基づいて被写体上の2つ以上の点の3次元座標を算出し、かつその2つ以上の点の3次元座標を含む点群データ(3次元画像データ)を生成する(生成ステップ)。領域検出部71は、点群データに基づいて被写体上の2つ以上の特徴領域を検出する(領域検出ステップ)。被写体の3次元形状は2つ以上の特徴領域の各々において共通の特徴を持つ。表示制御部72は、2つ以上の特徴領域が互いに視覚的に区別されるように2つ以上の特徴領域の画像をディスプレイに表示する(画像表示ステップ)。2つ以上の特徴領域の画像が表示された後、点入力部73は、被写体上の点を、入力装置を通して受け付け、かつ受け付けられた点を示す点情報を生成する(点入力ステップ)。計測部74は、点情報が示す点を含む被写体上の2つ以上の点の3次元座標に基づいて被写体の大きさを計測する(計測ステップ)。
図1に示す各部は、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。例えば、プロセッサは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。例えば、論理回路は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field-Programmable Gate Array)の少なくとも1つである。図1に示す各部は、1つまたは複数のプロセッサを含むことができる。図1に示す各部は、1つまたは複数の論理回路を含むことができる。
計測装置7のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、生成部70、領域検出部71、表示制御部72、点入力部73、および計測部74の動作を規定する命令を含む。つまり、生成部70、領域検出部71、表示制御部72、点入力部73、および計測部74の機能はソフトウェアにより実現されてもよい。
上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により計測装置7に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク(通信網)および電話回線等の通信回線(通信線)を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル(差分プログラム)であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。
図2を使用することにより、第1の実施形態における3次元計測について説明する。図2は、3次元計測の手順を示す。
生成部70は、被写体の2次元画像(2D画像)に基づいて被写体上の2つ以上の点の3次元座標(3D座標)を算出し、かつその2つ以上の点の3D座標を含む点群データを生成する(ステップS1)。ステップS1は、生成ステップに対応する。
被写体の2D画像がステレオ画像である場合、1枚の2D画像は、第1の視点から見た被写体の画像と、第1の視点と異なる第2の視点から見た被写体の画像とを含む。生成部70は、その2D画像の各画素に対応する3D座標を算出する。生成部70は、被写体上の2つ以上の点の3D座標を含む点群データを生成する。点群データにおいて2つ以上の点の各々の3D座標は2D画像上の点と関連付けられている。具体的には、点群データにおける3D座標は、2D画像上の画素と関連付けられている。例えば、点群データは、3D座標と、2D画像上の画素の位置情報とを含む。
生成部70は、2枚以上の画像を使用することにより、かつSfM(Structure from Motion)を適用することにより、被写体上の2つ以上の点の3D座標を算出してもよい。生成部70は、空間的な位相が互いに異なる2つ以上の縞パターンが投影された被写体の2枚以上の2D画像を使用することにより、かつ位相シフト法を適用することにより、被写体上の2つ以上の点の3D座標を算出してもよい。生成部70は、明部および暗部がランダムに配置されたパターン光が照射された被写体の1枚の2D画像を使用することにより、被写体上の2つ以上の点の3D座標を算出してもよい。点群データを生成する方法は上記の方法に限らない。
生成部70は、点群データをディスプレイに表示するための3次元画像(3D画像)を生成してもよい。3D画像は、点群データが示す3次元形状(3D形状)の画像である。3D画像は、各画素のカラーデータを含む。3D画像の各画素は、3D座標と関連付けられている。生成部70は、互いに異なる2つ以上の視点の各々に対応する3D画像を生成してもよい。生成部70は、特徴領域の画像を生成してもよい。特徴領域の画像は、各画素のカラーデータを含む。特徴領域の画像の各画素は、3D座標と関連付けられている。特徴領域の画像の各画素は、2D画像の画素または3D画像の画素と関連付けられている。
ステップS1の後、領域検出部71は、点群データに基づいて被写体上の2つ以上の特徴領域を検出する(ステップS2)。ステップS2は、領域検出ステップに対応する。
領域検出部71は、点群データを使用することにより、被写体の3D形状の特徴を抽出する。領域検出部71は、抽出された特徴に従って、点群データにおける3D座標に対応する各点を2つ以上の特徴領域のうちの1つに割り当てる。被写体の3D形状は1つの特徴領域内において共通の特徴を持つ。被写体の3D形状の特徴は、異なる2つ以上の特徴領域間で互いに異なる。1つの点のみが1つの特徴領域に割り当てられてもよい。2つ以上の点が1つの特徴領域に割り当てられた場合、その2つ以上の点は、被写体の3D形状の特徴を示す共通の条件を満たす。第1の特徴領域内の点が満たすその条件と、第1の特徴領域と異なる第2の特徴領域内の点が満たすその条件とは、互いに異なる。
点群データに対応する各点を分類する簡易的な方法としてセグメンテーションがある。例えば、領域検出部71は、Euclidean Cluster Extractionをセグメンテーションに使用することができる。これは、オープンソースであるPCL(Point Cloud Library)に搭載されている機能である。
領域検出部71は、この機能を使用することにより、各点から所定距離以内にある点を近傍点と判断する。1つの点およびその近傍点は、同じ物体上にある。例えば、被写体が、互いに離れた第1の物体および第2の物体を有する場合、点群データに対応する各点は、第1の物体上の点および第2の物体上の点のいずれか1つに分類される。第1の物体および第2の物体の各々は、特徴領域(セグメント)である。この場合、1つの特徴領域内の2つ以上の点は、同じ物体上にあるという特徴を持つ。
領域検出部71は、WatershedアルゴリズムまたはDeep Learning等をセグメンテーションに使用してもよい。領域検出部71は、点群データに基づいて被写体の表面に垂直な法線を算出し、かつ法線方向の変化に基づいて被写体のエッジまたは段差を特徴領域として検出してもよい。例えば、領域検出部71は、エッジまたは段差からなる第1の特徴領域と、そのエッジまたは段差以外の部分からなる第2の特徴領域とを検出してもよい。領域検出部71は、被写体の2D画像に画像処理を施すことにより、被写体のエッジを検出してもよい。領域検出部71は、被写体の2D画像上のエッジに対応する特徴領域を、点群データが示す被写体の3D形状から検出してもよい。領域検出部71は、被写体の2D画像または点群データの3D画像の明るさまたは色に基づいて特徴領域を検出してもよい。領域検出部71は、被写体のステレオ画像にマッチング処理を実行し、かつそのマッチング処理において得られた相関値に基づいて特徴領域を検出してもよい。
図3は、点群データの3D画像の例を示す。生成部70は、点群データをメッシュデータに変換し、かつそのメッシュデータにテクスチャを付加する。生成部70は、この処理を実行することにより3D画像G1を生成する。
図4は、特徴領域の画像の例を示す。生成部70は、領域検出部71によって検出された2つ以上の特徴領域の情報に基づいて特徴領域の画像G2を生成する。特徴領域R1、特徴領域R2、特徴領域R3、および特徴領域R4が画像G2上に表示される。
ステップS2の後、表示制御部72は、2つ以上の特徴領域が互いに視覚的に区別されるように2つ以上の特徴領域の画像をディスプレイに表示する(ステップS3)。ステップS3は、画像表示ステップに対応する。
表示制御部72は、領域検出部71によって検出された2つ以上の特徴領域の画像をディスプレイに出力し、かつその画像をディスプレイに表示させる。例えば、表示制御部72は、特徴領域の画像および被写体の2D画像をディスプレイに表示する。表示制御部72は、特徴領域の画像および点群データの3D画像をディスプレイに表示してもよい。表示制御部72は、被写体の2D画像および点群データの3D画像をディスプレイに表示せずに特徴領域の画像のみをディスプレイに表示してもよい。
特徴領域の画像が被写体の2D画像に重畳されてもよい。表示制御部72は、特徴領域の画像における各画素のデータを、特徴領域の画像における画素と関連付けられた被写体の2D画像における画素のデータに重畳してもよい。表示制御部72は、特徴領域の画像が重畳された被写体の2D画像をディスプレイに表示してもよい。その2D画像において、被写体の表面の起伏および特徴領域の位置が視認できる。
特徴領域の画像が点群データの3D画像に重畳されてもよい。表示制御部72は、特徴領域の画像における各画素のデータを、特徴領域の画像における画素と関連付けられた点群データの3D画像における画素のデータに重畳してもよい。表示制御部72は、特徴領域の画像が重畳された点群データの3D画像をディスプレイに表示してもよい。その3D画像において、被写体の表面の起伏および特徴領域の位置が視認できる。
例えば、2つ以上の特徴領域は画像において互いに異なる色で表示される。2つ以上の特徴領域の境界を示す線が画像に重畳されてもよい。各特徴領域を示す文字、記号、またはマーク等が各特徴領域上に表示されてもよい。ユーザーは、ディスプレイに表示された画像上の2つ以上の特徴領域を視覚的に区別することができる。
ステップS3の後、点入力部73は、被写体上の点を、入力装置を通して受け付け、かつ受け付けられた点を示す点情報を生成する(ステップS4)。ステップS4は、点入力ステップに対応する。
ユーザーは、入力装置を操作することにより、被写体上の点の情報を入力装置に入力する。入力装置は、ユーザーインタフェースである。例えば、入力装置は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも1つを含む。入力装置は、ユーザーが入力した点の情報を出力する。点入力部73は、入力装置から出力されたその情報を取得することにより、被写体上の点を受け付ける。点入力部73は、被写体の2D画像、点群データの3D画像、および特徴領域の画像の少なくとも1つにおける点の位置を示す点情報を生成する。
点入力部73が被写体の2D画像上の点を受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける3D座標と関連付けられている。点入力部73が点群データの3D画像上の点を受け付けた場合、点情報はその点の3D座標を含む。点入力部73が特徴領域の画像上の点を受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける3D座標と関連付けられている。特徴領域の画像が重畳された被写体の2D画像上の点を点入力部73が受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける3D座標と関連付けられている。特徴領域の画像が重畳された点群データの3D画像上の点を点入力部73が受け付けた場合、点情報はその点の3D座標を含む。
例えば、2点間距離計測が実行される場合、点入力部73は、2つの計測点の各々の位置を示す点情報を生成する。線基準計測が実行される場合、点入力部73は、基準線を定義する2つの基準点と、1つの計測点との各々の位置を示す点情報を生成する。面基準計測が実行される場合、点入力部73は、基準面を定義する3つ以上の基準点と、1つの計測点との各々の位置を示す点情報を生成する。面積計測または周長計測が実行される場合、点入力部73は、3つ以上の計測点の各々の位置を示す点情報を生成する。線基準計測、面基準計測、面積計測、および周長計測の少なくとも1つが実行される場合、点群データは、被写体上の3つ以上の点の3D座標を含む。
点入力部73は、計測に使用される2つ以上の点の一部のみを受け付けてもよい。例えば、被写体の2D画像または点群データの3D画像において1つ以上の点が特徴点検出のような画像処理によって検出され、かつ検出された点の点情報が生成されてもよい。この例では、点入力部73によって受け付けられた1つ以上の点と、画像処理によって検出された1つ以上の点とが計測に使用される。
例えば、線基準計測が実行される場合、2つの基準点が画像処理によって検出され、かつ点入力部73が1つの計測点を受け付けてもよい。あるいは、点入力部73が2つの基準点を受け付け、かつ1つの計測点が画像処理によって検出されてもよい。例えば、基準線と計測点との3次元距離(3D距離)が最大となる1つの計測点が画像処理によって検出されてもよい。
例えば、面基準計測が実行される場合、3つの基準点が画像処理によって検出され、かつ点入力部73が1つの計測点を受け付けてもよい。あるいは、点入力部73が3つの基準点を受け付け、かつ1つの計測点が画像処理によって検出されてもよい。例えば、基準面と計測点との3D距離が最大となる1つの計測点が画像処理によって検出されてもよい。
点入力部73が受け付ける点は画面上の1ピクセルに対応する1点である必要はない。点入力部73が受け付ける点は、任意の大きさの領域を含んでもよい。点入力部73が受け付ける点は、サブピクセル単位で指定できる領域を含んでもよい。
図5は、ステップS4においてディスプレイに表示される画像の例を示す。図4に示す画像G2と同じ画像G2がディスプレイに表示される。例えば、図5に示されていないカーソルが画像G2上に表示される。ユーザーは、カーソルの位置を示す情報を入力装置に入力する。表示制御部72は、画像G2においてその情報に対応する位置にカーソルを表示する。ユーザーが所定の操作を実行したとき、カーソルの位置に対応する点が入力装置に入力される。このとき、点入力部73はその点を受け付ける。カーソルの表示は必須ではない。入力装置およびディスプレイがタッチパネルとして構成されている場合、ユーザーは、ディスプレイの画面をタッチすることにより点の情報を入力する。このとき、点入力部73はその点を受け付ける。
図5に示す例では、ユーザーは2つの点の情報を入力装置に入力する。点入力部73は、図5に示す点P1および点P2を受け付ける。点P1および点P2は、特徴領域R1内にある。点P1および点P2を示すマークが画像G2上に表示される。点入力部73が受け付けた点を示すマークの表示は必須ではない。図5に示す例では、画像G2において4つの特徴領域が視覚的に分かりやすい。そのため、ユーザーは、自身が望む特徴領域内の点を容易に指定することができる。
図6は、ステップS4においてディスプレイに表示される画像の他の例を示す。図4に示す画像G2と同じ画像G2と、被写体の2D画像G3とがディスプレイに表示される。例えば、図6に示されていないカーソルが2D画像G3上に表示される。ユーザーは、カーソルの位置を示す情報を入力装置に入力する。表示制御部72は、2D画像G3においてその情報に対応する位置にカーソルを表示する。
ユーザーが所定の操作を実行したとき、カーソルの位置に対応する点が入力装置に入力される。このとき、点入力部73はその点を受け付ける。カーソルの表示は必須ではない。入力装置およびディスプレイがタッチパネルとして構成されている場合、ユーザーは、ディスプレイの画面をタッチすることにより点の情報を入力する。このとき、点入力部73はその点を受け付ける。点入力部73は、2D画像G3上の受け付けられた点と関連付けられている点を点群データにおいて特定し、かつその点の点情報を生成する。
図6に示す例では、ユーザーは2つの点の情報を入力装置に入力する。点入力部73は、図6に示す点P3および点P4を受け付ける。点P3および点P4を示すマークが2D画像G3上に表示される。点入力部73が受け付けた点を示すマークの表示は必須ではない。図6に示す例では、ユーザーは、画像G2を参考にして2D画像G3上の点を指定する。そのため、ユーザーは、自身が望む特徴領域に対応する領域上の点を容易に指定することができる。表示制御部72は、点入力部73が受け付けた点に対応する点を画像G2上に表示してもよい。
図6に示す例では、画像G2および2D画像G3がディスプレイの画面の水平方向に並べられている。画像G2および2D画像G3の配置は、この例に限らない。例えば、画像G2および2D画像G3がディスプレイの画面の垂直方向に並べられてもよい。このとき、画像G2および2D画像G3は90度回転してもよい。画像G2および2D画像G3の一部が互いに重なってもよい。
ステップS4の後、計測部74は、点情報が示す点を含む被写体上の2つ以上の点の3D座標に基づいて被写体の大きさを計測する(ステップS5)。ステップS5は、計測ステップに対応する。ステップS5が実行されたとき、3次元計測が終了する。
計測部74は、被写体上の2つ以上の点の各々の3D座標を取得する。点情報が被写体の2D画像における画素の座標を含む場合、計測部74は、その座標と関連付けられた3D座標を点群データから取得する。点情報が点群データにおける点の3D座標を含む場合、計測部74は、その3D座標を点情報から取得する。点情報が特徴領域の画像における画素の座標を含む場合、計測部74は、その座標と関連付けられた3D座標を点群データから取得する。
計測部74は、被写体上の2つ以上の点の3D座標に基づいて被写体の大きさを計測する。例えば、2点間距離計測では、計測部74は、点情報が示す2つの計測点間の3D距離を計測する。線基準計測では、計測部74は、点情報が示す2つの基準点に基づいて基準線を算出し、かつその基準線と点情報が示す1つの計測点との間の3D距離を計測する。面基準計測では、計測部74は、点情報が示す3つ以上の基準点に基づいて基準面を算出し、かつその基準面と点情報が示す1つの計測点との間の3D距離を計測する。面積計測では、計測部74は、点情報が示す3つ以上の計測点で囲まれた領域の面積を算出する。周長計測では、計測部74は、点情報が示す3つ以上の計測点で囲まれた領域の周長を計測する。計測部74が実行する計測は、上記の例に限らない。
図5に示す例では、特徴領域の画像がディスプレイに表示され、かつその画像上の点が入力装置に入力される。図6に示す例では、特徴領域の画像および被写体の2D画像がディスプレイに表示され、かつ被写体の2D画像上の点が入力装置に入力される。ディスプレイに表示される画像と、点の入力に使用される画像との組み合わせはこれらの例に限らない。
被写体の2D画像がディスプレイに表示され、かつその2D画像上の点が入力装置に入力されてもよい。点群データの3D画像がディスプレイに表示され、かつその3D画像上の点が入力装置に入力されてもよい。
特徴領域の画像および被写体の2D画像がディスプレイに表示され、かつ特徴領域の画像上の点が入力装置に入力されてもよい。特徴領域の画像および点群データの3D画像がディスプレイに表示され、かつその3D画像上の点が入力装置に入力されてもよい。特徴領域の画像および点群データの3D画像がディスプレイに表示され、かつ特徴領域の画像上の点が入力装置に入力されてもよい。
特徴領域の画像が重畳された被写体の2D画像がディスプレイに表示され、かつその2D画像上の点が入力装置に入力されてもよい。特徴領域の画像が重畳された点群データの3D画像がディスプレイに表示され、かつその3D画像上の点が入力装置に入力されてもよい。
被写体の2D画像と、特徴領域の画像が重畳された点群データの3D画像とがディスプレイに表示され、かつその2D画像上の点が入力装置に入力されてもよい。被写体の2D画像と、特徴領域の画像が重畳された点群データの3D画像とがディスプレイに表示され、かつその3D画像上の点が入力装置に入力されてもよい。
点群データの3D画像と、特徴領域の画像が重畳された被写体の2D画像とがディスプレイに表示され、かつその3D画像上の点が入力装置に入力されてもよい。点群データの3D画像と、特徴領域の画像が重畳された被写体の2D画像とがディスプレイに表示され、かつその2D画像上の点が入力装置に入力されてもよい。
第1の実施形態において、計測装置7は、2つ以上の特徴領域の画像をディスプレイに表示する。ユーザーは、ディスプレイに表示された画像を参考にして自身が望む特徴領域内の点を容易に指定することができる。そのため、計測装置7は、被写体上の点の正確な指定を支援することができる。
(第2の実施形態)
本発明の第2の実施形態を説明する。図7は、第2の実施形態の計測装置7aの構成を示す。図7に示す計測装置7aは、生成部70、領域検出部71a、表示制御部72a、点入力部73、計測部74、および情報制御部75を有する。図1に示す構成と同じ構成の説明を省略する。
本発明の第2の実施形態を説明する。図7は、第2の実施形態の計測装置7aの構成を示す。図7に示す計測装置7aは、生成部70、領域検出部71a、表示制御部72a、点入力部73、計測部74、および情報制御部75を有する。図1に示す構成と同じ構成の説明を省略する。
図7に示す各部は、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。図7に示す各部は、1つまたは複数のプロセッサを含むことができる。図7に示す各部は、1つまたは複数の論理回路を含むことができる。
計測装置7aのコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、図1に示す計測装置7のコンピュータによって実行されるプログラムと同様に実現される。
領域検出部71aは、点群データに基づいて被写体上の1つ以上の特徴領域を検出する(領域検出ステップ)。第1の実施形態における領域検出部71は2つ以上の特徴領域を検出するが、第2の実施形態における領域検出部71aは1つの特徴領域を検出してもよい。例えば、被写体が1つの物体のみで構成されている場合、領域検出部71aは1つの特徴領域を検出する。被写体の3D形状は1つの特徴領域内において共通の特徴を持つ。被写体の3D形状の特徴は、異なる2つ以上の特徴領域間で互いに異なる。1つの点のみが1つの特徴領域に割り当てられてもよい。2つ以上の点が1つの特徴領域に割り当てられた場合、その2つ以上の点は、被写体の3D形状の特徴を示す共通の条件を満たす。第1の特徴領域内の点が満たすその条件と、第1の特徴領域と異なる第2の特徴領域内の点が満たすその条件とは、互いに異なる。
表示制御部72aは、点群データの3D画像、被写体の2D画像、および1つ以上の特徴領域の画像のうちの1つをディスプレイに表示する(画像表示ステップ)。点群データの3D画像は、点群データが示す3D形状の画像である。
情報制御部75は、第1の制御および第2の制御の一方を実行する(制御ステップ)。情報制御部75は、第1の制御において、点情報が1つ以上の特徴領域のうちの1つ内の点を示すように点情報を制御する。点情報は、点入力部73によって受け付けられた点を示す。情報制御部75は、第2の制御において、点群データの3D画像、被写体の2D画像、および1つ以上の特徴領域の画像のうちの1つ上にマークを表示する。マークは、アイコンまたはポインター等である。例えば、マークはカーソルである。情報制御部75は、そのマークの位置を1つ以上の特徴領域のうちの1つに対応する領域内に制限する。点入力部73は、そのマークの位置に対応する点を受け付ける。表示制御部72aが第2の制御を実行してもよい。この場合、表示制御部72aが情報制御部75の機能を持つ。
図8および図9を使用することにより、第2の実施形態における3次元計測について説明する。図8は、3次元計測の手順を示す。図2に示す処理と同じ処理の説明を省略する。
ステップS1の後、領域検出部71aは、点群データに基づいて被写体上の1つ以上の特徴領域を検出する(ステップS2a)。ステップS2aは、領域検出ステップに対応する。領域検出部71aは、第1の実施形態で説明した方法と同じ方法で特徴領域を検出することができる。
ステップS2aの後、表示制御部72aは、点群データの3D画像、被写体の2D画像、および1つ以上の特徴領域の画像のうちの1つをディスプレイに表示する(ステップS3a)。ステップS3aは、画像表示ステップに対応する。
例えば、表示制御部72aは、被写体の2D画像および特徴領域の画像を表示せずに点群データの3D画像をディスプレイに表示する。表示制御部72aは、点群データの3D画像および特徴領域の画像を表示せずに被写体の2D画像をディスプレイに表示してもよい。表示制御部72aは、点群データの3D画像および被写体の2D画像を表示せずに特徴領域の画像をディスプレイに表示してもよい。
ステップS3aにおいてディスプレイに表示される画像は、点群データの3D画像、被写体の2D画像、および特徴領域の画像のうちの1つで十分である。しかし、表示制御部72aは、点群データの3D画像、被写体の2D画像、および特徴領域の画像のうちの2つ以上をディスプレイに表示してもよい。例えば、表示制御部72aは、点群データの3D画像および特徴領域の画像をディスプレイに表示してもよい。表示制御部72aは、被写体の2D画像および特徴領域の画像をディスプレイに表示してもよい。表示制御部72aは、特徴領域の画像が重畳された点群データの3D画像または特徴領域の画像が重畳された被写体の2D画像をディスプレイに表示してもよい。
ステップS3aの後、点入力部73は、ステップS4において、被写体上の点を、入力装置を通して受け付け、かつ受け付けられた点を示す点情報を生成する。ステップS4の後、情報制御部75は、第1の制御を実行する。つまり、情報制御部75は、ステップS4において生成された点情報が1つ以上の特徴領域のうちの1つ内の点を示すように点情報を制御する(ステップS6)。ステップS6は、制御ステップに対応する。
例えば、1つの特徴領域内の点を示す点情報のみが有効となり、かつその点の3D座標が計測に使用される。あるいは、1つの特徴領域外の点を示す点情報は、その特徴領域内の点を示す点情報に更新される。第1の制御の具体例については第4および第6の実施形態において説明する。ステップS6の後、ステップS5が実行される。
図9は、3次元計測の他の手順を示す。図2および図8に示す処理と同じ処理の説明を省略する。
ステップS3aの後、情報制御部75は、第2の制御を実行する。つまり、情報制御部75は、点群データの3D画像、被写体の2D画像、および1つ以上の特徴領域の画像のうちの1つ上にマークを表示する。ステップS3aにおいて点群データの3D画像がディスプレイに表示された場合、マークはその3D画像上に表示される。ステップS3aにおいて被写体の2D画像がディスプレイに表示された場合、マークはその2D画像上に表示される。ステップS3aにおいて特徴領域の画像がディスプレイに表示された場合、マークはその画像上に表示される。情報制御部75は、そのマークの位置を1つ以上の特徴領域のうちの1つに対応する領域内に制限する(ステップS7)。ステップS7は、制御ステップに対応する。
例えば、マークは、1つの特徴領域に対応する領域内でのみ移動する。あるいは、マークが1つの特徴領域に対応する領域外に移動した場合、そのマークの位置はその1つの特徴領域内の位置に強制的に変更される。第2の制御の具体例については第5および第7の実施形態において説明する。表示制御部72aがステップS7を実行してもよい。
ステップS7の後、点入力部73は、ステップS4において、マークの位置に対応する点を受け付ける。
3次元計測における処理の順番は、図8および図9に示す順番に限らない。例えば、ステップS2aが実行される前に点群データの3D画像がディスプレイに表示されてもよい。ステップS1またはステップS2aが実行される前に被写体の2D画像がディスプレイに表示されてもよい。点入力部73がステップS4において点を受け付けた後、情報制御部75は、ステップS7においてその点に基づいて第2の制御を実行してもよい。
第2の実施形態において、計測装置7aは、第1の制御および第2の制御の一方を実行する。第1の制御において、点情報が1つ以上の特徴領域のうちの1つ内の点を示すように点情報が制御される。第2の制御において、画像上のマークの位置は1つ以上の特徴領域のうちの1つに対応する領域内に制限される。1つの特徴領域内の点の3D座標が計測に使用される。そのため、計測装置7aは、被写体上の点の正確な指定を支援することができる。
(第3の実施形態)
本発明の第3の実施形態を説明する。以下では、計測装置が内視鏡装置である例を説明する。計測装置は、計測機能を有する装置でありさえすればよく、内視鏡装置に限らない。計測装置は、特定の装置またはシステムに実装された組み込み機器であってもよい。計測装置は、クラウド上の環境であってもよい。被写体は、工業製品である。
本発明の第3の実施形態を説明する。以下では、計測装置が内視鏡装置である例を説明する。計測装置は、計測機能を有する装置でありさえすればよく、内視鏡装置に限らない。計測装置は、特定の装置またはシステムに実装された組み込み機器であってもよい。計測装置は、クラウド上の環境であってもよい。被写体は、工業製品である。
図10は、第3の実施形態の内視鏡装置1の外観を示す。図11は、内視鏡装置1の内部構成を示す。内視鏡装置1は、被写体を撮像し、画像を生成する。検査者は、種々の被写体の観察を実施するために、挿入部2の先端に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを実施することが可能である。
図10に示す内視鏡装置1は、挿入部2、本体部3、操作部4、および表示部5を有する。
挿入部2は、被写体の内部に挿入される。挿入部2は、先端20から基端部にわたって屈曲可能な細長い管状である。挿入部2は、被写体を撮像し、かつ撮像信号を本体部3に出力する。挿入部2の先端20には、光学アダプターが装着される。例えば、単眼の光学アダプターが挿入部2の先端20に装着される。本体部3は、挿入部2を収納する収納部を備えた制御装置である。操作部4は、内視鏡装置1に対するユーザーの操作を受け付ける。表示部5は、表示画面を有し、かつ挿入部2で取得された被写体の画像および操作メニュー等を表示画面に表示する。
操作部4は、ユーザーインタフェース(入力装置)である。例えば、操作部4は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも1つである。表示部5は、LCD(Liquid Crystal Display)等のモニタ(ディスプレイ)である。表示部5は、タッチパネルであってもよい。その場合、操作部4および表示部5は一体化される。
図11に示す本体部3は、内視鏡ユニット8、CCU(Camera Control Unit)9、および制御装置10を有する。内視鏡ユニット8は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、挿入部2に内蔵された湾曲機構を湾曲させる。挿入部2の先端20には撮像素子28が内蔵されている。撮像素子28は、イメージセンサである。撮像素子28は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。CCU9は、撮像素子28を駆動する。撮像素子28から出力された撮像信号がCCU9に入力される。CCU9は、撮像素子28により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を施す。CCU9は、前処理が施された撮像信号をNTSC信号等の映像信号に変換する。
制御装置10は、映像信号処理回路12、ROM(Read Only Memory)13、RAM(Random Access Memory)14、カードインタフェース15、外部機器インタフェース16、制御インタフェース17、およびCPU(Central Processing Unit)18を有する。
映像信号処理回路12は、CCU9から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路12は、視認性向上に関わる映像処理を実行する。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路12は、CCU9から出力された映像信号と、CPU18によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、点群データの3D画像、特徴領域の画像、または計測結果等を含む。映像信号処理回路12は、合成された映像信号を表示部5に出力する。また、映像信号処理回路12は、CCU9から出力された映像信号に基づく画像データをCPU18に出力する。
ROM13は、CPU18が内視鏡装置1の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。RAM14は、CPU18が内視鏡装置1の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。CPU18は、ROM13に記録されたプログラムに基づいて内視鏡装置1の動作を制御する。
着脱可能な記録媒体であるメモリカード42がカードインタフェース15に接続される。カードインタフェース15は、メモリカード42に記憶されている制御処理情報および画像情報等を制御装置10に取り込む。また、カードインタフェース15は、内視鏡装置1によって生成された制御処理情報および画像情報等をメモリカード42に記録する。
USB機器等の外部機器が外部機器インタフェース16に接続される。例えば、パーソナルコンピュータ(PC)41が外部機器インタフェース16に接続される。外部機器インタフェース16は、PC41へ情報を送信し、かつPC41から情報を受信する。これによって、PC41のモニタが情報を表示することができる。また、ユーザーは、PC41に指示を入力することにより、内視鏡装置1の制御に関する操作を実施することができる。
制御インタフェース17は、操作部4、内視鏡ユニット8、およびCCU9と動作制御のための通信を実行する。制御インタフェース17は、ユーザーによって操作部4に入力された指示をCPU18に通知する。制御インタフェース17は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット8に出力する。制御インタフェース17は、撮像素子28を制御するための制御信号をCCU9に出力する。
CPU18が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置1以外のコンピュータが読み込み、かつ実行してもよい。例えば、PC41がプログラムを読み込んで実行してもよい。PC41は、プログラムに従って、内視鏡装置1を制御するための制御情報を内視鏡装置1に送信することにより内視鏡装置1を制御してもよい。あるいは、PC41は、内視鏡装置1から映像信号を取得し、かつ取得された映像信号を処理してもよい。
上記のように、内視鏡装置1は、撮像素子28およびCPU18を有する。撮像素子28は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子28は、被写体を撮像することにより生成された、その被写体の画像を取得する。撮像素子28によって取得された画像は映像信号処理回路12を経由してCPU18に入力される。
撮像素子28は、被写体の画像を取得する画像取得部の機能を有する。画像取得部は、画像入力装置であってもよい。例えば、PC41が計測装置として動作する場合、画像取得部は、内視鏡装置1と通信を実行する通信インタフェース(通信機)である。画像取得部は無線通信機であってもよい。画像取得部は、画像が記録された記録媒体から画像を読み出す読み出し回路であってもよい。
図12は、CPU18の機能構成を示す。制御部180、生成部181、領域検出部182、表示制御部183、カーソル算出部184、点入力部185、領域選択部186、および計測部187によってCPU18の機能が構成されている。図12に示すブロックの少なくとも1つがCPU18とは別の回路で構成されてもよい。
図12に示す各部は、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。図12に示す各部は、1つまたは複数のプロセッサを含むことができる。図12に示す各部は、1つまたは複数の論理回路を含むことができる。
制御部180は、被写体の2D画像(画像データ)を映像信号処理回路12から取得し、かつ図12に示す各部が実行する処理を制御する。
生成部181は、図1に示す生成部70の機能と同じ機能を持つ。生成部181は、被写体の2D画像に基づいて被写体上の2つ以上の点の3D座標を算出し、かつその2つ以上の点の3D座標を含む点群データを生成する(生成ステップ)。生成部181は、第1の実施形態で説明した方法と同じ方法で点群データを生成することができる。また、生成部181は、特徴領域の画像を生成する。生成部181は、点群データを表示部5に表示するための3D画像を生成してもよい。
領域検出部182は、図1に示す領域検出部71と同じ機能を持つ。領域検出部182は、点群データに基づいて被写体上の2つ以上の特徴領域を検出する(領域検出ステップ)。領域検出部182は、第1の実施形態で説明した方法と同じ方法で特徴領域を検出することができる。
表示制御部183は、撮像素子28によって取得された被写体の2D画像と、生成部181によって生成された2つ以上の特徴領域の画像とを表示部5に表示する。表示制御部183は、2つ以上の特徴領域が互いに視覚的に区別されるように2つ以上の特徴領域の画像を表示部5に表示する(画像表示ステップ)。表示制御部183は、点群データの3D画像を表示部5に表示してもよい。表示制御部183は、特徴領域の画像が重畳された被写体の2D画像を表示部5に表示してもよい。表示制御部183は、特徴領域の画像が重畳された点群データの3D画像を表示部5に表示してもよい。
例えば、表示制御部183は、映像信号処理回路12によって実行される処理を制御する。表示制御部183は、映像信号処理回路12によって処理された映像信号を映像信号処理回路12から表示部5へ出力させる。その映像信号は、被写体の2D画像の各画素のカラーデータを含む。表示部5は、映像信号処理回路12から出力された映像信号に基づいて被写体の2D画像を表示する。あるいは、表示制御部183は、特徴領域の画像を表示するための映像信号を、映像信号処理回路12を経由して表示部5へ出力する。その映像信号は、特徴領域の画像の各画素のカラーデータを含む。表示部5は、映像信号処理回路12から出力された映像信号に基づいて特徴領域の画像を表示する。
具体的には、表示制御部183は、特徴領域の画像を表示するためのグラフィック画像信号を生成する。表示制御部183は、生成されたグラフィック画像信号を映像信号処理回路12に出力する。映像信号処理回路12は、CCU9から出力された映像信号と、CPU18から出力されたグラフィック画像信号とを合成する。映像信号処理回路12は、合成された映像信号を表示部5に出力する。表示部5は、被写体の2D画像および特徴領域の画像を表示する。
表示制御部183は、3D映像信号を、映像信号処理回路12を経由して表示部5へ出力してもよい。3D映像信号は、点群データの3D画像の各画素のカラーデータを含む。表示部5は、映像信号処理回路12から出力された3D映像信号に基づいて点群データの3D画像を表示してもよい。
表示制御部183は、各種情報を表示部5に表示する。つまり、表示制御部183は、画像上に各種情報を表示する。各種情報は、カーソルまたは計測結果等を含む。カーソルは、ユーザーが画像上の特定の点を指定するためのマークである。
例えば、表示制御部183は、各種情報のグラフィック画像信号を生成する。表示制御部183は、生成されたグラフィック画像信号を映像信号処理回路12に出力する。映像信号処理回路12は、CCU9から出力された映像信号と、CPU18から出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路12は、合成された映像信号を表示部5に出力する。表示部5は、各種情報が重畳された画像を表示する。
ユーザーは、操作部4を操作することにより、カーソルの位置情報を操作部4に入力する。操作部4は、ユーザーが操作部4に入力した位置情報を出力する。操作部4に入力された位置情報は、入力部である制御インタフェース17に入力される。その位置情報は、制御インタフェース17からCPU18に出力される。カーソル算出部184は、操作部4に入力された位置情報に基づいて画像上の位置を算出する。表示制御部183は、カーソル算出部184によって算出された位置にカーソルを表示する。
点入力部185は、図1に示す点入力部73と同じ機能を持つ。点入力部185は、被写体上の点を、操作部4を通して受け付ける。例えば、ユーザーは、カーソルを画像上の所望の位置に移動させ、かつ所定の操作を実行する。このとき、点入力部185は、その位置に対応する点を受け付ける。表示部5および操作部4がタッチパネルとして構成されている場合、ユーザーは表示部5の画面をタッチすることにより画像上の点を操作部4に入力する。点入力部185は、その点を受け付ける。点入力部185は、受け付けられた点を示す点情報を生成する(点入力ステップ)。
点入力部185が被写体の2D画像上の点を受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける3D座標と関連付けられている。点入力部185が特徴領域の画像上の点を受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける3D座標と関連付けられている。点入力部185が点群データの3D画像上の点を受け付けた場合、点情報はその点の3D座標を含む。特徴領域の画像が重畳された被写体の2D画像上の点を点入力部185が受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける3D座標と関連付けられている。特徴領域の画像が重畳された点群データの3D画像上の点を点入力部185が受け付けた場合、点情報はその点の3D座標を含む。
点入力部185は、基準点および計測点を受け付ける。基準点は、線基準計測における基準線または面基準計測における基準面を算出するための基準位置を示す。計測点は、被写体の大きさを計測する位置を示す。
点入力部185が被写体の2D画像上の点を受け付けた場合、点入力部185は、受け付けられた点をその2D画像に設定する。点入力部185が点群データの3D画像上の点を受け付けた場合、点入力部185は、受け付けられた点をその3D画像に設定する。点入力部185が特徴領域の画像上の点を受け付けた場合、点入力部185は、受け付けられた点をその画像に設定する。特徴領域の画像が重畳された被写体の2D画像上の点を点入力部185が受け付けた場合、点入力部185は、受け付けられた点をその2D画像に設定する。特徴領域の画像が重畳された点群データの3D画像上の点を点入力部185が受け付けた場合、点入力部185は、受け付けられた点をその3D画像に設定する。点入力部185によって設定された点の位置情報は、RAM14に保持される。点が特定の画像に関連付けられることにより、その点が設定される。
領域選択部186は、領域検出部182によって検出された2つ以上の特徴領域のうちの1つを選択領域として選択する(領域選択ステップ)。例えば、ユーザーは、操作部4を操作することにより、カーソルを被写体の2D画像または点群データの3D画像上の所望の位置に移動させる。その位置は、ユーザーが点を指定したい特徴領域に対応する領域内にある。カーソルがその位置に表示されているとき、ユーザーは所定の操作を実行する。このとき、領域選択部186は、その位置に対応する特徴領域の画像上の位置を算出する。2D画像の各画素および3D画像の各画素は、特徴領域の画像の画素と関連付けられている。そのため、領域選択部186は、2D画像または3D画像上の位置に対応する特徴領域の画像上の位置を算出することができる。領域選択部186は、算出された位置を含む特徴領域を選択する。
ユーザーは、操作部4を操作することにより、カーソルを特徴領域の画像上の所望の位置に移動させてもよい。その位置は、ユーザーが点を指定したい特徴領域内にある。カーソルがその位置に表示されているとき、ユーザーは所定の操作を実行する。このとき、領域選択部186は、その位置を含む特徴領域を選択する。
表示部5および操作部4がタッチパネルとして構成されている場合、ユーザーは表示部5の画面をタッチすることにより画像上の位置を操作部4に入力してもよい。
領域選択部186は、予め設定された基準を満たす特徴領域を選択してもよい。例えば、領域選択部186は、最も広い面積を持つ特徴領域を選択してもよい。領域選択部186は、特徴領域毎に画像の明るさを算出し、かつその明るさが所定の範囲にある特徴領域を選択してもよい。領域選択部186は、特徴領域毎にコントラストを算出し、かつそのコントラストが最も高い特徴領域を選択してもよい。領域選択部186は、計測モードに基づいて特徴領域を選択してもよい。例えば、計測モードが線基準計測である場合、領域選択部186は被写体のエッジを含む特徴領域を選択してもよい。特徴領域を選択する方法は上記の方法に限らない。
計測部187は、図1に示す計測部74と同じ機能を持つ。計測部187は、点情報が示す点を含む被写体上の2つ以上の点の3D座標に基づいて被写体の大きさを計測する(計測ステップ)。具体的には、計測部187は、被写体上の2つ以上の点の各々の3D座標を取得する。点情報が被写体の2D画像における画素の座標を含む場合、計測部187は、その座標と関連付けられた3D座標を点群データから取得する。点情報が点群データにおける点の3D座標を含む場合、計測部187は、その3D座標を点情報から取得する。点情報が特徴領域の画像における画素の座標を含む場合、計測部187は、その座標と関連付けられた3D座標を点群データから取得する。
計測部187は、取得された3D座標を使用することにより計測を実行する。計測部187は、2点間距離計測、線基準計測、面基準計測、面積計測、および周長計測の少なくとも1つを実行する。計測部187が実行する計測は、これらに限らない。計測部187は、点入力部185によって受け付けられた1つ以上の点の3D座標と、画像処理において検出された1つ以上の点の3D座標とを使用することにより計測を実行してもよい。
図13を使用することにより、第3の実施形態における3次元計測について説明する。図13は、3次元計測の手順を示す。
生成部181は、被写体の2D画像に基づいて被写体上の2つ以上の点の3D座標を算出し、かつその2つ以上の点の3D座標を含む点群データを生成する(ステップS101)。ステップS101は、生成ステップに対応する。
ステップS101の後、領域検出部182は、点群データを使用することにより、被写体の3D形状の特徴を抽出する(ステップS102)。ステップS102の後、領域検出部182は、抽出された特徴に従って、点群データにおける3D座標に対応する各点を2つ以上の特徴領域の各々に割り当てる。これにより、領域検出部182は、被写体の3D形状を2つ以上の特徴領域に分割する(ステップS103)。ステップS102およびステップS103は、領域検出ステップに対応する。
ステップS103の後、表示制御部183は、被写体の2D画像および特徴領域の画像を表示部5に表示する(ステップS104)。ステップS104は、画像表示ステップに対応する。
図14は、ステップS104において表示部5に表示される画像の例を示す。被写体の2D画像G11および特徴領域の画像G12が表示部5に表示される。特徴領域R11、特徴領域R12、特徴領域R13、および特徴領域R14が画像G12上に表示される。例えば、特徴領域R11、特徴領域R12、特徴領域R13、および特徴領域R14は画像において互いに異なる色で表示される。ユーザーは、表示部5に表示された画像上の2つ以上の特徴領域を視覚的に区別することができる。
特徴領域R11、特徴領域R12、特徴領域R13、および特徴領域R14の境界を示す線が画像G12に重畳されてもよい。各特徴領域を示す文字、記号、またはマーク等が各特徴領域上に表示されてもよい。
図14に示す例では、2D画像G11および画像G12が表示部5の画面の水平方向に並べられている。2D画像G11および画像G12の配置は、この例に限らない。例えば、2D画像G11および画像G12が表示部5の画面の垂直方向に並べられてもよい。このとき、2D画像G11および画像G12は90度回転してもよい。2D画像G11および画像G12の一部が互いに重なってもよい。
ステップS104の後、表示制御部183は、カーソルを被写体の2D画像上に表示する(ステップS105)。ユーザーは、操作部4を操作することにより、カーソルをその2D画像上で移動させることができる。カーソル算出部184は、操作部4に入力された位置情報に基づいてその2D画像上の位置を算出する。表示制御部183は、カーソル算出部184によって算出された位置にカーソルを表示することによりカーソルを更新する。
図15は、ステップS105において表示部5に表示される画像の例を示す。図14に示す2D画像G11と同じ2D画像G11および図14に示す画像G12と同じ画像G12が表示部5に表示される。カーソルC11が2D画像G11上に表示される。例えば、カーソルC11は最初に2D画像G11上の所定の位置に表示される。その所定の位置は、2D画像G11の中心等である。
ステップS105の後、領域選択部186は、領域検出部182によって検出された2つ以上の特徴領域のうちの1つを選択領域として選択する(ステップS106)。ステップS106は、領域選択ステップに対応する。
例えば、領域選択部186は、カーソルの位置を含む領域に対応する特徴領域を選択する。あるいは、領域選択部186は、所定の基準を満たす特徴領域を選択する。
図16は、ステップS106において表示部5に表示される画像の例を示す。図14に示す2D画像G11と同じ2D画像G11および図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が2D画像G11上に表示される。ユーザーは、カーソルC11を2D画像G11上で移動させる。ユーザーが所定の操作を実行したとき、領域選択部186は、カーソルC11の位置に対応する画像G12上の位置を算出する。領域選択部186は、算出された位置を含む特徴領域を選択する。
図16に示す例では、ユーザーが所定の操作を実行したとき、カーソルC11は、特徴領域R11内の位置に対応する2D画像G11上の位置にある。そのため、領域選択部186は特徴領域R11を選択領域として選択する。
表示制御部183は、ステップS106において、選択領域である特徴領域R11を強調表示する。ステップS106は、画像表示ステップに対応する。図16に示す例では、特徴領域R11は太い線で囲まれる。その線は、表示制御部183によって生成されるグラフィック画像信号に含まれる。特徴領域R12、特徴領域R13、および特徴領域R14は強調表示されない。
ユーザーの注目を引く色または模様が特徴領域R11に付加されてもよい。選択領域を示す文字、記号、またはマーク等が特徴領域R11上に表示されてもよい。選択領域を強調表示する方法は上記の方法に限らない。選択領域が強調表示されるため、ユーザーは、点を指定すべき2D画像G11上の領域を容易に確認することができる。
表示制御部183は、ステップS106において、選択領域である特徴領域R11のみを表示してもよい。この場合、特徴領域R12、特徴領域R13、および特徴領域R14は表示されない。選択領域のみが表示されるため、ユーザーは、点を指定すべき2D画像G11上の領域を容易に確認することができる。
表示制御部183は、ステップS106において、選択領域を第1の色で表示し、かつステップS106において選択領域と異なる特徴領域を第1の色と異なる第2の色で表示してもよい。例えば、特徴領域R11は赤などの色で表示され、特徴領域R12、特徴領域R13、および特徴領域R14はグレーなどの色で表示される。特徴領域R12、特徴領域R13、および特徴領域R14は同じ色で表示される。選択領域とそれ以外の特徴領域とが互いに異なる色で表示されるため、ユーザーは、点を指定すべき2D画像G11上の領域を容易に確認することができる。
ステップS106の後、カーソル算出部184は、操作部4に入力された位置情報に基づいて被写体の2D画像上の位置を算出する(ステップS107)。ステップS107の後、表示制御部183は、カーソル算出部184によって算出された位置にカーソルを表示することによりカーソルを更新する(ステップS108)。
ステップS108の後、点入力部185は、被写体の2D画像上の1つの点を、操作部4を通して受け付け、かつ受け付けられた点を示す点情報を生成する(ステップS109)。ステップS109は、点入力ステップに対応する。
図17は、ステップS109において表示部5に表示される画像の例を示す。図14に示す2D画像G11と同じ2D画像G11および図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が2D画像G11上に表示される。ユーザーは、カーソルC11を2D画像G11上の所望の位置に移動させ、かつ所定の操作を実行する。このとき、点入力部185は、その位置に対応する点を受け付ける。
図17に示す例では、点入力部185は点P11を受け付ける。点P11を示すマークが2D画像G11上に表示される。点入力部185が受け付けた点を示すマークの表示は必須ではない。図17に示す例では、ユーザーは、画像G12を参考にして、特徴領域R11内の位置に対応する2D画像G11上の点を指定する。そのため、ユーザーは、自身が望む特徴領域に対応する領域上の点を容易に指定することができる。表示制御部183は、点入力部185が受け付けた点に対応する点を画像G12上に表示してもよい。
点入力部185が点を受け付けた後、その点が修正されてもよい。例えば、ユーザーは、自身が指定した点が誤っていると判断し、かつその点の修正の指示を操作部4に入力してもよい。この場合、ユーザーは、新しい点を操作部4に入力する。点入力部185は、その指示および新しい点を受け付ける。点入力部185は、修正が指示された点をその新しい点で更新する。
ステップS109の後、制御部180は、点入力部185が必要な数の点を受け付けたか否かを判断する(ステップS110)。2つの計測点が2点間距離計測に必要である。2つの基準点および1つの計測点を含む3つの点が線基準計測に必要である。3つ以上の基準点および1つの計測点を含む4つ以上の点が面基準計測に必要である。3つ以上の計測点が面積計測および周長計測に必要である。
点入力部185が必要な数の点を受け付けていないと制御部180がステップS110において判断した場合、ステップS107が実行される。その後、ステップS108およびステップS109が再度実行される。そのため、点入力部185は2つ以上の点を受け付ける。
図18は、ステップS109が2回以上実行された後に表示部5に表示される画像の例を示す。図14に示す2D画像G11と同じ2D画像G11および図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が2D画像G11上に表示される。図18では、線基準計測の例が示されており、点入力部185は2D画像G11上の3つの点を受け付ける。点P11が指定された後、ユーザーは、カーソルC11を移動させ、かつ点P12および点P13を順に指定する。点入力部185は、1回目のステップS109において点P11を受け付ける。その後、点入力部185は、2回目のステップS109において点P12を受け付け、かつ3回目のステップS109において点P13を受け付ける。
点入力部185が点P13を受け付ける前、制御部180は、点入力部185が必要な数の点を受け付けていないとステップS110において判断する。点入力部185が点P13を受け付けた後、制御部180は、点入力部185が必要な数の点を受け付けたとステップS110において判断する。
点入力部185が必要な数の点を受け付けたと制御部180がステップS110において判断した場合、計測部187は、点情報が示す点を含む被写体上の2つ以上の点の3D座標に基づいて被写体の大きさを計測する(ステップS111)。ステップS111は、計測ステップに対応する。ステップS111が実行されたとき、3次元計測が終了する。
ステップS111が実行された後、表示制御部183は、計測結果を表示部5に表示してもよい。計測結果は、表示制御部183によって生成されるグラフィック画像信号に含まれる。
図19は、表示部5に表示される画像の他の例を示す。図19に示す例では、ステップS104において被写体の2D画像は表示されない。図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が画像G12上に表示される。ステップS106において画像G12上の位置が操作部4を通して受け付けられた場合、領域選択部186は、ステップS106においてその位置に対応する特徴領域を選択する。図19では、特徴領域R11が選択された例が示されており、特徴領域R11は強調表示される。図19では、線基準計測の例が示されており、点入力部185は画像G12上の3つの点を受け付ける。ユーザーは、カーソルC11を移動させ、かつ点P14、点P15、および点P16を順に指定する。点入力部185は、点P14、点P15、および点P16を受け付ける。
図13から図18に示す例では、被写体の2D画像および特徴領域の画像が表示部5に表示され、かつその2D画像が点の入力に使用される。図19に示す例では、特徴領域の画像が表示部5に表示され、かつその画像が点の入力に使用される。表示部5に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。
被写体の2D画像が表示部5に表示され、かつその2D画像上の点が操作部4に入力されてもよい。点群データの3D画像が表示部5に表示され、かつその3D画像上の点が操作部4に入力されてもよい。
特徴領域の画像および被写体の2D画像が表示部5に表示され、かつ特徴領域の画像上の点が操作部4に入力されてもよい。特徴領域の画像および点群データの3D画像が表示部5に表示され、かつその3D画像上の点が操作部4に入力されてもよい。特徴領域の画像および点群データの3D画像が表示部5に表示され、かつ特徴領域の画像上の点が操作部4に入力されてもよい。
特徴領域の画像が重畳された被写体の2D画像が表示部5に表示され、かつその2D画像上の点が操作部4に入力されてもよい。特徴領域の画像が重畳された点群データの3D画像が表示部5に表示され、かつその3D画像上の点が操作部4に入力されてもよい。
被写体の2D画像と、特徴領域の画像が重畳された点群データの3D画像とが表示部5に表示され、かつその2D画像上の点が操作部4に入力されてもよい。被写体の2D画像と、特徴領域の画像が重畳された点群データの3D画像とが表示部5に表示され、かつその3D画像上の点が操作部4に入力されてもよい。
点群データの3D画像と、特徴領域の画像が重畳された被写体の2D画像とが表示部5に表示され、かつその3D画像上の点が操作部4に入力されてもよい。点群データの3D画像と、特徴領域の画像が重畳された被写体の2D画像とが表示部5に表示され、かつその2D画像上の点が操作部4に入力されてもよい。
表示部5および操作部4がタッチパネルとして構成されている場合、ユーザーは表示部5の画面をタッチすることにより点を操作部4に入力することができる。そのため、カーソルの表示は必須ではない。したがって、ステップS105、ステップS107、およびステップS108が実行される必要はない。CPU18は、カーソル算出部184の機能を有する必要はない。
図16に示す特徴領域の強調表示は必須ではない。したがって、ステップS106が実行される必要はない。CPU18は、領域選択部186の機能を有する必要はない。
3次元計測における処理の順番は、図13に示す順番に限らない。例えば、ステップS101、ステップS102、またはステップS103が実行される前に被写体の2D画像が表示部5に表示されてもよい。被写体の2D画像の代わりに点群データの3D画像が使用される場合、ステップS102またはステップS103が実行される前にその3D画像が表示部5に表示されてもよい。
第3の実施形態において、内視鏡装置1は、2つ以上の特徴領域の画像を表示部5に表示する。ユーザーは、表示部5に表示された画像を参考にして自身が望む特徴領域内の点を容易に指定することができる。そのため、内視鏡装置1は、被写体上の点の正確な指定を支援することができる。
(第4の実施形態)
本発明の第4の実施形態を説明する。第4の実施形態において、1つの選択領域内の点のみが有効であり、有効な点の3D座標が計測に使用される。
本発明の第4の実施形態を説明する。第4の実施形態において、1つの選択領域内の点のみが有効であり、有効な点の3D座標が計測に使用される。
第4の実施形態において、図12に示すCPU18は、図20に示すCPU18aに変更される。図20は、CPU18aの機能構成を示す。制御部180、生成部181、領域検出部182、表示制御部183、カーソル算出部184、点入力部185、領域選択部186、計測部187、および情報制御部188によってCPU18aの機能が構成されている。図20に示すブロックの少なくとも1つがCPU18aとは別の回路で構成されてもよい。図12に示す構成と同じ構成の説明を省略する。
図20に示す各部は、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。図20に示す各部は、1つまたは複数のプロセッサを含むことができる。図20に示す各部は、1つまたは複数の論理回路を含むことができる。
領域検出部182は、点群データに基づいて被写体上の1つ以上の特徴領域を検出する。第3の実施形態における領域検出部182は2つ以上の特徴領域を検出するが、第4の実施形態における領域検出部182は1つの特徴領域を検出してもよい。領域検出部182が1つの特徴領域を検出した場合、領域検出部182は、点群データにおける全ての点をその特徴領域に割り当てる。
情報制御部188は、第1の制御を実行する。情報制御部188は、点入力部185によって生成された点情報が1つ以上の特徴領域のうちの1つ内の点を示すように点情報を制御する。
領域選択部186は、領域検出部182によって検出された1つ以上の特徴領域のうちの1つを選択領域として選択する(領域選択ステップ)。領域検出部182が2つ以上の特徴領域を検出した場合、領域選択部186は、その2つ以上の特徴領域のうちの1つを選択領域として選択する。領域検出部182が1つのみの特徴領域を検出した場合、領域選択部186はその特徴領域を選択する。点入力部185が選択領域における点を受け付けた場合のみ、情報制御部188は、その点を示す点情報を有効にする(情報制御ステップ)。計測部187は、有効な点情報が示す点を含む2つ以上の点の3D座標に基づいて被写体の大きさを計測する。
計測部187は、有効な点情報が示す1つ以上の点の3D座標を計測に使用する。計測部187が使用する2つ以上の点の全ての点情報が有効である必要はない。計測部187が使用する2つ以上の点の一部の点情報は有効でなくてもよい。例えば、面基準計測が実行される場合、基準面を定義する3つの基準点の点情報のみが有効であってもよく、かつ1つの計測点の点情報は有効でなくてもよい。あるいは、1つの計測点の点情報は、その計測点の位置に関わらず有効であってもよい。
領域選択部186は、領域検出部182によって検出された2つ以上の特徴領域のうちの1つを第1の選択領域として選択し、かつ第1の選択領域を除く1つ以上の特徴領域のうちの1つを第2の選択領域として選択してもよい。点入力部185が第1の選択領域または第2の選択領域における点を受け付けた場合のみ、情報制御部188は、その点を示す点情報を有効にしてもよい。例えば、面基準計測が実行される場合、点入力部185が第1の選択領域における3つの基準点を受け付け、かつ点入力部185が第2の選択領域における1つの計測点を受け付けてもよい。
図21を使用することにより、第4の実施形態における3次元計測について説明する。図21は、3次元計測の手順を示す。図13に示す処理と同じ処理の説明を省略する。
ステップS105の後、点入力部185は、被写体の2D画像上の1つの点を、操作部4を通して受け付け、かつ受け付けられた点を示す点情報を生成する。情報制御部188は、その点情報を有効にする(ステップS121)。ステップS121は、点入力ステップに対応する。
例えば、情報制御部188は、点情報が有効であることを示す情報を生成し、かつその情報を点情報に付加する。情報制御部188は、点情報と、その点情報が有効であることを示す情報とを含むテーブルを管理してもよい。
ステップS121の後、領域選択部186は、ステップS121において受け付けられた点に対応する特徴領域の画像上の位置を検出する。領域選択部186は、その位置を含む特徴領域を選択領域として選択する(ステップS122)。ステップS122は、領域選択ステップに対応する。
被写体の2D画像の各画素は、特徴領域の画像の画素と関連付けられている。そのため、領域選択部186は、被写体の2D画像上の位置に対応する特徴領域の画像上の位置を算出することができる。領域選択部186は、算出された位置を含む特徴領域を選択する。ステップS122の後、ステップS107が実行される。
ステップS109の後、情報制御部188は、ステップS109において受け付けられた点に対応する特徴領域の画像上の位置を算出する。情報制御部188は、被写体の2D画像上の位置に対応する特徴領域の画像上の位置を算出することができる。情報制御部188は、算出された位置が選択領域内にあるか否かを判断する(ステップS123)。選択領域と他の特徴領域との境界上の点は選択領域内の点として扱われる。選択領域と他の特徴領域との境界上の点は選択領域外の点として扱われてもよい。
その点が選択領域内にないと情報制御部188がステップS123において判断した場合、ステップS107が実行される。その場合、その点の点情報は有効ではない。情報制御部188は、その点の点情報を破棄してもよい。表示制御部183は、受け付けられた点が有効ではないことを示す情報を表示部5に表示してもよい。これにより、内視鏡装置1は、有効な点の指定をユーザーに促すことができる。
その点が選択領域内にあると情報制御部188がステップS123において判断した場合、情報制御部188は、その点の点情報を有効にする(ステップS124)。ステップS124は、情報制御ステップに対応する。点情報を有効にする方法は、ステップS121における方法と同様である。ステップS124の後、ステップS110が実行される。
計測部187は、ステップS111において、有効な点情報が示す点のみの3D座標に基づいて被写体の大きさを計測する。有効な点情報が示す点は、選択領域内にある。選択領域内の点が計測に使用されるため、内視鏡装置1は、ユーザーが意図しない点の使用を避けることができる。
図22は、表示部5に表示される画像の例を示す。図14に示す2D画像G11と同じ2D画像G11および図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が2D画像G11上に表示される。図22は、ステップS122において特徴領域R11が選択された後の状態を示す。
ユーザーは、カーソルC11を移動させ、かつ2D画像G11上の点を指定する。例えば、ユーザーは点P21を指定し、かつ点入力部185は点P21を受け付ける。点P21は、特徴領域R12内の点に対応する。情報制御部188は、ステップS123において、点P21に対応する画像G12上の点が特徴領域R11内にないと判断する。そのため、点P21の点情報は有効でなく、計測部187は点P21の3D座標を計測に使用しない。
その後、ユーザーは点P22を指定し、かつ点入力部185は点P22を受け付ける。点P22は、特徴領域R11内の点に対応する。情報制御部188は、ステップS123において、点P22に対応する画像G12上の点が特徴領域R11内にあると判断する。そのため、情報制御部188は、ステップS124において点P22の点情報を有効にする。計測部187は点P22の3D座標を計測に使用する。
図23は、表示部5に表示される画像の他の例を示す。図23に示す例では、ステップS104において被写体の2D画像は表示されない。図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が画像G12上に表示される。ステップS121において画像G12上の位置が操作部4を通して受け付けられた場合、領域選択部186は、ステップS122においてその位置に対応する特徴領域を選択する。図23は、ステップS122において特徴領域R11が選択された後の状態を示す。
ユーザーは、カーソルC11を移動させ、かつ画像G12上の点を指定する。例えば、ユーザーは点P23を指定し、かつ点入力部185は点P23を受け付ける。点P23は、特徴領域R12内にある。情報制御部188は、ステップS123において、点P23が特徴領域R11内にないと判断する。そのため、点P23の点情報は有効でなく、計測部187は点P23の3D座標を計測に使用しない。
その後、ユーザーは点P24を指定し、かつ点入力部185は点P24を受け付ける。点P24は、特徴領域R11内にある。情報制御部188は、ステップS123において、点P24が特徴領域R11内にあると判断する。そのため、情報制御部188は、ステップS124において点P24の点情報を有効にする。計測部187は点P24の3D座標を計測に使用する。
点入力部185が、特徴領域R11、特徴領域R12、特徴領域R13、および特徴領域R14のいずれでもない領域(背景)内の点を受け付ける場合がある。その場合、情報制御部188は、ステップS123において、その点が特徴領域R11内にないと判断する。そのため、その点の点情報は有効でなく、計測部187はその点の3D座標を計測に使用しない。
図21に示す3次元計測では、点入力部185が被写体上の第1の点をステップS121において受け付けた場合、領域選択部186は、その第1の点を含む特徴領域を選択領域としてステップS122において選択する。点入力部185が選択領域における第2の点をステップS109において受け付けた場合、計測部187は、ステップS111において、第1の点および第2の点を含む2つ以上の点の3D座標に基づいて被写体の大きさを計測する。第2の点は第1の点と異なる。点入力部185が3つ以上の点を受け付けた場合、その3つ以上の点は上記の第1の点および第2の点を含む。選択領域内の2つ以上の点が計測に使用されるため、内視鏡装置1は、ユーザーが意図しない点の使用を避けることができる。
図22に示す例では、被写体の2D画像および特徴領域の画像が表示部5に表示され、かつその2D画像が点の入力に使用される。図23に示す例では、特徴領域の画像が表示部5に表示され、かつその画像が点の入力に使用される。表示部5に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。その組み合わせは、第3の実施形態と同様である。第4の実施形態において、特徴領域の画像の表示は必須ではない。
図21に示す3次元計測では、計測部187は、ステップS121において受け付けられた点を計測に使用する。その点は、特徴領域の選択のみに使用されてもよい。計測部187がその点を計測に使用する必要はない。
表示制御部183は、ステップS122において選択領域を強調表示してもよい。あるいは、表示制御部183は、ステップS122において選択領域のみを表示部5に表示してもよい。
表示部5および操作部4がタッチパネルとして構成されている場合、カーソルの表示は必須ではない。したがって、ステップS105、ステップS107、およびステップS108が実行される必要はない。CPU18は、カーソル算出部184の機能を有する必要はない。
3次元計測における処理の順番は、図21に示す順番に限らない。例えば、ステップS101、ステップS102、またはステップS103が実行される前に被写体の2D画像が表示部5に表示されてもよい。被写体の2D画像の代わりに点群データの3D画像が使用される場合、ステップS102またはステップS103が実行される前にその3D画像が表示部5に表示されてもよい。
第4の実施形態において、内視鏡装置1は、第1の制御を実行する。第1の制御において、点情報が選択領域内の点を示すように点情報が制御される。内視鏡装置1は、選択領域内の点の3D座標を計測に使用する。そのため、内視鏡装置1は、被写体上の点の正確な指定を支援することができる。ユーザーは、選択領域の境界上の点を容易に指定することができる。
(第5の実施形態)
本発明の第5の実施形態を説明する。第5の実施形態の内視鏡装置1は、図12に示すCPU18を有する。第5の実施形態において、画像上のマークの位置が1つの特徴領域内に制限される。
本発明の第5の実施形態を説明する。第5の実施形態の内視鏡装置1は、図12に示すCPU18を有する。第5の実施形態において、画像上のマークの位置が1つの特徴領域内に制限される。
表示制御部183およびカーソル算出部184は、第2の制御を実行する。表示制御部183は、マークを画像上に表示する。カーソル算出部184は、マークの位置を1つ以上の特徴領域のうちの1つに対応する領域内に制限する。
表示制御部183は、点群データの3D画像および被写体の2D画像の一方を表示部5に表示する(画像表示ステップ)。領域選択部186は、領域検出部182によって検出された1つ以上の特徴領域のうちの1つを選択領域として選択する(領域選択ステップ)。領域検出部182が2つ以上の特徴領域を検出した場合、領域選択部186は、その2つ以上の特徴領域のうちの1つを選択領域として選択する。領域検出部182が1つのみの特徴領域を検出した場合、領域選択部186はその特徴領域を選択する。表示制御部183は、マークを点群データの3D画像および被写体の2D画像の一方上に表示する(マーク表示ステップ)。カーソル算出部184は、マークが表示される位置を、操作部4を通して受け付けられた情報に基づいて算出する(位置算出ステップ)。マークが表示される位置は、選択領域に対応する領域内に制限される。点入力部185は、マークの位置に対応する点を受け付ける(点入力ステップ)。
表示制御部183は、マークを1つ以上の特徴領域の画像上に表示してもよい(マーク表示ステップ)。マークが特徴領域の画像上に表示される場合、表示制御部183は、点群データの3D画像および被写体の2D画像を表示部5に表示する必要はない。
領域選択部186は、領域検出部182によって検出された2つ以上の特徴領域のうちの1つを第1の選択領域として選択し、かつ第1の選択領域を除く1つ以上の特徴領域のうちの1つを第2の選択領域として選択してもよい。マークが表示される位置は、第1の選択領域または第2の選択領域に対応する領域内に制限されてもよい。例えば、面基準計測が実行される場合、マークの位置は第1の選択領域に対応する領域内に制限され、かつ点入力部185が第1の選択領域における3つの基準点を受け付けてもよい。その後、マークの位置は第2の選択領域に対応する領域内に制限され、かつ点入力部185が第2の選択領域における1つの計測点を受け付けてもよい。
図24を使用することにより、第5の実施形態における3次元計測について説明する。図24は、3次元計測の手順を示す。図13および図21に示す処理と同じ処理の説明を省略する。
表示制御部183は、ステップS104において被写体の2D画像および特徴領域の画像を表示部5に表示する。ステップS105の後、点入力部185は、被写体の2D画像上の1つの点を、操作部4を通して受け付け、かつ受け付けられた点を示す点情報を生成する(ステップS131)。ステップS131は、点入力ステップに対応する。
ステップS131の後、領域選択部186は、ステップS122において1つの特徴領域を選択領域として選択する。カーソル算出部184は、ステップS107において、操作部4に入力された位置情報に基づいて被写体の2D画像上の位置を算出する。ステップS107は、位置算出ステップに対応する。
ステップS107の後、カーソル算出部184は、ステップS107において算出された位置に対応する特徴領域の画像上の位置を算出する。被写体の2D画像の各画素は、特徴領域の画像の画素と関連付けられている。そのため、カーソル算出部184は、被写体の2D画像上の位置に対応する特徴領域の画像上の位置を算出することができる。カーソル算出部184は、算出された位置が選択領域内にあるか否かを判断する(ステップS132)。選択領域と他の特徴領域との境界上の点は選択領域内の点として扱われる。選択領域と他の特徴領域との境界上の点は選択領域外の点として扱われてもよい。
その位置が選択領域内にないとカーソル算出部184がステップS132において判断した場合、ステップS107が実行される。その位置が選択領域内にあるとカーソル算出部184がステップS132において判断した場合、表示制御部183は、ステップS108において、その位置にカーソルを表示する。ステップS108は、マーク表示ステップに対応する。カーソルは、選択領域に対応する2D画像の領域内に表示される。ユーザーは、その領域内でのみカーソルを移動させることができる。
点入力部185は、ステップS109において、選択領域に対応する2D画像の領域内の点を受け付ける。計測部187は、ステップS111において、選択領域に対応する2D画像の領域内の点のみの3D座標に基づいて被写体の大きさを計測する。選択領域内の点が計測に使用されるため、内視鏡装置1は、ユーザーが意図しない点の使用を避けることができる。
図25は、表示部5に表示される画像の例を示す。図14に示す2D画像G11と同じ2D画像G11および図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が2D画像G11上に表示される。図25は、ステップS122において特徴領域R11が選択された後の状態を示す。
ユーザーは、カーソルC11を移動させ、かつ2D画像G11上の点を指定する。ユーザーがカーソルC11を特徴領域R11に対応する2D画像G11上の領域外に移動させようとしたとき、カーソル算出部184は、ステップS132において、カーソルC11の位置に対応する画像G12上の位置が特徴領域R11内にないと判断する。そのため、ステップS108は実行されない。例えば、ユーザーは、特徴領域R12内の位置に対応する2D画像G11上の位置にカーソルC11を移動させることができない。一方、ユーザーは、特徴領域R11内の位置に対応する2D画像G11上の位置にカーソルC11を移動させることができる。例えば、ユーザーは点P31を指定し、かつ点入力部185は点P31を受け付ける。点P31は、特徴領域R11内の点に対応する。計測部187は点P31の3D座標を計測に使用する。
図26は、表示部5に表示される画像の他の例を示す。図26に示す例では、ステップS104において被写体の2D画像は表示されない。図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が画像G12上に表示される。ステップS131において画像G12上の位置が操作部4を通して受け付けられた場合、領域選択部186は、ステップS122においてその位置に対応する特徴領域を選択する。図26は、ステップS122において特徴領域R11が選択された後の状態を示す。
ユーザーは、カーソルC11を移動させ、かつ画像G12上の点を指定する。ユーザーがカーソルC11を特徴領域R11外に移動させようとしたとき、カーソル算出部184は、ステップS132において、カーソルC11の位置が特徴領域R11内にないと判断する。そのため、ステップS108は実行されない。例えば、ユーザーは、特徴領域R12内の位置にカーソルC11を移動させることができない。一方、ユーザーは、特徴領域R11内の位置にカーソルC11を移動させることができる。例えば、ユーザーは点P32を指定し、かつ点入力部185は点P32を受け付ける。点P32は、特徴領域R11内にある。計測部187は点P32の3D座標を計測に使用する。
図24に示す3次元計測では、点入力部185が被写体上の第1の点をステップS131において受け付けた場合、領域選択部186は、その第1の点を含む特徴領域を選択領域としてステップS122において選択する。点入力部185が選択領域における第2の点をステップS109において受け付けた場合、計測部187は、ステップS111において、第1の点および第2の点を含む2つ以上の点の3D座標に基づいて被写体の大きさを計測する。第2の点は第1の点と異なる。点入力部185が3つ以上の点を受け付けた場合、その3つ以上の点は上記の第1の点および第2の点を含む。選択領域内の2つ以上の点が計測に使用されるため、内視鏡装置1は、ユーザーが意図しない点の使用を避けることができる。
図25に示す例では、被写体の2D画像および特徴領域の画像が表示部5に表示され、かつその2D画像が点の入力に使用される。図26に示す例では、特徴領域の画像が表示部5に表示され、かつその画像が点の入力に使用される。表示部5に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。その組み合わせは、第3の実施形態と同様である。第5の実施形態において、特徴領域の画像の表示は必須ではない。
図24に示す3次元計測では、計測部187は、ステップS131において受け付けられた点を計測に使用する。その点は、特徴領域の選択のみに使用されてもよい。計測部187がその点を計測に使用する必要はない。
表示制御部183は、ステップS122において選択領域を強調表示してもよい。あるいは、表示制御部183は、ステップS122において選択領域のみを表示部5に表示してもよい。
3次元計測における処理の順番は、図24に示す順番に限らない。例えば、ステップS101、ステップS102、またはステップS103が実行される前に被写体の2D画像が表示部5に表示されてもよい。被写体の2D画像の代わりに点群データの3D画像が使用される場合、ステップS102またはステップS103が実行される前にその3D画像が表示部5に表示されてもよい。
第5の実施形態において、内視鏡装置1は、第2の制御を実行する。第2の制御において、マークが画像上に表示され、かつマークの位置は選択領域に対応する領域内に制限される。内視鏡装置1は、選択領域内の点の3D座標を計測に使用する。そのため、内視鏡装置1は、被写体上の点の正確な指定を支援することができる。ユーザーは、選択領域の境界上の点を容易に指定することができる。
(第6の実施形態)
本発明の第6の実施形態を説明する。第6の実施形態の内視鏡装置1は、図20に示すCPU18aを有する。第6の実施形態において、1つの特徴領域外の点が受け付けられた場合、その点はその特徴領域内の点に変更される。
本発明の第6の実施形態を説明する。第6の実施形態の内視鏡装置1は、図20に示すCPU18aを有する。第6の実施形態において、1つの特徴領域外の点が受け付けられた場合、その点はその特徴領域内の点に変更される。
情報制御部188は、第1の制御を実行する。情報制御部188は、点入力部185によって生成された点情報が1つ以上の特徴領域のうちの1つ内の点を示すように点情報を制御する。
領域選択部186は、領域検出部182によって検出された1つ以上の特徴領域のうちの1つを選択領域として選択する(領域選択ステップ)。領域検出部182が2つ以上の特徴領域を検出した場合、領域選択部186は、その2つ以上の特徴領域のうちの1つを選択領域として選択する。領域検出部182が1つのみの特徴領域を検出した場合、領域選択部186はその特徴領域を選択する。点入力部185が、選択領域外の点を受け付けた場合、情報制御部188は、その点を示す点情報を無効にする。さらに、情報制御部188は、選択領域内の点を示す新たな点情報を生成する(情報制御ステップ)。計測部187は、無効な点情報を除く点情報が示す2つ以上の点の3D座標に基づいて被写体の大きさを計測する(計測ステップ)。
計測部187は、無効である点情報が示す1つ以上の点の3D座標を計測に使用しない。計測部187は、無効ではない点情報が示す1つ以上の点の3D座標を計測に使用する。計測部187が使用する2つ以上の点の一部の点情報は、上記の処理の対象でなくてもよい。例えば、面基準計測が実行される場合、基準面を定義する3つの基準点の点情報は上記の処理の対象であってもよく、かつ1つの計測点の点情報は上記の処理の対象でなくてもよい。
領域選択部186は、領域検出部182によって検出された2つ以上の特徴領域のうちの1つを第1の選択領域として選択し、かつ第1の選択領域を除く1つ以上の特徴領域のうちの1つを第2の選択領域として選択してもよい。点入力部185が第1の選択領域および第2の選択領域以外の領域における点を受け付けた場合のみ、情報制御部188は、その点を示す点情報を無効にしてもよい。例えば、面基準計測が実行される場合、点入力部185が第1の選択領域における3つの基準点を受け付け、かつ点入力部185が第2の選択領域における1つの計測点を受け付けてもよい。
図27を使用することにより、第6の実施形態における3次元計測について説明する。図27は、3次元計測の手順を示す。図13、図21、および図24に示す処理と同じ処理の説明を省略する。
表示制御部183は、ステップS104において被写体の2D画像および特徴領域の画像を表示部5に表示する。点入力部185は、ステップS131において、被写体の2D画像上の点を受け付ける。領域選択部186は、ステップS122において1つの特徴領域を選択領域として選択する。
点入力部185は、ステップS109において、被写体の2D画像上の点を受け付ける。情報制御部188は、ステップS123において、その点に対応する特徴領域の画像上の位置を算出する。情報制御部188は、ステップS123において、その位置が選択領域内にあるか否かを判断する。
その位置が選択領域内にないと情報制御部188がステップS123において判断した場合、情報制御部188は、その点の点情報を無効にする(ステップS141)。ステップS141は、情報制御ステップに対応する。
例えば、情報制御部188は、点情報が無効であることを示す情報を生成し、かつその情報を点情報に付加する。情報制御部188は、点情報と、その点情報が無効であることを示す情報とを含むテーブルを管理してもよい。無効な点情報は、計測においてその点情報が示す点の使用の禁止を示す。情報制御部188は、点情報を破棄することによりその点情報を無効にしてもよい。
ステップS141の後、情報制御部188は、選択領域内の点を示す新たな点情報を生成する(ステップS142)。ステップS142は、情報制御ステップに対応する。
情報制御部188は、ステップS123において算出された位置に基づいて選択領域内の位置を算出する。例えば、情報制御部188は、ステップS123において算出された位置に最も近い位置を算出する。情報制御部188は、その位置を示す点情報を生成する。情報制御部188は、ステップS123において算出された位置と選択領域内の位置との間の距離、選択領域内の位置における明るさ、選択領域内の位置におけるコントラスト、およびマッチング処理において得られた相関値などに基づいて新たな点の位置を算出してもよい。ステップS142の後、ステップS110が実行される。
計測部187は、ステップS111において、無効ではない点情報が示す点のみの3D座標に基づいて被写体の大きさを計測する。無効ではない点情報が示す点は、選択領域内にある。選択領域内の点が計測に使用されるため、内視鏡装置1は、ユーザーが意図しない点の使用を避けることができる。
図28は、表示部5に表示される画像の例を示す。図14に示す2D画像G11と同じ2D画像G11および図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が2D画像G11上に表示される。図28は、ステップS122において特徴領域R11が選択された後の状態を示す。
ユーザーは、カーソルC11を移動させ、かつ2D画像G11上の点を指定する。例えば、ユーザーは点P41を指定し、かつ点入力部185は点P41を受け付ける。点P41は、特徴領域R12内の点に対応する。情報制御部188は、ステップS123において、点P41に対応する画像G12上の点が特徴領域R11内にないと判断する。そのため、情報制御部188は、ステップS141において点P41の点情報を無効にする。さらに、情報制御部188は、ステップS142において、特徴領域R11に対応する領域内の点P42を示す新たな点情報を生成する。このとき、点P41のマークは表示されずに点P42のマークが表示されてもよい。図28に示す例では、点P42は、特徴領域R11に対応する領域内の点のうち点P41に最も近い。計測部187は点P41の3D座標を計測に使用せずに点P42の3D座標を計測に使用する。
図29は、表示部5に表示される画像の他の例を示す。図29に示す例では、ステップS104において被写体の2D画像は表示されない。図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が画像G12上に表示される。ステップS131において画像G12上の位置が操作部4を通して受け付けられた場合、領域選択部186は、ステップS122においてその位置に対応する特徴領域を選択する。図29は、ステップS122において特徴領域R11が選択された後の状態を示す。
ユーザーは、カーソルC11を移動させ、かつ画像G12上の点を指定する。例えば、ユーザーは点P43を指定し、かつ点入力部185は点P43を受け付ける。点P43は、特徴領域R12内にある。情報制御部188は、ステップS123において、点P43が特徴領域R11内にないと判断する。そのため、情報制御部188は、ステップS141において点P43の点情報を無効にする。さらに、情報制御部188は、ステップS142において、特徴領域R11内の点P44を示す新たな点情報を生成する。このとき、点P43のマークは表示されずに点P44のマークが表示されてもよい。図29に示す例では、点P44は、特徴領域R11内の点のうち点P43に最も近い。計測部187は点P43の3D座標を計測に使用せずに点P44の3D座標を計測に使用する。
点入力部185が、特徴領域R11、特徴領域R12、特徴領域R13、および特徴領域R14のいずれでもない領域(背景)内の点を受け付ける場合がある。その場合、情報制御部188は、ステップS123において、その点が特徴領域R11内にないと判断する。そのため、その点の点情報は無効であり、計測部187はその点の3D座標を計測に使用しない。
図27に示す3次元計測では、点入力部185が被写体上の第1の点をステップS131において受け付けた場合、領域選択部186は、その第1の点を含む特徴領域を選択領域としてステップS122において選択する。点入力部185が選択領域における第2の点をステップS109において受け付けた場合、計測部187は、ステップS111において、第1の点および第2の点を含む2つ以上の点の3D座標に基づいて被写体の大きさを計測する。第2の点は第1の点と異なる。点入力部185が3つ以上の点を受け付けた場合、その3つ以上の点は上記の第1の点および第2の点を含む。選択領域内の2つ以上の点が計測に使用されるため、内視鏡装置1は、ユーザーが意図しない点の使用を避けることができる。
図28に示す例では、被写体の2D画像および特徴領域の画像が表示部5に表示され、かつその2D画像が点の入力に使用される。図29に示す例では、特徴領域の画像が表示部5に表示され、かつその画像が点の入力に使用される。表示部5に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。その組み合わせは、第3の実施形態と同様である。第6の実施形態において、特徴領域の画像の表示は必須ではない。
図27に示す3次元計測では、計測部187は、ステップS131において受け付けられた点を計測に使用する。その点は、特徴領域の選択のみに使用されてもよい。計測部187がその点を計測に使用する必要はない。
表示制御部183は、ステップS122において選択領域を強調表示してもよい。あるいは、表示制御部183は、ステップS122において選択領域のみを表示部5に表示してもよい。
表示部5および操作部4がタッチパネルとして構成されている場合、カーソルの表示は必須ではない。したがって、ステップS105、ステップS107、およびステップS108が実行される必要はない。CPU18は、カーソル算出部184の機能を有する必要はない。
3次元計測における処理の順番は、図27に示す順番に限らない。例えば、ステップS101、ステップS102、またはステップS103が実行される前に被写体の2D画像が表示部5に表示されてもよい。被写体の2D画像の代わりに点群データの3D画像が使用される場合、ステップS102またはステップS103が実行される前にその3D画像が表示部5に表示されてもよい。
第6の実施形態において、内視鏡装置1は、第1の制御を実行する。第1の制御において、点情報が選択領域内の点を示すように点情報が制御される。内視鏡装置1は、選択領域内の点の3D座標を計測に使用する。そのため、内視鏡装置1は、被写体上の点の正確な指定を支援することができる。ユーザーは、選択領域の境界上の点を容易に指定することができる。
(第7の実施形態)
本発明の第7の実施形態を説明する。第7の実施形態の内視鏡装置1は、図20に示すCPU18aを有する。第7の実施形態において、画像上のマークが1つの特徴領域外にあり、かつそのマークの位置にある点が受け付けられた場合、そのマークの位置はその特徴領域内の位置に変更される。
本発明の第7の実施形態を説明する。第7の実施形態の内視鏡装置1は、図20に示すCPU18aを有する。第7の実施形態において、画像上のマークが1つの特徴領域外にあり、かつそのマークの位置にある点が受け付けられた場合、そのマークの位置はその特徴領域内の位置に変更される。
表示制御部183およびカーソル算出部184は、第2の制御を実行する。表示制御部183は、マークを画像上に表示する。カーソル算出部184は、マークの位置を1つ以上の特徴領域のうちの1つに対応する領域内に制限する。
表示制御部183は、点群データの3D画像および被写体の2D画像の一方を表示部5に表示する(画像表示ステップ)。領域選択部186は、領域検出部182によって検出された1つ以上の特徴領域のうちの1つを選択領域として選択する(領域選択ステップ)。領域検出部182が2つ以上の特徴領域を検出した場合、領域選択部186は、その2つ以上の特徴領域のうちの1つを選択領域として選択する。領域検出部182が1つのみの特徴領域を検出した場合、領域選択部186はその特徴領域を選択する。表示制御部183は、マークを点群データの3D画像および被写体の2D画像の一方上に表示する(マーク表示ステップ)。カーソル算出部184は、マークが表示される位置を、操作部4を通して受け付けられた情報に基づいて算出する(位置算出ステップ)。
選択領域に対応する領域内にマークが表示され、かつ点入力部185がそのマークの位置に対応する点を受け付けた場合、計測部187は、点情報が示す点を含む2つ以上の点の3D座標に基づいて被写体の大きさを計測する(計測ステップ)。選択領域に対応する領域外にマークが表示され、かつ点入力部185がそのマークの位置に対応する点を受け付けた場合、そのマークは選択領域に対応する領域内に表示される。
表示制御部183は、マークを1つ以上の特徴領域の画像上に表示してもよい(マーク表示ステップ)。選択領域内にマークが表示され、かつ点入力部185がそのマークの位置に対応する点を受け付けた場合、計測部187は、点情報が示す点を含む2つ以上の点の3D座標に基づいて被写体の大きさを計測してもよい(計測ステップ)。選択領域外にマークが表示され、かつ点入力部185がそのマークの位置に対応する点を受け付けた場合、そのマークは選択領域内に表示されてもよい。マークが特徴領域の画像上に表示される場合、表示制御部183は、点群データの3D画像および被写体の2D画像を表示部5に表示する必要はない。
領域選択部186は、領域検出部182によって検出された2つ以上の特徴領域のうちの1つを第1の選択領域として選択し、かつ第1の選択領域を除く1つ以上の特徴領域のうちの1つを第2の選択領域として選択してもよい。マークが表示される位置は、第1の選択領域または第2の選択領域に対応する領域内に制限されてもよい。例えば、面基準計測が実行される場合、マークの位置は第1の選択領域に対応する領域内に制限され、かつ点入力部185が第1の選択領域における3つの基準点を受け付けてもよい。その後、マークの位置は第2の選択領域に対応する領域内に制限され、かつ点入力部185が第2の選択領域における1つの計測点を受け付けてもよい。
図30を使用することにより、第7の実施形態における3次元計測について説明する。図30は、3次元計測の手順を示す。図13、図21、図24、および図27に示す処理と同じ処理の説明を省略する。
表示制御部183は、ステップS104において被写体の2D画像および特徴領域の画像を表示部5に表示する。点入力部185は、ステップS131において、被写体の2D画像上の点を受け付ける。領域選択部186は、ステップS122において1つの特徴領域を選択領域として選択する。
点入力部185は、ステップS109において、被写体の2D画像上の点を受け付ける。情報制御部188は、ステップS123において、その点に対応する特徴領域の画像上の位置を算出する。情報制御部188は、ステップS123において、その位置が選択領域内にあるか否かを判断する。
その位置が選択領域内にないと情報制御部188がステップS123において判断した場合、情報制御部188は、ステップS141においてその点の点情報を無効にする。
ステップS141の後、カーソル算出部184は、被写体の2D画像上のカーソルの新たな位置を算出する(ステップS151)。ステップS151は、位置算出ステップに対応する。
カーソル算出部184は、ステップS123において算出された位置に基づいて選択領域内の位置を算出する。例えば、カーソル算出部184は、ステップS123において算出された位置に最も近い位置を算出する。カーソル算出部184は、ステップS123において算出された位置と選択領域内の位置との間の距離、選択領域内の位置における明るさ、選択領域内の位置におけるコントラスト、およびマッチング処理において得られた相関値などに基づいてカーソルの新たな位置を算出してもよい。ステップS151の後、ステップS108が実行される。
表示制御部183は、ステップS108において、カーソル算出部184によって算出された位置にカーソルを表示することによりカーソルを更新する。ステップS108が実行されたとき、カーソルは、選択領域に対応する2D画像の領域外の位置から選択領域に対応する2D画像の領域内の位置に移動する。
計測部187は、ステップS111において、無効ではない点情報が示す点のみの3D座標に基づいて被写体の大きさを計測する。無効ではない点情報が示す点は、選択領域内にある。選択領域内の点が計測に使用されるため、内視鏡装置1は、ユーザーが意図しない点の使用を避けることができる。
図31は、表示部5に表示される画像の例を示す。図14に示す2D画像G11と同じ2D画像G11および図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が2D画像G11上に表示される。図31は、ステップS122において特徴領域R11が選択された後の状態を示す。
ユーザーは、カーソルC11を移動させ、かつ2D画像G11上の点を指定する。例えば、ユーザーは点P51を指定し、かつ点入力部185は点P51を受け付ける。点P51は、特徴領域R12内の点に対応する。情報制御部188は、ステップS123において、点P51に対応する画像G12上の点が特徴領域R11内にないと判断する。そのため、情報制御部188は、ステップS141において点P51の点情報を無効にする。カーソル算出部184は、ステップS151においてカーソルC11の新たな位置を算出する。その位置は、特徴領域R11内に対応する領域内にある。表示制御部183は、ステップS151においてその位置にカーソルC11を表示する。計測部187は点P51の3D座標を計測に使用しない。
図32は、表示部5に表示される画像の他の例を示す。図32に示す例では、ステップS104において被写体の2D画像は表示されない。図14に示す画像G12と同じ画像G12が表示部5に表示される。図15に示すカーソルC11と同じカーソルC11が画像G12上に表示される。ステップS131において画像G12上の位置が操作部4を通して受け付けられた場合、領域選択部186は、ステップS122においてその位置に対応する特徴領域を選択する。図32は、ステップS122において特徴領域R11が選択された後の状態を示す。
ユーザーは、カーソルC11を移動させ、かつ画像G12上の点を指定する。例えば、ユーザーは点P52を指定し、かつ点入力部185は点P52を受け付ける。点P52は、特徴領域R12内にある。情報制御部188は、ステップS123において、点P52が特徴領域R11内にないと判断する。そのため、情報制御部188は、ステップS141において点P52の点情報を無効にする。カーソル算出部184は、ステップS151においてカーソルC11の新たな位置を算出する。その位置は、特徴領域R11内にある。表示制御部183は、ステップS108においてその位置にカーソルC11を表示する。計測部187は点P52の3D座標を計測に使用しない。
点入力部185が、特徴領域R11、特徴領域R12、特徴領域R13、および特徴領域R14のいずれでもない領域(背景)内の点を受け付ける場合がある。その場合、情報制御部188は、ステップS123において、その点が特徴領域R11内にないと判断する。そのため、その点の点情報は無効であり、計測部187はその点の3D座標を計測に使用しない。
図30に示す3次元計測では、点入力部185が被写体上の第1の点をステップS131において受け付けた場合、領域選択部186は、その第1の点を含む特徴領域を選択領域としてステップS122において選択する。点入力部185が選択領域における第2の点をステップS109において受け付けた場合、計測部187は、ステップS111において、第1の点および第2の点を含む2つ以上の点の3D座標に基づいて被写体の大きさを計測する。第2の点は第1の点と異なる。点入力部185が3つ以上の点を受け付けた場合、その3つ以上の点は上記の第1の点および第2の点を含む。選択領域内の2つ以上の点が計測に使用されるため、内視鏡装置1は、ユーザーが意図しない点の使用を避けることができる。
図31に示す例では、被写体の2D画像および特徴領域の画像が表示部5に表示され、かつその2D画像が点の入力に使用される。図32に示す例では、特徴領域の画像が表示部5に表示され、かつその画像が点の入力に使用される。表示部5に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。その組み合わせは、第3の実施形態と同様である。第7の実施形態において、特徴領域の画像の表示は必須ではない。
図30に示す3次元計測では、計測部187は、ステップS131において受け付けられた点を計測に使用する。その点は、特徴領域の選択のみに使用されてもよい。計測部187がその点を計測に使用する必要はない。
表示制御部183は、ステップS122において選択領域を強調表示してもよい。あるいは、表示制御部183は、ステップS122において選択領域のみを表示部5に表示してもよい。
3次元計測における処理の順番は、図30に示す順番に限らない。例えば、ステップS101、ステップS102、またはステップS103が実行される前に被写体の2D画像が表示部5に表示されてもよい。被写体の2D画像の代わりに点群データの3D画像が使用される場合、ステップS102またはステップS103が実行される前にその3D画像が表示部5に表示されてもよい。
第7の実施形態において、内視鏡装置1は、第2の制御を実行する。第2の制御において、マークが画像上に表示され、かつマークの位置は選択領域に対応する領域内に制限される。内視鏡装置1は、選択領域内の点の3D座標を計測に使用する。そのため、内視鏡装置1は、被写体上の点の正確な指定を支援することができる。ユーザーは、選択領域の境界上の点を容易に指定することができる。
(第8の実施形態)
本発明の第8の実施形態を説明する。以下では、図11に示すPC41が計測装置である例を説明する。PC41は、被写体の2D画像を内視鏡装置1から取得し、かつ3次元計測を実行する。
本発明の第8の実施形態を説明する。以下では、図11に示すPC41が計測装置である例を説明する。PC41は、被写体の2D画像を内視鏡装置1から取得し、かつ3次元計測を実行する。
内視鏡装置1の外部機器インタフェース16は、PC41と通信を実行する。具体的には、外部機器インタフェース16は、1枚以上の被写体の2D画像をPC41に送信する。PC41は、その2D画像を内視鏡装置1から受信する。
例えば、外部機器インタフェース16はケーブルあるいは無線でPC41と接続される。外部機器インタフェース16とPC41との間の通信は、LAN(Local Area Network)またはインターネットを経由して実行されてもよい。
図33は、PC41の構成を示す。図33に示すPC41は、通信部43、CPU44、および表示部45を有する。
通信部43は、内視鏡装置1の外部機器インタフェース16と通信を実行する。具体的には、通信部43は、1枚以上の被写体の2D画像を外部機器インタフェース16から受信する。CPU44は、3次元計測のための処理を実行する。表示部45は、LCD等のモニタ(ディスプレイ)である。表示部45は、表示画面を有し、かつ画像および操作メニュー等を表示画面に表示する。
図34は、CPU44の機能構成を示す。制御部440、生成部441、領域検出部442、表示制御部443、カーソル算出部444、点入力部445、領域選択部446、計測部447、および通信制御部448によってCPU44の機能が構成されている。図34に示すブロックの少なくとも1つがCPU44とは別の回路で構成されてもよい。
図34に示す各部は、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。図34に示す各部は、1つまたは複数のプロセッサを含むことができる。図34に示す各部は、1つまたは複数の論理回路を含むことができる。
制御部440は、各部が実行する処理を制御する。生成部441は、図12に示す生成部181の機能と同じ機能を持つ。領域検出部442は、図12に示す領域検出部182の機能と同じ機能を持つ。表示制御部443は、図12に示す表示制御部183の機能と同じ機能を持つ。カーソル算出部444は、図12に示すカーソル算出部184の機能と同じ機能を持つ。点入力部445は、図12に示す点入力部185の機能と同じ機能を持つ。領域選択部446は、図12に示す領域選択部186の機能と同じ機能を持つ。計測部447は、図12に示す計測部187の機能と同じ機能を持つ。通信制御部448は、通信部43を制御することにより、内視鏡装置1の外部機器インタフェース16と通信を実行する。
CPU44は、図13または図24に示す3次元計測を実行する。CPU44は、図20に示す情報制御部188の機能を持ってもよい。CPU44が情報制御部188の機能を持つ場合、CPU44は、図21、図27、または図30に示す3次元計測を実行してもよい。
CPU44は、CPU44の動作を規定する命令を含むプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、CPU44の機能はソフトウェアにより実現されてもよい。
内視鏡装置1が被写体の2D画像に基づいて点群データを生成し、かつ内視鏡装置1の外部機器インタフェース16がその2D画像およびその点群データをPC41に送信してもよい。PC41の通信部43は、その2D画像およびその点群データを外部機器インタフェース16から受信してもよい。したがって、CPU44が生成部181を有する必要はない。
第8の実施形態において、PC41は、被写体上の点の正確な指定を支援することができる。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
本発明の各実施形態によれば、計測方法、計測装置、および記録媒体は、被写体上の点の正確な指定を支援することができる。
1 内視鏡装置
2 挿入部
3 本体部
4 操作部
5,45 表示部
7,7a 計測装置
8 内視鏡ユニット
9 CCU
10 制御装置
12 映像信号処理回路
13 ROM
14 RAM
15 カードインタフェース
16 外部機器インタフェース
17 制御インタフェース
18,18a,44 CPU
20 先端
28 撮像素子
41 PC
42 メモリカード
43 通信部
70,181,441 生成部
71,71a,182,442 領域検出部
72,72a,183,443 表示制御部
73,185,445 点入力部
74,187,447 計測部
75,188 情報制御部
180,440 制御部
184,444 カーソル算出部
186,446 領域選択部
448 通信制御部
2 挿入部
3 本体部
4 操作部
5,45 表示部
7,7a 計測装置
8 内視鏡ユニット
9 CCU
10 制御装置
12 映像信号処理回路
13 ROM
14 RAM
15 カードインタフェース
16 外部機器インタフェース
17 制御インタフェース
18,18a,44 CPU
20 先端
28 撮像素子
41 PC
42 メモリカード
43 通信部
70,181,441 生成部
71,71a,182,442 領域検出部
72,72a,183,443 表示制御部
73,185,445 点入力部
74,187,447 計測部
75,188 情報制御部
180,440 制御部
184,444 カーソル算出部
186,446 領域選択部
448 通信制御部
Claims (15)
- 被写体の2次元画像に基づいて前記被写体上の2つ以上の点の3次元座標を算出し、かつ前記2つ以上の点の前記3次元座標を含む3次元画像データを生成する生成ステップと、
前記3次元画像データに基づいて前記被写体上の2つ以上の特徴領域を検出し、前記被写体の3次元形状は前記2つ以上の特徴領域の各々において共通の特徴を持つ領域検出ステップと、
前記2つ以上の特徴領域が互いに視覚的に区別されるように前記2つ以上の特徴領域の画像をディスプレイに表示する画像表示ステップと、
前記画像表示ステップが実行された後、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する点入力ステップと、
前記点情報が示す前記点を含む前記被写体上の2つ以上の点の3次元座標に基づいて前記被写体の大きさを計測する計測ステップと、
を有する計測方法。 - 前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップと、
前記選択領域における点が前記点入力ステップにおいて受け付けられた場合のみ、前記点情報を有効にする情報制御ステップと、
をさらに有し、
前記計測ステップにおいて、有効な前記点情報が示す前記点を含む前記2つ以上の点の3次元座標に基づいて前記被写体の前記大きさが計測される
請求項1に記載の計測方法。 - 前記画像表示ステップにおいて、前記3次元画像データの画像および前記2次元画像の一方が前記ディスプレイにさらに表示され、
前記計測方法は、
前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップと、
マークを前記3次元画像データの前記画像および前記2次元画像の一方上に表示するマーク表示ステップと、
前記マークが表示される位置を、前記入力装置を通して受け付けられた情報に基づいて算出し、前記マークが表示される前記位置は前記選択領域に対応する領域内に制限される位置算出ステップと、
をさらに有し、
前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられる
請求項1に記載の計測方法。 - 前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップと、
マークを前記2つ以上の特徴領域の前記画像上に表示するマーク表示ステップと、
前記マークが表示される位置を、前記入力装置を通して受け付けられた情報に基づいて算出し、前記マークが表示される前記位置は前記選択領域内に制限される位置算出ステップと、
をさらに有し、
前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられる
請求項1に記載の計測方法。 - 前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップと、
前記選択領域外の点が前記点入力ステップにおいて受け付けられた場合、受け付けられた前記点情報を無効にし、かつ前記選択領域内の点を示す新たな前記点情報を生成する情報制御ステップと、
をさらに有し、
前記計測ステップにおいて、無効な前記点情報を除く前記点情報が示す前記2つ以上の点の3次元座標に基づいて前記被写体の前記大きさが計測される
する請求項1に記載の計測方法。 - 前記画像表示ステップにおいて、前記3次元画像データの画像および前記2次元画像の一方が前記ディスプレイにさらに表示され、
前記計測方法は、
前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップと、
マークを前記3次元画像データの前記画像および前記2次元画像の一方上に表示するマーク表示ステップと、
前記マークが表示される位置を、前記入力装置を通して受け付けられた情報に基づいて算出する位置算出ステップと、
をさらに有し、
前記選択領域に対応する領域内に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記点情報が示す前記点を含む前記2つ以上の点の前記3次元座標に基づいて前記被写体の前記大きさが計測され、
前記選択領域に対応する前記領域外に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記マークが表示される位置は、前記選択領域に対応する前記領域内の位置に変更される
請求項1に記載の計測方法。 - 前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップと、
マークを前記2つ以上の特徴領域の前記画像上に表示するマーク表示ステップと、
前記マークが表示される位置を、前記入力装置を通して受け付けられた情報に基づいて算出する位置算出ステップと、
をさらに有し、
前記選択領域内に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記点情報が示す前記点を含む前記2つ以上の点の前記3次元座標に基づいて前記被写体の前記大きさが計測され、
前記選択領域外に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記マークが表示される位置は、前記選択領域内の位置に変更される
請求項1に記載の計測方法。 - 前記被写体上の第1の点が前記点入力ステップにおいて受け付けられた場合、前記第1の点を含む前記特徴領域が前記領域選択ステップにおいて選択され、
前記選択領域における第2の点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記第1の点および前記第2の点を含む前記2つ以上の点の前記3次元座標に基づいて前記被写体の前記大きさが計測され、前記第2の点は前記第1の点と異なる
請求項2に記載の計測方法。 - 前記2つ以上の特徴領域の前記画像上の位置が前記入力装置を通して受け付けられた場合、受け付けられた前記位置に対応する前記特徴領域が前記領域選択ステップにおいて選択される
請求項2に記載の計測方法。 - 前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップをさらに有し、
前記画像表示ステップにおいて前記選択領域が第1の色で表示され、かつ前記画像表示ステップにおいて前記選択領域と異なる前記特徴領域が前記第1の色と異なる第2の色で表示される
請求項1に記載の計測方法。 - 前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップをさらに有し、
前記画像表示ステップにおいて前記選択領域のみが表示される
請求項1に記載の計測方法。 - 前記2つ以上の特徴領域のうちの1つを選択領域として選択する領域選択ステップをさらに有し、
前記画像表示ステップにおいて前記選択領域が強調表示される
請求項1に記載の計測方法。 - 被写体の2次元画像に基づいて前記被写体上の2つ以上の点の3次元座標を算出し、かつ前記2つ以上の点の前記3次元座標を含む3次元画像データを生成する生成ステップと、
前記3次元画像データに基づいて前記被写体上の1つ以上の特徴領域を検出し、前記被写体の3次元形状は前記1つ以上の特徴領域の各々において共通の特徴を持つ領域検出ステップと、
前記3次元画像データの画像、前記2次元画像、および前記1つ以上の特徴領域の画像のうちの1つをディスプレイに表示する画像表示ステップと、
前記画像表示ステップが実行された後、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する点入力ステップと、
第1の制御および第2の制御の一方を実行し、前記第1の制御において、前記点情報が前記1つ以上の特徴領域のうちの1つ内の点を示すように前記点情報が制御され、前記第2の制御において、前記3次元画像データの前記画像、前記2次元画像、および前記1つ以上の特徴領域の画像のうちの1つ上にマークが表示され、前記マークの位置は前記1つ以上の特徴領域のうちの1つに対応する領域内に制限され、前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられる制御ステップと、
前記点情報が示す前記点を含む前記被写体上の2つ以上の点の3次元座標に基づいて前記被写体の大きさを計測する計測ステップと、
を有する計測方法。 - 被写体の2次元画像に基づいて前記被写体上の2つ以上の点の3次元座標を算出し、かつ前記2つ以上の点の前記3次元座標を含む3次元画像データを生成する生成部と、
前記3次元画像データに基づいて前記被写体上の2つ以上の特徴領域を検出し、前記被写体の3次元形状は前記2つ以上の特徴領域の各々において共通の特徴を持つ領域検出部と、
前記2つ以上の特徴領域が互いに視覚的に区別されるように前記2つ以上の特徴領域の画像をディスプレイに表示する表示制御部と、
前記2つ以上の特徴領域の前記画像が表示された後、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する点入力部と、
前記点情報が示す前記点を含む前記被写体上の2つ以上の点の3次元座標に基づいて前記被写体の大きさを計測する計測部と、
を有する計測装置。 - 被写体の2次元画像に基づいて前記被写体上の2つ以上の点の3次元座標を算出し、かつ前記2つ以上の点の前記3次元座標を含む3次元画像データを生成する生成ステップと、
前記3次元画像データに基づいて前記被写体上の2つ以上の特徴領域を検出し、前記被写体の3次元形状は前記2つ以上の特徴領域の各々において共通の特徴を持つ領域検出ステップと、
前記2つ以上の特徴領域が互いに視覚的に区別されるように前記2つ以上の特徴領域の画像をディスプレイに表示する画像表示ステップと、
前記画像表示ステップが実行された後、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する点入力ステップと、
前記点情報が示す前記点を含む前記被写体上の2つ以上の点の3次元座標に基づいて前記被写体の大きさを計測する計測ステップと、
をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/010021 WO2021181464A1 (ja) | 2020-03-09 | 2020-03-09 | 計測方法、計測装置、および記録媒体 |
JP2021558773A JP7423654B2 (ja) | 2020-03-09 | 2020-03-09 | 計測方法、計測装置、および記録媒体 |
US17/487,791 US20220020208A1 (en) | 2020-03-09 | 2021-09-28 | Measurement method, measurement device, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/010021 WO2021181464A1 (ja) | 2020-03-09 | 2020-03-09 | 計測方法、計測装置、および記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/487,791 Continuation US20220020208A1 (en) | 2020-03-09 | 2021-09-28 | Measurement method, measurement device, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021181464A1 true WO2021181464A1 (ja) | 2021-09-16 |
Family
ID=77670477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/010021 WO2021181464A1 (ja) | 2020-03-09 | 2020-03-09 | 計測方法、計測装置、および記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220020208A1 (ja) |
JP (1) | JP7423654B2 (ja) |
WO (1) | WO2021181464A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7113997B1 (ja) * | 2021-11-09 | 2022-08-05 | 三菱電機株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10314104A (ja) * | 1997-05-14 | 1998-12-02 | Olympus Optical Co Ltd | 内視鏡の視野変換装置 |
JP2018521370A (ja) * | 2015-03-17 | 2018-08-02 | ゼネラル・エレクトリック・カンパニイ | 観視対象の3次元形状を描画する画像と同時に観視対象の2次元画像を表示するための方法および機器 |
JP2020034442A (ja) * | 2018-08-30 | 2020-03-05 | オリンパス株式会社 | 計測装置の作動方法、計測装置、およびプログラム |
-
2020
- 2020-03-09 JP JP2021558773A patent/JP7423654B2/ja active Active
- 2020-03-09 WO PCT/JP2020/010021 patent/WO2021181464A1/ja active Application Filing
-
2021
- 2021-09-28 US US17/487,791 patent/US20220020208A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10314104A (ja) * | 1997-05-14 | 1998-12-02 | Olympus Optical Co Ltd | 内視鏡の視野変換装置 |
JP2018521370A (ja) * | 2015-03-17 | 2018-08-02 | ゼネラル・エレクトリック・カンパニイ | 観視対象の3次元形状を描画する画像と同時に観視対象の2次元画像を表示するための方法および機器 |
JP2020034442A (ja) * | 2018-08-30 | 2020-03-05 | オリンパス株式会社 | 計測装置の作動方法、計測装置、およびプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7113997B1 (ja) * | 2021-11-09 | 2022-08-05 | 三菱電機株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
WO2023084602A1 (ja) * | 2021-11-09 | 2023-05-19 | 三菱電機株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7423654B2 (ja) | 2024-01-29 |
US20220020208A1 (en) | 2022-01-20 |
JPWO2021181464A1 (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6150532B2 (ja) | 計測装置およびプログラム | |
CN102395318B (zh) | 诊断支援装置及诊断支援方法 | |
JP7045963B2 (ja) | 計測装置の作動方法、計測装置、およびプログラム | |
JP6037683B2 (ja) | 計測装置、計測装置の作動方法、およびプログラム | |
JP2018197674A (ja) | 計測装置の作動方法、計測装置、計測システム、3次元形状復元装置、およびプログラム | |
JP2003222509A (ja) | 位置姿勢決定方法および装置並びに記憶媒体 | |
JP2012217769A (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
US11232568B2 (en) | Three-dimensional image display method, three-dimensional image display device, and recording medium | |
JP2006055213A (ja) | 画像処理装置、及びプログラム | |
JP2022071822A (ja) | 画像表示方法、表示制御装置、およびプログラム | |
WO2021181464A1 (ja) | 計測方法、計測装置、および記録媒体 | |
US20200053296A1 (en) | Measurement device, method of operating measurement device, and recording medium | |
JP2006329684A (ja) | 画像計測装置及び方法 | |
JP7049220B2 (ja) | 画像取得装置および画像取得装置の作動方法 | |
JP7116925B2 (ja) | 観察装置の作動方法、観察装置、およびプログラム | |
JP6081209B2 (ja) | 内視鏡装置およびプログラム | |
WO2013099305A1 (ja) | 内視鏡画像処理装置、内視鏡画像上の位置の指定方法及び記憶媒体 | |
JP2022172637A (ja) | 画像処理方法、画像処理装置、およびプログラム | |
JP6804417B2 (ja) | 計測装置、計測システム、計測装置の作動方法、およびプログラム | |
JP5602449B2 (ja) | 内視鏡装置 | |
JP7513496B2 (ja) | 画像表示方法、表示制御装置、およびプログラム | |
JP2010210490A (ja) | 移動計測装置及び方法、並びにプログラム | |
JP2020126358A (ja) | 計測方法、計測装置、およびプログラム | |
US20230003991A1 (en) | Surface estimation method, surface estimation device, and recording medium | |
JP7360243B2 (ja) | 情報処理装置、情報処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2021558773 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20924320 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20924320 Country of ref document: EP Kind code of ref document: A1 |