WO2012090813A1 - 画像処理装置及び画像処理システム - Google Patents
画像処理装置及び画像処理システム Download PDFInfo
- Publication number
- WO2012090813A1 WO2012090813A1 PCT/JP2011/079612 JP2011079612W WO2012090813A1 WO 2012090813 A1 WO2012090813 A1 WO 2012090813A1 JP 2011079612 W JP2011079612 W JP 2011079612W WO 2012090813 A1 WO2012090813 A1 WO 2012090813A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- distance
- image processing
- processing apparatus
- ratio
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
Definitions
- the present invention relates to an image processing apparatus and an image processing system used for processing a stereoscopic image.
- 3D television incorporating 3D video technology has been expanding.
- content such as 3D video
- 3D video content is sufficient for general users to enjoy individually. I can not say. Therefore, in the future, it will be indispensable for general users to generate content that can easily enjoy 3D video even at home and provide a 3D video system.
- This situation also applies to the provision of a three-dimensional still image.
- a three-dimensional image (moving image) and a three-dimensional still image are collectively referred to as a stereoscopic image or a three-dimensional image.
- a two-dimensional image obtained by imaging a subject from a predetermined viewpoint and distance information from the viewpoint to each part of the subject.
- the acquired two-dimensional image is an image obtained by capturing the subject from a small number of viewpoints (usually one or two viewpoints)
- the two-dimensional image is not obtained over the entire circumference of the subject, and the acquired distance information is also included. Since an error is included, the generated stereoscopic image has problems such as lack of stereoscopic effect and shape distortion.
- the area-based corresponding point search method that is often used when obtaining distance information
- the area to be set includes both short-distance and long-distance information (distance competing region), different viewpoints
- occlusion region when one of the images is not captured in the shooting by the occlusion (occlusion region), it is not possible to search for an exact corresponding point, and thus to perform accurate distance measurement.
- the basic principle of a stereoscopic image displayed on the screen is to recognize a virtual stereoscopic image by giving parallax to the left and right eyes of the user. It is also calculated depending on display conditions such as the distance to and the screen size. For example, the adjustment amount of the right and left parallax amounts is different between a large-sized display display such as a movie theater and a stereoscopic image for general users such as a home display. There are also various sizes of home displays. For this reason, when the stereoscopic image is displayed on a display having a different size from the assumed display condition, for example, a screen size different from the screen size assumed when generating the stereoscopic image, an image lacking in stereoscopic effect is visually recognized. May end up.
- “difference in display conditions” such as the screen size is also a factor to be considered when generating a stereoscopic image.
- Patent Document 1 discloses a method for automatically creating left and right outer images together with an intermediate position image from two left and right two-view stereo images.
- Patent Document 2 is a technique for adjusting the parallax between virtual viewpoint images to be generated by adjusting the depth amount or the parallax value in virtual viewpoint image generation. For the adjustment, information provided from the user via the GUI is utilized.
- the amount of parallax generated in the foreground and background can be adjusted (weighted) according to the amount of parallax, and a more preferable parallax image can be output. It is a method to do.
- a conversion table with a parallax amount suitable for the type of display device and the screen size is prepared, and a conversion table having a different weight according to the parallax amount is selected.
- the adjustment amount is determined based on difference information of luminance values between corresponding pixels of the left-eye two-dimensional image and the right-eye two-dimensional image. To do.
- a viewpoint when a two-dimensional image (reference image) of a subject is captured is called an “original viewpoint”, and two viewpoints corresponding to a right-eye image and a left-eye image for displaying a stereoscopic image are “stereoscopic viewpoint”.
- the positional relationship between the original viewpoint and the stereoscopic viewpoint greatly affects the quality of the stereoscopic image.
- two-dimensional image display is also performed based on data generated for stereoscopic image display.
- this is the case when a stereoscopic image is to be viewed as a two-dimensional image depending on the circumstances of the user.
- two-dimensional image display becomes difficult. That is, even though the 2D image itself captured from the original viewpoint is accurate, once the stereoscopic image display data is used for the other viewpoint, the reproduced 2D image has a large error. become.
- the adjustment of the relationship between the original viewpoint and the stereoscopic viewpoint is important for both the stereoscopic image display and the two-dimensional image display based on the stereoscopic image data (hereinafter referred to as “substitute two-dimensional image display”). It becomes a difficult task.
- the processing of a simple two-dimensional image the amount of information to be processed is large in stereoscopic image processing, and it is desired to solve this problem without adding an excessively complicated process.
- the technique of Patent Document 1 is intended only to generate another viewpoint image of an arbitrary viewpoint, and does not solve the problem of distortion in a stereoscopic image.
- the parallax amount is adjusted for each object by utilizing GUI information from the user, and in the technique of Patent Document 3, the amount of parallax generated in the foreground or the background is set as the parallax. Since it is a method of performing weighting adjustment according to the amount, complexity is increased.
- the technique of Patent Document 4 involves a complicated process of determining an adjustment amount based on luminance value difference information or the like.
- the present invention has been made in view of such circumstances, and reduces the sense of incongruity in viewing a stereoscopic image and the accuracy of display contents when performing two-dimensional image display using stereoscopic image display data.
- An object of the present invention is to provide an image processing technique that balances the two.
- an image processing apparatus for stereoscopic image processing according to a first aspect of the present invention, in which a two-dimensional image of a subject is captured from a predetermined origin position.
- a reference image acquisition unit that acquires a reference image as an image
- a distance image acquisition unit that acquires distance information expressing distance information from the origin position to each part of the subject, and an optical axis direction when the reference image is captured
- Is a viewpoint setting unit that sets a left viewpoint at a first position that is a first distance to the left from the origin position and sets a right viewpoint to a second position that is a second distance to the right from the origin position.
- the first distance and the left / right ratio value are set to a non-zero ratio of less than “1” common to the entire stereoscopic image.
- a non-uniform distance setting unit that sets the second distance is provided.
- the image processing apparatus is the image processing apparatus according to the first aspect, in which the non-uniform distance setting unit representatively represents a right / left parallax amount of the stereoscopic image of the subject.
- the first distance and the second distance are set so that the left / right ratio is closer to the unit ratio “1”. And are variably set.
- the image processing apparatus is the image processing apparatus according to the second aspect, wherein the parallax index value is selected based on a predetermined condition from the distance information. It is a value.
- the image processing device is the image processing device according to the third aspect, wherein the parallax index value has a negative correlation with a distance value that gives a peak in the frequency distribution of the distance information. It is a value having.
- An image processing device is the image processing device according to the third aspect, wherein the parallax index value is classified into a predetermined type of the subject and the three-dimensional element portion It is a value having a negative correlation with the distance to the origin position.
- An image processing apparatus is the image processing apparatus according to the third aspect, wherein the parallax index value is a portion of the subject corresponding to a geometric element and the origin position. It is a value having a negative correlation with respect to the distance between.
- An image processing apparatus is the image processing apparatus according to the first aspect, wherein the non-uniform distance setting unit reflects a size of a display surface used for image display of the subject.
- the first distance and the second distance are set such that the right / left ratio is closer to the unit ratio “1” than when the index value is relatively small. It is characterized by setting.
- An image processing apparatus is the image processing apparatus according to the first aspect, wherein the non-uniform distance setting unit variably sets the value of the left / right ratio based on a user's manual operation.
- a manual setting unit is provided.
- An image processing apparatus is the image processing apparatus according to the eighth aspect, wherein the manual setting unit determines whether the first distance and the second distance are based on a user's manual operation.
- the image processing device is the image processing device according to the first aspect, and is information that specifies whether the effect of the observer who plans to observe the stereoscopic image is right or left
- the non-uniform distance setting unit further includes a distance on one side corresponding to the efficacy side of the first distance and the second distance, rather than a distance on the other side. It is characterized by being set small.
- the image processing apparatus is the image processing apparatus according to the ninth aspect, wherein the non-uniform distance setting unit determines that the sum of the first distance and the second distance is the three-dimensional object.
- the first distance and the second distance are determined so as to be smaller than a standard distance between both eyes of an observer when an image is displayed.
- An image processing apparatus is the image processing apparatus according to any one of the first to eleventh aspects, wherein the left-right ratio is set to be variable, and the variable range of the left-right ratio is A large ratio range that is relatively closer to “1” and a small ratio range that is relatively closer to “0”.
- the small ratio range is set in a section of 10% to 40% in percentage expression.
- An image processing apparatus is the image processing apparatus according to any one of the first to twelfth aspects, wherein the distance information is distance information obtained from a stereo camera arranged above and below. And the reference image is a two-dimensional image picked up by the stereo camera.
- An image processing apparatus is the image processing apparatus according to any one of the first to thirteenth aspects, and is based on the image display unit and the left-eye and right-eye images.
- An image display control unit that displays an image on the image display unit, and the image display control unit displays the left-eye image and the right-eye image on the image display unit as the stereoscopic image.
- a two-dimensional image display mode in which only the image corresponding to a smaller distance of the first distance and the second distance among the left-eye and right-eye images is displayed on the image display unit as a two-dimensional image. And can be switched.
- An image processing system includes an image processing device according to any one of the first to fourteenth aspects, a basic information acquisition unit that performs imaging of the reference image and calculation of the distance information, It is characterized by providing.
- the left / right ratio is set to a non-zero ratio of less than “1” in common for the entire stereoscopic image. This means that both the first distance and the second distance from the reference position to the left and right viewpoints are non-zero values, and the first distance and the second distance are not the same. By setting both the first distance and the second distance to a value that is not zero, the sense of discomfort in viewing the stereoscopic image due to the error in the distance information is reduced. Further, since the left / right ratio is less than “1”, one of the left viewpoint image and the right viewpoint image has an image content that is relatively close to a reference image that is actually captured.
- the image content with high accuracy can be provided by using the one image. From these, it is possible to balance both the reduction in the uncomfortable feeling in viewing the stereoscopic image and the accuracy when using the two-dimensional image.
- the non-uniform distance setting unit sets the first distance and the second distance based on the parallax index value representatively representing the right and left parallax amount of the stereoscopic image of the subject. Therefore, it is possible to efficiently reduce the sense of incongruity in viewing the stereoscopic image.
- the left-right ratio value is variably set based on the user's manual operation, so that the stereoscopic image is uncomfortable according to the viewer's preference. Can be adjusted.
- the uncomfortable feeling in viewing the stereoscopic image can be reduced.
- the sum of the first distance and the second distance is smaller than the standard distance between the eyes of the observer when the stereoscopic image is displayed.
- the small ratio range is set within a section of 10% to 40% as a percentage expression, thereby reducing the sense of incongruity of the stereoscopic image and reducing the two-dimensional image. It is possible to balance and balance the accuracy when used.
- the image display control unit displays only an image corresponding to a smaller distance among the first distance and the second distance among the left-eye and right-eye images.
- the image display control unit displays only an image corresponding to a smaller distance among the first distance and the second distance among the left-eye and right-eye images.
- FIG. 1 is a diagram showing a schematic configuration of an image processing system according to the present embodiment.
- FIG. 2 is a diagram for explaining how the stereo camera is used.
- FIG. 3 is a diagram showing a photographed image when the stereo camera is used in a horizontal position.
- FIG. 4 is a diagram showing an image obtained by a stereo camera.
- FIG. 5 is a diagram illustrating a conventional virtual viewpoint position in a vertical stereo camera.
- FIG. 6 is a diagram illustrating an image taken by the stereo camera of FIG. 5 and an image of the obtained distance information.
- FIG. 7 is a diagram illustrating a pseudo image created from the viewpoint of FIG.
- FIG. 8 is a block diagram showing a functional configuration of the image processing system according to the first embodiment.
- FIG. 9 is a conceptual diagram illustrating the corresponding point search process.
- FIG. 10 is a diagram illustrating an example of a correspondence relationship between pixel coordinates and distance information of the reference image and pixel coordinates of the pseudo image.
- FIG. 11 is a diagram illustrating an operation flow of a basic method for generating a pseudo image.
- FIG. 12 is a diagram illustrating an example of a smoothed distance image.
- FIG. 13 is a diagram illustrating a virtual viewpoint position according to the embodiment of the vertical stereo camera.
- FIG. 14 is a diagram illustrating the left viewpoint image.
- FIG. 15 is a diagram illustrating a right viewpoint image.
- FIG. 16 is a flowchart for explaining a basic operation realized in the image processing system 1A according to the present embodiment.
- FIG. 17 is a block diagram showing a functional configuration of the image processing system 1 according to the second embodiment.
- FIG. 18 is a flowchart for explaining a basic operation realized in the image processing system 1B according to the present embodiment.
- FIG. 19 is a block diagram showing a functional configuration of the image processing system 1 according to the third embodiment.
- FIG. 20 is a flowchart for explaining basic operations realized in the image processing system 1C according to the present embodiment.
- the term “image” is used as a conceptual term encompassing both still images and moving images; -The term “reference image” is used as a two-dimensional image obtained by imaging a subject from a predetermined origin position (original viewpoint); The term “distance image” is used as an image representing distance information from the origin position to each part of the subject;
- the term “left viewpoint” is used as a viewpoint set at a first position that is a first distance away from the origin position to the left with respect to the optical axis direction when the reference image is captured;
- the term “right viewpoint” is used as a viewpoint set at a second position that is a second distance away from the origin position to the right side with respect to the optical axis direction when the reference image is captured;
- the term “left viewpoint image” is used as an image corresponding to a two-dimensional image of the subject viewed from the left viewpoint;
- the term “right viewpoint image” is used as an image corresponding to a two-dimensional image of the subject viewed from the left viewpoint;
- FIG. 1 is a diagram showing a schematic configuration of an image processing system 1A according to an embodiment of the present invention.
- the image processing system 1A is configured as an other-view camera system.
- the image processing system 1A includes a two-lens stereo camera VC as the imaging unit 10, and an image processing apparatus 3A connected to the stereo camera VC so as to be able to transmit and receive data. Prepare.
- the stereo camera VC is composed of two imaging systems, a standard camera MC and a reference camera SC.
- the reference camera MC and the reference camera SC are configured to capture an object in front of the camera from different viewpoints at the same timing.
- the entire image captured by the stereo camera VC such as the background and foreground thereof, is collectively referred to as “subject”.
- two image signals hereinafter abbreviated as “image” obtained by imaging at the same timing by the standard camera MC and the reference camera SC are transmitted to the image processing device 3 via the data line CB.
- first captured image G1 an image acquired by imaging of the standard camera MC
- second captured image G2 an image acquired by imaging of the reference camera SC
- the image processing apparatus 3 is configured by an information processing apparatus such as a personal computer (personal computer), for example, an operation unit 31 including a mouse and a keyboard, a display 32 including a liquid crystal display, and data from the stereo camera VC. And an interface (I / F) 37 for receiving. Further, the image processing apparatus 3 includes a storage device 34 and an arithmetic control unit 36A.
- a personal computer personal computer
- an operation unit 31 including a mouse and a keyboard
- a display 32 including a liquid crystal display
- data from the stereo camera VC and an interface (I / F) 37 for receiving.
- the image processing apparatus 3 includes a storage device 34 and an arithmetic control unit 36A.
- the storage device 34 is composed of, for example, a hard disk or the like, and stores first and second captured images G1 and G2 obtained by imaging with the stereo camera VC. In addition, the storage device 34 stores a program PG for setting a viewpoint position, which will be described later.
- the input / output unit 35 includes, for example, a portable disk drive, sets a portable storage medium such as an optical disk, and exchanges data with the arithmetic control unit 36A.
- the arithmetic control unit 36A includes a CPU 36a that functions as a processor and a memory 36b that temporarily stores information.
- the digital control circuit controls each unit of the image processing apparatus 3A in an integrated manner.
- various functions, various information processing, and the like are realized by reading and executing the program PG in the storage unit 34.
- the memory 36b can store program data stored in the portable storage medium via the input / output unit 35. This stored program can be appropriately reflected in the operation of the image processing apparatus 3.
- the calculation control unit 36A generates a left viewpoint image and a right viewpoint image by setting a viewpoint position to be described later, and visually outputs an image of a specific subject on the display 32.
- FIG. 2 is a diagram illustrating a specific arrangement example of the stereo camera VC of the imaging unit 10.
- the stereo camera VC1 shown in FIGS. 2 (a) and 2 (b) has a configuration in which the base camera MC and the reference camera SC are spaced apart by the baseline length L.
- the base camera MC and the reference camera SC are They are arranged so as to be parallel to one side of the camera casing.
- the state in which the stereo camera VC1 is arranged so that the arrangement of the standard camera MC and the reference camera SC is perpendicular to the horizontal plane is referred to as vertical installation (see FIG. 2 (a)).
- a state in which the stereo camera VC1 is arranged so that the arrangement of the standard camera MC and the reference camera SC is parallel to the horizontal plane is referred to as horizontal placement (see FIG. 2B).
- the stereo camera VC2 shown in FIG. 2C is the same as the stereo camera VC1 in that the base camera MC and the reference camera SC are arranged apart from each other by the base line length L.
- the cameras SC are arranged so as to be inclined with respect to any side of the camera casing, and this state is referred to as oblique placement.
- the reference camera MC is a digital camera system having a so-called zoom lens with a high-resolution and variable focus, such as a high-definition broadcast lens (HDTV lens) that can capture a high-definition image, and a reference camera SC.
- a high-definition broadcast lens HDTV lens
- MCU micro camera unit
- a zoom lens may be used as the lens of the reference camera SC, but high resolution is not required.
- the two lens units may take any configuration, but when generating a stereoscopic image, the image on the reference camera MC side generates another viewpoint image, that is, an image for the right eye and an image for the left eye. Therefore, it is desirable to use a lens having the same level as that of the reference camera SC or a lens having higher performance than the reference camera SC.
- FIG. 3 is a schematic diagram showing a shooting situation when the stereo camera VC1 is used horizontally, and corresponds to a situation in which a subject including the main subject OB and the background BG is viewed from above.
- the vertical axis in FIG. 3 indicates the distance to the main subject OB and the background BG in the optical axis direction of the reference camera MC when the position of the reference camera MC is the origin.
- the horizontal axis indicates the distance in the base line direction (horizontal direction) connecting the reference camera MC and the reference camera SC, and the shootable range in this direction is the horizontal direction when shooting with the reference camera MC and the reference camera SC. Corresponds to the angle of view. In the reference camera MC, an example of shooting at three magnifications is shown.
- first reference camera image An image taken at the lowest magnification (the widest angle of view) is called a first reference camera image, and the angle of view is defined as the first camera image. This is indicated by line L1.
- second reference camera image An image taken at a high magnification is referred to as a second reference camera image, and the angle of view is indicated by a line L2.
- third reference camera image An image taken with the highest magnification (the narrowest angle of view) is referred to as a third reference camera image, and the angle of view is indicated by a line L3.
- the reference camera SC does not have a zoom function, there is only one type of angle of view, and the angle of view is indicated by a line L4.
- FIG. 4 shows an image obtained from the photographed image shown in FIG. 4A shows a first reference camera image taken by the reference camera MC
- FIG. 4B shows a second reference camera image taken by the reference camera MC
- FIG. 4C shows a reference.
- photographed with the camera MC is shown.
- FIGS. 4D to 4F show reference camera images obtained by the reference camera SC when the images of FIGS. 4A to 4C are acquired, respectively.
- the reference camera images are all images having the same magnification. Note that the optical axis of the reference camera SC is separated from the standard camera MC by the baseline length L, so that there is a parallax between the image obtained by the reference camera SC and the image obtained by the standard camera MC. There is a deviation in the observation direction.
- the two cameras the standard camera MC and the reference camera SC, capture the same subject.
- the line of sight and the magnification of the lens are different, images with different subject sizes and angles of view are obtained. Will be obtained.
- FIG. 5 is a diagram showing the position of the virtual viewpoint (left viewpoint PL) for generating the left viewpoint image with respect to the vertical stereo camera VC1 described in FIG.
- the left viewpoint PL is set at a position P that is a distance D on the left side from the reference camera MC with reference to the optical axis direction when the reference image is captured.
- the right viewpoint PR is set to the position of the reference camera MC itself.
- FIG. 6 is a diagram illustrating an image photographed by the vertical stereo camera VC1 and an image of the obtained distance information.
- 6A shows a first captured image G1 acquired by imaging the reference camera MC
- FIG. 6B shows a second captured image G2 acquired by imaging the reference camera SC.
- the first captured image G1 is a reference image SG
- the second captured image G2 is a reference image RG.
- FIG. 6C illustrates distance information from a predetermined origin position (the position of the standard camera MC, that is, the original viewpoint) to each part of the subject, which is generated from the standard image SG and the reference image RG. It is a figure which shows the example of the distance image DG, and expresses the length of distance with the shading in it.
- FIG. 7 shows an example in which the left viewpoint image IL0 at the left viewpoint PL in FIG. 5 is created after performing the smoothing process described later using the distance image DG and the reference image SG.
- the reference image SG captured by the reference camera MC is a right viewpoint image IR0 (see FIG. 6A).
- the area B2 of the left viewpoint image IL0 has many basic graphic elements such as a partial image corresponding to the area B1 in the reference image SG of FIG.
- An image corresponding to a portion an area including a geometric element; hereinafter referred to as “geometric area” including the constructed artifact (standing signboard) is generated.
- the portion corresponding to the outer edge of the standing signboard which is originally linear, is curved in a convex shape. This is because in the geometric area, the distance information of the standing sign itself taken in the area B1 and the distance information of the trees existing before and after the standing sign for the stereo camera VC1 are mixed,
- the statistical distribution state of each distance information in the corresponding region is caused by the fact that the distance information as the statistical representative value varies because the distribution range is wide and the distribution is discrete.
- an erroneous distance measurement result tends to be obtained at a region boundary such as a portion corresponding to a geometric element such as a subject artifact or a contour portion. Therefore, when the left viewpoint image IL0 is created based on the inaccurate distance information, when a stereoscopic image is generated in combination with the accurate right viewpoint image IR0 using the reference image itself, the perspective image in the stereoscopic image is viewed. As a result, a sense of incongruity is produced.
- the present invention does not generate only the image at one virtual viewpoint (here, the left viewpoint image IL0) as the viewpoint away from the origin position, but is separated from the origin position. Images are generated at both the left and right virtual viewpoints set as positions. Further, the distance between the two other viewpoints and the origin position is made non-uniform in the left and right directions, and one of the left viewpoint image and the right viewpoint image has an image content that is relatively close to the actually captured reference image SG. Thus, it is configured to reduce the sense of incongruity in viewing a stereoscopic image and to balance both the accuracy when using a two-dimensional image. Details of the configuration and operation for this will be described later.
- FIG. 8 is a block diagram showing a functional configuration of the image processing system 1A according to the present embodiment.
- the distance measurement unit 11 performs distance measurement from the standard image SG and the reference image RG captured by the standard camera MC and the reference camera SC of the stereo camera VC1, respectively.
- a distance image DG expressing distance information from a predetermined origin position (position of the reference camera MC) to each part of the subject is generated.
- the reference image acquisition unit 12 acquires the reference image SG
- the distance image acquisition unit 13 acquires a distance image DG expressing distance information from the reference camera MC to each part of the subject, and smoothing processing is performed.
- the unit 14 generates a pseudo image SG ′ and a derived distance image DG ′ in which image distortion is suppressed to some extent by spatial smoothing processing.
- the non-uniform distance setting unit 16 sets the left and right viewpoint positions so that the distance from the reference camera MC to the left and right viewpoint positions becomes non-uniform.
- the functional configuration of the arithmetic control unit 36A as shown in FIG. 8 will be described as being realized by executing the program PG installed in advance, but it is realized with a dedicated hardware configuration. Also good.
- the distance measurement unit 11 the reference image acquisition unit 12, the distance image acquisition unit 13, the smoothing processing unit 14, the viewpoint setting unit 15, the non-uniform distance setting unit 16, the image generation unit 17, the image display control unit 18, and Specific contents of each process performed by the image display unit 19 will be sequentially described with reference to FIG.
- the distance measurement unit 11 measures the distance from the position of the standard camera MC to each part of the subject through searching for corresponding points of the images obtained by the standard camera MC and the reference camera SC, and based on the measurement distance result, the distance measurement unit 11 measures the distance.
- a distance image DG expressing information is generated.
- the distance image acquisition unit 13 acquires the distance image DG.
- a distance image DG as shown in FIG. 6C is acquired by the following corresponding point search process.
- a point (corresponding point) on the corresponding point reference image corresponding to an arbitrary target point on the corresponding point reference image is searched and obtained, and the relationship between the target point and the corresponding point obtained is obtained.
- distance information is acquired from the parallax information.
- the corresponding point reference image is an image corresponding to the corresponding point standard image. Specifically, in a stereo image, one of a pair of images captured at the same time is a corresponding point reference image, and the other is a corresponding point reference image. In the time-series images, among images taken by the same camera, the temporally previous image is the corresponding point reference image, and the temporally subsequent image is the corresponding point reference image.
- a template is set for the target point on the corresponding point reference image, a window on the corresponding point reference image corresponding to the template is searched, and a corresponding point is obtained from the searched window.
- FIG. 9 is a conceptual diagram illustrating the corresponding point search process in this embodiment.
- FIG. 9A shows the second captured image G2 obtained by the reference camera SC as the corresponding point reference image CRG
- FIG. 9B shows the first captured image obtained by the reference camera MC as the corresponding point reference image CSG.
- G1 is shown.
- the corresponding point reference image CSG For each pixel in the corresponding point reference image CSG, the corresponding pixel in the region CP surrounded by the broken line of the corresponding point reference image CRG is obtained. Note that the entire region of the corresponding point reference image CSG corresponds to the region CP of the corresponding point reference image CRG, and the region CP is enlarged.
- a specific method for searching for corresponding points is known, and examples of a method for searching for corresponding points based on phase information include the following methods.
- -Corresponding point search using Phase Only Correlation (POC)-Corresponding point search using Phase Shift Analysis (PSA) As a method for searching corresponding points based on luminance information Examples of the method include the following methods.
- a distance image DG expressing the distance from the stereo camera to each part of the subject in units of pixels is generated based on the corresponding point search result.
- FIG. 9C is a diagram schematically illustrating an example in which the second captured image G2 in FIG. 9A is adopted as the corresponding point reference image CSG, and subpixels are set thereto. Further, FIG. 9D shows an example in which an image corresponding to the first captured image G1 of FIG. 9B having the larger number of pixels is used as the corresponding point reference image CSG.
- the corresponding point standard image CSG has a high magnification and the corresponding point reference image CRG has a low magnification, that is, the side with the larger effective pixel count is used as the corresponding point standard image CSG.
- the corresponding point search process can be performed up to the sub-pixel unit without performing a complicated process.
- FIG. 9C when the magnification of the corresponding point reference image CSG is low and the magnification of the corresponding point reference image CRG is high, the sampling interval is significantly different, and the corresponding point reference is performed. The information of the image CRG falls out and it becomes difficult to obtain accurate distance information.
- the setting of the viewpoint position as described later is mainly intended to reduce the sense of discomfort in viewing the stereoscopic image near the boundary of the region such as a portion corresponding to a geometric element such as a subject artifact or an outline portion. However, it is also meaningful as compensation for errors caused by such sub-pixel search.
- FIG. 9C shows an example in which one pixel is divided into three in the horizontal direction and three subpixels are set in order to perform the corresponding point search process up to the subpixel unit.
- the present invention is not limited to this, and can be further finely divided. Thereby, even when the magnification is different between the corresponding point reference image CSG and the corresponding point reference image CRG, the sampling intervals can be matched. That is, when the attention point OP is a sub-pixel level position, the search template TP is set around the sub-pixel SP that is the attention point OP.
- a pixel is calculated based on a positional relationship between a position having the highest correlation value and its surrounding correlation values.
- a method for interpolating a correlation value between a pixel and a pixel by applying a linear equation or a curve equation to estimate a peak position and a peak value of the correlation value is disclosed, and this estimation method can be used.
- any of these corresponding point search methods there are target regions that are not good at calculating distance information, such as a portion corresponding to a geometric element such as a subject artifact or a region boundary such as a contour portion.
- a distance image is generated by performing distance measurement by another method described later as a ⁇ variation example '', a distance calculation is also performed in the vicinity of a similar region. Therefore, it is effective to generate a stereoscopic image using the principle of the present invention.
- the smoothing processing unit 14 generates a pseudo image by reducing variation in distance information obtained from the distance image DG and deforming the reference image SG based on the distance image DG.
- the smoothing processing unit 14 generates a pseudo image by reducing variation in distance information obtained from the distance image DG and deforming the reference image SG based on the distance image DG.
- an outline of pseudo image generation will be described with reference to FIGS. 10 and 11.
- FIG. 10 is a diagram showing an example of the correspondence between each pixel in the partial image of the reference image SG and the partial image of the pseudo image SG ′
- FIG. 11 is a basic method for generating the pseudo image SG ′. It is a figure which illustrates the operation
- FIG. 10 shows a part of each pixel 7a to 7j of the partial image SGa corresponding to one line in the horizontal scanning direction of the reference image SG and a portion corresponding to one line in the horizontal scanning direction of the pseudo image SG ′ corresponding to the reference image SGa. It is a figure which shows an example of the correspondence with each pixel 8a-8j of a part of image SGb.
- each of the pixels 7a to 7j and each of the pixels 8a to 8j is displayed by being classified for each pixel by shading according to the pixel value.
- step S50 of FIG. 11 For each pixel of the selected partial image SGa, a corresponding pixel in the pseudo image SG ′, that is, each pixel 8a to 8j of the partial image SGb.
- the pixel coordinates in the horizontal scanning direction are acquired (step S51).
- a first type pixel corresponding to one pixel among the pixels 7a to 7j a second type pixel corresponding to two pixels, and each pixel 7a
- the pixel value of the first type of pixel is set to the pixel.
- the pixel value of the pixel of the corresponding partial image SGa is adopted, and the representative value of the two pixels of the partial image SGa corresponding to the pixel, for example, the average value, is used as the pixel value of the second type pixel. Is adopted.
- the pixel value of the third type pixel for example, among the pixels of the partial image SGb in which the pixel value is acquired based on the correspondence relationship with the partial image SGa, the third type pixel is most spatially related.
- the pixel value of a close pixel is adopted. Then, the image of the partial image SGb is specified by the pixel coordinates and the pixel value specified for each pixel of the partial image SGb.
- step S52 it is confirmed whether or not the process (steps S51 to S52) for generating the partial image of the corresponding pseudo image is completed for all the horizontal lines of the reference image SGa (step S53). ).
- step S53 if the processing has not been completed for all the horizontal lines, the next line in the vertical direction of the processed line in the reference image SG is selected as a new processing target ( In step S54), the process returns to step S51. Further, as a result of the confirmation in step S53, if the process of generating the partial image of the pseudo image SG 'for all the horizontal lines has been completed, the generation process of the pseudo image SG' is ended.
- FIG. 12 is a diagram illustrating an example of a smoothed distance image. That is, this is a distance image after the smoothing process is performed on the distance image of FIG. 6C, and the derived distance image DG ′ expressing the distance information used for generating the pseudo image SG ′ with suppressed distortion. It corresponds to.
- FIG. 13 shows the positions of the left viewpoint PL and the right viewpoint PR for generating the left viewpoint image IL and the right viewpoint image IR from the reference camera MC of the vertical stereo camera VC1 described in FIG. FIG.
- the viewpoint setting unit 15 uses the reference camera MC when viewing the direction of the optical axis AX in the horizontal direction when the reference image SG is captured, that is, when the optical axis direction is viewed as the line-of-sight direction.
- the left viewpoint PL is set at the first position P1 that is separated from the reference camera MC by the first distance D1
- the right viewpoint PR is set at the second position P2 that is separated from the reference camera MC by the second distance D2.
- a line segment that virtually connects the viewpoints PL and PR is a horizontal line that passes through the origin position and is perpendicular to the optical axis AX.
- the non-uniform distance setting unit 16 determines that the right / left ratio value of the stereoscopic image is
- the first distance D1 and the second distance D2 are set so as to have a non-zero ratio less than “1” common to the whole.
- the left / right ratio r can generally be set to be variable manually or automatically.
- the variable range of the left / right ratio r is configured to include a large ratio range that is relatively closer to “1” and a small ratio range that is relatively closer to “0”.
- the right / left ratio r can be switched and set between the large ratio range and the small ratio range.
- the small ratio range is preferably set within a section of 10% to 40% in terms of percentage.
- the non-uniform distance setting unit 16 calculates a parallax index value representatively representing the right and left parallax amount of the stereoscopic image of the subject OB, and when the parallax index value is relatively large, the parallax index value is relatively
- the first distance D1 and the second distance D2 are set so that the right / left ratio r becomes a value close to the unit ratio “1” as compared with the case where it is smaller. Therefore, depending on the factor that determines the parallax index value, the non-uniform distance setting unit 16 determines the right / left ratio r.
- the factors for determining the parallax index value and the principle of setting the right / left ratio r will be described in order.
- parallax index value a value having a negative correlation with respect to a specific distance value selected from distance information based on a predetermined condition can be adopted.
- the amount of parallax of each part of the subject has a negative correlation with the distance from the origin position to the portion (approximately, the amount of parallax is proportional to the reciprocal of the distance).
- the reciprocal of the distance value can be adopted as the parallax index value.
- the first distance D1 and the second distance are set so that the right / left ratio is closer to the unit ratio “1” than when the parallax index value is relatively small.
- D2 is set to be variable.
- the left-right ratio is a value common to the entire stereoscopic image when viewed in one stereoscopic image (scene). That is, the present invention is different from the technical idea of changing the left / right ratio for each spatial portion of a stereoscopic image.
- parallax index values that are determinants of the left / right ratio include the following.
- the first example as the parallax index value Ls corresponding to a specific distance value is a value having a negative correlation with the distance value Lp giving a peak in the frequency distribution of distance information, for example, the inverse 1 / Lp of the peak distance value Lp. (Ls and Lp are not shown). That is, when the foreground and background are included in the captured image in addition to the person as the main subject OB, the frequency distribution of the distance information has a peak near the distance from the original viewpoint to the person, and the foreground and background. It becomes a shape that there is also a peak around the distance. Therefore, the reciprocal 1 / Lp of the peak distance value Lp near the center of the distance axis (for example, within a distance range between two threshold values) can be used as the parallax index value Ls.
- the parallax index value Ls is relatively small (in the above example, the main subject is relatively far from the stereo camera VC1 and the peak distance value Lp is large)
- the amount of parallax is generally small, even when the virtual viewpoint image on one side greatly bears the amount of distortion, the discomfort of the distortion does not occur so much when stereoscopically viewed.
- the parallax index value is defined as a value having a negative correlation with the distance to the three-dimensional element portion classified into the type designated in advance in the subject OB.
- a specific three-dimensional element part such as a person or its face part can be distinguished from other element parts by image processing such as its shape. Even if the size of the portion is small, it can be specified as a subject element to be noted. Then, a distance Lm (not shown) to the element is extracted from the distance image DG, and a value having a negative correlation with the distance Lm (for example, 1 / Lm which is the reciprocal of the distance Lm) is set as the parallax index value.
- the switching of the left / right ratio r after specifying the parallax index value is the same as in the first example. That is, when the parallax index value is large (that is, the distance to the specific three-dimensional element portion is small), the left / right ratio r is set to a value close to the unit ratio “1”, and the parallax index value is small (that is, up to the specific three-dimensional element portion). The left / right ratio r is set to a value far from the unit ratio “1”. Both are settings under basic setting conditions.
- a geometric element that is, a portion corresponding to a straight line, an arc, a rectangle, a circle, a triangle, a parallel line, or the like can be specified by two-dimensional image recognition.
- the first distance D1 and the second distance D2 are set so that the right / left ratio r is close to the unit ratio “1”.
- a portion corresponding to a geometric element such as an artificial object has many straight lines and arcs, and these are easily visually distorted. Therefore, when the determination of the part is performed and the ratio of the part is high (the parallax index value is large), the first distance D1 and the second distance D2 are relatively close while the distance D0 between the left and right viewpoints is constant. By setting the value, the left / right ratio r is set to a value close to “1”, and the degree of distortion in the left and right viewpoint images is made similar.
- the left-right ratio r is set to a value far from “1” by making the difference between the first distance D2 and the first distance D1 relatively large while keeping the left-right viewpoint distance D0 constant.
- One of the viewpoint images is an image that is relatively faithful to the reference image.
- the right / left ratio r may be changed according to the spatial size of each artifact, rather than the total area ratio of each region including the artifact in the entire subject. That is, even if the ratio of the area occupied by the artifact in the entire subject is the same, the stereoscopic image is more in the case where there is one large artifact than in the case where many fine artifacts are dispersed. Distortion is easy to recognize. For this reason, among the individual artifacts appearing in the reference image, for the artifact having the largest space size, when the space size is larger than the predetermined threshold size, the right / left ratio r Is set to a value closer to “1”.
- the non-uniform distance setting unit 16 also sets the right / left ratio as a unit when the index value reflecting the size of the display surface used for image display of the subject OB is relatively large compared to when the index value is relatively small.
- the first distance D1 and the second distance D2 are set so as to be a value close to the ratio “1”.
- the image for the left eye is within the basic setting conditions.
- One of the right eye image and the right eye image is a two-dimensional image that is as faithful as possible to the reference image.
- the display monitor is large, so the amount of parallax is large, so the difference between the first distance D1 and the second distance D2 is reduced within the range of the basic setting conditions to reduce the sense of discomfort in viewing the stereoscopic image. To do.
- the left / right ratio r when the index value reflecting the size of the display surface is greater than or equal to a predetermined threshold value (large size), the left / right ratio r is selected from the large ratio range, and when the index value is less than the threshold value (small size), the left / right ratio r can be a value selected from a small ratio range.
- a predetermined threshold value large size
- the left / right ratio r when the index value is less than the threshold value (small size), the left / right ratio r can be a value selected from a small ratio range.
- the large ratio range is set in the range of 1/4 to 2/3 (25% to about 67%), and the small ratio range is in the range of 1/9 to 1/4 (about 11% to 25%). Is set.
- This small ratio range generally belongs to a preferable range (10% to 40%) as the small ratio range.
- Image Generation Unit 17 based on the pseudo image SG ′ generated by the smoothing processing unit 14 and the derived distance information DG ′ (see FIG. 12), a set of the left viewpoint image and the right viewpoint image is converted into a three-dimensional object. It generates as images for the left eye and right eye in image observation.
- FIG. 14 and FIG. 15 show an example of the images generated by the image generation unit 17 as left-eye and right-eye images. That is, in the image generation unit 17, 1) a left viewpoint image IL (see FIG. 14) corresponding to a two-dimensional image of the subject OB viewed from the left viewpoint PL (see FIG. 13); 2) a right viewpoint image IR (see FIG. 15) corresponding to a two-dimensional image of the subject OB viewed from the right viewpoint PR (see FIG. 13); Are generated as left-eye and right-eye images in stereoscopic image observation of the subject OB.
- the left-right ratio r (D2 / D1) between the first distance D1 and the second distance D2 in FIG. 13 is set to 1/4 (25%).
- the distortion amount of the left viewpoint image IL0 in FIG. 7 is expressed as 100% in percentage expression, 80% of the distortion amount is expressed in the left viewpoint image IL (see FIG. 14), and the right viewpoint image IR (see FIG. 15). This is because 20% of the distortion amount is shared.
- the image display control unit 18 causes the image display unit 19 to display an image based on the left-eye and right-eye images.
- the image display control unit 18 also includes the first distance D1 and the first distance D1 among the three-dimensional image display mode in which the left and right eye images are displayed on the image display unit 19 as a three-dimensional image, and the left and right eye images.
- a two-dimensional image display mode in which only an image corresponding to a smaller distance among the two distances D2 is displayed on the image display unit 19 as a two-dimensional image is based on a manual operation (selection operation) by the user from the operation unit 31. It is possible to switch.
- FIG. 16 is a flowchart illustrating a basic operation realized in the image processing system 1A according to the present embodiment. Since the individual functions of each unit have already been described (see FIG. 8), only the overall flow will be described here.
- step S1 the reference camera MC of the imaging unit 10 captures a two-dimensional image of the subject and generates a reference image SG (see FIG. 6A).
- step S2 executed in parallel with step S1, the reference camera SC of the imaging unit 10 captures a two-dimensional image of the subject and generates a reference image RG (see FIG. 6B).
- step S3 the distance measurement unit 11 performs a distance measurement process for calculating a distance to each part of the subject by performing a corresponding point search process on the range in the standard image SG from the standard image SG and the reference image RG.
- the distance image acquisition unit 13 generates a distance image DG in which distance information from the position of the reference camera MC (origin position) to each part of the subject is expressed in units of pixels based on the result of distance measurement (FIG. 6C). reference).
- step S4 the smoothing processing unit 14 performs a spatial smoothing process on the reference image SG and the distance image DG to generate a pseudo image SG ′ and a derived distance image DG ′ (see FIG. 12).
- step S5 the viewpoint setting unit 15 sets the left viewpoint PL and the right viewpoint PR based on the first distance D1 and the second distance D2 determined by the non-uniform distance setting unit 16 (see FIG. 13).
- step S6 the image generation unit 17 determines, based on the pseudo image SG ′ and the derived distance image DG ′, the left viewpoint image IL corresponding to a two-dimensional image viewed from the left viewpoint PL and the subject from the right viewpoint PR.
- a pair with the right viewpoint image IR corresponding to the two-dimensional image when the OB is viewed is generated as a left eye image and a right eye image in the stereoscopic image observation of the subject OB (see FIGS. 14 and 15).
- the image display control unit 18 corresponds to the stereoscopic image display mode in which the left viewpoint image IL and the right viewpoint image IR are displayed as a stereoscopic image, and a smaller distance among the first distance D1 and the second distance D2.
- the two-dimensional image display mode for displaying only the image to be displayed as a two-dimensional image is selectively switched based on the manual operation of the operation unit 31 by the user, and the image selected in this way is displayed on the image display unit 19. Display.
- information corresponding to the content of this manual operation by the user corresponds to the external information IF1 in FIG.
- FIG. 17 illustrates a functional configuration realized by the arithmetic control unit 36B in order to create the left viewpoint image IL and the right viewpoint image IR in the image processing device 3B according to the second embodiment of the present invention.
- the difference from the first embodiment is that the non-uniform distance setting unit 16 includes a manual setting unit 20 as shown in FIG.
- the remaining configuration is the same as that of the apparatus of the first embodiment (see FIG. 8).
- the manual setting unit 20 variably sets the left / right ratio value based on the user's manual operation. That is, the user inputs the external information IF2 to the image processing apparatus 3B by manual operation of the operation unit 31, and the manual setting unit 20 sets the value of the left / right ratio r based on the external information IF2.
- the manual setting unit 20 is configured to individually specify the absolute values of the first distance D1 and the second distance D2 based on the user's manual operation, and to each of the first distance D1 and the second distance D2. And a control unit that limits the sum of the absolute values within a threshold determined according to the distance information.
- the non-uniform distance setting unit 16 uses only the default distance determined by the standard distance between the eyes of the observer when the sum D0 of the first distance D1 and the second distance D2 is displayed.
- the first distance D1 and the second distance D2 can be determined so as to be smaller than the standard distance.
- the standard distance (default distance) value is stored in advance in the storage device 34 (FIG. 1).
- FIG. 18 is a diagram illustrating an operation flow of the image processing apparatus 3B according to the second embodiment.
- steps SS1 to SS6 are the same as steps S1 to S6 in FIG.
- step SS7 when the displayed stereoscopic image is different from the one desired by the user when the user is displayed in the stereoscopic image display mode by the image display control unit 18 in step SS7, the process proceeds to step SS8. move on.
- step SS8 the user inputs the external information IF2 from the operation unit 31 to the manual setting unit 20.
- the manual setting unit 20 warns the user.
- This warning may be performed, for example, by generation of a warning sound, or may be performed by displaying a visual warning display on the display 32. It is also possible to provide a function for forcibly prohibiting setting exceeding the standard distance.
- step SS5 the process returns to step SS5
- the manual setting unit 20 variably sets the value of the left / right ratio r based on the external information IF2
- step SS6 the right / left ratio r
- the image generation unit 17 generates the left viewpoint image IL and the right viewpoint image IR.
- step SS7 the image display control unit 18 switches again to the stereoscopic image display mode, and the image display unit 19 displays the image.
- Step SS5 to Step SS8 is repeated until the stereoscopic image display desired by the user is obtained. If the stereoscopic image display desired by the user is finally obtained, the process proceeds to Step SS9 and the operation is performed. finish.
- the sum D0 of the first distance D1 and the second distance D2 is designated to be a value smaller than the standard distance
- First distance D1 D0 ⁇ 1 / (1 + r) ⁇ DS ⁇ 1 / (1 + r)
- Second distance D2 D0 ⁇ r / (1 + r) ⁇ DS ⁇ r / (1 + r) Therefore, both the first distance D1 and the second distance D2 are smaller than when the sum D0 is the same as the standard distance DS.
- FIG. 19 illustrates a functional configuration realized by the arithmetic control unit 36C in order to create the left viewpoint image IL and the right viewpoint image IR in the image processing device 3C according to the third embodiment of the present invention.
- the external information IF 3 obtained by the efficacy information acquisition unit 21 is input to the non-uniform distance setting unit 16.
- the remaining configuration is the same as that of the apparatus of the first embodiment (see FIG. 8).
- the effect information acquisition unit 21 acquires information for specifying whether the effect of the observer who plans to observe the stereoscopic image is right or left.
- a known technique such as JP2009-033538A can be used. That is, the user inputs the external information IF3 to the image processing apparatus 3C via the operation unit 31, and the efficacy information acquisition unit 21 acquires the efficacy information and sends the detected efficacy information to the non-uniform distance setting unit 16. input. Then, the non-uniform distance setting unit 16 sets the distance on one side corresponding to the effective side of the first distance D1 and the second distance D2 to be smaller than the distance on the other side.
- FIG. 20 is a diagram illustrating an operation flow of the image processing apparatus 3C according to the third embodiment.
- the following process is added by the effect information acquisition part 21 which did not exist in 1st Embodiment being added.
- step ST1 before an image is captured by the imaging unit 10 the user inputs effect information as external information IF3 to the image processing apparatus 3C in advance via the operation unit 31. Then, the same processes (step ST2 to step ST5) as those in the first and second embodiments are performed.
- Effectiveness information here is information for specifying whether the effect of the observer (self or another observer) of the stereoscopic image is the right eye or the left eye. If this effect information is information that the user has known in advance, it may be manually input via the operation unit 31 as described above, but the effect can be automatically determined.
- a test image is displayed on the display 32, and the observer sees it with only one of the right eye and the left eye, and the observer sees it with both eyes. And each observer captures the direction of the face with a camera. Then, the orientation of the observer's face and the movement of the eyeball in each case are captured and compared with each other, and the two-eye observation is based on whether it is closer to the right eye or the left eye alone. It is also possible to determine the effect and store the information as effect information for use.
- step ST6 the effect information acquisition unit 21 acquires the external information IF3 and inputs it to the non-uniform distance setting unit 16.
- the non-uniform distance setting unit 16 sets the distance on one side corresponding to the effective side of the first distance D1 and the second distance D2 to be smaller than the distance on the other side.
- step ST7 in response to the setting of the left viewpoint PL and the right viewpoint PR in consideration of the effect information of step ST6, the image generation unit 17 generates the left viewpoint image IL and the right viewpoint image IR.
- step ST8 the image is displayed on the image display unit 19.
- the first distance D1 is set smaller than the second distance D2 so that the right viewpoint image IR corresponding to the effect is more faithful to the reference image.
- the effect of the present invention is particularly remarkable when the stereo camera is a vertical camera.
- the accuracy of the reference camera is usually lower than that of the standard camera, so an image captured by the standard camera is used as the standard image.
- the two-dimensional image obtained by the reference camera can be used to some extent not only for the purpose of distance measurement but also as a two-dimensional image.
- the position of the reference camera and the position of the reference camera are separated in the horizontal direction, and therefore when generating the right eye image and the left eye image, the right viewpoint for the right eye image
- the right viewpoint for the right eye image In generating an image at a viewpoint close to the reference camera among the left viewpoints for the left-eye image, not only the reference image obtained from the reference camera but also a two-dimensional image obtained by the reference camera can be referred to.
- the position of the base camera and the position of the reference camera are not separated in the horizontal direction, and the result captured by the reference camera cannot be used except for distance measurement. Therefore, distortion is likely to occur in the generation of a stereoscopic image, and also in a two-dimensional image display using one of the right-eye image and the left-eye image, the viewpoint is far from the reference camera position (origin position). Image fidelity is likely to be reduced. For this reason, the effect that the fidelity to the reference image is relatively well secured in the two-dimensional image display while reducing the sense of incongruity in viewing the stereoscopic image as in the present invention is effective in the case of a vertically placed stereo camera. Especially big. This does not matter whether the top or bottom of the stereo camera is the reference camera.
- the image processing systems 1A, 1B, and 1C are described separately for each embodiment so that the image processing apparatuses 3A, 3B, and 3C are individually implemented. However, these individual functions are not inconsistent with each other. , May be combined with each other.
- the distance measurement to each part of the subject which is the basis for generating the distance image DG, may be acquired by the following method as well as the corresponding point search method described above.
- TOF Time-of-Flight distance image sensor
- the TOF method for example, a technique known in Japanese Patent Laid-Open No. 2001-304811 or the like
- As an interpolation method there is a method of simply performing interpolation based on peripheral information. However, not only interpolation but also measurement errors are likely to occur around the edge. For this reason, it is particularly meaningful to perform the correction of the above-described embodiment of the present invention for the first distance image obtained by this method.
- a method using distance estimation for example, the following technique can be employed.
- a technique for estimating parallax based on luminance information which is disclosed in Japanese Patent Application Laid-Open No. 2006-319469.
- a technique for generating a parallax by estimating a distance based on time-series information which is disclosed in Japanese Patent Laid-Open No. 2000-261828.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
画像処理技術は、被写体の立体画像観察における左目用および右目用の画像を作成するために、基準画像を撮像した際の光軸方向を基準として、左側に第1距離D1だけ離れた第1位置P1に左側視点PLを設定し、右側に第2距離D2だけ離れた第2位置P2に右側視点PRを設定する。ここで、第1距離D1と第2距離D2とのうち、より大きな距離に対するより小さな距離の比の値を左右比率と呼ぶとき、該左右比率の値が該立体画像の全体に共通した「1」未満のゼロでない比率となるように、第1距離D1および第2距離D2を設定する。これにより、立体画像の視認上の違和感の軽減と2次元画像を用いる場合の正確性とをバランスさせて両立させることが可能となる。
Description
本発明は、立体画像の処理に使用される画像処理装置及び画像処理システムに関する。
近年、3次元映像技術を取り入れた3次元テレビの普及が拡大してきている。しかし、3次元映像などのコンテンツに関しては、一部の映画やテレビ用の3次元映像のコンテンツが提供されているが、一般ユーザが個人で楽しむには、3次元映像コンテンツが充分な状態とは言えない。そのため、今後、一般ユーザに対し、一般家庭でも簡単に3次元映像を楽しむことが可能なコンテンツを生成し、3次元映像システムの提供を行うことが必要不可欠になる。この事情は3次元静止画の提供においても同様であり、以下では、3次元映像(動画)と3次元静止画とを総称して、立体画像または3次元画像と呼ぶことにする。
ところで、立体画像の生成においては、被写体を所定の視点から撮像した2次元画像と、当該視点から被写体各部までの距離情報との2つを用いることが通例である。この場合、取得する2次元画像は少数の視点(通常は1視点または2視点)から被写体を撮像した画像であるため、被写体の全周にわたって2次元画像を得るわけではなく、取得した距離情報も誤差を含むため、生成される立体画像には立体感の不足や、形状の歪みなどの問題が生じる。
たとえば、距離情報を得る際に多く用いられるエリアベースの対応点探索方法では、設定するエリア内に近距離と遠距離との両方の情報が含まれている場合(遠近競合領域)や、異なる視点による撮影で片方の映像で映っていない場合(オクルージョン領域)などにおいては、正確な対応点探索したがって正確な距離計測ができない。
特に、直線などの人工物領域において、対応点探索の間違いがあると線が曲がってしまい、直線などは歪みが目立つ。このような不正確な視差情報に基づいて他視点画像を生成し、立体画像表示を行うと、実際の立体形状より飛び出したり、凹凸感が無かったり、ぼやけたりした立体視画像となり、観察者にとっては遠近感の欠落や対象物の形状の変化により違和感の多い画像になってしまう。
これらは立体画像の生成の基礎となる「被写体情報の取得の不十分性」によるものであるが、その他にも、表示ディスプレイのサイズの相違などに起因する立体画像の立体感の低下、すなわち「表示条件の相違」による問題もある。
すなわち、画面上に表示される立体画像は、ユーザの左右の両眼に視差を与えることによって仮想的な立体画像を認識させるということがその基本原理であるが、その視差量は、ユーザから画面までの距離や画面サイズなどの表示条件にも依存して算出される。たとえば映画館のような大きなサイズの表示ディスプレイと、家庭用のディスプレイなどの一般ユーザ向けの立体画像では、左右の視差量の調整量が異なる。また、家庭用のディスプレイでも種々のサイズがある。このため、想定した表示条件と異なる表示条件、たとえば立体画像の生成に際に想定した画面サイズとは異なるサイズのディスプレイで当該立体画像を表示させた場合には、立体感に欠ける画像が視認されてしまうことがある。
したがって、既述した「入力情報の不十分性」に起因する現象とともに、画面サイズのような「表示条件の相違」もまた、立体画像の生成の際に考慮すべき因子となる。
立体画像の生成におけるこれらの問題に対処するために、種々の技術が提案されている。
例えば、特許文献1が開示する技術では、左右2枚の2眼視ステレオ画像から中間位置画像と共に左右外側画像も自動的に作成する方法が開示されている。
また、特許文献2が開示する技術では、仮想視点画像生成において、奥行き量または視差値の調整を行うことより、生成する仮想視点画像間の視差を調整する技術であり、複雑なシーンについての視差調整には、GUIを介してユーザから与えられる情報が活用される。
また、特許文献3が開示する技術では、前景や背景に生じる視差量をその視差量に応じて重み付け調整をする(強弱をつける)ことができ、より好ましい立体感のある視差画像を出力可能にする方法である。また、表示デバイスの種別や画面サイズに適した視差量の変換テーブルを準備し、視差量に応じて重み付けが異なる変換テーブルを選択する。
さらに、特許文献4が開示する技術では、視差量の調整量の設定にあたって、左眼用2次元画像と右眼用2次元画像の対応する画素どうしの輝度値の差分情報などにより調整量を判定する。
ところで、被写体の2次元画像(基準画像)を撮影した際の視点を「原視点」と呼び、立体画像表示のための右目用画像と左目用画像とに対応する2つの視点を「立体視点」と呼ぶとき、原視点と立体視点との位置関係は、立体画像の品質に大きく影響する。
すなわち、2つの立体視点の双方を原視点から大きく離すと、既述したような、遠近競合領域についての距離誤差や、オクルージョン領域における画像情報の欠如、それに人工物領域についての画像の歪みなど、種々の誤差が大きくなる。その一方で、2つの立体視点の双方を原視点の近くに設定すると、右目用画像と左目用画像との間の視差がほとんどなくなり、立体感に乏しい立体画像を生成できるだけとなる。
また、右目用画像と左目用画像とのうちの一方を原視点に一致させると、これら2つの画像の精度に大きな差が出てくるため、立体画像としての画像品質が低下して、視認上の違和感が大きくなる。
さらに、立体画像表示用として生成したデータに基づいて2次元画像表示も行うような場合もある。たとえばユーザ側の事情によって立体画像を2次元画像化して見たい場合などがそれにあたる。このとき、立体画像を構成する右目用画像と左目用画像との双方が持つ誤差が大きいと、それらのいずれを選択しても、あるいはそれらをどのように組み合わせて2次元化しても、正確な2次元画像表示が困難となる。すなわち、原視点から撮像した2次元画像そのものは正確であったにもかかわらず、いったん、他視点に立体画像表示用データを用いると、それを用いて再現した2次元画像は大きな誤差を持つことになる。
したがって、原視点と立体視点との関係の調整(したがって、視差量の調整)は、立体画像表示および、立体画像データに基づく2次元画像表示(以下「代用2次元画像表示」)の双方にとって重要な課題となる。特に、単純な2次元画像の処理として、立体画像処理では処理すべき情報量が多いため、あまりに複雑なプロセスを追加することなくこの課題を解決することが望まれる。
ところが、既述した各従来技術では、この課題についての解決手段を提供していない。すなわち、特許文献1の技術では、任意の視点の他視点画像を生成することのみを目的としており、立体画像で歪みが生じる問題の解決とはならない。また、特許文献2の技術では、ユーザからのGUI情報を活用し、1つの物体ごとに視差量の調整を実施しており、特許文献3の技術では、前景や背景に生じる視差量をその視差量に応じて重み付け調整をするような方法であることから、煩雑さを増す。さらに、特許文献4の技術では、輝度値の差分情報などにより調整量を判定するといった複雑な処理が介在する。
このように、従来技術は、既述した課題に対して適切な解決とはなっていない。
本発明は、このような事情に鑑みてなされたものであり、立体画像の視認上の違和感の軽減と、立体画像用表示データを用いて2次元画像表示を行う場合の表示内容の正確性とをバランスさせて両立させる画像処理技術を提供することを目的とする。
上記課題を解決するために、第1の態様に係る画像処理装置は、請求項1の発明は、立体画像処理のための画像処理装置であって、所定の原点位置から被写体を撮像した2次元画像としての基準画像を取得する基準画像取得部と、前記原点位置から前記被写体各部への距離情報を表現した距離画像を取得する距離画像取得部と、前記基準画像を撮像した際の光軸方向を基準として、前記原点位置から左側に第1距離だけ離れた第1位置に左側視点を設定し、前記原点位置から右側に第2距離だけ離れた第2位置に右側視点を設定する視点設定部と、前記基準画像と前記距離情報とに基づいて、1)前記左側視点から前記被写体を見た2次元画像に相当する左側視点画像と、2)前記右側視点から前記被写体を見た2次元画像に相当する右側視点画像と、の組を、前記被写体の立体画像観察における左目用および右目用の画像として生成する画像生成部と、備え、前記視点設定部が、前記第1距離と前記第2距離とのうち、より大きな距離に対するより小さな距離の比の値を左右比率と呼ぶとき、前記左右比率の値が前記立体画像の全体に共通した「1」未満のゼロでない比率となるように、前記第1距離および前記第2距離を設定する不均一距離設定部、を備えることを特徴とする。
また、第2の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記不均一距離設定部が、前記被写体の立体画像の左右視差量を代表的に表現する視差指標値が相対的に大きいときには、前記視差指標値が相対的に小さいときと比較して、前記左右比率を単位比率「1」に近い値となるように、前記第1距離と前記第2距離とを可変に設定することを特徴とする。
また、第3の態様に係る画像処理装置は、第2の態様に係る画像処理装置であって、前記視差指標値が、前記距離情報の中から所定の条件に基づいて選択された特定の距離値であることを特徴とする。
また、第4の態様に係る画像処理装置は、第3の態様に係る画像処理装置であって、前記視差指標値が、前記距離情報の頻度分布においてピークを与える距離値に対して負の相関を持つ値であることを特徴とする。
また、第5の態様に係る画像処理装置は、第3の態様に係る画像処理装置であって、前記視差指標値が、前記被写体のうちあらかじめ指定された種類に分類される立体要素部分と前記原点位置との間の距離に対して負の相関を持つ値であることを特徴とする。
また、第6の態様に係る画像処理装置は、第3の態様に係る画像処理装置であって、前記視差指標値が、前記被写体のうち幾何学的要素に相当する部分と前記原点位置との間の距離に対して負の相関を持つ値であることを特徴とする。
また、第7の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記不均一距離設定部が、前記被写体の画像表示で用いられる表示面のサイズを反映した指標値が相対的に大きいときには、前記指標値が相対的に小さいときと比較して、前記左右比率を単位比率「1」に近い値となるように、前記第1距離と前記第2距離とを設定することを特徴とする。
また、第8の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記不均一距離設定部が、ユーザのマニュアル操作に基づいて前記左右比率の値を可変に設定するマニュアル設定部を備えることを特徴とする。
また、第9の態様に係る画像処理装置は、第8の態様に係る画像処理装置であって、前記マニュアル設定部は、ユーザのマニュアル操作に基づいて前記第1距離と前記第2距離とのそれぞれの絶対値を個別に指定する部と、前記第1距離と前記第2距離とのそれぞれの絶対値の和を、前記距離情報に応じて定まる閾値以内に制限する制御部と、を備えることを特徴とする。
また、第10の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記立体画像を観察させる予定の観察者の効き目が左右のいずれかであるかを特定する情報を取得する効き目情報取得部をさらに備え、前記不均一距離設定部は、前記第1距離と前記第2距離とのうち、前記効き目側に相当する一方側の距離を、他方側の距離よりも小さく設定することを特徴とする。
また、第11の態様に係る画像処理装置は、第9の態様に係る画像処理装置であって、前記不均一距離設定部は、前記第1距離と前記第2距離との和が、前記立体画像を表示させたときの観察者の両目間の標準距離よりも小さな値となるように、前記第1距離と前記第2距離とを決定することを特徴とする。
また、第12の態様に係る画像処理装置は、第1ないし第11の何れかの態様に係る画像処理装置であって、前記左右比率は可変に設定されるとともに、前記左右比率の可変範囲が、相対的に「1」に近い側にある大比率範囲と、相対的に「0」に近い側にある小比率範囲とを含み、前記左右比率の値が、前記大比率範囲と前記小比率範囲との間で切り替えられ、前記小比率範囲は、百分率表現で10%~40%の区間内に設定されていることを特徴とする。
また、第13の態様に係る画像処理装置は、第1ないし第12の何れかの態様に係る画像処理装置であって、前記距離情報は、上下に配置されたステレオカメラから得られる距離情報であり、前記基準画像は、上記ステレオカメラの上下いずれかで撮像された2次元画像であることを特徴とする。
また、第14の態様に係る画像処理装置は、第1ないし第13の何れかの態様に係る画像処理装置であって、画像表示部と、前記左目用および右目用の画像に基づいて、前記画像表示部に画像を表示させる画像表示制御部と、をさらに備え、前記画像表示制御部は、前記左目用および右目用の画像を、前記立体画像として前記画像表示部に表示させる立体画像表示モードと、前記左目用および右目用の画像のうち、前記第1距離および前記第2距離のうちより小さな距離に対応する画像のみを、2次元画像として前記画像表示部に表示させる2次元画像表示モードと、を切り替え可能であることを特徴とする。
また、第15の態様に係る画像処理システムは、第1ないし第14の何れかの態様に係る画像処理装置と、前記基準画像の撮像と前記距離情報の算出とを行う基礎情報取得部と、を備えることを特徴とする。
第1ないし第14の態様に係る画像処理装置および第15の態様に係る画像処理システムによれば、立体画像の全体に共通して左右比率を「1」未満のゼロでない比率とされる。これは、基準位置から左右視点までの第1距離および第2距離のいずれもゼロでない値であるとともに、第1距離と第2距離とは同一でないことを意味する。第1距離および第2距離のいずれもゼロでない値とすることによって、距離情報の誤差に起因する、立体画像の表示における遠近視認上の違和感が軽減される。また、左右比率が「1」未満であるため、左側視点画像と右側視点画像とのうちの一方は実際に撮影された基準画像に比較的近い画像内容を持つことになる。このため、2次元画像を用いた表示などを行わせる場合には、当該一方の画像を用いることによって、正確度が高い画像内容を提供することができる。これらから、立体画像の視認上の違和感の軽減と2次元画像を用いる場合の正確性とをバランスさせて両立させることができる。
第2ないし第7の態様に係る画像処理装置によれば、不均一距離設定部が被写体の立体画像の左右視差量を代表的に表現する視差指標値により第1距離と第2距離とを設定することから、立体画像の視認上の違和感を効率良く軽減することが可能となる。
第8または第9の態様に係る画像処理装置によれば、ユーザのマニュアル操作に基づいて前記左右比率の値を可変に設定することで、観察者の好みに応じて立体画像の視認上の違和感を調節することが可能となる。
第10の態様に係る画像処理装置によれば、立体画像を観察させる予定の観察者の効き目情報を考慮し、第1距離と第2距離とを設定することで、立体画像の視認上の違和感を軽減することが可能となる。
第11の態様に係る画像処理装置によれば、第1距離と第2距離との和が、立体画像を表示させたときの観察者の両目間の標準距離よりも小さな値となるように、第1距離と第2距離とを決定することで、立体画像の視認上の違和感を軽減することが可能となる。
第12の態様に係る画像処理装置によれば、小比率範囲が、百分率表現で10%~40%の区間内に設定されることで、立体画像の視認上の違和感の軽減と2次元画像を用いる場合の正確性とをバランスさせて両立させることができる。
第14の態様に係る画像処理装置によれば、画像表示制御部が、左目用および右目用の画像のうち、第1距離および第2距離のうちより小さな距離に対応する画像のみを、表示部に2次元画像として画像表示部に表示させることで、正確度が高い画像内容を提供することができる。
<1.用語の定義>
この発明における下記用語は、次のように定義される。
・「画像」の用語は、静止画および動画の双方を包含する概念の用語として使用し;
・「基準画像」の用語は、所定の原点位置(原視点)から被写体を撮像した2次元画像として使用し;
・「距離画像」の用語は、当該原点位置から当該被写体各部への距離情報を表現した画像として使用し;
・「左側視点」の用語は、基準画像を撮像した際の光軸方向を基準として、当該原点位置から左側に第1距離だけ離れた第1位置に設定された視点として使用し;
・「右側視点」の用語は、基準画像を撮像した際の光軸方向を基準として、当該原点位置から右側に第2距離だけ離れた第2位置に設定された視点として使用し;
・「左側視点画像」の用語は、当該左側視点から当該被写体を見た2次元画像に相当する画像として使用し;
・「右側視点画像」の用語は、当該右側視点から当該被写体を見た2次元画像に相当する画像として使用する。
この発明における下記用語は、次のように定義される。
・「画像」の用語は、静止画および動画の双方を包含する概念の用語として使用し;
・「基準画像」の用語は、所定の原点位置(原視点)から被写体を撮像した2次元画像として使用し;
・「距離画像」の用語は、当該原点位置から当該被写体各部への距離情報を表現した画像として使用し;
・「左側視点」の用語は、基準画像を撮像した際の光軸方向を基準として、当該原点位置から左側に第1距離だけ離れた第1位置に設定された視点として使用し;
・「右側視点」の用語は、基準画像を撮像した際の光軸方向を基準として、当該原点位置から右側に第2距離だけ離れた第2位置に設定された視点として使用し;
・「左側視点画像」の用語は、当該左側視点から当該被写体を見た2次元画像に相当する画像として使用し;
・「右側視点画像」の用語は、当該右側視点から当該被写体を見た2次元画像に相当する画像として使用する。
<2.第1実施形態>
<2-1.画像処理システムの概要>
図1は、本発明の一実施形態に係る画像処理システム1Aの概略構成を示す図である。画像処理システム1Aは、他視点カメラシステムとして構成されており、撮像部10として2眼のステレオカメラVCを備えるほか、ステレオカメラVCに対してデータの送受信が可能に接続される画像処理装置3Aを備える。
<2-1.画像処理システムの概要>
図1は、本発明の一実施形態に係る画像処理システム1Aの概略構成を示す図である。画像処理システム1Aは、他視点カメラシステムとして構成されており、撮像部10として2眼のステレオカメラVCを備えるほか、ステレオカメラVCに対してデータの送受信が可能に接続される画像処理装置3Aを備える。
ステレオカメラVCは、基準カメラMCおよび参照カメラSCの2つの撮像系から構成されている。基準カメラMCおよび参照カメラSCは、カメラ正面の被写体を、同じタイミングで異なる視点から撮像するように構成される。この明細書では、主要被写体(撮像の主たる対象体)OBのほか、その背景や前景など、ステレオカメラVCで撮像される全体を「被写体」と総称する。そして、基準カメラMCおよび参照カメラSCによる同じタイミングの撮像によって得られる2つの画像信号(以下「画像」と略称する)は、データ線CBを介して画像処理装置3に送信される。
以下では、基準カメラMCの撮像によって取得される画像を「第1撮像画像G1」と称し、参照カメラSCの撮像によって取得される画像を「第2撮像画像G2」と称する。つまり、第1および第2撮像画像G1,G2は、同一の被写体が異なる視点からそれぞれ捉えられた画像の組を成す。
画像処理装置3は、例えばパーソナルコンピュータ(パソコン)のような情報処理装置で構成され、マウスやキーボード等を含む操作部31と、液晶ディスプレイ等で構成されるディスプレイ32と、ステレオカメラVCからのデータを受信するインターフェース(I/F)37とを備える。また、画像処理装置3は、記憶装置34と演算制御部36Aとを有する。
記憶装置34は、例えばハードディスク等で構成され、ステレオカメラVCの撮像によって得られる第1および第2撮像画像G1,G2を記憶する。また、記憶装置34には、後述される視点位置を設定するためのプログラムPG等が格納される。
入出力部35は、例えば可搬性ディスクドライブを備えて構成され、光ディスク等の可搬性記憶媒体をセットして、演算制御部36Aとの間でデータの授受を行う。
演算制御部36Aは、プロセッサとして働くCPU36aと、情報を一時的に記憶するメモリ36bとを有し、これらのデジタル処理回路によって画像処理装置3Aの各部を統括的に制御する。演算制御部36Aでは、記憶部34内のプログラムPGが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。なお、メモリ36bには、可搬性記憶媒体に記憶されているプログラムデータを、入出力部35を介して格納させることができる。この格納されたプログラムは、画像処理装置3の動作に適宜反映可能である。
演算制御部36Aは、後述する視点位置が設定されることによって、左側視点画像および右側視点画像を生成し、ディスプレイ32により、特定の被写体の画像を可視的に出力する。
<2-2.撮像部10>
図2は、撮像部10のステレオカメラVCの具体的配置例を説明する図である。図2(a)および図2(b)に示すステレオカメラVC1では、基準カメラMCと参照カメラSCとが基線長L分だけ離れて配置された構成を採り、基準カメラMCおよび参照カメラSCは、カメラ筐体の一辺に平行となるように配列されている。
図2は、撮像部10のステレオカメラVCの具体的配置例を説明する図である。図2(a)および図2(b)に示すステレオカメラVC1では、基準カメラMCと参照カメラSCとが基線長L分だけ離れて配置された構成を採り、基準カメラMCおよび参照カメラSCは、カメラ筐体の一辺に平行となるように配列されている。
この基準カメラMCおよび参照カメラSCの配列が、水平面に対して垂直となるようにステレオカメラVC1を配置した状態を縦置きと呼称する(図2(a)参照)。一方、基準カメラMCおよび参照カメラSCの配列が、水平面に対して平行となるようにステレオカメラVC1を配置した状態を横置きと呼称する(図2(b)参照)。
また、図2(c)に示すステレオカメラVC2は、基準カメラMCと参照カメラSCとが基線長L分だけ離れて配置されている点ではステレオカメラVC1と同じであるが、基準カメラMCおよび参照カメラSCは、カメラ筐体の何れの辺に対しても斜めとなるように配列されており、この状態を斜め置きと呼称する。なお、上記のような配置状態に対して、上下左右が入れ替わるように配置しても良い。
構成例として、例えば、基準カメラMCは、高精細画像を撮影できるようなハイビジョン放送対応レンズ(HDTVレンズ)等の高解像度で、焦点可変のいわゆるズームレンズを有したデジタルカメラシステムとし、参照カメラSCは、携帯電話等に搭載される小型ユニットカメラや、マイクロカメラユニット(MCU)などの低解像度で、単一焦点のデジタルカメラシステムとすることができる。または、両方ともハイビジョン放送対応レンズ・マイクロカメラユニットでの構成にしても良い。なお、参照カメラSCのレンズにはズームレンズを用いても良いが、高解像度は要求されない。このように、2つのレンズユニットはどのような構成を取っても良いが、立体視画像を生成するにあたり、基準カメラMC側の画像は、他視点画像すなわち右眼用画像および左目用画像を生成するための基礎となる2次元画像(基準画像)として使用されることから、参照カメラSCと同レベルのレンズ、若しくは、参照カメラSCより性能が良いものを使用する方が望ましい。
ステレオカメラVCにより得た画像を、そのまま立体視画像として使用する場合は、横置きに構成される必要があるが、本手法では距離計測を実施し、距離情報を基に、立体視用の画像を新しく生成することから、距離情報と他視点画像とを生成するための基準画像を取得できれば良いので、図2(b)の横置きの構成だけでなく、図2(a)の縦置きあるいは図2(c)の斜め置きの構成でも可能となる。
図3は、ステレオカメラVC1を横置きで使用する場合の撮影状況を示す模式図であり、主要被写体OBおよび背景BGを含む被写体を上方から見た状況に相当する。図3の縦軸は、基準カメラMCの位置を原点としたときの、基準カメラMCの光軸方向における主要被写体OBおよび背景BGまでの距離を示している。また横軸は、基準カメラMCと参照カメラSCとを結ぶ基線方向(水平方向)の距離を示しており、この方向の撮影可能範囲は、基準カメラMCおよび参照カメラSCで撮影する場合の水平方向の画角に相当する。基準カメラMCにおいては3段階の倍率で撮影を行う例を示しており、最も倍率の低い(最も画角の広い)状態で撮影した画像を第1の基準カメラ画像と呼称し、その画角をラインL1で示している。次に倍率の高い状態で撮影した画像を第2の基準カメラ画像と呼称し、その画角をラインL2で示している。そして、最も倍率の高い(最も画角の狭い)状態で撮影した画像を第3の基準カメラ画像と呼称し、その画角をラインL3で示している。一方、参照カメラSCはズーム機能がないので画角は1種類だけであり、その画角をラインL4で示している。
図4には、図3に示した撮影イメージで得られた画像を示す。図4(a)には基準カメラMCで撮影した第1の基準カメラ画像を、図4(b)には基準カメラMCで撮影した第2の基準カメラ画像を、図4(c)には基準カメラMCで撮影した第3の基準カメラ画像を示している。
また、図4(d)~図4(f)には、それぞれ図4(a)~図4(c)の画像を取得した際に、参照カメラSCで得られた参照カメラ画像を示している。この参照カメラ画像は、何れも同じ倍率の画像となる。なお、参照カメラSCの光軸は、基線長L分だけ基準カメラMCから離れているので、参照カメラSCで得られた画像と基準カメラMCで得られた画像との間には、視差に伴う観察方向のズレが生じている。
以上のように、基準カメラMCと参照カメラSCとの2つのカメラは同じ被写体を撮像しているが、それぞれの視線とレンズの倍率とが異なるため、被写体の大きさや画角が異なった画像が得られることになる。
<2-3.計測距離情報の一般的性質と前提事情>
この実施形態における画像処理システム1Aの詳細を説明する準備として、この実施形態の前提となる計測距離情報の一般的性質と、それに伴って生じる現象、すなわち従来技術で生じていた事情を説明しておく。
この実施形態における画像処理システム1Aの詳細を説明する準備として、この実施形態の前提となる計測距離情報の一般的性質と、それに伴って生じる現象、すなわち従来技術で生じていた事情を説明しておく。
図5は、図2(a)で説明した縦置きステレオカメラVC1に対して、左側視点画像を生成するための仮想視点(左側視点PL)の位置を示した図である。図5で示されるように、基準画像を撮像する際の光軸方向を基準として、基準カメラMCから左側に距離Dだけ離れた位置Pに左側視点PLを設定している。また、右側視点PRは基準カメラMCの位置そのものに設定する。
図6は、縦置きステレオカメラVC1によって撮影された画像および得られた距離情報の画像を例示する図である。図6のうち、図6(a)は、基準カメラMCの撮像によって取得される第1撮像画像G1を示し、図6(b)は、参照カメラSCの撮像によって取得される第2撮像画像G2を示す。なお、ここでは、第1撮像画像G1を基準画像SGとし、第2撮像画像G2を参照画像RGとする。また、図6(c)は、基準画像SGと参照画像RGとの画像から生成される、所定の原点位置(基準カメラMCの位置。すなわち、原視点)から被写体各部への距離情報を表現した距離画像DGの例を示す図であり、そこでは距離の長短を濃淡で表現している。
図7は、距離画像DGと基準画像SGとを用いて、後述する平滑化処理を施した後、図5の左側視点PLにおける左側視点画像IL0を作成した一例を示す。なお、基準カメラMCで撮像された基準画像SGは、右側視点画像IR0(図6(a)参照)とされる。
図7で示されるように、この左側視点画像IL0の領域B2には、図6(a)の基準画像SGのうち領域B1に相当する部分画像、すなわち直線などの基本図形要素を多く有して構成された人工物(立て看板)を含む部分(幾何学的要素を包含する領域。以下「幾何的領域」)に対応した画像が生成されている。
領域B2(図7参照)に示されるように、本来は直線状である立て看板の外縁に対応した部分は、凸状に湾曲している。これは、幾何的領域においては、領域B1に撮影された立て看板そのものの距離情報と、およびステレオカメラVC1に対して該立て看板の前後にそれぞれ存在する木々の距離情報とが混在しており、該対応領域における各距離情報の統計的な分布状態は、分布の幅が広く、また、離散的な分布となっているために、統計的な代表値としての距離情報がばらつくことに起因する。
また、原点位置に相当するステレオカメラVC1からの距離が相対的に近い近距離領域と相対的に遠い遠距離領域とが隣接する領域境界(遠近境界領域の境界付近)では、立体視認が難しい現象が生じる傾向にある。これは、後述する対応点探索を行う際に生じる誤差によって、境界線をはさんで近距離情報に遠距離情報が混入してしまうため、立体視が欠如した画像として表示される事情による。
以上のように、被写体の人工物などの幾何学的要素に相当する部分や輪郭部分などの領域境界においては、誤距離計測結果が得られる傾向にある。したがって、この不正確な距離情報に基づいて、左側視点画像IL0を作成すると、基準画像そのものを使用した正確な右側視点画像IR0と組み合わせて立体視画像を生成したときに、立体画像における遠近視認上の違和感を生じる結果となってしまう。
このような背景の下、本発明では、片方の仮想視点における画像(ここでは、左側視点画像IL0)のみを原点位置から離れた位置を視点として生成するのではなく、原点位置からいずれも離れた位置に設定した左右両方の仮想視点において画像を生成する。そして、さらに、2つの他視点と原点位置との距離を左右不均一にして、左側視点画像と右側視点画像とのうちの一方は実際に撮影された基準画像SGに比較的近い画像内容にすることで、立体画像の視認上の違和感を軽減させるとともに、2次元画像を用いる場合の正確性をもバランスさせて両立させるように構成される。そのための構成と動作との詳細は以下で後述する。
<3.画像処理システムの機能構成>
本発明の実施形態の説明に戻る。画像処理装置3Aにおいて、左側視点画像ILと右側視点画像IRとを作成するために演算制御部36Aで実現される機能的な構成について説明する。
本発明の実施形態の説明に戻る。画像処理装置3Aにおいて、左側視点画像ILと右側視点画像IRとを作成するために演算制御部36Aで実現される機能的な構成について説明する。
図8は、本実施形態に係る画像処理システム1Aの機能構成を示すブロック図を示す。図8で示されるように、基礎情報取得部2では、ステレオカメラVC1の基準カメラMCおよび参照カメラSCによりそれぞれ撮像した基準画像SGおよび参照画像RGから、距離計測部11により距離計測を実施し、所定の原点位置(基準カメラMCの位置)から被写体各部への距離情報を表現した距離画像DGを生成する。
画像処理装置3では、基準画像取得部12により基準画像SGを取得するとともに、距離画像取得部13により、基準カメラMCから被写体各部への距離情報を表現した距離画像DGを取得し、平滑化処理部14が空間的な平滑化処理によって画像の歪みをある程度抑制した疑似画像SG’および派生距離画像DG’を生成する。続いて、視点設定部15が、基準カメラMCから左側および右側視点位置までの距離が不均一となるように、不均一距離設定部16が左側および右側視点位置を設定する。そして、疑似画像SG’および派生距離画像DG’に基づいて画像生成部17により左側視点画像ILおよび右側視点画像IRが生成され、画像表示制御部18により画像表示モードの切替えが行われた後、画像表示部19にてモードに見合った画像がディスプレイ32に表示される。
以下では、図8で示されたような演算制御部36Aの機能的な構成が、あらかじめインストールされたプログラムPGの実行によって、実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
以降、距離計測部11、基準画像取得部12、距離画像取得部13、平滑化処理部14、視点設定部15、不均一距離設定部16、画像生成部17、画像表示制御部18、および、画像表示部19が行う各処理についての具体的内容を、図8を参照しながら順次説明する。
<3-1.距離計測部11および距離画像取得部13>
距離計測部11では、基準カメラMCの位置から被写体各部への距離を、基準カメラMCおよび参照カメラSCのそれぞれが得た画像の対応点探索を通じて計測して、その計測距離結果に基づいて、距離情報を表現した距離画像DGを生成する。そして、距離画像取得部13にて距離画像DGを取得する。この実施形態では、次のような対応点探索処理によって図6(c)のような距離画像DGを取得する。
距離計測部11では、基準カメラMCの位置から被写体各部への距離を、基準カメラMCおよび参照カメラSCのそれぞれが得た画像の対応点探索を通じて計測して、その計測距離結果に基づいて、距離情報を表現した距離画像DGを生成する。そして、距離画像取得部13にて距離画像DGを取得する。この実施形態では、次のような対応点探索処理によって図6(c)のような距離画像DGを取得する。
一般に、対応点探索処理では、対応点基準画像上の任意の注目点に対応する対応点参照画像像上の点(対応点)を探索して求め、得られた注目点と対応点との関係から視差情報を得た後、当該視差情報から距離情報を取得する。なお、対応点参照画像とは、対応点基準画像に対応する画像である。具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が対応点基準画像であり、他方は対応点参照画像である。時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が対応点基準画像であり、時間的に後の画像が対応点参照画像である。この対応点基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する対応点参照画像上のウインドウが探索され、この探索されたウインドウから対応点が求められる。
図9は、この実施形態での対応点探索処理を説明する概念図である。図9(a)は対応点参照画像CRGとして参照カメラSCで得られた第2撮像画像G2を示し、図9(b)は対応点基準画像CSGとして基準カメラMCで得られた第1撮像画像G1を示す。対応点基準画像CSG中の各画素について、対応点参照画像CRGの破線で囲まれた領域CP中の対応画素を求めて行く。なお、対応点基準画像CSGの全体領域は、対応点参照画像CRGの領域CPに対応しており、領域CPが拡大されたものとなっている。
このような対応点探索の具体的な方法は公知であり、位相情報により対応点探索を行う方法としては、例えば、下記のような方法が挙げられる。
・位相限定相関法(Phase Only Correlation: POC)を用いた対応点探索
・位相差解析法(Phase Shift Analysis: PSA)を用いた対応点探索
また、輝度情報を基に対応点探索を行う方法としては、例えば、下記のような方法が挙げられる。
・SAD(Sum of Absolute Difference)法を用いた対応点探索
・SSD(Sum of Squared intensity Difference)法を用いた対応点探索
・NCC(Normalized Cross Correlation)法を用いた対応点探索
そして、このような対応点探索の結果に基づいてステレオカメラから被写体各部への距離を画素単位で表現した距離画像DGを生成する。
・位相限定相関法(Phase Only Correlation: POC)を用いた対応点探索
・位相差解析法(Phase Shift Analysis: PSA)を用いた対応点探索
また、輝度情報を基に対応点探索を行う方法としては、例えば、下記のような方法が挙げられる。
・SAD(Sum of Absolute Difference)法を用いた対応点探索
・SSD(Sum of Squared intensity Difference)法を用いた対応点探索
・NCC(Normalized Cross Correlation)法を用いた対応点探索
そして、このような対応点探索の結果に基づいてステレオカメラから被写体各部への距離を画素単位で表現した距離画像DGを生成する。
ステレオカメラを用いた距離画像DGの生成において、2つの画像のうち画素数が少ない画像を基準画像として使用するときには、サブピクセル単位での対応点探索が行われる。
図9(c)は、対応点基準画像CSGとして図9(a)における第2撮像画像G2を採用し、それにサブピクセルを設定する例を模式的に示す図である。さらに、図9(d)は、画素数が多い方の図9(b)の第1撮像画像G1に相当する画像を対応点基準画像CSGとした例を示す。
相関法を用いた対応点探索処理では、対応点基準画像CSG上の注目点に対して対応点参照画像CRG上の対応点を求めるために対応点参照画像CRG上を1画素ずつサンプリングするという処理がなされる。
図9(d)で示されるように、対応点基準画像CSGの倍率が高く、対応点参照画像CRGの倍率が低いような場合、すなわち、有効画素数の多い側を対応点基準画像CSGとした場合には、複雑な処理を施すことなく、サブピクセル単位まで対応点探索処理を実施することができる。これに対し、図9(c)で示されるように、対応点基準画像CSGの倍率が低く、対応点参照画像CRGの倍率が高いような場合には、サンプリング間隔が大幅に異なり、対応点参照画像CRGの情報が抜け落ちて精度の良い距離情報の取得が困難となる。後記のような視点位置の設定は、被写体の人工物などの幾何学的要素に相当する部分や輪郭部分などの領域境界付近での立体画像の視認上の違和感を軽減させることを主目的とするが、このようなサブピクセル探索に起因する誤差の補償としても有意義である。
図9(c)では、サブピクセル単位まで対応点探索処理を実施するために、1つの画素を横方向に3分割して3つのサブピクセルを設定した例を示しているが、画素の分割はこれに限定されるものではなく、また、さらに細かく分割することも可能である。これにより、対応点基準画像CSGと対応点参照画像CRGとで倍率が異なるような場合でも、サンプリング間隔を一致させることができる。すなわち、注目点OPがサブピクセルレベルの位置である場合に、注目点OPであるサブピクセルSPを中心にして探索用テンプレートTPを設定することになる。
なお、サブピクセルの推定方法としては、例えば、特開2001-195597号公報などに、画像間の相関値を算出後、最も相関値の高い位置とその周辺の相関値との位置関係から、画素と画素との間の相関値を直線式または曲線式に当て嵌めることによって補間し、相関値のピーク位置およびピーク値を推定する方法が開示されており、この推定方法を使用することができる。
これらの対応点探索法のいずれにおいても、被写体の人工物などの幾何学的要素に相当する部分や輪郭部分などの領域境界付近など距離情報算出が不得意な対象領域が存在する。また、このような対応点探索による距離画像の生成だけでなく、後に「変形例」として説明する他の方法によって距離計測を行って距離画像を生成しても、やはり同様の領域付近で距離算出の誤差が生じやすいため、本発明の原理を用いた立体画像の生成が有効である。
<3-2.平滑処理部14>
続いて、平滑化処理部14では、距離画像DGから得られた距離情報などのばらつきを低減させ、距離画像DGに基づいて基準画像SGを変形することによって、疑似画像を生成する。以下、図10および図11を参照して疑似画像の生成について概略を説明する。
続いて、平滑化処理部14では、距離画像DGから得られた距離情報などのばらつきを低減させ、距離画像DGに基づいて基準画像SGを変形することによって、疑似画像を生成する。以下、図10および図11を参照して疑似画像の生成について概略を説明する。
図10は、基準画像SGの部分画像と、疑似画像SG’の部分画像とのそれぞれにおける各画素の対応関係の1例を示す図であり、図11は、疑似画像SG’を生成する基本手法の動作フローを例示する図である。図10は、基準画像SGの水平走査方向の1ライン分の部分画像SGaの一部の各画素7a~7jと、基準画像SGaに対応した疑似画像SG’の水平走査方向の1ライン分の部分画像SGbの一部の各画素8a~8jとの対応関係の1例を示す図である。また、部分画像SGaと部分画像SGbとは、被写体の同一部分にそれぞれ対応している。なお、該対応関係の把握を容易にするために、各画素7a~7jと、各画素8a~8jとは、画素値に応じた濃淡によって画素毎に区分されて表示されている。
図11のステップS50において、1ライン分の部分画像SGaが選択されると、選択された部分画像SGaの各画素について、疑似画像SG’において対応する画素、すなわち部分画像SGbの各画素8a~8jの水平走査方向の画素座標が取得される(ステップS51)。ここで、各画素8a~8jには、各画素7a~7jのうち1つの画素が対応している第1種の画素、2つの画素が対応している第2種の画素、および各画素7a~7jの何れの画素も対応していない第3種の画素の3種類の画素が存在しているとすると、ステップS52の処理においては、該第1種の画素の画素値として、該画素に対応する部分画像SGaの画素の画素値が採用され、また、該第2種の画素の画素値として、該画素に対応する部分画像SGaの2つの画素の画素値の代表値、例えば、平均値が採用される。また、該第3種の画素の画素値としては、例えば、部分画像SGaとの対応関係に基づいて画素値が取得された部分画像SGbの画素のうち該第3種の画素に最も空間的に近い画素の画素値が採用される。そして、部分画像SGbの画像は、部分画像SGbの各画素についてそれぞれ特定された画素座標と、画素値とによって特定される。
ステップS52の処理が終了すると、基準画像SGaの水平方向の全てのラインについて、対応する疑似画像の部分画像を生成する処理(ステップS51~S52)が終了したか否かが確認される(ステップS53)。ステップS53での確認の結果、水平方向の全てのラインについて処理が終了していなければ、基準画像SGのうち、処理されたラインの垂直方向の次のラインが新たな処理対象として選択されて(ステップS54)、処理はステップS51へと戻される。また、ステップS53での確認の結果、水平方向の全てのラインについて疑似画像SG’の部分画像を生成する処理が終了していれば、疑似画像SG’の生成処理は終了される。
図12は、平滑化された距離画像の1例を示す図である。すなわち、これは図6(c)の距離画像に平滑化処理を施した後の距離画像であり、歪みが抑制された疑似画像SG’の生成に用いられる距離情報を表現した派生距離画像DG’に該当する。
<3-3.視点設定部15および不均一距離設定部16>
視点設定部15では、不均一距離設定部16において設定された基準カメラMCからの第1距離および第2距離に基づき、左側視点および右側視点を設定する。
視点設定部15では、不均一距離設定部16において設定された基準カメラMCからの第1距離および第2距離に基づき、左側視点および右側視点を設定する。
図13は、図2(a)で説明した縦置きステレオカメラVC1の基準カメラMCから、左側視点画像ILおよび右側視点画像IRを生成するための左側視点PLおよび右側視点PRの位置をそれぞれ示した図である。
図13で示されるように、視点設定部15は、基準画像SGを撮像した際の水平方向の光軸AXの方向を基準として、すなわち光軸方向を視線方向として見たときに、基準カメラMCから左側に第1距離D1だけ離れた第1位置P1に左側視点PLを設定し、基準カメラMCから右側に第2距離D2だけ離れた第2位置P2に右側視点PRを設定する。視点PL,PRを仮想的に結ぶ線分は、原点位置を通りかつ光軸AXに直角な水平線である。ここで、第1距離D1と第2距離D2とのうち、より大きな距離に対するより小さな距離の比の値を左右比率と呼ぶとき、不均一距離設定部16が、左右比率の値が立体画像の全体に共通した「1」未満のゼロでない比率となるように、第1距離D1および第2距離D2を設定する。図13の場合には、第2距離D2よりも第1距離D1の方が大きく、したがって左右比率r(図示せず)はr=D2/D1として定義され、不等式「0<r<1」を満たす。
後述するように、左右比率rは一般に、マニュアルまたは自動で可変に設定されることができる。このとき、左右比率rの可変範囲は、相対的に「1」に近い側にある大比率範囲と、相対的に「0」に近い側にある小比率範囲とを含んで構成され、それらの大比率範囲と小比率範囲との間で、左右比率rを切り替えて設定することができる。そして、このうちの小比率範囲は、百分率表現で10%~40%の区間内に設定されていることが好ましい。r=0のごく近くの値(たとえばr=2%)を含むように小比率範囲を設定すると、立体画像の視認上の違和感がかなり大きくなり、r=1のごく近くの値(たとえばr=98%)を含むように大比率範囲を設定すると、基準画像に近い2次元画像を再現しにくくなるためである。
また、不均一距離設定部16では、被写体OBの立体画像の左右視差量を代表的に表現する視差指標値を算出し、この視差指標値が相対的に大きいときには、視差指標値が相対的に小さいときと比較して、左右比率rが単位比率「1」に近い値となるように、第1距離D1と第2距離D2とを設定する。したがって、視差指標値を決めるファクタに依存して、不均一距離設定部16は、左右比率rを決定することになる。
以下、視差指標値を決めるファクタと、それぞれでの左右比率rの設定原理を順次説明する。なお、下記のいずれの場合も「0<r<1」の条件の範囲内で、かつ第1距離D1と第2距離との合計に相当する左右視点間距離D0(=D1+D2)は一定とする条件での、左右比率rの可変設定であり、この2つの条件を「基本設定条件」と呼ぶことにする。
<3-3-1.被写体などの特定の距離値の利用>
視差指標値としては、距離情報の中から所定の条件に基づいて選択された特定の距離値に対して負の相関を持った値を採用することができる。被写体の各部分の視差量は原点位置から当該部分までの距離と負の相関がある(近似的に、視差量は距離の逆数に比例する)から、たとえば被写体の距離情報から選択された特定の距離値の逆数を視差指標値として採用できる。
視差指標値としては、距離情報の中から所定の条件に基づいて選択された特定の距離値に対して負の相関を持った値を採用することができる。被写体の各部分の視差量は原点位置から当該部分までの距離と負の相関がある(近似的に、視差量は距離の逆数に比例する)から、たとえば被写体の距離情報から選択された特定の距離値の逆数を視差指標値として採用できる。
そして、視差指標値が相対的に大きいときには、視差指標値が相対的に小さいときと比較して、左右比率を単位比率「1」に近い値となるように、第1距離D1と第2距離D2とを可変に設定する。ただし、可変とはいっても、ひとつの立体画像(シーン)内について見ると、左右比率は立体画像の全体に共通した値とされる。すなわち、この発明は、立体画像の空間的部分ごとに左右比率を変化させるという技術思想とは異なる。
左右比率の決定因子となる視差指標値の好ましい例としては、以下のようなものがある。
<第1例:ピーク距離値の利用>
特定の距離値に該当する視差指標値Lsとしての第1例は、距離情報の頻度分布におけるピークを与える距離値Lpと負の相関を持つ値、たとえばピーク距離値Lpの逆数1/Lpである(Ls,Lpはいずれも図示せず)。すなわち、主要被写体OBとしての人物のほか、前景や背景が撮影された画像に含まれているときには、距離情報の頻度分布は、原視点から人物までの距離付近にピークがあり、前景および背景の距離あたりにもピークがあるという形状になる。そこで、距離軸の中央付近(たとえば、2つの閾値ではさまれた距離範囲内)のピーク距離値Lpの逆数1/Lpを視差指標値Lsとすることができる。
特定の距離値に該当する視差指標値Lsとしての第1例は、距離情報の頻度分布におけるピークを与える距離値Lpと負の相関を持つ値、たとえばピーク距離値Lpの逆数1/Lpである(Ls,Lpはいずれも図示せず)。すなわち、主要被写体OBとしての人物のほか、前景や背景が撮影された画像に含まれているときには、距離情報の頻度分布は、原視点から人物までの距離付近にピークがあり、前景および背景の距離あたりにもピークがあるという形状になる。そこで、距離軸の中央付近(たとえば、2つの閾値ではさまれた距離範囲内)のピーク距離値Lpの逆数1/Lpを視差指標値Lsとすることができる。
図13の例の場合、第1距離D1と第2距離D2との関係は「D1>D2」であるが、視差指標値Lsが相対的に大きい場合(上記の例では、主要被写体が比較的ステレオカメラVC1の近くにあって、ピーク距離値Lpが小さい場合)には、左右の視点画像の歪み量が同程度でないと、立体視した際に歪の違和感を受けやすい。このため、基準画像の保存性は多少低下させても、歪の違和感の低減を優先することが好ましい。そこで、この場合には、基本設定条件下で、左右比率rの値を、単位比率「1」(=100%)に比較的近い値(たとえば40%以上の値)とする。
逆に、視差指標値Lsが相対的に小さい場合(上記の例では、主要被写体が比較的ステレオカメラVC1から遠くにあって、ピーク距離値Lpが大きい場合)には、着目されやすい被写体部分の視差量が全般的に小さいため、片側の仮想視点画像が歪み量を大幅に負担しても、立体視した際それほど歪の違和感を生じない。このため、左右視点画像のうち一方の視点画像については基準画像の画像情報をできるだけ忠実に保存させる。すなわち、基本設定条件下で、左右比率rの値を、単位比率「1」(=100%)から比較的遠い値(たとえば20%)とする。
ポートレートや集合写真、草花、家屋、工業製品などを主要被写体とする場合には、それら主要被写体についての画像の再現性や立体感が重要であるため、視差指標値Lsのこのような選択は有意義である。
<第2例:人間の顔など特徴要素の距離値の利用>
視差指標値が、被写体OBのうちあらかじめ指定された種類に分類される立体要素部分までの距離に対して負の相関を持つ値で定義される。
視差指標値が、被写体OBのうちあらかじめ指定された種類に分類される立体要素部分までの距離に対して負の相関を持つ値で定義される。
これは、上記の第1例と同じ結果を与える場合も多いが、人物あるいはその顔部分のような特定の立体要素部分は、その形状などの画像処理によって他の要素部分と識別可能であるため、その部分のサイズが小さくとも、着目すべき被写体要素として特定できる。そして、その要素までの距離Lm(図示せず)を距離画像DGから抽出し、この距離Lmと負の相関を持つ値(たとえば距離Lmの逆数である1/Lm)を視差指標値とする。
そのようにして視差指標値を特定した後の左右比率rの切り替えは第1例と同様である。すなわち、視差指標値が大きい(すなわち特定の立体要素部分までの距離が小さい)ときには左右比率rは単位比率「1」に近い値に設定し、視差指標値が小さい(すなわち特定の立体要素部分までの距離が大きい)ときには左右比率rは単位比率「1」から遠い値に設定する。いずれも、基本設定条件下での設定である。
これにより、特定の立体要素部分が近くにあるときには左右視差の不均一性を抑制し、特定の立体要素部分が遠くにあるときには基準画像の忠実度が高い画像を一方の視点画像に使用する。
<3-3-2.人工物など幾何学的要素に相当する部分の割合>
この態様では、視差指標値として、被写体OBのうち人工物に相当する部分から原点位置までの距離と負の相関を有する値を採用する。人工物か否かの判定には、幾何学的要素すなわち、直線、円弧、矩形、円、三角形、平行線などに相当する部分を2次元画像認識によって特定することができる。そして、そのような人工物の画像を所定の程度以上に含む領域が所定の程度以上に多く、それによって視差指標値が相対的に大きいと判断されるときには、視差指標値が相対的に小さいときと比較して、左右比率rを単位比率「1」に近い値となるように、第1距離D1と第2距離D2とを設定する。
この態様では、視差指標値として、被写体OBのうち人工物に相当する部分から原点位置までの距離と負の相関を有する値を採用する。人工物か否かの判定には、幾何学的要素すなわち、直線、円弧、矩形、円、三角形、平行線などに相当する部分を2次元画像認識によって特定することができる。そして、そのような人工物の画像を所定の程度以上に含む領域が所定の程度以上に多く、それによって視差指標値が相対的に大きいと判断されるときには、視差指標値が相対的に小さいときと比較して、左右比率rを単位比率「1」に近い値となるように、第1距離D1と第2距離D2とを設定する。
すなわち、人工物など幾何学的要素に相当する部分は直線や円弧などが多く、これらは視覚的に歪みが認識されやすい。そこで、当該部分の判定を実施し、当該部分の割合が高い(視差指標値が大きい)場合は、左右視点間距離D0を一定にしつつ、第1距離D1と第2距離D2とを比較的近い値とすることによって左右比率rを「1」に近い値に設定し、左右視点画像での歪みの程度を同程度にする。
逆に、人工物など幾何学的要素に相当する部分の割合が低い(視差指標値が小さい)場合は、片側の仮想視点に歪み量を大幅に負担しても立体視した際それほど歪の違和感を生じないことから、左右視点間距離D0を一定にしつつ、第1距離D2と第1距離D1との差を比較的大きくすることによって左右比率rを「1」から遠い値に設定し、左右視点画像のうちの一方を、基準画像に比較的忠実な画像とする。
また、被写体全体における人工物を含む各領域の面積の合計の割合ではなく、個々の人工物の空間的なサイズによって、左右比率rを変更しても良い。すなわち、被写体全体の中での人工物が占める面積の割合が同じであっても、大きな人工物が1つある場合の方が、細かな人工物が多数分散している場合よりも、立体画像としたときに歪みが認識されやすい。このため、基準画像内に現れている個々の人工物のうち、最大の空間サイズを持つ人工物につき、その空間サイズが所定の閾値サイズよりも大きいときには、そうでないときと比較して左右比率rを、より「1」に近い値に設定する。
これらもまた、基本設定条件下での可変設定である。
<3-3-3.表示画面サイズの割合>
不均一距離設定部16はまた、被写体OBの画像表示で用いられる表示面のサイズを反映した指標値が相対的に大きいときには、指標値が相対的に小さいときと比較して、左右比率を単位比率「1」に近い値となるように、第1距離D1と第2距離D2とを設定する。
不均一距離設定部16はまた、被写体OBの画像表示で用いられる表示面のサイズを反映した指標値が相対的に大きいときには、指標値が相対的に小さいときと比較して、左右比率を単位比率「1」に近い値となるように、第1距離D1と第2距離D2とを設定する。
すなわち、表示モニタが小さい場合は、元々視差量も小さいことから、第1距離D1と第2距離D2との差を大きくしても問題が少ないため、基本設定条件の範囲内で、左目用画像と右目用画像との一方につき、基準画像にできるだけ忠実な2次元画像としておく。逆に、表示モニタが大きい場合は、視差量が大きいことから、基本設定条件の範囲内で、第1距離D1と第2距離D2との差を小さめとして、立体画像の視認上における違和感を軽減する。
例えば、表示面のサイズを反映した指標値が所定の閾値以上(サイズ大)の場合には、左右比率rを大比率範囲から選択した値とし、閾値以下(サイズ小)の場合は、左右比率rを小比率範囲から選択した値にすることができる。
たとえば、大比率範囲は、1/4~2/3(25%~約67%)の範囲で設定され、小比率範囲は1/9~1/4(約11%~25%)の範囲で設定される。この小比率範囲は、一般に小比率範囲として好ましい範囲(10%~40%)内に属する。
<3-4.画像生成部17>
画像生成部17では、平滑化処理部14で生成された疑似画像SG’と派生距離情報DG’(図12参照)とに基づいて、左側視点画像と右側視点画像との組を、被写体の立体画像観察における左目用および右目用の画像として生成する。
画像生成部17では、平滑化処理部14で生成された疑似画像SG’と派生距離情報DG’(図12参照)とに基づいて、左側視点画像と右側視点画像との組を、被写体の立体画像観察における左目用および右目用の画像として生成する。
図14および図15は、画像生成部17によって左目用および右目用の画像として生成された一例を示す。すなわち、画像生成部17では、
1) 左側視点PL(図13参照)から被写体OBを見た2次元画像に相当する左側視点画像IL(図14参照)と、
2) 右側視点PR(図13参照)から被写体OBを見た2次元画像に相当する右側視点画像IR(図15参照)と、
の組を、被写体OBの立体画像観察における左目用および右目用の画像として生成する。ここで、図13の第1距離D1と第2距離D2との左右比率r(D2/D1)は1/4(25%)とされている。
1) 左側視点PL(図13参照)から被写体OBを見た2次元画像に相当する左側視点画像IL(図14参照)と、
2) 右側視点PR(図13参照)から被写体OBを見た2次元画像に相当する右側視点画像IR(図15参照)と、
の組を、被写体OBの立体画像観察における左目用および右目用の画像として生成する。ここで、図13の第1距離D1と第2距離D2との左右比率r(D2/D1)は1/4(25%)とされている。
図14の領域B3および図15の領域B4で示されるように、歪みが抑制されていない図7の領域B2と比較して、歪みが低減されている様子がわかる。これは、図7の左側視点画像IL0の歪み量を百分率表現で100%と表現すると、左側視点画像IL(図14参照)に該歪み量の80%、右側視点画像IR(図15参照)に該歪み量の20%が分担されたためである。
<3-5.画像表示制御部18および画像表示部19>
画像表示制御部18では、左目用および右目用の画像に基づいて、画像表示部19に画像を表示させる。また、画像表示制御部18では、左目用および右目用の画像を、立体画像として画像表示部19に表示させる立体画像表示モードと、左目用および右目用の画像のうち、第1距離D1および第2距離D2のうちより小さな距離に対応する画像のみを、2次元画像として画像表示部19に表示させる2次元画像表示モードとを、ユーザによる操作部31からのマニュアル操作(選択操作)に基づいて切り替えることが可能である。
画像表示制御部18では、左目用および右目用の画像に基づいて、画像表示部19に画像を表示させる。また、画像表示制御部18では、左目用および右目用の画像を、立体画像として画像表示部19に表示させる立体画像表示モードと、左目用および右目用の画像のうち、第1距離D1および第2距離D2のうちより小さな距離に対応する画像のみを、2次元画像として画像表示部19に表示させる2次元画像表示モードとを、ユーザによる操作部31からのマニュアル操作(選択操作)に基づいて切り替えることが可能である。
<4.画像処理システム1Aの基本動作>
図16は、本実施形態に係る画像処理システム1Aにおいて実現される基本動作を説明するフローチャートである。既に各部の個別機能の説明は行ったため(図8参照)、ここでは全体の流れのみ説明する。
図16は、本実施形態に係る画像処理システム1Aにおいて実現される基本動作を説明するフローチャートである。既に各部の個別機能の説明は行ったため(図8参照)、ここでは全体の流れのみ説明する。
図16に示すように、まず、ステップS1において、撮像部10の基準カメラMCが、被写体の2次元画像を撮影し、基準画像SGを生成する(図6(a)参照)。
ステップS1と並行して実行されるステップS2では、撮像部10の参照カメラSCが、被写体の2次元画像を撮影し、参照画像RGを生成する(図6(b)参照)。
ステップS3では、距離計測部11が、基準画像SG内の範囲に対して基準画像SGと参照画像RGとから対応点探索処理などを施して被写体各部への距離を演算によって求める距離計測処理を行う。また、距離画像取得部13は、距離計測の結果に基づいて基準カメラMCの位置(原点位置)から被写体各部への距離情報を画素単位で表現した距離画像DGを生成する(図6(c)参照)。
ステップS4では、平滑化処理部14が、基準画像SGおよび距離画像DGにおいて、空間的な平滑化処理を行い、疑似画像SG’および派生距離画像DG’(図12参照)を生成する。
ステップS5では、視点設定部15が、不均一距離設定部16において決定された第1距離D1および第2距離D2に基づいて、左側視点PLおよび右側視点PRを設定する(図13参照)。
ステップS6では、画像生成部17が、疑似画像SG’および派生距離画像DG’に基づいて、左側視点PLから被写体OBを見た2次元画像に相当する左側視点画像ILと、右側視点PRから被写体OBを見た2次元画像に相当する右側視点画像IRとの組を、被写体OBの立体画像観察における左目用および右目用の画像として生成する(図14および図15参照)。
ステップS7では、画像表示制御部18が、左側視点画像ILと右側視点画像IRとから、立体画像として表示させる立体画像表示モードと、第1距離D1および第2距離D2のうちより小さな距離に対応する画像のみを、2次元画像として表示させる2次元画像表示モードとを、ユーザによる操作部31のマニュアル操作に基づいて選択的に切り替え、そのようにして選択された画像を画像表示部19にて表示させる。この実施形態では、ユーザによるこのマニュアル操作の内容に対応する情報が、図8における外部情報IF1に相当する。
<5.第2実施形態>
図17は、本発明の第2実施形態における画像処理装置3Bにおいて、左側視点画像ILと右側視点画像IRとを作成するために演算制御部36Bで実現される機能的な構成について説明する。第1実施形態と異なる点は、図17で示されるように、不均一距離設定部16において、マニュアル設定部20を備える。なお、残余の構成は第1実施形態の装置と同様である(図8参照)。
図17は、本発明の第2実施形態における画像処理装置3Bにおいて、左側視点画像ILと右側視点画像IRとを作成するために演算制御部36Bで実現される機能的な構成について説明する。第1実施形態と異なる点は、図17で示されるように、不均一距離設定部16において、マニュアル設定部20を備える。なお、残余の構成は第1実施形態の装置と同様である(図8参照)。
マニュアル設定部20では、ユーザのマニュアル操作に基づいて左右比率の値を可変に設定する。すなわち、ユーザが外部情報IF2を、操作部31のマニュアル操作によって画像処理装置3Bに入力し、マニュアル設定部20が外部情報IF2に基づいて左右比率rの値を設定する。
また、マニュアル設定部20は、ユーザのマニュアル操作に基づいて第1距離D1と第2距離D2とのそれぞれの絶対値を個別に指定する部と、第1距離D1と第2距離D2とのそれぞれの絶対値の和を、距離情報に応じて定まる閾値以内に制限する制御部とを備えている。これにより、不均一距離設定部16が、第1距離D1と第2距離D2との和D0が、立体画像を表示させたときの観察者の両目間の標準距離で決定されたデフォルト距離だけでなく、その標準距離よりも小さな値となるように、第1距離D1と第2距離D2とを決定することができる。なお、この標準距離(デフォルト距離)の値は、あらかじめ記憶装置34(図1)内に記憶されている。
<5-1.画像処理システム1Bの基本動作>
続いて、図18は、第2実施形態に係る画像処理装置3Bの動作フローを例示した図である。このうち、ステップSS1~SS6は図16のステップS1~S6と同様であるため、その説明は省略する。
続いて、図18は、第2実施形態に係る画像処理装置3Bの動作フローを例示した図である。このうち、ステップSS1~SS6は図16のステップS1~S6と同様であるため、その説明は省略する。
この第2実施形態では、第1実施形態では存在しなかったマニュアル設定部20が付加されたことで、下記の工程が加わる。
すなわち、図18で示されるように、ステップSS7にてユーザが画像表示制御部18によって立体画像表示モードで表示された際、表示された立体画像がユーザの所望するものと異なる場合、ステップSS8に進む。
ステップSS8では、ユーザが操作部31からマニュアル設定部20に外部情報IF2を入力する。ただし、外部情報IF2で与えられる第1距離D1と第2距離D2との和が、距離情報に応じて定まる閾値を超える場合、マニュアル設定部20はユーザに警告する。この警告はたとえば、警告音の発生によって行ってもよく、可視的な警告表示をディスプレイ32上に表示させて行ってもよい。また、標準距離を超える設定を強制的に禁止する機能を持たせることもできる。
そして、適切な外部情報IF2が入力されれば、ステップSS5に戻って、マニュアル設定部20が外部情報IF2に基づいて左右比率rの値を可変に設定し、ステップSS6にて、その左右比率rに基づいて、画像生成部17が左側視点画像ILおよび右側視点画像IRを生成する。最後に、ステップSS7にて、再び、画像表示制御部18によって、立体画像表示モードに切り替えられ、画像表示部19にて表示させる。
以上のように、ユーザの所望する立体画像表示になるまで、ステップSS5~ステップSS8のループが繰り返され、最終的に、ユーザの所望する立体画像表示が得られれば、ステップSS9に進み、動作が終了する。
ここで、第1距離D1と第2距離D2との和D0を、標準距離よりも小さな値となるように指定した場合には、次のような状況となる。すなわち、まず和D0を標準距離DS(図示せず)と同じ値として、指定した左右比率rで標準距離DSを第1距離D1と第2距離D2とに振り分けたときには、
第1距離D1=D0×1/(1+r)=DS×1/(1+r)
第2距離D2=D0×r/(1+r)=DS×r/(1+r)
となる。ただし、ここではD1>D2であり、したがってr=D2/D1で定義される。
第1距離D1=D0×1/(1+r)=DS×1/(1+r)
第2距離D2=D0×r/(1+r)=DS×r/(1+r)
となる。ただし、ここではD1>D2であり、したがってr=D2/D1で定義される。
これに対して、和D0を標準距離DSよりも小さい値としたときには、
第1距離D1=D0×1/(1+r)<DS×1/(1+r)
第2距離D2=D0×r/(1+r)<DS×r/(1+r)
となるから、第1距離D1と第2距離D2とのいずれも、和D0を標準距離DSと同じとした場合よりも小さくなる。
第1距離D1=D0×1/(1+r)<DS×1/(1+r)
第2距離D2=D0×r/(1+r)<DS×r/(1+r)
となるから、第1距離D1と第2距離D2とのいずれも、和D0を標準距離DSと同じとした場合よりも小さくなる。
したがって、後者の場合には、左右比率rについては、指定された比を守りつつも、被写体各部の視差量を全体的に抑制する結果を与える。この処理は特に、視差量を全体的に抑制した方が望ましい立体感を与えるような場合などに好適である。
<6.第3実施形態>
図19は、本発明の第3実施形態における画像処理装置3Cにおいて、左側視点画像ILと右側視点画像IRとを作成するために演算制御部36Cで実現される機能的な構成について説明する。図19で示されるように、効き目情報取得部21で得られた外部情報IF3を不均一距離設定部16に入力する。なお、残余の構成は第1実施形態の装置と同様である(図8参照)。
図19は、本発明の第3実施形態における画像処理装置3Cにおいて、左側視点画像ILと右側視点画像IRとを作成するために演算制御部36Cで実現される機能的な構成について説明する。図19で示されるように、効き目情報取得部21で得られた外部情報IF3を不均一距離設定部16に入力する。なお、残余の構成は第1実施形態の装置と同様である(図8参照)。
効き目情報取得部21では、立体画像を観察させる予定の観察者の効き目が左右のいずれかであるかを特定する情報を取得する。効き目の検出方法としては、例えば、特開2009-033538等の公知技術を用いることができる。すなわち、ユーザが外部情報IF3を、操作部31を介して画像処理装置3Cに入力し、効き目情報取得部21が、効き目情報を取得するとともに、検出された効き目情報を不均一距離設定部16に入力する。そして、不均一距離設定部16は、第1距離D1と第2距離D2とのうち、効き目側に相当する一方側の距離を、他方側の距離よりも小さく設定する。
<6-1.画像処理システム1Cの基本動作>
続いて、図20は、第3実施形態に係る画像処理装置3Cの動作フローを例示する図である。第3実施形態では、第1実施形態では存在しなかった効き目情報取得部21が付加されたことで、下記の工程が加わる。
続いて、図20は、第3実施形態に係る画像処理装置3Cの動作フローを例示する図である。第3実施形態では、第1実施形態では存在しなかった効き目情報取得部21が付加されたことで、下記の工程が加わる。
すなわち、図20で示されるように、撮像部10により画像撮影がされる前のステップST1にて、ユーザが効き目情報を外部情報IF3として操作部31を介して画像処理装置3Cに予め入力する。そして、第1および第2実施形態と同様の工程(ステップST2~ステップST5)が実施される。
ここにおける「効き目情報」とは、立体画像の観察者(自分自身または他の観察者)の効き目が右目であるか左目であるかを特定する情報である。この効き目情報が、ユーザ自身があらかじめ知得した情報である場合には上記のように操作部31を介してそれをマニュアル入力すればよいが、自動的に効き目を判定することもできる。
たとえばステレオカメラVCでの撮影を開始する前に、テスト画像をディスプレイ32に表示させ、右目および左目のそれぞれ一方だけで観察者がそれを見た場合と、両目で観察者がそれを見た場合とのそれぞれの観察者が顔の向きをカメラでとらえる。そして、それぞれの場合の観察者の顔の向きや眼球の動きを画像処理によってとらえて相互に比較し、両目観察の場合が、右目だけの場合と、左目だけの場合とのいずれに近いかによって、効き目の判定を行って、その情報を効き目情報として記憶させて利用することも可能である。
ステップST6では、効き目情報取得部21が外部情報IF3を取得し、不均一距離設定部16に入力する。不均一距離設定部16が、第1距離D1と第2距離D2とのうち、効き目側に相当する一方側の距離を、他方側の距離よりも小さく設定する。
ステップST7では、ステップST6の効き目情報を考慮して左側視点PLおよび右側視点PRの設定がされたことを受けて、画像生成部17によって左側視点画像ILおよび右側視点画像IRの生成が行われ、ステップST8において、画像表示部19にて表示させる。
たとえば、観察者の効き目が右目である場合、立体画像の観察においても右側視点画像IRの画像の良否の方がユーザに知覚されやすい。このため、効き目に相当する右側視点画像IRの方を、基準画像により忠実な画像とすべく第1距離D1を第2距離D2よりも小さく設定する。
なお、左右比率rは、「第1距離D1と第2距離D2とのうち、より大きな距離に対するより小さな距離の比の値」として定義されるから、効き目に応じた距離D1,D2の大小関係の決定は、左右比率rの値の決定とは別の処理となる。たとえばr=40%であるとしたとき、効き目が右目であるときにはD1/D2=40%となるが、効き目が左目であるときにはD2/D1=40%となる。
<7.ステレオカメラの形態との関係>
基準画像と距離情報との取得を、ステレオカメラを用いて行う場合には、ステレオカメラが縦置きカメラである場合にこの発明の効果が特に顕著になる。ステレオカメラを構成する2つのカメラのうち、基準カメラと比較して参照カメラの精度は低くすることが通例であるため、基準画像としては基準カメラで撮像した画像が使用されるが、横置きカメラの場合には、参照カメラで得た2次元画像も、距離計測の目的だけでなく2次元画像としてもある程度は使用できる。
基準画像と距離情報との取得を、ステレオカメラを用いて行う場合には、ステレオカメラが縦置きカメラである場合にこの発明の効果が特に顕著になる。ステレオカメラを構成する2つのカメラのうち、基準カメラと比較して参照カメラの精度は低くすることが通例であるため、基準画像としては基準カメラで撮像した画像が使用されるが、横置きカメラの場合には、参照カメラで得た2次元画像も、距離計測の目的だけでなく2次元画像としてもある程度は使用できる。
すなわち、横置きカメラの場合には基準カメラの位置と参照カメラの位置とが水平方向に離れているため、右目用画像と左目用画像との生成にあたっては、右目用画像のための右側視点と左目用画像のための左側視点とのうち、参照カメラに近い視点での画像の生成では、基準カメラから得た基準画像だけでなく参照カメラで得た2次元画像も参考にできる。
ところが縦置きのステレオカメラの場合には、基準カメラの位置と参照カメラの位置とが水平方向には離れていないため、参照カメラによって撮像した結果は、距離計測以外には使用できない。したがって、立体画像の生成では歪みが生じやすく、また、右目用画像と左目用画像とのうちの一方を使用した2次元画像表示においても、基準カメラの位置(原点位置)から離れた視点での画像の忠実性が低下しやすい。このため、この発明のように立体画像の視認上の違和感を軽減しつつ、2次元画像表示では基準画像への忠実性が比較的よく確保されるという効果は、縦置きのステレオカメラの場合に特に大きくなる。これは、ステレオカメラの上下いずれが基準カメラであるかを問わない。
<8.変形例>
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
※ 本実施形態では、画像処理装置3A,3B,3Cを個別に実施されるよう画像処理システム1A,1B,1Cと各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。
※ 距離画像DGの生成の基礎となる被写体各部までの距離計測は、既述した対応点探索法だけでなく、下記のような方法で取得されてもよい。
(1) TOF(Time-of-Flight 距離画像センサ)
TOF方式(例えば、特開2001-304811等で公知技術)では、画像領域内の全画素に対して、距離計測を実施することが難しい。そこで、計測された画素以外の領域に対しては、計測点の補間を行うことが必要となる。補間方法としては、単純に周辺の情報による補間を行う方法があるが、補間を行うだけでなく、エッジ周辺においては、計測誤差が生じやすい。このため、この方法によって得られた第1距離画像について、既述したこの発明の実施形態の補正を行うことに特に意味がある。
TOF方式(例えば、特開2001-304811等で公知技術)では、画像領域内の全画素に対して、距離計測を実施することが難しい。そこで、計測された画素以外の領域に対しては、計測点の補間を行うことが必要となる。補間方法としては、単純に周辺の情報による補間を行う方法があるが、補間を行うだけでなく、エッジ周辺においては、計測誤差が生じやすい。このため、この方法によって得られた第1距離画像について、既述したこの発明の実施形態の補正を行うことに特に意味がある。
(2) 距離推定法
これは、2次元画像を3次元画像に変換する為に推定処理により立体視画像を生成する方法である。距離推定を用いた方法として、例えば、下記のような技術を採用することができる。
・3つのシーンモデルにより、撮影シーンを分類し、最も近いモデルにより立体形状を推定した後、画像の輝度情報などを基に前後に視差をずらして立体視画像を生成する技術であり、特開2006-185033号公報や特開2006-186510号公報などに開示されている。
・輝度情報を基に、視差の推定を行う技術であり、特開2006-319469号公報などに開示されている。
・時系列情報をベースに距離の推定を行うことで、視差の生成を行う技術であり、特開2000-261828号公報などに開示されている。
これは、2次元画像を3次元画像に変換する為に推定処理により立体視画像を生成する方法である。距離推定を用いた方法として、例えば、下記のような技術を採用することができる。
・3つのシーンモデルにより、撮影シーンを分類し、最も近いモデルにより立体形状を推定した後、画像の輝度情報などを基に前後に視差をずらして立体視画像を生成する技術であり、特開2006-185033号公報や特開2006-186510号公報などに開示されている。
・輝度情報を基に、視差の推定を行う技術であり、特開2006-319469号公報などに開示されている。
・時系列情報をベースに距離の推定を行うことで、視差の生成を行う技術であり、特開2000-261828号公報などに開示されている。
上記方法においては、実際に距離計測を実施せず、距離を推定により算出していることから、推定に不得意な対象領域が存在する。そこで、既述した補正処理を実施することによってより正しい距離画像が得られる。
以上のような距離計測を行う場合には、それによって距離画像が得られるから、距離情報を得るためにステレオカメラを用いる必要はなく、2次元画像としては、既述した実施形態における基準画像SGのみを取得すればよい。
10 撮像部
11 距離計測部
12 基準画像取得部
13 距離画像取得部
14 平滑化処理部
15 視点設定部
16 不均一距離設定部
17 画像生成部
18 画像表示制御部
19 画像表示部
MC 基準カメラ
SC 参照カメラ
SG 基準画像
SG’ 疑似画像
RG 参照画像
DG 距離画像
DG’ 派生距離画像
11 距離計測部
12 基準画像取得部
13 距離画像取得部
14 平滑化処理部
15 視点設定部
16 不均一距離設定部
17 画像生成部
18 画像表示制御部
19 画像表示部
MC 基準カメラ
SC 参照カメラ
SG 基準画像
SG’ 疑似画像
RG 参照画像
DG 距離画像
DG’ 派生距離画像
Claims (15)
- 立体画像処理のための画像処理装置であって、
所定の原点位置から被写体を撮像した2次元画像としての基準画像を取得する基準画像取得部と、
前記原点位置から前記被写体各部への距離情報を表現した距離画像を取得する距離画像取得部と、
前記基準画像を撮像した際の光軸方向を基準として、前記原点位置から左側に第1距離だけ離れた第1位置に左側視点を設定し、前記原点位置から右側に第2距離だけ離れた第2位置に右側視点を設定する視点設定部と、
前記基準画像と前記距離情報とに基づいて、
1) 前記左側視点から前記被写体を見た2次元画像に相当する左側視点画像と、
2) 前記右側視点から前記被写体を見た2次元画像に相当する右側視点画像と、
の組を、前記被写体の立体画像観察における左目用および右目用の画像として生成する画像生成部と、
を備え、
前記視点設定部が、
前記第1距離と前記第2距離とのうち、より大きな距離に対するより小さな距離の比の値を左右比率と呼ぶとき、前記左右比率の値が前記立体画像の全体に共通した「1」未満のゼロでない比率となるように、前記第1距離および前記第2距離を設定する不均一距離設定部、
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記不均一距離設定部が、前記被写体の立体画像の左右視差量を代表的に表現する視差指標値が相対的に大きいときには、前記視差指標値が相対的に小さいときと比較して、前記左右比率を単位比率「1」に近い値となるように、前記第1距離と前記第2距離とを可変に設定することを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記視差指標値が、前記距離情報の中から所定の条件に基づいて選択された特定の距離値であることを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記視差指標値が、前記距離情報の頻度分布においてピークを与える距離値に対して負の相関を持つ値であることを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記視差指標値が、前記被写体のうちあらかじめ指定された種類に分類される立体要素部分と前記原点位置との間の距離に対して負の相関を持つ値であることを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記視差指標値が、前記被写体のうち幾何学的要素に相当する部分と前記原点位置との間の距離に対して負の相関を持つ値であることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記不均一距離設定部が、前記被写体の画像表示で用いられる表示面のサイズを反映した指標値が相対的に大きいときには、前記指標値が相対的に小さいときと比較して、前記左右比率を単位比率「1」に近い値となるように、前記第1距離と前記第2距離とを設定することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記不均一距離設定部が、
ユーザのマニュアル操作に基づいて前記左右比率の値を可変に設定するマニュアル設定部
を備えることを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置であって、
前記マニュアル設定部は、
ユーザのマニュアル操作に基づいて前記第1距離と前記第2距離とのそれぞれの絶対値を個別に指定する部と、
前記第1距離と前記第2距離とのそれぞれの絶対値の和を、前記距離情報に応じて定まる閾値以内に制限する制御部と、
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記立体画像を観察させる予定の観察者の効き目が左右のいずれかであるかを特定する情報を取得する効き目情報取得部
をさらに備え、
前記不均一距離設定部は、
前記第1距離と前記第2距離とのうち、前記効き目側に相当する一方側の距離を、他方側の距離よりも小さく設定することを特徴とする画像処理装置。 - 請求項9に記載の画像処理装置であって、
前記不均一距離設定部は、
前記第1距離と前記第2距離との和が、前記立体画像を表示させたときの観察者の両目間の標準距離よりも小さな値となるように、前記第1距離と前記第2距離とを決定することを特徴とすることを特徴とする画像処理装置。 - 請求項1ないし請求項11のいずれかに記載の画像処理装置であって、
前記左右比率は可変に設定されるとともに、前記左右比率の可変範囲が、相対的に「1」に近い側にある大比率範囲と、相対的に「0」に近い側にある小比率範囲とを含み、
前記左右比率の値が、前記大比率範囲と前記小比率範囲との間で切り替えられ、
前記小比率範囲は、百分率表現で10%~40%の区間内に設定されていることを特徴とする画像処理装置。 - 請求項1ないし請求項12のいずれかに記載の画像処理装置であって、
前記距離情報は、上下に配置されたステレオカメラから得られる距離情報であり、
前記基準画像は、上記ステレオカメラの上下いずれかで撮像された2次元画像であることを特徴とする画像処理装置。 - 請求項1ないし請求項13のいずれかに記載の画像処理装置であって、
画像表示部と、
前記左目用および右目用の画像に基づいて、前記画像表示部に画像を表示させる画像表示制御部と、
をさらに備え、
前記画像表示制御部は、
前記左目用および右目用の画像を、前記立体画像として前記画像表示部に表示させる立体画像表示モードと、
前記左目用および右目用の画像のうち、前記第1距離および前記第2距離のうちより小さな距離に対応する画像のみを、2次元画像として前記画像表示部に表示させる2次元画像表示モードと、
を切り替え可能であることを特徴とする画像処理装置。 - 請求項1ないし請求項14の何れかに記載の画像処理装置と、
前記基準画像の撮像と前記距離情報の算出とを行う基礎情報取得部と、
を備えることを特徴とする画像処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-291710 | 2010-12-28 | ||
JP2010291710 | 2010-12-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012090813A1 true WO2012090813A1 (ja) | 2012-07-05 |
Family
ID=46382922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/079612 WO2012090813A1 (ja) | 2010-12-28 | 2011-12-21 | 画像処理装置及び画像処理システム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2012090813A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003518274A (ja) * | 1999-12-13 | 2003-06-03 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 調整反射屈折ステレオセンサ |
JP2005142957A (ja) * | 2003-11-07 | 2005-06-02 | Sony Corp | 撮像装置及び方法、撮像システム |
JP2009124308A (ja) * | 2007-11-13 | 2009-06-04 | Tokyo Denki Univ | 多眼視画像作成システム及び多眼視画像作成方法 |
-
2011
- 2011-12-21 WO PCT/JP2011/079612 patent/WO2012090813A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003518274A (ja) * | 1999-12-13 | 2003-06-03 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 調整反射屈折ステレオセンサ |
JP2005142957A (ja) * | 2003-11-07 | 2005-06-02 | Sony Corp | 撮像装置及び方法、撮像システム |
JP2009124308A (ja) * | 2007-11-13 | 2009-06-04 | Tokyo Denki Univ | 多眼視画像作成システム及び多眼視画像作成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8941750B2 (en) | Image processing device for generating reconstruction image, image generating method, and storage medium | |
US9007442B2 (en) | Stereo image display system, stereo imaging apparatus and stereo display apparatus | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
US20120163701A1 (en) | Image processing device, image processing method, and program | |
US10778955B2 (en) | Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery | |
US20070248260A1 (en) | Supporting a 3D presentation | |
WO2012086120A1 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5291755B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
WO2014083949A1 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
TWI493505B (zh) | 影像處理方法以及影像處理裝置 | |
WO2003081921A1 (fr) | Procede de traitement d'images tridimensionnelles et dispositif | |
RU2690757C1 (ru) | Система синтеза промежуточных видов светового поля и способ ее функционирования | |
JP5533529B2 (ja) | 画像処理装置及び画像処理システム | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
JP2014501086A (ja) | 立体画像取得システム及び方法 | |
JP2011229116A (ja) | 画像処理装置、複眼デジタルカメラ、及びプログラム | |
JP5464129B2 (ja) | 画像処理装置および視差情報生成装置 | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
KR101632514B1 (ko) | 깊이 영상 업샘플링 방법 및 장치 | |
US20130050420A1 (en) | Method and apparatus for performing image processing according to disparity information | |
JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
WO2012090813A1 (ja) | 画像処理装置及び画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11853210 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11853210 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |