WO2014206010A1 - 成像调整装置及成像调整方法 - Google Patents

成像调整装置及成像调整方法 Download PDF

Info

Publication number
WO2014206010A1
WO2014206010A1 PCT/CN2013/088522 CN2013088522W WO2014206010A1 WO 2014206010 A1 WO2014206010 A1 WO 2014206010A1 CN 2013088522 W CN2013088522 W CN 2013088522W WO 2014206010 A1 WO2014206010 A1 WO 2014206010A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
information
deformation
sub
current image
Prior art date
Application number
PCT/CN2013/088522
Other languages
English (en)
French (fr)
Inventor
杜琳
张宏江
Original Assignee
北京智谷睿拓技术服务有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京智谷睿拓技术服务有限公司 filed Critical 北京智谷睿拓技术服务有限公司
Priority to US14/780,519 priority Critical patent/US10191276B2/en
Publication of WO2014206010A1 publication Critical patent/WO2014206010A1/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081—Ophthalmic lenses with variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081—Ophthalmic lenses with variable focal length
    • G02C7/083—Electrooptic lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081—Ophthalmic lenses with variable focal length
    • G02C7/085—Fluid-filled lenses, e.g. electro-wetting lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Definitions

  • the present invention relates to the field of imaging technologies, and in particular, to an imaging adjustment apparatus and method.
  • the Galileo telescope can form the erect virtual image 1030a and change the angle of the virtual image to the eye through a convex lens 1010 and a concave lens 1020, forming a visual effect of zooming in or zooming out of the object along the optical axis 1040.
  • the magnification and focus can be changed, as shown in Figures 12a-12c.
  • the new lens with electronically adjustable focal length as described in the paper by 2494-2500 (2004) shows that the focal length of a single lens can also be dynamically adjusted.
  • Wearable devices are gradually accepted by the public, such as Google Glass, smart watches, etc. These electronic smart devices will bring more convenience to people's lives.
  • the user When the user views or records the image of the object, there may be a perspective distortion of the image of the received object relative to the original image of the object because there is no object facing the object; in addition, the user may view or record the image through the image.
  • the image is distorted.
  • the above-mentioned perspective distortion can be directly adjusted by the imaging lens during imaging, the image with no perspective distortion or low degree of perspective distortion can be directly obtained, which greatly improves the user experience.
  • the technical problem to be solved by the present invention is to provide an imaging adjustment apparatus and method for solving or alleviating the problem of perspective distortion of an object during imaging.
  • the first aspect of the present invention provides an imaging adjustment apparatus, including: an imaging analysis module, configured to determine whether a current image of an object has a deformation relative to an original image of the object, and When the current image has deformation, an image correction corresponding to the deformation is generated.
  • An imaging lens group for imaging the object comprising a plurality of sub-regions with adjustable imaging parameters
  • a lens adjustment module adjusts at least one imaging parameter of the corresponding sub-region of the imaging lens group according to the imaging correction information.
  • the present invention provides an imaging adjustment method, including:
  • the imaging lens group comprising a plurality of sub-regions in which the imaging parameters are adjustable.
  • the technical solution of the embodiment of the present invention images the object by using an imaging lens with adjustable imaging parameters of each sub-area, and can separately adjust the imaging parameters of each sub-area to adjust and correct the perspective deformation of the object to avoid user acquisition.
  • the image of the object is ostensibly deformed to improve the user experience.
  • the present invention is particularly applicable to the case where the user views the program through the screen at a position where the angle is not good.
  • the method and apparatus of the embodiment of the present invention can also adjust each sub-area at the same time. Imaging parameters to alleviate the problem of refractive errors in the user's eyes.
  • FIG. 1 is a schematic structural diagram of an imaging adjustment apparatus according to an embodiment of the present invention.
  • FIG. 2a is a schematic structural diagram of an imaging analysis module in an imaging adjustment apparatus according to an embodiment of the present invention
  • FIG. 2b is a schematic diagram of an application scenario of an imaging adjustment apparatus according to an embodiment of the present invention
  • 3a and 3b are schematic diagrams showing a reference pattern before and after deformation of an image forming apparatus object according to an embodiment of the present invention
  • FIG. 4 is a schematic structural view of an imaging lens group of an imaging adjustment device according to an embodiment of the present invention
  • FIG. 5 is a schematic diagram showing a sub-region distribution of an imaging lens group of an imaging adjustment device according to an embodiment of the present invention
  • FIG. 6 is a schematic structural view of an imaging analysis module in another imaging adjustment apparatus according to an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of an application scenario of another imaging adjustment apparatus according to an embodiment of the present invention.
  • FIG. 8 is a schematic structural diagram of still another imaging adjustment apparatus according to an embodiment of the present invention.
  • FIG. 9 is a schematic flowchart diagram of an imaging adjustment method according to an embodiment of the present invention.
  • FIG. 10 is a schematic diagram of an object of an imaging adjustment apparatus projected on an imaging lens group in an application according to an embodiment of the present invention.
  • FIG. 11 is a schematic diagram of an optical path of an imaging adjustment apparatus in an application according to an embodiment of the present invention
  • FIGS. 12a-12c are diagrams showing changes in the magnification and focus of an object by adjusting the focal lengths and distances between the two lenses in the prior art. schematic diagram.
  • an embodiment of the present invention provides an imaging adjustment apparatus 100, including: an imaging analysis module 110, configured to determine whether a current image of an object has a deformation relative to an original image of an object, and has a current image in the current image. Forming correction information corresponding to the deformation when deforming;
  • the imaging lens group 120 is configured to image an object, and includes a plurality of sub-regions with adjustable imaging parameters.
  • the lens adjustment module 130 adjusts imaging parameters of the corresponding sub-regions of the imaging lens group 120 according to the imaging correction information.
  • the original image of the object may be, for example, a front view image of the object obtained from the front side of the object; an image projected by the projector from the front side to the screen, and the like.
  • the plurality of sub-regions whose imaging parameters are tunable may be sub-regions that are physically independent of each other, or may be sub-regions obtained by logically dividing a portion of the physical reality as a whole.
  • the imaging analysis module 110 includes:
  • the first analyzing unit in is configured to determine whether the current image of the object has deformation with respect to the original image of the object according to the current image information of the object and the preset information of the object, and generate the deformation information when there is a deformation.
  • the preset information of the object includes: shape information of an outer contour of the object.
  • the outer contour of the object is a rectangle
  • the shape information of the outer contour of the object includes length and width ratio information of the outer contour of the object.
  • the preset information of the object here may be manually set by the user or automatically obtained by the device (for example, may be obtained from the object side).
  • the embodiment of the present invention is described by taking the object as the display device 300 as an example.
  • the outer contour of the display surface of the display device 300 is generally fixed. For example, a 19-inch widescreen display device is known.
  • the ratio of the aspect ratio of the display surface is 16 to 9.
  • the preset information of the object such as the rectangle of the aspect ratio of the display device 300 may be preset, or the display device 300 automatically Sending its own shape information to the device, when the current image information of the received object does not match the preset information of the object, for example, the image of the object that is supposed to be a rectangle becomes a trapezoid, and the current image of the object can be determined.
  • the original image with respect to the object has a deformation, and corresponding deformation information is generated.
  • the outer contour of the object may be other shapes.
  • a circle if the current image of the received object is an ellipse, it can be judged that the object has undergone perspective distortion.
  • the preset information of the object includes: information of a reference graphic in the object.
  • a reference graphic 310 for example, a rectangular or a true circle having a known aspect ratio
  • the user According to the current image 310a of the received reference pattern, it can be determined whether or not deformation has occurred (as shown in FIG. 3b, the current image 310a of the reference pattern in the current image 300a of the display device becomes a small trapezoid on the left and the right side, and the reference pattern 310 Compared to the rectangle, it has been deformed).
  • the reference graphic data herein may be pre-existing in the device of the embodiment of the present invention and sent to the display device for display; or may be in the pre-existing display device, and control the display when needed; or may be a reference graphic acquired through the network. Data, etc.
  • the imaging analysis module 110 further includes: an optical sensing unit 112, configured to acquire current image information of the object.
  • the optical sensing unit 112 may be a camera, acquire a current image of the object, and transmit the image to the first analyzing unit 111.
  • the imaging analysis module 110 includes: a correction information generating unit 116, configured to generate imaging correction information corresponding to the deformation according to the deformation information.
  • the imaging correction information may be: adjustment information of one or more imaging parameters corresponding to the sub-region, such as one or more sub-regions corresponding to a certain portion of the imaging lens group The focal length increases or decreases the adjustment information of a certain value.
  • the imaging lens group 120 includes at least two lenses, and at least one of the at least two lenses respectively has a partial imaging parameter corresponding to each of the sub-regions. Tune.
  • the imaging receiving party is the user's eye 200
  • the imaging adjusting device is the glasses 100a (the glasses here are in addition to the common glasses, It is also possible to be an optical device such as a helmet eyepiece, a front windshield, etc.).
  • the imaging recipient may be an imaging record such as a camera, a camera, or the like.
  • the imaging adjustment device may also be a front lens device of the imaging recording device. Wherein, the relative position of the user's eyes to the imaging adjustment device, the relative position of the imaging recording device and the imaging adjustment device can be obtained by automatic or manual calibration.
  • the imaging lens group 120 includes a first lens 121 close to the object and a second lens 122 away from the object, and the first lens 121 and the second lens 122 respectively and each The partial imaging parameters corresponding to the sub-areas are adjustable.
  • the imaging parameter includes: a focal length.
  • the adjustment of the focal length of each sub-area may be: 1) adjusting the focal length of the sub-area by adjusting the curvature of at least one side of each sub-area, for example increasing or decreasing the liquid in the cavity formed by the double-layer transparent layer
  • the medium is used to adjust the curvature of the sub-region.
  • the imaging correction information described above may be, for example, a liquid medium corresponding to a certain sub-region is reduced or increased by a certain value; 2) is adjusted by changing the refractive index of the sub-region
  • the focal length of the sub-area for example, each sub-area is filled with a specific liquid crystal medium, and the arrangement of the liquid crystal medium is adjusted by adjusting the voltage of the corresponding electrode of the liquid crystal medium, thereby changing the refractive index of the sub-area, in which case, the above
  • the imaging correction information may be, for example, the electrode voltage of a corresponding portion of a certain sub-region is increased or decreased by a certain value.
  • the imaging parameter further includes: a relative position between the lenses.
  • the relative position between the lenses can be changed by adjusting the relative distance between the lenses in the optical axis direction, and/or the relative position of the vertical optical axis direction, and/or the relative rotational angle around the optical axis.
  • the first lens 121 of the imaging lens group 120 is disposed to be adjustable in curvature toward one side of the object, and the second lens 122 is disposed to be curved toward a side of the user's eye 200.
  • the position of the first lens 121 and the second lens 122 is fixedly set, which makes the structure of the wearable device simple, light, and portable.
  • the plurality of sub-regions with adjustable imaging parameters are distributed in an array.
  • the imaging surface of the imaging lens group is mesh-divided
  • the plurality of sub-regions are obtained.
  • the size of the plurality of sub-regions may be uniform or different. Generally, the finer the division of the sub-regions, the higher the accuracy of the adjustment.
  • each sub-area 511 has the same size and row-column alignment; in other embodiments, each sub-area may also be arranged in a staggered arrangement.
  • the plurality of imaging parameter adjustable sub-regions 521 are radiating concentric circles (several radiations connected by concentric circles and adjacent concentric circles in a radial direction) Line composition) Array distribution.
  • the radiating lines 522 of the radiating concentric circles are arranged in alignment, and in other embodiments, the radiation between each adjacent two concentric circles may also be misaligned.
  • the imaging lens group 520 distributed in two different sub-regions is placed in the same pair of glasses for the purpose of description.
  • the sub-regions of the left and right imaging lens groups of a pair of glasses are generally used.
  • the distribution is the same or similar.
  • the first analyzing unit 111 determines that the current image of the display device 300 has undergone perspective distortion with respect to its original image, and generates corresponding deformation information and sends the corresponding deformation information to the correction information generating unit 116.
  • the information generating unit 116 generates corresponding imaging correction information according to the deformation information, and then sends the imaging correction information to the lens adjustment module 130.
  • the lens adjustment module 130 adjusts the corresponding imaging lens group 120 according to the imaging correction information.
  • the imaging parameters of the sub-region ultimately result in the location of the destination image 300b of the display device viewed by the user's eye 200 as shown in Figure 2b.
  • the imaging adjustment apparatus 100 of the present invention the image which is originally deformed by the object is corrected in real time, so that the user with poor position can also obtain the visual effect of the object facing the object, thereby improving the user experience.
  • FIG. 6 in another possible implementation manner of the embodiment of the present invention, other structures are similar to the structure shown in FIG. 2 b , except that in the embodiment, the second analysis unit 113 is substituted for FIG. 2 b .
  • the first analyzing unit is specifically: in the embodiment, the imaging analyzing module 110 includes: a second analyzing unit 113, configured to generate corresponding deformation information according to the depth information of the object relative to the imaging adjusting device .
  • the depth information of the object relative to the imaging adjustment device 100 is detected (ie, the object is relative to the imaging). Adjusting the distance of the device), when the depth of each part of the object is inconsistent with respect to the device, it can be determined that the current image of the object is deformed relative to the original image of the object, and can generate a corresponding deformation according to the depth information and the size information of the object. Deformation information.
  • the deformation information herein may be the depth of the different positions of the object relative to the imaging adjustment device 100.
  • the imaging analysis module 110 includes: a depth sensing unit 114, configured to acquire depth information of the object relative to the imaging adjustment device 100.
  • the imaging analysis module 110 includes: an information receiving unit 115, configured to receive depth information of an object relative to the imaging adjustment device 100.
  • the object side is provided with a depth sensor 210 for detecting an object relative to the imaging adjustment device 100.
  • the depth information is transmitted to the imaging adjustment apparatus 100 through the information receiving unit 115.
  • the imaging analysis module 110 further includes:
  • the refractive correction unit 117 is configured to generate imaging correction information corresponding to the refractive error when the imaging recipient has refractive error.
  • the imaging adjustment apparatus 100 further includes: a ametropia detection module 140, configured to detect whether the imaging receiver has refractive error. The ametropia information is transmitted to the refractive correction unit 117 when the presence is detected.
  • the imaging receiver is a user's eyes, and the user may manually set the ametropia when there is a problem such as hyperopia, myopia, and/or astigmatism.
  • the refractive correction unit 117 generates corresponding imaging correction information to alleviate the refractive error problem.
  • data transmission between the imaging analysis module and the lens adjustment module is preferably performed by means of wireless communication, and each unit of the imaging analysis module preferably passes between The way of wireless communication is data transmission.
  • the function of the imaging analysis module may be implemented by a processor, which may be a central processing unit CPU or an application specific integrated circuit (ASIC) Or, is one or more integrated circuits configured to implement embodiments of the present invention.
  • the functions of the imaging analysis module are implemented by one or more programs executed by the processor.
  • the imaging analysis module can also include a memory for storing the program.
  • the memory may include a high speed RAM memory and may also include a non-volatile memory such as at least one disk memory.
  • an embodiment of the present invention provides an imaging adjustment method, including:
  • S110 determining whether the current image of the object has deformation relative to the original image of the object, and generating imaging correction information corresponding to the deformation when the current image has deformation;
  • S120 Adjust an imaging parameter of the corresponding sub-region of the imaging lens group according to the imaging correction information, where the imaging lens group includes a plurality of sub-regions with adjustable imaging parameters.
  • the step of determining whether the current image of the object has a deformation relative to the original image of the object includes:
  • the preset information of the object includes: shape information of an outer contour of the object.
  • the outer contour of the object is a rectangle
  • the shape information of the outer contour of the object includes length and width ratio information of the outer contour of the object.
  • the preset information of the object includes: information of a reference graphic in the object.
  • the method includes:
  • the step of determining whether the current image of the object has a deformation relative to the original image of the object comprises:
  • the original image of the current image of the determination object relative to the object Whether there are steps to morph before include:
  • the depth information of the object relative to the imaging adjustment device is obtained.
  • the depth information of the acquisition object with respect to the imaging adjustment device may be acquired by the imaging adjustment device described in the embodiment, or may be acquired on the object side.
  • the generating the imaging correction information corresponding to the deformation comprises: generating imaging correction information corresponding to the deformation according to the deformation information.
  • the imaging lens group includes at least two lenses, and at least one of the at least two lenses respectively images a portion corresponding to each of the sub-regions
  • the parameters are adjustable.
  • the imaging parameter comprises: a focal length.
  • the imaging parameter further includes: a relative position between the lenses.
  • the plurality of sub-regions with adjustable imaging parameters are distributed in an array.
  • the plurality of sub-regions with adjustable imaging parameters are distributed in a rectangular array.
  • the plurality of sub-regions with adjustable imaging parameters are distributed in a radial concentric array.
  • the method further includes: generating imaging correction information corresponding to the refractive error when the imaging receiver has refractive error.
  • sequence number of each step does not mean the order of execution sequence, and the execution order of each step should be determined by its function and internal logic, and should not be The implementation of the specific embodiments of the invention constitutes any limitation.
  • the method of the embodiment of the present invention may be implemented by using the device embodiment described above.
  • the specific implementation means refer to the description of the foregoing device embodiment, and details are not described herein again.
  • the following further illustrates the implementation of the apparatus and method embodiment of the present invention by taking a user through the smart glasses device to view the screen (ie, the imaging receiver is the viewer's eye, the imaging adjustment device is the smart glasses device, and the object is the screen for displaying the image). the way:
  • the depth or image sensor (not shown in FIG. 10) on the smart glasses device 610 captures the environment currently viewed by the user in real time, Using the classic image segmentation algorithm and known screen parameters (such as screen shape, aspect ratio, etc.) in the imaging analysis module (not shown in Figure 10), the actual display portion 621 of the screen 620 can be obtained (this step is prior art, this
  • the embodiment of the smart glasses device 610 and the position of the screen 620 can be used to obtain a projection 622 of the screen display portion 621 on the smart glasses device 610, such as the smart glasses device 610 in FIG. 10, by way of a detailed description in the embodiments.
  • Point a and point b are the intersections of point A and point B on the screen 620 to the eye lens and the imaging lens group 611 (i.e., the left lens) on the left side of the smart glasses device 610, respectively, and then overlay the projection 622.
  • Each sub-region 611a calculates the required correction parameters separately, and finally calculates by the classical extrapolation algorithm. The result is covered by the entire spectacle lens to achieve a smooth transition.
  • a similar method can be used to obtain the corresponding correction parameters for the imaging lens group 612 (ie, the right lens) on the right side of the smart glasses device 610. If the degree of correction is large, it is also necessary to adjust the optical axis 650 of the lenses of the two lens sub-regions. The parameters are such as to maintain the parallax of the left and right eyes before and after correction.
  • the correction objective function of the sub-region of the covered imaging lens group is:
  • the size of the virtual image 630 and the actual object 640 are respectively the virtual image distance, d. , max and ⁇ are the farthest and closest distances in the actual object depth map, such as the depths of point A and point B in FIG. 10, s being the first lens 661 close to the actual object 640 and the second lens 662 near the viewer's eye. The distance in this sub-area.
  • df is the distance from the real image 670 to the first lens 661 ( / ⁇ is the size of the real image 670 in Fig. 11), d.
  • the correction information generating unit can finally calculate the imaging lens group in the sub-area by the formulas (1) and (2).
  • the corrected imaging parameters that is, the focal length values ⁇ and / of the focal length values of the second lens 662 and the first lens 661. :
  • Ad d. ⁇ s
  • the focal length value of the second lens 662 and the first lens 661 can be calculated by applying the formula (3) to each sub-region, and the focal lengths of the corresponding sub-regions of the first lens 661 and the second lens 662 are obtained by the lens adjustment module. Make adjustments to correct the deformation of the screen.
  • an image sensor is used to obtain a deformed image of the display screen to correct the deformation problem caused by the positional error of the viewer, since the depth of each point on the screen can be derived from the deformed image and the known image shape information, a similar method can be used. The imaging parameters corresponding to each sub-region are obtained.
  • the method and apparatus of the present invention can correct image deformation problems caused by improper projection directions and improve user experience.
  • the functions may be stored in a computer readable storage medium if implemented in the form of a software functional unit and sold or used as a standalone product. Based on such understanding, the technical solution of the present invention, which is essential or contributes to the prior art, or a part of the technical solution, may be embodied in the form of a software product stored in a storage medium. A number of instructions are included to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a removable hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and the like, which can store program codes. .

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种成像调整装置（100）及方法。成像调整装置（100）包括：成像分析模块（110），用于判断对象的当前图像相对于对象的原图像是否具有变形，并在当前图像具有变形时生成与变形对应的成像矫正信息；成像透镜组（120），用于对对象进行成像，包括多个成像参数可调的子区域；透镜调整模块（130），根据成像矫正信息调节成像透镜组（120）对应子区域的成像参数。本方法及装置通过每个子区域成像参数可调的成像透镜来对对象进行成像，可以单独对每个子区域进行成像参数调节，以对对象发生的透视变形进行调整矫正，避免用户获取的对象的图像发生透视变形，以提高用户体验。

Description

成像调整装置及成像调整方法 本申请要求于 2013 年 6 月 28 日提交中国专利局、 申请号为 201310264434.8、 发明名称为 "成像调整装置及方法" 的中国专利申请的优先 权， 其全部内容通过引用结合在本申请中。
技术领域
本发明涉及成像技术领域， 尤其涉及一种成像调整装置及方法。
背景技术
伽利略式望远镜通过一片凸透镜 1010和一片凹透镜 1020可以将观察对 象 1030形成正立虛像 1030a并改变虛像到眼睛的夹角， 形成沿光轴 1040拉 近或推远观察对象的视觉效果。 通过调整两片透镜的焦距以及之间的距离， 可以改变放大倍数及对焦， 如图 12a-12c所示。
固定焦距的透镜已经在眼镜、 望远镜、 相机、 显微镜等光学设备中广泛 应用， 通过组合不同焦距的透镜并调整透镜之间的距离， 透镜组可以动态调 整焦距。 此外， 如公开号为 US4572616A和 US20070211207A1的美国专利申 请以及光学快讯 2004年第 12卷第 11期第 2494-2500页， 名称为 "可调微透 镜阵歹l，， ( "Tunable microdoublet lens array", Optics Express, Vol. 12, Issue 11, pp.
2494-2500 (2004) ) 的论文所记载的电子可调焦距的新型透镜所示， 单片透镜 的焦距也可以动态调整。
穿戴式设备逐渐被大众所接受， 例如谷歌眼镜、 智能手表等， 这些电子 化智能设备将为人们的生活带来更多便利。
在用户观看或者记录对象的图像时， 有可能会因为没有正对对象， 使得 接收到的对象的图像相对于对象的原图像会发生透视变形； 此外， 用户观看 或者记录的有可能是经过图像釆集设备釆集并直接显示的对象的图像， 或者 是釆集后再经由图像投放设备投放在屏幕上的图像， 因此在图像釆集和 /或图 像投放过程中， 有可能会因为图像釆集设备没有正对图像釆集， 和 /或投放设 备没有正对屏幕投放而造成用户观看或者记录的对象的图像相对于对象的原 图像发生透视变形。
如果可以在成像时直接通过成像透镜对上述透视变形进行调整， 则可以 直接得到对象没有透视变形或透视变形程度较低的图像， 大大提高用户体验。
发明内容
本发明要解决的技术问题是： 提供一种成像调整装置及方法， 以在成像 时解决或减轻对象的透视变形问题。 为实现上述目的， 第一方面， 本发明提供了一种成像调整装置， 包括： 一成像分析模块， 用于判断一对象的当前图像相对于所述对象的原图像 是否具有变形， 并在所述当前图像具有变形时生成与变形对应的一成像矫正 λ- 自 ·
1口 Ά、，
一成像透镜组， 用于对所述对象进行成像， 包括多个成像参数可调的子 区域；
一透镜调整模块， 根据所述成像矫正信息调节所述成像透镜组对应子区 域的至少一成像参数。
第二方面， 本发明提供了一种成像调整方法， 包括：
判断一对象的当前图像相对于所述对象的原图像是否具有变形， 并在所 述当前图像具有变形时生成一与变形对应的成像矫正信息；
根据所述成像矫正信息调节一成像透镜组对应至少一子区域的至少一成 像参数， 所述成像透镜组包括多个所述成像参数可调的子区域。
本发明实施例的技术方案通过每个子区域成像参数可调的成像透镜来对 对象进行成像， 可以单独对每个子区域进行成像参数调节， 以对对象发生的 透视变形进行调整矫正， 避免用户获取的对象的图像发生透视变形， 以提高 用户体验， 本发明尤其适用于用户在角度不佳的位置通过屏幕观看节目的情 况； 此外， 本发明实施例的方法及装置同时还可以通过调节每个子区域的成 像参数来缓解用户眼睛存在的屈光不正问题。 附图说明
图 1为本发明实施例的一种成像调整装置的结构示意图；
图 2a为本发明实施例的一种成像调整装置中成像分析模块的结构示意图; 图 2b为本发明实施例的一种成像调整装置的应用场景示意图；
图 3a和图 3b为本发明实施例的一种成像调整装置对象中基准图形在变 形前和变形后的示意图；
图 4为本发明实施例的一种成像调整装置的成像透镜组的结构示意图； 图 5本发明实施例的一种成像调整装置的成像透镜组的子区域分布示意 图；
图 6为本发明实施例的另一种成像调整装置中成像分析模块的结构示意 图；
图 7为本发明实施例的又一种成像调整装置的应用场景示意图；
图 8为本发明实施例的再一种成像调整装置的结构示意图；
图 9为本发明实施例的一种成像调整方法的流程示意图；
图 10为本发明实施例的一种成像调整装置在应用中对象在成像透镜组上 投影的示意图；
图 11为本发明实施例的一种成像调整装置在应用中的光路示意图； 图 12a-12c为现有技术中通过调整两片透镜的焦距以及之间的距离，改变 对象的放大倍数及对焦的示意图。
具体实施方式
本发明的成像调整装置和方法结合附图及实施例详细说明如下。
如图 1所示， 本发明实施例提供了一种成像调整装置 100, 包括： 成像分析模块 110,用于判断对象的当前图像相对于对象的原图像是否具 有变形， 并在所述当前图像具有变形时生成与变形对应的成像矫正信息；
成像透镜组 120,用于对对象进行成像，包括多个成像参数可调的子区域； 透镜调整模块 130,根据所述成像矫正信息调节所述成像透镜组 120对应 子区域的成像参数。 这里，对象的原图像例如可以是：从对象的正面获得的对象的正视图像； 投影仪从正面向屏幕投影得到的图像等等。
这里， 所述多个成像参数可调的子区域可以为物理上相互独立的子区域， 也可以是将物理实际为一个整体的部分进行逻辑上的划分得到的子区域。
本发明实施例通过针对对象当前图像的变形来调节成像透镜组 120对应 子区域的成像参数， 使得对象当前图像的变形得到矫正， 从而得到更加接近 对象正视图的图像， 提高用户体验。 如图 2a所示， 在本发明实施例的一种可能的实施方式中， 所述成像分析 模块 110包括：
第一分析单元 in ,用于根据对象的当前图像信息和对象的预设信息判断 对象的当前图像相对于对象的原图像是否具有变形， 并在具有变形时生成变 形信息。
在本实施方式中， 所述对象的预设信息包括： 对象外轮廓的形状信息。 在本发明实施例的一种可能的实施方式中， 所述对象外轮廓为矩形， 所述对 象外轮廓的形状信息包括对象外轮廓的长宽比例信息。
这里对象的预设信息可以是用户手动设定的、 也可以是装置自动获得的 (例如可以是从对象侧获得）。
如图 2b所示， 本实施方式中以对象为显示设备 300为例来说明本发明的 实施例， 显示设备 300显示面的外轮廓一般是有固定尺寸的， 例如， 已知 19 寸宽屏显示设备 300显示面的长宽比例为 16比 9, 用户观看该显示设备 300 显示的画面时， 可以先预先设定显示设备 300为长宽比特定的矩形等对象的 预设信息， 或者显示设备 300 自动向装置发送自身的形状信息， 在接收的对 象的当前图像信息与对象的预设信息不匹配时， 例如出现本该为矩形的对象 的图像变成了梯形的现象， 就可以判断对象的当前图像相对于对象的原图像 具有变形， 生成对应的变形信息。
当然，除了上述的矩形外轮廓信息外，对象的外轮廓还可以为其它形状， 例如圆形， 假如接收的对象的当前图像为椭圆形， 则可以判断对象发生了透 视变形。
在本发明实施例的另一种可能的实施方式中， 所述对象的预设信息包括： 对象中基准图形的信息。 例如， 还是以显示设备作为对象为例进行说明， 如 图 3a和图 3b所示， 在显示设备 300中显示一个基准图形 310 (例如长宽比已 知的矩形或正圆形等）， 然后用户根据接收到的基准图形的当前图像 310a 可 以判断是否发生了变形 （如图 3b中显示设备的当前图像 300a中的基准图形 的当前图像 310a变成了左边大右边小的梯形， 与基准图形 310的矩形相比， 其发生了变形）。 这里的基准图形数据可以为预存在本发明实施例的装置中， 并发送至显示设备显示； 也可以为预存在显示设备中， 在需要的时候控制显 示； 或者还可以是通过网络获取的基准图形数据等。
如图 2a和图 2b所示， 在本发明实施例的一种可能的实施方式中， 所述 成像分析模块 110还包括：光学传感单元 112,用于获取对象的当前图像信息。 在本发明实施例的一种可能的实施方式中， 所述光学传感单元 112 可以为摄 像头， 获取所述对象的当前图像并传送给所述第一分析单元 111。
如图 2所示， 优选地， 在本实施方式中， 所述成像分析模块 110包括： 矫正信息生成单元 116,用于根据所述变形信息生成与所述变形对应的成像矫 正信息。 在本发明实施例的一种可能的实施方式中， 所述成像矫正信息可能 为： 对应子区域的某个或多个成像参数的调整信息， 例如成像透镜组某部分 对应的一个或多个子区域的焦距增大或减小一定值的调整信息。
在本发明实施例的一种可能的实施方式中， 所述成像透镜组 120包括至 少两片透镜， 所述至少两片透镜中至少一片透镜分别与每个所述子区域对应 的部分成像参数可调。
如图 4所示， 在本发明实施例的一种可能的实施方式中， 所述成像接收 方为用户的眼睛 200, 所述成像调整装置为眼镜 100a (这里的眼镜除了常见 的眼镜之外， 也有可能为例如头盔目镜、 驾驶前挡风玻璃等的光学设备）。 在 其它实施方式中， 所述成像接收方可以为例如摄像、 照相机等的成像记录装 置， 所述成像调整装置还可以为所述成像记录装置的前置镜头设备。 其中， 用户眼睛与所述成像调整装置的相对位置、 所述成像记录装置与所述成像调 整装置的相对位置可以通过自动或手动校准获得。
在本实施例中， 下面主要以所述成像调整装置为眼镜为例进行说明。 如图 4所示， 在本实施例中， 所述成像透镜组 120包括靠近对象的第一 透镜 121和远离对象的第二透镜 122,所述第一透镜 121和第二透镜 122分别 与每个所述子区域对应的部分成像参数可调。
在本发明实施例的一种可能的实施方式中， 所述成像参数包括： 焦距。 在本实施例中， 对每个子区域焦距的调节可以为： 1 )通过调节每个子区域的 至少一面的曲率来调节子区域的焦距， 例如在双层透明层构成的空腔中增加 或减少液体介质来调节子区域的曲率， 在这种情况下， 上面所述的成像矫正 信息例如可以为： 某个子区域对应部分的液体介质减少或增加一定值； 2 )通 过改变子区域的折射率来调节子区域的焦距， 例如每个子区域中填充有特定 液晶介质， 通过调节液晶介质对应电极的电压来调整液晶介质的排列方式， 从而改变子区域的折射率， 在这种情况下， 上面所述的成像矫正信息例如可 以为： 某个子区域对应部分的电极电压增加或减少一定值。
在本发明实施例的一种可能的实施方式中， 除了上述的焦距外， 所述成 像参数还包括： 透镜之间的相对位置。 这里可以通过调节透镜之间沿光轴方 向的相对距离、 和 /或垂直光轴方向的相对位置、 和 /或绕光轴的相对转动角度 等改变透镜之间的相对位置。 当然， 也有可能只是透镜上与某些子区域对应 部分的相对位置发生了改变， 其它部分不变。
优选地， 如图 4所示， 将所述成像透镜组 120的第一透镜 121设置成朝 向对象的一侧曲率可调， 将所述第二透镜 122设置成朝向用户眼睛 200的一 侧曲率可调， 并且第一透镜 121和第二透镜 122的位置固定设置， 这样可以 使得穿戴式设备的结构简单、 轻薄便携。
优选地， 在本发明实施例的一种可能的实施方式中， 所述多个成像参数 可调的子区域呈阵列分布。 优选地， 将成像透镜组的成像面进行网格状分割 得到所述多个子区域。 所述多个子区域的大小可以是一致的， 也可以是不同 的， 一般而言， 子区域的划分越精细， 调节的精度会越高。
如图 5中成像调节装置 500左侧的成像透镜组 510所示， 在本发明实施 例的一种可能的实施方式中， 所述多个成像参数可调的子区域 511 呈矩形阵 列分布。 在本实施例中， 各子区域 511 的大小相同并且行列对齐设置； 在其 它实施例中， 各子区域也可以是行列错开设置的。
如图 5中成像调节装置 500右侧的成像透镜组 520所示， 所述多个成像 参数可调的子区域 521 呈辐射同心圆 （由若干同心圆以及径向连接相邻同心 圆的若干辐射线构成） 阵列分布。 在本实施例中， 所示辐射同心圆的辐射线 522对齐设置， 在其它实施例中， 每相邻两个同心圆之间的辐射线也可以不对 齐设置。
在本实施方式的图 5 中为了描述需要， 将两种不同子区域分布的成像透 镜组 520放在同一副眼镜中， 在实际应用时， 一般一副眼镜的左右两个成像 透镜组的子区域分布是相同或相似的。
当然， 本领域的技术人员可以得知， 除了上述的矩形阵列和辐射同心圆 如图 2b所示， 用户未正对显示设备 300, 光学传感单元 112获取了显示 设备 300的当前图像之后， 传递给第一分析单元 111进行分析， 第一分析单 元 111判断得到显示设备 300的当前图像相对于其原图像发生了透视变形， 生成对应的变形信息发送给所述矫正信息生成单元 116,所述矫正信息生成单 元 116根据所述变形信息生成对应的成像矫正信息， 再将所述成像矫正信息 发送给透镜调整模块 130,所述透镜调整模块 130根据所述成像矫正信息调节 所述成像透镜组 120对应子区域的成像参数， 最终使得用户眼睛 200观看到 的显示设备的目的图像 300b位置如图 2b所示。 有上述可以看出， 通过本发 明的成像调整装置 100, 对象本来变形的图像得到了实时的矫正， 使得位置不 佳的用户也可以得到正对对象的视觉效果， 提高了用户体验。 如图 6所示， 在本发明实施例的另一种可能的实施方式中， 其它结构与 图 2b所示结构类似， 不同之处在于， 在本实施方式通过第二分析单元 113取 代图 2b中的第一分析单元，具体为：在本实施方式中，所述成像分析模块 110 包括： 第二分析单元 113, 用于根据所述对象相对于所述成像调整装置的深度 信息生成相应的变形信息。
由于本实施例中对象的当前图像相对于对象原图像的变形主要是由于装 置未正对对象引起的透视变形， 因此通过检测对象相对于所述成像调整装置 100 的深度信息 （即对象相对于成像调整装置的距离）， 在得到对象各部分相 对于装置的深度不一致时， 就可以判断对象的当前图像相对于对象原图像有 变形， 并可以根据所述深度信息和对象的尺寸信息生成与变形对应的变形信 息。 这里的变形信息就可以为对象不同位置相对于所述成像调整装置 100 的 深度。
优选地， 在本实施方式中， 所述成像分析模块 110包括： 深度传感单元 114, 用于获取对象相对于所述成像调整装置 100的深度信息。 如图 7所示， 在本发明实施例的另一种可能的实施方式中， 所述成像分 析模块 110包括： 信息接收单元 115 , 用于接收对象相对于所述成像调整装置 100的深度信息。
与上述在所述成像调整装置 100上直接设置所述深度传感单元 114不同 的是， 在本实施方式中， 对象侧设有深度传感器 210, 用于探测对象相对于所 述成像调整装置 100的深度信息，再将该深度信息通过所述信息接收单元 115 传递给所述成像调整装置 100。 如图 8所示， 在本发明实施例的一种可能的实施方式中， 在上面任一实 施方式的基础上， 所述成像分析模块 110还包括：
屈光矫正单元 117,用于在成像接收方存在屈光不正时生成与所述屈光不 正对应的成像矫正信息。 在本发明实施例的一种可能的实施方式中， 所述成像调整装置 100还包 括： 屈光不正检测模块 140, 用于检测成像接收方是否存在屈光不正。 在检测 到存在时， 将所述屈光不正信息发送至所述屈光矫正单元 117。
在本发明实施例的一种可能的实施方式中， 所述成像接收方为用户的眼 睛， 用户可以在存在远视、 近视和 /或散光等屈光不正问题时， 可以通过手动 设置， 使得所述屈光矫正单元 117 生成对应的成像矫正信息， 以缓解所述屈 光不正问题。
在本发明实施例的一种可能的实施方式中， 所述成像分析模块与所述透 镜调整模块之间优选通过无线通信的方式进行数据传输， 所述成像分析模块 的各单元之间也优选通过无线通信的方式进行数据传输。
在本发明实施例的一种可能的实施方式中， 所述成像分析模块的功能可 以由处理器实现， 所述处理器可能是一个中央处理器 CPU, 或者是特定集成 电路 ASIC ( Application Specific Integrated Circuit ) , 或者是被配置成实施本发 明实施例的一个或多个集成电路。 成像分析模块的各功能由处理器执行的一 个或多个程序实现。 所述成像分析模块还可以包括一个存储器， 用于存放所 述程序。 所述存储器可能包含高速 RAM存储器， 也可能还包括非易失性存储 器 ( non- volatile memory ), 例如至少一个磁盘存储器。 如图 9所述， 本发明的实施例提供了一种成像调整方法， 包括：
S110: 判断对象的当前图像相对于对象的原图像是否具有变形， 并在所 述当前图像具有变形时生成与变形对应的成像矫正信息；
S120: 根据所述成像矫正信息调节成像透镜组对应子区域的成像参数， 所述成像透镜组包括多个成像参数可调的子区域。
在本发明实施例的一种可能的实施方式中， 优选地， 所述判断对象的当 前图像相对于对象的原图像是否具有变形的步骤包括：
根据对象的当前图像信息和对象的预设信息判断对象的当前图像相对于 对象的原图像是否具有变形， 并在具有变形时生成变形信息。 在本发明实施例的一种可能的实施方式中， 优选地， 所述对象的预设信 息包括： 对象外轮廓的形状信息。
在本发明实施例的一种可能的实施方式中， 优选地， 所述对象外轮廓为 矩形， 所述对象外轮廓的形状信息包括对象外轮廓的长宽比例信息。
在本发明实施例的另一种可能的实施方式中， 优选地， 所述对象的预设 信息包括： 对象中基准图形的信息。
在本发明实施例的一种可能的实施方式中， 优选地， 在所述判断对象的 当前图像相对于对象的原图像是否具有变形的步骤之前包括：
获取对象的当前图像信息。
在本发明实施例的另一种可能的实施方式中， 优选地， 所述判断对象的 当前图像相对于对象的原图像是否具有变形的步骤包括：
根据所述对象相对于所述成像调整装置的深度信息生成相应的变形信息 在本发明实施例的一种可能的实施方式中， 优选地， 在所述判断对象的 当前图像相对于对象的原图像是否具有变形的步骤之前包括：
获取对象相对于所述成像调整装置的深度信息。
这里所述获取对象相对于所述成像调整装置的深度信息可以是上述装置 实施例中记载在所述成像调整装置侧获取， 也可以在所述对象侧获取。
在本发明实施例的一种可能的实施方式中， 优选地， 所述生成与变形对 应的成像矫正信息的步骤包括： 根据所述变形信息生成与所述变形对应的成 像矫正信息。
在本发明实施例的一种可能的实施方式中， 优选地， 所述成像透镜组包 括至少两片透镜， 所述至少两片透镜中至少一片透镜分别与每个所述子区域 对应的部分成像参数可调。
在本发明实施例的一种可能的实施方式中，优选地，所述成像参数包括： 焦距。
在本发明实施例的一种可能的实施方式中， 优选地， 所述成像参数还包 括： 透镜之间的相对位置。 在本发明实施例的一种可能的实施方式中， 优选地， 所述多个成像参数 可调的子区域呈阵列分布。
在本发明实施例的一种可能的实施方式中， 优选地， 所述多个成像参数 可调的子区域呈矩形阵列分布。
在本发明实施例的一种可能的实施方式中， 优选地， 所述多个成像参数 可调的子区域呈辐射同心圆阵列分布。
在本发明实施例的一种可能的实施方式中， 优选地， 所述方法还包括： 在成像接收方存在屈光不正时生成与所述屈光不正对应的成像矫正信息。
本领域技术人员可以理解， 在本发明具体实施方式的上述方法中， 各步骤 的序号大小并不意味着执行顺序的先后， 各步骤的执行顺序应以其功能和内 在逻辑确定， 而不应对本发明具体实施方式的实施过程构成任何限定。
本发明实施例的方法可以通过上面所述的装置实施例来实现， 具体的实 现手段参考上面装置实施例的描述， 此处不再赘述。 下面进一步以用户通过智能眼镜设备观看屏幕（即： 成像接收方为观看 者的眼睛、 成像调整设备为智能眼镜设备、 对象为显示图像的屏幕） 为例来 说明本发明装置和方法实施例的实施方式：
如图 10所示， 当观看者由于观看位置不正或者投影仪与投影屏幕位置不 正时， 该智能眼镜设备 610上的深度或图像传感器（图 10中未显示）实时捕 获到用户当前观看的环境， 在成像分析模块（图 10中未显示 ) 中使用经典图 像分割算法和已知屏幕参数（如屏幕形状， 长宽比等） 可以得到屏幕 620 的 实际显示部分 621 (该步骤为现有技术， 本实施方式中不再详细描述）， 通过 观看者位置， 智能眼镜设备 610位置和屏幕 620位置可以得到屏幕显示部分 621在所述智能眼镜设备 610上的投影 622, 例如图 10中智能眼镜设备 610 上的点 a和点 b分别为屏幕 620上的点 A和点 B到眼睛连线与智能眼镜设备 610上左侧的成像透镜组 611 (即左侧镜片） 的交点， 然后对该投影 622覆盖 到的各个子区域 611a分别计算所需的矫正参数， 最后通过经典外插算法将计 算结果覆盖到整个眼镜片以达到一个平滑过渡的效果。 对所述智能眼镜设备 610右侧的成像透镜组 612 (即右侧镜片）使用类似方法可以得到对应的矫正 参数， 如果矫正程度较大， 还需要调节两个镜片各子区域透镜的光轴 650等 参数以保持矫正前后左右眼视差不变。
如图 11所示， 当使用深度传感器获得显示屏幕的深度图来矫正观看者位 置不正带来的变形问题时， 由于屏幕上各点的深度可以从深度图中获得， 可 以得到对于任意被投影所覆盖的成像透镜组的子区域的矫正目标函数为：
Figure imgf000014_0001
其中 l^和 h。分别为虛像 630和实际对象 640 (本实施方式中即为屏幕 )的 大小， 为虛像距离， d。,max和 ■为实际对象深度图中最远和最近的距离， 例 如图 10中点 A和点 B的深度， s为靠近实际对象 640的第一透镜 661和靠近 观看者眼睛的第二透镜 662在该子区域的距离。
结合经典光学理论中的透镜成像公式可以得到公式 (2):
Figure imgf000014_0002
其中 df为实像 670到第一透镜 661的距离（图 11中/ ^为实像 670的大小 ), d。为实际对象 640到所述第一透镜 661之间的距离， Λ和 /。分别为第二透镜 662和第一透镜 661的焦距值。
由于该子区域第二透镜 662和第一透镜 661间距离 s可以根据眼镜机械结 构获得， 所述矫正信息生成单元最终可以由公式 (1)和 (2)计算得到成像透镜组 在该子区域的矫正后的成像参数， 即第二透镜 662和第一透镜 661 的焦距值 的焦距值 Λ和 /。：
Figure imgf000015_0001
其中 Ad = d。― — s)为实际对象 640和对应虛像 630之间的距离，（1;可 由公式 (1)计算得到， 且对于整个屏幕为一常数。
这样通过对每一子区域应用公式 (3)可以计算得到第二透镜 662和第一透 镜 661 的焦距值， 再通过透镜调整模块对所述第一透镜 661和第二透镜 662 对应子区域的焦距进行调节， 从而矫正屏幕的变形问题。 当使用图像传感器 获得显示屏幕的变形图像来矫正观看者位置不正带来的变形问题时， 由于屏 幕上各点的深度可以从变形图像和已知图像形状信息中推导得到， 因此可以 用上面类似方法获得各子区域对应的成像参数。
在图 11中仅示出了对象在高度方向变形的矫正， 对象在宽度方向的变形 也可以通过上述公式得到矫正。
当使用图像传感器获得显示屏幕的变形图像来矫正投影仪方向不正带来 的变形问题时， 由于屏幕到第一透镜之间的距离 d。为常数， 可以将公式 (1)中 的4修改为 d。， 使用上述类似方法也可以得到矫正的成像参数。
综上所述， 通过本发明的方法和装置可以对投影方向不正导致的图像变 形问题进行矫正， 改善用户体验。
本领域普通技术人员可以意识到， 结合本文中所公开的实施例描述的各 示例的单元及方法步骤， 能够以电子硬件、 或者计算机软件和电子硬件的结 合来实现。 这些功能究竟以硬件还是软件方式来执行， 取决于技术方案的特 定应用和设计约束条件。 专业技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能， 但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用 时， 可以存储在一个计算机可读取存储介质中。 基于这样的理解， 本发明的 技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可 以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质中， 包括若干指令用以使得一台计算机设备（可以是个人计算机， 服务器， 或者 网络设备等） 执行本发明各个实施例所述方法的全部或部分步骤。 而前述的 存储介质包括： U盘、 移动硬盘、 只读存储器（ROM, Read-Only Memory ), 随机存取存储器（RAM, Random Access Memory ),磁碟或者光盘等各种可以 存储程序代码的介质。
以上实施方式仅用于说明本发明， 而并非对本发明的限制， 有关技术领 域的普通技术人员， 在不脱离本发明的精神和范围的情况下， 还可以做出各 种变化和变型， 因此所有等同的技术方案也属于本发明的范畴， 本发明的专 利保护范围应由权利要求限定。

Claims

1、 一种成像调整装置， 其特征在于， 包括：
一成像分析模块， 用于判断一对象的当前图像相对于所述对象的原图像 是否具有变形， 并在所述当前图像具有变形时生成与变形对应的一成像矫正
■J 1 )3 Ά自、.，
一成像透镜组， 用于对所述对象进行成像， 包括多个成像参数可调的子 权
区域；
一透镜调整模块， 根据所述成像利 _矫正信息调节所述成像透镜组对应子区
1
5
域的至少一成像参数。 要
0 2、 如权利要求 1所述的装置， 其特征在求于， 所述成像分析模块包括： 一第一分析单元， 用于根据所述对象的一当前图像信息和所述对象的一 预设信息判断所述对象的当前图像相对于所述对象的原图像是否具有变形， 并在具有变形时生成一变形信息。
3、 如权利要求 2所述的装置， 其特征在于， 所述对象的预设信息包括:5 所述对象外轮廓的一形状信息。
4、 如权利要求 3所述的装置， 其特征在于， 所述对象外轮廓为矩形， 所
5、 如权利要求 2所述的装置， 其特征在于， 所述对象的预设信息包括: 所述对象中一基准图形的信息。
0 6、 如权利要求 2所述的装置， 其特征在于， 所述成像分析模块包括： 一光学传感单元， 用于获取所述对象的当前图像信息。
7、 如权利要求 1所述的装置， 其特征在于， 所述成像分析模块包括： 一第二分析单元， 用于根据所述对象相对于所述成像调整装置的一深度 信息生成相应的变形信息。
5 8、 如权利要求 7所述的装置， 其特征在于， 所述成像分析模块包括： 一深度传感单元， 用于获取所述对象相对于所述成像调整装置的深度信
Ά自、 ο
9、 如权利要求 7所述的装置， 其特征在于， 所述成像分析模块包括： 一信息接收单元， 用于接收所述对象相对于所述成像调整装置的深度信 自、
10、 如权利要求 2或 7所述的装置， 其特征在于， 所述成像分析模块包 括：
一矫正信息生成单元， 用于根据所述变形信息生成与所述变形对应的一 成像矫正信息。
11、 如权利要求 1 所述的装置， 其特征在于， 所述成像透镜组包括至少 两片透镜， 所述至少两片透镜中至少一片透镜分别与每个所述子区域对应的 部分成像参数可调。
12、 如权利要求 1所述的装置， 其特征在于， 所述成像参数包括： 焦距。
13、 如权利要求 12所述的装置， 其特征在于， 所述成像参数还包括： 所 述透镜之间的相对位置。
14、 如权利要求 1 所述的装置， 其特征在于， 所述多个成像参数可调的 子区域呈阵列分布。
15、 如权利要求 14所述的装置， 其特征在于， 所述多个成像参数可调的 子区域呈矩形阵列分布。
16、 如权利要求 14所述的装置， 其特征在于， 所述多个成像参数可调的 子区域呈辐射同心圆阵列分布。
17、如权利要求 1所述的装置， 其特征在于， 所述成像分析模块还包括： 一屈光矫正单元， 用于在一成像接收方存在屈光不正时生成与所述屈光 不正对应的一成像矫正信息。
18、如权利要求 17所述的装置，其特征在于，所述成像调整装置还包括： 一屈光不正检测模块， 用于检测所述成像接收方是否存在屈光不正。
19、 如权利要求 1 所述的装置， 其特征在于， 所述成像调整装置为一眼
20、 判断一对象的当前图像相对于所述对象的原图像是否具有变形， 并在所 述当前图像具有变形时生成一与变形对应的成像矫正信息；
根据所述成像矫正信息调节一成像透镜组对应至少一子区域的至少一成 像参数， 所述成像透镜组包括多个所述成像参数可调的子区域。
21、 如权利要求 20所述的方法， 其特征在于， 所述判断所述对象的当前 图像相对于所述对象的原图像是否具有变形的步骤包括：
根据所述对象的一当前图像信息和所述对象的一预设信息判断所述对象 的当前图像相对于所述对象的原图像是否具有变形， 并在具有变形时生成一 变形信息。
22、 如权利要求 21所述的方法， 其特征在于， 所述对象的所述预设信息 包括： 所述对象外轮廓的一形状信息。
23、 如权利要求 22所述的方法， 其特征在于， 所述对象外轮廓为矩形， 所述对象外轮廓的所述形状信息包括所述对象外轮廓的长宽比例信息。
24、如权利要求 21所述的方法，其特征在于，所述对象的预设信息包括： 所述对象中一基准图形的信息。
25、 如权利要求 21所述的方法， 其特征在于， 在所述判断对象的当前图 像相对于所述对象的原图像是否具有变形的步骤之前包括：
获取所述对象的所述当前图像信息。
26、 如权利要求 20所述的方法， 其特征在于， 所述判断对象的当前图像 相对于所述对象的原图像是否具有变形的步骤包括：
根据所述对象相对于所述成像调整装置的一深度信息生成相应的所述变 形信息。
27、 如权利要求 26所述的方法， 其特征在于， 在所述判断对象的当前图 像相对于所述对象的原图像是否具有变形的步骤之前包括：
获取所述对象相对于所述成像调整装置的所述深度信息。
28、 如权利要求 21或 26所述的方法， 其特征在于， 所述生成与变形对 应的成像矫正信息的步骤包括： 根据所述变形信息生成与所述变形对应的成 像矫正信息。
29、 如权利要求 20所述的方法， 其特征在于， 所述成像透镜组包括至少 两片透镜， 所述至少两片透镜中至少一片透镜分别与每个所述子区域对应的 部分成像参数可调。
30、如权利要求 20所述的方法，其特征在于，所述成像参数包括：焦距。
31、 如权利要求 30所述的方法， 其特征在于， 所述成像参数还包括： 所 述透镜之间的相对位置。
32、 如权利要求 20所述的方法， 其特征在于， 所述多个成像参数可调的 子区域呈阵列分布。
33、 如权利要求 32所述的方法， 其特征在于， 所述多个成像参数可调的 子区域呈矩形阵列分布。
34、 如权利要求 32所述的方法， 其特征在于， 所述多个成像参数可调的 子区域呈辐射同心圆阵列分布。
35、 如权利要求 20所述的方法， 其特征在于， 所述方法还包括： 在一成 像接收方存在屈光不正时生成与所述屈光不正对应的一成像矫正信息。
PCT/CN2013/088522 2013-06-28 2013-12-04 成像调整装置及成像调整方法 WO2014206010A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/780,519 US10191276B2 (en) 2013-06-28 2013-12-04 Imaging adjustment device and imaging adjustment method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310264434.8A CN103353663B (zh) 2013-06-28 2013-06-28 成像调整装置及方法
CN201310264434.8 2013-06-28

Publications (1)

Publication Number Publication Date
WO2014206010A1 true WO2014206010A1 (zh) 2014-12-31

Family

ID=49310050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/088522 WO2014206010A1 (zh) 2013-06-28 2013-12-04 成像调整装置及成像调整方法

Country Status (3)

Country Link
US (1) US10191276B2 (zh)
CN (1) CN103353663B (zh)
WO (1) WO2014206010A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测***及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像***及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射***及方法
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示***
CN103824303A (zh) * 2014-03-14 2014-05-28 格科微电子（上海）有限公司 基于被摄物的位置、方向调整图像透视畸变的方法和装置
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2017101854A1 (zh) * 2015-12-16 2017-06-22 宁波舜宇光电信息有限公司 通过调整镜片实现光学***成像质量的补偿方法
CN105575263A (zh) * 2016-01-26 2016-05-11 上海斐讯数据通信技术有限公司 一种智能终端图像矫正装置及其矫正方法
WO2017128310A1 (zh) * 2016-01-29 2017-08-03 深圳市柔宇科技有限公司 头戴式显示设备
CN105700103B (zh) * 2016-04-01 2018-06-29 温州医科大学 一种可旋转镜头装置及基于眼球跟踪技术的跟踪方法
US11506877B2 (en) 2016-11-10 2022-11-22 The Trustees Of Columbia University In The City Of New York Imaging instrument having objective axis and light sheet or light beam projector axis intersecting at less than 90 degrees
JP6930091B2 (ja) * 2016-11-15 2021-09-01 富士フイルムビジネスイノベーション株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN106774884B (zh) * 2016-12-14 2020-01-03 广东小天才科技有限公司 镜片参数的测定方法及装置
US11055829B2 (en) * 2016-12-29 2021-07-06 Huawei Technologies Co., Ltd. Picture processing method and apparatus
JP2018169428A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 画像表示装置
CN108957742B (zh) * 2017-05-19 2021-09-03 深圳市易瞳科技有限公司 一种实现画面虚拟透明动态调节的增强现实头盔及方法
CN108364259A (zh) * 2017-09-29 2018-08-03 北京万维智能技术有限公司 图像透视校正方法和***及设备
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
CN110346932B (zh) * 2018-04-02 2024-04-02 京东方科技集团股份有限公司 显示方法、显示装置
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
CN108881722B (zh) * 2018-07-05 2021-02-02 京东方科技集团股份有限公司 智能拍摄方法及智能眼镜、电子设备、存储介质
US11354787B2 (en) * 2018-11-05 2022-06-07 Ultrahaptics IP Two Limited Method and apparatus for correcting geometric and optical aberrations in augmented reality
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN114815239B (zh) * 2021-01-29 2023-11-10 华为技术有限公司 头戴式显示设备及其画面显示方法
CN115100666B (zh) * 2022-05-18 2024-06-18 东北大学 基于显著性检测和超分辨率重建的ar会议***及构建方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5182585A (en) * 1991-09-26 1993-01-26 The Arizona Carbon Foil Company, Inc. Eyeglasses with controllable refracting power
CN1645244A (zh) * 2004-01-20 2005-07-27 精工爱普生株式会社 投影机及其中的变焦调整方法
CN1912672A (zh) * 2005-06-07 2007-02-14 因·S·唐 不动的镜头***和方法
CN101900927A (zh) * 2009-05-29 2010-12-01 精工爱普生株式会社 投影仪及其控制方法
CN101917638A (zh) * 2010-07-07 2010-12-15 深圳超多维光电子有限公司 立体显示装置、移动终端及立体显示跟踪方法
CN202267785U (zh) * 2011-08-30 2012-06-06 福州瑞芯微电子有限公司 一种自动跟踪人眼位置的裸眼三维显示结构
WO2012075218A1 (en) * 2010-12-01 2012-06-07 Urban Schnell Variable binocular loupe utilizing fluid filled lens technology
CN102576154A (zh) * 2009-10-30 2012-07-11 惠普发展公司，有限责任合伙企业 立体显示***
CN103353663A (zh) * 2013-06-28 2013-10-16 北京智谷睿拓技术服务有限公司 成像调整装置及方法

Family Cites Families (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4264154A (en) 1979-06-05 1981-04-28 Polaroid Corporation Apparatus for automatically controlling transmission of light through a lens system
US4572616A (en) 1982-08-10 1986-02-25 Syracuse University Adaptive liquid crystal lens
US4973149A (en) 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
JP2676870B2 (ja) 1989-01-17 1997-11-17 キヤノン株式会社 注視点検出手段を有した光学装置
JP2920940B2 (ja) 1989-06-20 1999-07-19 キヤノン株式会社 視線検出手段を有した機器
JPH08564A (ja) 1994-06-17 1996-01-09 Nikon Corp 眼科装置
US6072443A (en) 1996-03-29 2000-06-06 Texas Instruments Incorporated Adaptive ocular projection display
JPH09289973A (ja) 1996-04-26 1997-11-11 Canon Inc 眼底カメラ
JPH1070742A (ja) * 1996-08-29 1998-03-10 Olympus Optical Co Ltd 二眼式映像表示装置
JP3802630B2 (ja) 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
DE19704197A1 (de) 1997-02-05 1998-08-06 Zeiss Carl Jena Gmbh Anordnung zur subjektivem Refraktionsbestimmung und/oder zur Bestimmung anderer Sehfunktionen
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
JP3383228B2 (ja) 1998-11-09 2003-03-04 シャープ株式会社 ヘッドマウントディスプレイ装置
US6318857B1 (en) 1998-12-09 2001-11-20 Asahi Kogaku Kogyo Kabushiki Kaisha Variable power spectacles
US6619799B1 (en) * 1999-07-02 2003-09-16 E-Vision, Llc Optical lens system with electro-active lens having alterably different focal lengths
WO2002041769A1 (de) 2000-11-22 2002-05-30 Carl Zeiss Jena Gmbh Optische stimulation des menschlichen auges
US6478425B2 (en) 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
AU2002312676A1 (en) * 2001-06-12 2002-12-23 Silicon Optix Inc. System and method for correcting keystone distortion
US7001020B2 (en) 2001-08-02 2006-02-21 Daphne Instruments, Inc. Complete autorefractor system in an ultra-compact package
CN1141602C (zh) 2001-08-14 2004-03-10 中国科学院长春光学精密机械与物理研究所 连续变焦菲涅耳微透镜阵列器件
JP4224260B2 (ja) * 2002-02-18 2009-02-12 株式会社トプコン キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
US20080106633A1 (en) 2002-03-13 2008-05-08 Blum Ronald D Electro-optic lens with integrated components for varying refractive properties
BR0308099A (pt) 2002-03-13 2006-04-11 E Vision Llc lente eletro-óptica com componentes integrados
CN100553601C (zh) 2002-07-22 2009-10-28 林超群 动态式透镜视力训练装置
IL151592A (en) 2002-09-04 2008-06-05 Josef Bekerman Variable optical power spectacles for eyesight rehabilitation and methods for lens optical power control
DE112004000144T5 (de) 2003-01-16 2006-01-12 Horie, Hidenori, Yokohama Vorrichtung zur Verbesserung der Sehkraft
US7298414B2 (en) 2003-01-29 2007-11-20 Hewlett-Packard Development Company, L.P. Digital camera autofocus using eye focus measurement
JP3844076B2 (ja) * 2003-03-07 2006-11-08 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US20050003043A1 (en) 2003-07-03 2005-01-06 Vincent Sewalt Composition and method for reducing caking and proteinaceous products
JP4085034B2 (ja) 2003-07-17 2008-04-30 信越化学工業株式会社 化合物、高分子化合物、レジスト材料及びパターン形成方法
JP2005092175A (ja) 2003-08-08 2005-04-07 Olympus Corp 光学特性可変光学素子
JP2005058399A (ja) 2003-08-11 2005-03-10 Nikon Corp ディスプレイ装置
JP4401727B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
US7702225B2 (en) 2004-01-02 2010-04-20 Vision Instruments Pty Ltd Devices to facilitate alignment and focusing of a fundus camera
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
US7675686B2 (en) 2004-03-31 2010-03-09 The Regents Of The University Of California Fluidic adaptive lens
US20060016459A1 (en) 2004-05-12 2006-01-26 Mcfarlane Graham High rate etching using high pressure F2 plasma with argon dilution
US7461938B2 (en) 2004-06-30 2008-12-09 Ophthonix, Inc. Apparatus and method for determining sphere and cylinder components of subjective refraction using objective wavefront measurement
AU2005269254B2 (en) 2004-08-03 2009-06-18 Silverbrook Research Pty Ltd Electronic stylus
EP1809162B1 (en) 2004-11-08 2015-07-01 Optovue, Inc. Optical apparatus and method for comprehensive eye diagnosis
US7486988B2 (en) 2004-12-03 2009-02-03 Searete Llc Method and system for adaptive vision modification
US7334892B2 (en) 2004-12-03 2008-02-26 Searete Llc Method and system for vision enhancement
US7344244B2 (en) 2004-12-03 2008-03-18 Searete, Llc Adjustable lens system with neural-based control
US8104892B2 (en) 2004-12-03 2012-01-31 The Invention Science Fund I, Llc Vision modification with reflected image
CN100595620C (zh) * 2005-01-21 2010-03-24 庄臣及庄臣视力保护公司 具有可变焦距的自适应电激活透镜
US8885139B2 (en) 2005-01-21 2014-11-11 Johnson & Johnson Vision Care Adaptive electro-active lens with variable focal length
JP4744973B2 (ja) 2005-08-05 2011-08-10 株式会社トプコン 眼底カメラ
JP4719553B2 (ja) * 2005-11-04 2011-07-06 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
CN2868183Y (zh) 2006-01-19 2007-02-14 杨宏军 智能视力保护器
JP5167545B2 (ja) 2006-03-31 2013-03-21 国立大学法人静岡大学 視点検出装置
US7764433B2 (en) 2006-05-18 2010-07-27 The Regents Of The University Of California Method and system for correcting optical aberrations, including widefield imaging applications
JP4822331B2 (ja) 2006-06-22 2011-11-24 株式会社トプコン 眼科装置
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
CN100485448C (zh) 2006-06-29 2009-05-06 贾怀昌 自由曲面全反射式的目视光学棱镜
JP5017989B2 (ja) * 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
CN201005945Y (zh) 2007-01-15 2008-01-16 陈清祥 可调整滤光片的视线导正辅助器
EP2187841A4 (en) 2007-08-02 2016-09-21 Ocular Optics Inc MULTIFOCAL INTRAOCULAR LENS SYSTEM AND METHODS
CN101116609B (zh) 2007-08-30 2010-06-16 中国科学技术大学 扫描式自动变焦虹膜图像采集***及采集方法
CN101149254B (zh) 2007-11-12 2012-06-27 北京航空航天大学 高精度视觉检测***
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
WO2009101236A1 (en) 2008-02-13 2009-08-20 Nokia Corporation Display device and a method for illuminating a light modulator array of a display device
AU2009225638A1 (en) 2008-03-18 2009-09-24 Pixeloptics, Inc. Advanced electro-active optic device
US20090279046A1 (en) 2008-05-12 2009-11-12 Dreher Andreas W Adjustable eye glasses with a magnetic attachment
JP4518193B2 (ja) 2008-06-10 2010-08-04 ソニー株式会社 光学装置および虚像表示装置
CN101430429A (zh) 2008-06-17 2009-05-13 沈嘉琦 一种近视矫正眼镜
CN101662696B (zh) 2008-08-28 2011-01-26 联想(北京)有限公司 调节摄像***的方法和设备
CN102203850A (zh) 2008-09-12 2011-09-28 格斯图尔泰克公司 相对于用户而定向所显示的元素
TWI367748B (en) 2008-09-30 2012-07-11 Univ Ishou Apparatus for sight healthcare
US8884735B2 (en) 2008-11-17 2014-11-11 Roger Li-Chung Vision protection method and system thereof
CN201360319Y (zh) 2008-12-17 2009-12-09 胡超 眼镜式多功能立体图像装置
CN201352278Y (zh) 2008-12-23 2009-11-25 黄玲 一种自动变焦眼镜
DK2389095T3 (da) 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
CN201464738U (zh) 2009-04-13 2010-05-12 段亚东 多功能保健眼镜
US8100532B2 (en) 2009-07-09 2012-01-24 Nike, Inc. Eye and body movement tracking for testing and/or training
JP2011043876A (ja) 2009-08-19 2011-03-03 Brother Industries Ltd 画像表示装置
JP5371638B2 (ja) 2009-09-01 2013-12-18 キヤノン株式会社 眼科撮影装置及びその方法
JP5388765B2 (ja) 2009-09-01 2014-01-15 キヤノン株式会社 眼底カメラ
CN101782685A (zh) 2009-09-04 2010-07-21 上海交通大学 实时多角度立体视觉***
JP2011071898A (ja) * 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法
US20120212499A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20120242698A1 (en) 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20120206485A1 (en) 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
CN201637953U (zh) 2010-03-19 2010-11-17 熊火胜 智能变焦镜片
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
CN101819334B (zh) 2010-04-01 2013-04-17 夏翔 多功能电子眼镜
CN101819331B (zh) 2010-04-27 2012-03-07 中国计量学院 一种遥控变焦眼镜装置
CN201754203U (zh) 2010-05-06 2011-03-02 徐晗 动态视角液晶眼镜
US9338382B2 (en) 2010-05-29 2016-05-10 Wenyu Jiang Systems, methods and apparatus for making and using eyeglasses with adaptive lens driven by gaze distance and low power gaze tracking
JP5685013B2 (ja) 2010-06-30 2015-03-18 キヤノン株式会社 光断層撮像装置及びその制御方法、プログラム
KR20120005328A (ko) 2010-07-08 2012-01-16 삼성전자주식회사 입체 안경 및 이를 포함하는 디스플레이장치
US8324957B2 (en) 2010-07-16 2012-12-04 Linear Technology Corporation Capacitively coupled switched current source
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
WO2012057434A1 (en) 2010-10-29 2012-05-03 Lg Electronics Inc. Stereoscopic image processing system and device and glasses
US20120113235A1 (en) 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8628193B2 (en) 2010-11-20 2014-01-14 Yibin TIAN Automatic accommodative spectacles using a scene analyzer and focusing elements
CN102487393B (zh) 2010-12-01 2015-09-23 深圳市同洲软件有限公司 数字电视接收终端与移动终端交互方法、装置和***
US9314148B2 (en) 2010-12-06 2016-04-19 Lensvector, Inc. Motionless adaptive stereoscopic scene capture with tuneable liquid crystal lenses and stereoscopic auto-focusing methods
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN102008288B (zh) 2010-12-17 2012-02-01 中国科学院光电技术研究所 一种线扫描共焦检眼镜的***和方法
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
WO2012122411A1 (en) 2011-03-08 2012-09-13 Pixeloptics, Inc. Advanced electro-active optic device
JP2012199621A (ja) 2011-03-18 2012-10-18 Jvc Kenwood Corp 複眼撮像装置
US20130100511A1 (en) 2011-03-25 2013-04-25 Kakuya Yamamoto Display device
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
JP2012247449A (ja) 2011-05-25 2012-12-13 Canon Inc 投射型映像表示装置
US20120307208A1 (en) 2011-06-01 2012-12-06 Rogue Technologies, Inc. Apparatus and method for eye tracking
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US20130241927A1 (en) 2011-07-03 2013-09-19 Neorai Vardi Computer device in form of wearable glasses and user interface thereof
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
JP5879826B2 (ja) 2011-08-31 2016-03-08 株式会社ニデック 眼底撮影装置
US20130072828A1 (en) 2011-09-15 2013-03-21 Jason Sweis Shutter glasses
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US20130107066A1 (en) 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
CA2856075A1 (en) 2011-11-18 2013-05-23 Optovue, Inc. Fundus camera
US9442517B2 (en) 2011-11-30 2016-09-13 Blackberry Limited Input gestures using device movement
CN102572483B (zh) 2011-12-02 2014-08-13 深圳超多维光电子有限公司 跟踪式裸眼立体显示控制方法、装置及显示设备、***
US9182815B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
CN202383380U (zh) 2011-12-31 2012-08-15 张欣 多功能眼镜
CN103197757A (zh) 2012-01-09 2013-07-10 癸水动力（北京）网络科技有限公司 一种沉浸式虚拟现实***及其实现方法
US8384999B1 (en) 2012-01-09 2013-02-26 Cerr Limited Optical modules
KR101911439B1 (ko) 2012-01-30 2019-01-07 삼성전자주식회사 초점길이 가변형 마이크로 렌즈와 이를 포함하는 마이크로 렌즈 어레이 및 이를 포함하는 3ｄ 디스플레이와 그 동작 방법
WO2013117999A1 (en) 2012-02-06 2013-08-15 Sony Ericsson Mobile Communications Ab Gaze tracking with projector
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
TWI474072B (zh) * 2012-06-14 2015-02-21 Largan Precision Co Ltd 光學影像鏡片系統組
US9430055B2 (en) 2012-06-15 2016-08-30 Microsoft Technology Licensing, Llc Depth of field control for see-thru display
US20130342572A1 (en) 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
US9310611B2 (en) 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
CN103065605B (zh) 2012-12-10 2015-12-09 惠州Tcl移动通信有限公司 一种根据视力状况调节显示效果的方法和***
US20140160157A1 (en) 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
CN103150013A (zh) 2012-12-20 2013-06-12 天津三星光电子有限公司 一种移动终端
CN103190883B (zh) 2012-12-20 2015-06-24 苏州触达信息技术有限公司 一种头戴式显示装置和图像调节方法
CN102981270A (zh) 2012-12-25 2013-03-20 中国科学院长春光学精密机械与物理研究所 一种无遮拦自适应变焦距光学***及其标定方法
CN103054695A (zh) 2013-01-09 2013-04-24 中山市目明视光视力科技有限公司 调整眼内光学焦点位置的镜片组合方法
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9507147B2 (en) 2013-02-14 2016-11-29 Blackberry Limited Wearable display system with detached projector
US20140232746A1 (en) 2013-02-21 2014-08-21 Hyundai Motor Company Three dimensional augmented reality display apparatus and method using eye tracking
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
CN107632709B (zh) 2013-03-15 2021-06-08 奇跃公司 显示***和方法
US20140282224A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
CN103280175A (zh) 2013-06-17 2013-09-04 苏州旭宇升电子有限公司 一种投影装置
JP5967597B2 (ja) 2013-06-19 2016-08-10 パナソニックＩｐマネジメント株式会社 画像表示装置および画像表示方法
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
US9965897B2 (en) 2013-07-08 2018-05-08 OPS Solutions, LLC Eyewear operational guide system and method
CN103297735A (zh) 2013-07-16 2013-09-11 苏州旭宇升电子有限公司 一种投影装置
US9619939B2 (en) 2013-07-31 2017-04-11 Microsoft Technology Licensing, Llc Mixed reality graduated information delivery
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示***
US10620457B2 (en) 2013-12-17 2020-04-14 Intel Corporation Controlling vision correction using eye tracking and depth detection
US9965030B2 (en) 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US10261579B2 (en) 2014-09-01 2019-04-16 Samsung Electronics Co., Ltd. Head-mounted display apparatus
WO2016164859A1 (en) 2015-04-10 2016-10-13 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
WO2017055910A1 (en) 2015-09-30 2017-04-06 Sony Interactive Entertainment Inc. Methods for optimizing positioning of content on a screen of a head mounted display

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5182585A (en) * 1991-09-26 1993-01-26 The Arizona Carbon Foil Company, Inc. Eyeglasses with controllable refracting power
CN1645244A (zh) * 2004-01-20 2005-07-27 精工爱普生株式会社 投影机及其中的变焦调整方法
CN1912672A (zh) * 2005-06-07 2007-02-14 因·S·唐 不动的镜头***和方法
CN101900927A (zh) * 2009-05-29 2010-12-01 精工爱普生株式会社 投影仪及其控制方法
CN102576154A (zh) * 2009-10-30 2012-07-11 惠普发展公司，有限责任合伙企业 立体显示***
CN101917638A (zh) * 2010-07-07 2010-12-15 深圳超多维光电子有限公司 立体显示装置、移动终端及立体显示跟踪方法
WO2012075218A1 (en) * 2010-12-01 2012-06-07 Urban Schnell Variable binocular loupe utilizing fluid filled lens technology
CN202267785U (zh) * 2011-08-30 2012-06-06 福州瑞芯微电子有限公司 一种自动跟踪人眼位置的裸眼三维显示结构
CN103353663A (zh) * 2013-06-28 2013-10-16 北京智谷睿拓技术服务有限公司 成像调整装置及方法

Also Published As

Publication number Publication date
CN103353663A (zh) 2013-10-16
US10191276B2 (en) 2019-01-29
US20160103318A1 (en) 2016-04-14
CN103353663B (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
WO2014206010A1 (zh) 成像调整装置及成像调整方法
WO2014206013A1 (zh) 成像调整设备及成像调整方法
US9961335B2 (en) Pickup of objects in three-dimensional display
EP2999393B1 (fr) Procédé de détermination de mesures oculaires avec un capteur grand public
US10048750B2 (en) Content projection system and content projection method
US9867532B2 (en) System for detecting optical parameter of eye, and method for detecting optical parameter of eye
WO2015051606A1 (zh) 定位方法及定位***
US10002293B2 (en) Image collection with increased accuracy
WO2018019282A1 (zh) 双目全景图像获取方法，装置及存储介质
US9961257B2 (en) Imaging to facilitate object gaze
WO2016203654A1 (ja) ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法
US10360450B2 (en) Image capturing and positioning method, image capturing and positioning device
WO2016115873A1 (zh) 双目ar头戴显示设备及其信息显示方法
WO2015014059A1 (zh) 成像装置及成像方法
WO2014206011A1 (zh) 成像装置及成像方法
US20190073820A1 (en) Ray Tracing System for Optical Headsets
FR2996014A1 (fr) Procede d'aide a la determination de parametres de vision d'un sujet
TWI761930B (zh) 頭戴式顯示裝置以及距離量測器
CN111505837A (zh) 一种基于双眼成像分析的视距检测自动变焦光学***
WO2018196444A1 (zh) 虚拟现实播放设备及其控制方法及计算机可读存储介质
TW201901216A (zh) 智能望遠鏡及其自動調整倍率的方法
TW202125036A (zh) 光場近眼顯示裝置及光場近眼顯示方法
WO2023040013A1 (zh) Ar眼镜的焦距调节方法、装置、设备及可读存储介质
CN115407513A (zh) 一种双目视差测量装置及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13887688

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14780519

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13887688

Country of ref document: EP

Kind code of ref document: A1