WO2014023231A1 - 宽视场超高分辨率光学成像***及方法 - Google Patents

宽视场超高分辨率光学成像***及方法 Download PDF

Info

Publication number
WO2014023231A1
WO2014023231A1 PCT/CN2013/081002 CN2013081002W WO2014023231A1 WO 2014023231 A1 WO2014023231 A1 WO 2014023231A1 CN 2013081002 W CN2013081002 W CN 2013081002W WO 2014023231 A1 WO2014023231 A1 WO 2014023231A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
magixoom
registration
point
nflfs
Prior art date
Application number
PCT/CN2013/081002
Other languages
English (en)
French (fr)
Inventor
贾伟
Original Assignee
泰邦泰平科技（北京）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 泰邦泰平科技（北京）有限公司 filed Critical 泰邦泰平科技（北京）有限公司
Publication of WO2014023231A1 publication Critical patent/WO2014023231A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to the field of optical imaging, and more particularly to an imaging system and method that achieve high resolution in both wide field of view images and narrow field of view images. Background technique
  • optical imaging systems are single-lens imaging systems, including short-focus imaging systems and telephoto imaging systems.
  • the short-focus imaging system has the ability to capture macroscopic wide-angle images of wide field of view
  • the telephoto imaging system has the ability to take close-up images of microscopic details of narrow field of view.
  • the general pixel imaging has a visual resolution (LW/PH) value of about 1 to 10 million.
  • LW/PH visual resolution
  • a higher resolution system is difficult to do because there is no universal high resolution sensor; or it must be expensive. The cost is to achieve higher resolution sensors, and because high resolution optical systems are also difficult to achieve in the process, so to shoot wide-angle imaging, choose a short-focus wide-angle lens; to take close-up details, you have to choose Telephoto narrow field lens.
  • CMOS complementary metal oxide semiconductor
  • the display with general resolution can be used to view the general resolution image of the entire field of view or local field of view, achieving clear resolution such as wide field of view and narrow field of view or close to clear resolution image.
  • Such a system provides better uniformity of macro wide-angle imaging and micro-detail imaging, but because of the large aperture and small depth of field of the product, it is difficult to ensure that the captured scenes are within the depth of field for the large depth of the scene being photographed. .
  • the disadvantage is that the depth of field is small.
  • the system is not capable of non-focusing shooting.
  • Another disadvantage is that the system is designed with a separate ultra-high resolution CMOS sensor. The sensor cost is high, and another disadvantage is that the system The accuracy of the optical imaging lens is very high and the implementation cost is high. The system is also unable to achieve dynamic detail tracking shooting.
  • an optical imaging system with a sensor resolution and a display resolution close to each other, if a wide-angle imaging is to be taken, a short-focus wide-angle lens is selected; and for a close-up detailed image, a telephoto narrow view is selected.
  • Field lens The two can't have both. In the capture of dynamic details, it is difficult to capture the target close-up shot for a long time, even if it is experienced by the photographer.
  • the present invention provides a wide field of view ultra-high resolution optical imaging system, that is, a Magic Zoom system based on ultra high resolution imaging technology, including: narrow line by M rows and N columns
  • the NFLFS array consisting of the field telephoto imaging subsystem NFLFS, the fields of view of adjacent NFLFS overlap each other, and the main optical axis of each NFLFS converges at a point or the neighborhood of the point, which is the optical center of the Magixoom system, where , M, N are natural numbers greater than or equal to 1, and at least one of M and N is greater than 1 and not equal to 2;
  • the horizontal field of view of the NFLFS at the i-th row and j-column is the vertical field of view angle ⁇ + ⁇ ⁇ +
  • the horizontal field of view HFOV of the Magixoom system is N ⁇ 3 ⁇ 4 + ⁇ 3 ⁇ 4 + e h
  • the vertical field of view VFOV of the Magixoom system is ⁇ 3 ⁇ 4 + ⁇ 3 ⁇ 4 + £
  • ⁇ 3 ⁇ 4 is the design angle between the main optical axes of horizontally adjacent NFLFS, which is the design clip between the main optical axes of vertically adjacent NFLFS
  • the angle, ⁇ 3 ⁇ 4 is the field of view overlap angle of the horizontally adjacent NFLFS, which is approximately the angle between the edge of the horizontal field of view overlapping region and the optical center of the system at the infinity of the horizontally adjacent NFLFS
  • ⁇ ⁇ is the vertical phase
  • the field of view overlap angle of the adjacent NFLFS is approximately the angle between the edge of the vertical field overlap region and the optical center of the system at the infinity of the vertically adjacent NFLFS
  • e hij and ⁇ are the i-th row and the j-th column, respectively.
  • the horizontal and vertical field angle errors of the NFLFS, £ h and £ v are the horizontal and vertical field angle errors of the Magixoom system, respectively;
  • An image processing apparatus configured to process an array image having adjacent overlapping characteristics captured by the NFLFS array to obtain a wide field of view ultra-high resolution image;
  • a system control device coupled to the image processing device and the NFLFS array for controlling the operation of the various components of the Magixoom system.
  • the image processing device includes an image processing device of a full-calculation mode or an image processing device of a data mapping mode according to different product application requirements.
  • the image processing device of the full-calculation mode includes: an image projection module, an image overlap region feature point finding module, an image registration splicing module, an image fusion module, and an image cropping module, wherein
  • the image projection module projects the sensor coordinate system of each array image to the system coordinate system to obtain a corresponding projection image in the system coordinate system;
  • An image overlap area feature point finding module searches for feature points in an overlapping area of the projected image
  • the image registration splicing module uses the feature points to find corresponding registration points in the corresponding overlapping images, and filters the registration point pairs to find valid registration point pairs; the calculated projection images of the respective sensors according to the found effective registration point pairs The relative positional relationship between the images is spliced in the system coordinate system;
  • the image fusion module adjusts the hue, brightness, and saturation between adjacent images after stitching to achieve a smooth transition between hue, brightness, and saturation between adjacent images;
  • the image cutting module takes the inscribed quadrilateral of the image obtained after the stitching, and cuts off the portion other than the quadrilateral to obtain an image output.
  • the image processing device of the data mapping mode includes: a pixel mapping module, and a pixel mapping module, configured to: according to the captured array image and the array image, in the case that the object distance actually captured and the object distance of the product design are close to each other Magixoom system image fixed mapping of the first risk, mapping and generation of Magixoom system images;
  • the fixed a priori mapping relationship between the array image and the Magixoom system image refers to: an array image generated by actual shooting or simulation in the system design process, through image projection, overlapping region feature point searching, registration stitching, fusion And cropping processing, establishing a pixel mapping relationship between each pixel of the array image and each pixel of the Magixoom system image.
  • the image processing device further includes:
  • the micro-registration module is used to obtain the relative positional relationship between adjacent projected images caused by the change of the object distance by accurately calculating the object distance and the object distance of the product design.
  • the offset of the pixel is corrected according to the offset, and the updated pixel mapping relationship is obtained.
  • a Magixoom method the method comprising:
  • the NFLFS array is composed of N rows and N columns of narrow field of view telephoto imaging subsystems NFLFS, the fields of view of adjacent NFLFS overlap each other, and the main optical axis of each NFLFS converges at a point or a neighborhood of the point,
  • the point is the optical center of the Magixoom system, where M and N are natural numbers greater than or equal to 1, and at least one of M and N is greater than 1 and not equal to 2; setting the horizontal field of view of the NFLFS at the i-th row and the j-th column is ⁇ 3 ⁇ 4 + ⁇ + e Mj , the vertical field of view is ⁇ ⁇ + ⁇ ⁇ + ⁇ ⁇ / ; Set the horizontal field of view HFOV of the Magixoom system to No) h + o) h + £ h , the vertical field of view of the Magixoom system VFOV is ⁇ 3 ⁇ 4 + ⁇ 3 ⁇ 4 + £ ⁇ , where 180° > ⁇ 3 ⁇ 4> 0° , 90° >
  • a system control device coupled to the image processing device and the NFLFS array for controlling the operation of the various components of the Magixoom system
  • An image processing apparatus for processing an array image having adjacent overlapping characteristics taken by the NFLFS array to obtain a wide field of view ultra-high resolution image.
  • the image processing device includes an image processing device of a full-calculation mode or an image processing device of a data mapping mode according to different product application requirements.
  • the image processing device of the full-calculation mode includes: an image projection module, an image overlap region feature point finding module, an image registration splicing module, an image fusion module, and an image cropping module, wherein
  • the image projection module projects the sensor coordinate system of each array image to the system coordinate system to obtain a corresponding projection image in the system coordinate system;
  • An image overlap area feature point finding module searches for feature points in an overlapping area of the projected image
  • the image registration splicing module uses the feature points to find corresponding registration points in the corresponding overlapping images, and filters the registration point pairs to find valid registration point pairs; the calculated projection images of the respective sensors according to the found effective registration point pairs The relative positional relationship between the images is spliced in the system coordinate system;
  • the image fusion module adjusts the hue, brightness, and saturation between adjacent images after stitching to achieve a smooth transition between hue, brightness, and saturation between adjacent images;
  • the image cutting module takes the inscribed quadrilateral of the image obtained after the stitching, and cuts off the portion other than the quadrilateral to obtain an image output.
  • the specific method for image projection includes:
  • the intersecting line includes, but is not limited to, a cross line of two lines, and the fixed step size in each direction is used to determine two regional extreme value points on the intersecting line. Judging auxiliary point;
  • A12. Calculate the absolute value of the sum of the pixel value differences between the auxiliary point and the search point on each line in the cross line, and sum the absolute values on the two lines to obtain a summation value higher than a preset condition threshold. Search point, as the current region extreme value feature point coordinates, placed in the extreme feature point list;
  • step Al l and step A12 moving the search point, according to the same method as step Al l and step A12, and traversing the entire overlapping area to obtain a search point whose summation value is higher than a preset condition threshold, and obtaining a list of regional extreme value feature points of the overlapping area.
  • the obtained regional extremum feature points are sorted according to the summation value from large to small, and the top extremum points of the sorting are selected as the candidate region extremum feature points;
  • Dijfy f (i + step5, j - step6) + f ii - stepl , j + step8) - 2f(i, j)
  • /(, j) is the pixel value of the point search point P(i, j), i, j is a positive real number;
  • ⁇ is the sum of the pixel value difference between the auxiliary judgment points P(i + step5, j - stepG), sfep7, + Wep8) and the search point P(i, j) on the second line in the cross line;
  • ⁇ is the preset condition threshold
  • the image registration and splicing between the registration template and the registered template according to the acquired overlapping region feature points includes, but is not limited to, the following specific methods and steps:
  • Use the MSAD method to find candidate registration point pairs Use the intersection line of the regional extreme feature points of the selected registration template as the registration cross line, traverse the registered image registration area and calculate the SAD of each search point, find the MSAD And corresponding image coordinate point pairs, as candidate candidate point pairs of the current region extreme value feature points;
  • the abscissa difference and the ordinate difference of all the registration point pairs are respectively averaged, and the registration stitching horizontal and vertical translation data of all the pixel points of the adjacent projected image and the coordinates corresponding to the system coordinate system are obtained.
  • the using the MSAD method to obtain candidate registration point pairs includes:
  • Step 1 calculating the MSAD according to the following formula; SAD,
  • Step 2 Find a coordinate of the MSAD point corresponding to the registration template and the registered template as a candidate registration point pair; the calculation formula takes a cross line of two lines as an example, and a cross line of one line or multiple lines is also applicable;
  • Step9, steplO, stepl 1, stepll are the registration step size
  • P(i, j) is an extreme image feature point of the registration image region
  • Q (ii, jj) is a registration point corresponding to the extreme feature points of the registered image region
  • SAD is (Sum of Absolute Difference), which is the sum of the absolute values of the corresponding items of the values of two corresponding sequences;
  • MSAD is ( Minimum Sum of Absolute Difference ) and refers to the minimum of multiple SAD values. .
  • the reasonable selection of the current candidate registration point pairs includes: based on the current ⁇ ⁇ ⁇ registration point pairs (P kl (i, j), Q kl (ii, jj) ), taking any set of registration point pairs (P (i, j) , Q (ii, jj) ), calculate the distances P kl P k2 , Q kl Q k2 , respectively, and use feL- ⁇ ⁇ 1 3 ⁇ 4 2
  • Reasonable selection points :
  • the rationality selection points of each candidate registration point pair obtained are sorted, and the pre-sorting N is selected.
  • H ⁇ k candidate registration point pairs are used as registration point pairs.
  • the method further includes:
  • the coordinate translation data of the last accurate registration is used as the coordinate translation data of the registration.
  • the image processing device of the data mapping mode includes: a pixel mapping module, and a pixel mapping module, configured to: according to the captured array image and the array image, in the case that the object distance actually captured and the object distance of the product design are close to each other Fixed image of Magixoom system
  • the mapping relationship between the image and the Magixoom system image refers to: an array image generated by actual shooting or simulation of the system, through the image Projection, overlapping region feature point finding, registration stitching, blending and cropping, establishing a pixel mapping relationship between the array image and the Magixoom system image;
  • mapping and generation of the image of the Magixoom system is performed, that is, searching
  • the pixel mapping relationship between the pixel value of the output image of the Magixoom system and the image pixel value of each sensor array is as follows:
  • R ' j is the pixel value at the coordinates of the Magixoom image
  • p is the sensor image number that affects the pixel value at the Magixoom image coordinates
  • f x p , y is the pixel value of the ( 1 ⁇ 2 , > ) point of the sensor image number P;
  • the image processing device further includes:
  • the micro-registration module is used to obtain the relative positional relationship between adjacent projected images caused by the change of the object distance by accurately calculating the object distance and the object distance of the product design.
  • the offset of the pixel is corrected according to the offset, and the updated pixel mapping relationship is obtained.
  • system control device is further configured to:
  • the Magixoom system is operated in a photographing mode, a dynamic tracking mode or a macro mode, wherein in the photographing mode, the NFLFS array is subjected to uniform exposure control by the system control device to perform a one-time wide field scene
  • the photograph is taken, and the photographed image is sent to the image processing apparatus for processing, and the processed photographed image is stored in the memory.
  • the unified exposure control means that all the NFLFS are uniformly controlled by the system control device to control the electronic shutter of the sensor to expose the sensor at the same time, and the exposure at the same time includes that each NFLFS has the same exposure duration and different exposure durations; In the case of different exposure durations, the NFLFS exposure period with a longer exposure time covers the exposure period of the NFLFS with a shorter exposure duration.
  • the NFLFS array is controlled by a unified exposure control
  • the system control device dynamically tracks the finder frame according to the coordinates of the tracked object in the imaging system and the framing range according to the application design
  • the image processing device only refers to the dynamic Tracking the image within the framing frame for splicing pre-processing and splicing processing, and storing the image in the splicing-processed dynamic tracking finder frame to the memory
  • the splicing pre-processing includes image projection transformation
  • the image projection transformation refers to Dynamically tracking the array image of the NFLFS array distributed along the spherical surface of each image plane in the finder frame to the tangent point in a specified plane of the spherical surface of the Magixoom system with the optical center of the Magixoom system in the Magixoom system field of view A planar distribution image array.
  • the image in the wide field of view scene seen through the display and the browsing software is a sample of the original captured image to obtain a small amount of data, which is seen by the display and the browsing software.
  • a close-up image within a field of view scene is a partial close-up image within a wide-field scene or even an interpolated and magnified image of a local close-up image within a wide-field scene; in dynamic tracking mode or macro mode, through the display and video
  • the display software sees a dynamic scene close-up video in the dynamic tracking framing frame or a video taken by the macro imaging system.
  • Macro imaging subsystem for independent macro imaging subsystems operating in macro mode or integrated in Magixoom systems in the Magixoom system, independently performing macro photography or video under the control of the system control device Shooting.
  • the dynamic tracking auxiliary imaging system has an apparent angle of view that is approximately the same as the field of view of the NFLFS array, and is used to assist the Magixoom system to acquire the coordinates of the tracked target when the dynamic tracking mode is run and transmit the coordinates to the Magixoom system in real time. Or for imaging that is farther than the object distance between the macro system and the Magixoom system.
  • the image processing apparatus may include one or more of the following modules to make the Magixoom system have better performance:
  • the color correction module replaces the automatic white balance function of each NFLFS to correct the color distortion of the formed image
  • a geometric correction module for performing geometric distortion correction on each NFLFS image
  • a brightness correction module for performing brightness distortion correction on each NFLFS image
  • the NFLFS array is a 3 X 3 NFLFS array, wherein an angle of the main optical axis of the horizontally adjacent NFLFS is 16.2°, an angle of the main optical axis of the vertically adjacent NFLFS is 12.05°, and a horizontal overlap angle is 1.5°.
  • the vertical overlap angle is 1.25°
  • the HFOV is 50. ⁇
  • the VFOV is 37.4°.
  • the Magixoom system of the present invention utilizes an M x N narrow field of view telephoto imaging system array, enabling ultra-high resolution imaging, simultaneous wide-angle and close-up imaging, and the ability to track dynamic targets for close-up tracking.
  • the imaging resolution of the imaging system of the present invention is much greater than the display resolution.
  • the optical resolution of the Magixoom system greatly exceeds the resolution of conventional imaging systems with the same optical specifications at general industrial accuracy, with an ultra-high LW/PH value.
  • the resolution of ultra-high resolution images imaged by the NFLFS array and spliced by the image processing device is much larger than the general display resolution. Therefore, the display of the wide-field scene must first sample the ultra-high resolution image.
  • the imaging system with this feature is named Magic Zoom, the Magixoom system.
  • FIG. 1 is a block diagram showing the principle composition of a Magixoom system according to an embodiment of the present invention
  • FIG. 2 is a horizontal cross-sectional view of a 3 x 3 NFLFS array of a Magixoom system in accordance with an embodiment of the present invention
  • Figure 3a and Figure 3b are schematic diagrams of the front and back optical centers in a 3 X 3 NFLFS array, respectively;
  • FIG. 4 is a cross-sectional view of the NFLFS line in the horizontal direction of the Magixoom system according to an embodiment of the present invention
  • Figure 5 is a cross-sectional view of a vertical row of NFLFS in the vertical direction of the Magixoom system in accordance with an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of an image array and an ultra-high resolution image in a photographing mode according to an embodiment of the present invention.
  • FIG. 7 is an image array and a dynamic tracking framing frame in a dynamic tracking mode according to an embodiment of the present invention. And dynamic tracking image schematic.
  • FIG. 8 is a schematic flow chart of a Magixoom method according to an embodiment of the present invention.
  • FIG. 9 is a schematic flowchart of a full-process calculation mode according to an embodiment of the present invention.
  • Figure 10 is a schematic diagram of nine array images taken by the 3x3 Magixoom system.
  • FIG. 11 is a schematic diagram of determining auxiliary point selection according to an embodiment of the present invention.
  • FIG. 12 is a schematic diagram of a template crossover line of MSAD registration according to an embodiment of the present invention.
  • FIG. 13 is a schematic diagram showing an overlapping area formed by an image 1 and an image 2 according to an embodiment of the present invention.
  • FIG. 14 is a schematic diagram of a fusion result obtained by using a coverage fusion algorithm according to an embodiment of the present invention.
  • FIG. 15 is a schematic diagram of an irregular polygon image obtained by stitching according to an embodiment of the present invention.
  • FIG. 16 is a schematic diagram of cutting an irregular polygon image according to an embodiment of the present invention.
  • FIG. 17 is a schematic flowchart of a data mapping mode according to an embodiment of the present invention.
  • FIG. 18 is a schematic diagram of two image overlapping structures according to an embodiment of the present invention.
  • FIG. 19 is a schematic flowchart of a data mapping mode based on micro-registration according to an embodiment of the present invention. detailed description
  • FIG. 1 illustrates a Magixoom system in accordance with an embodiment of the present invention.
  • the Magixoom system includes an NFLFS array 10, an image processing device 12, and a system control device 14.
  • the NFLFS array is M rows and N columns.
  • the fields of view of adjacent NFLFSIOO overlap each other, and the main optical axis of each NFLFSIOO converges at a point or a neighborhood of the point, which is the optical center of the Magixoom system, where M and N are both A natural number greater than or equal to 1, and at least one of M and N is greater than 1 and is not equal to 2.
  • the fields of view of adjacent NFLFSs in the NFLFS array of the narrow field of view telephoto imaging subsystem are adjacent, and the fields of view of adjacent NFLFS overlap slightly in the designed object distance; adjacent peers or the same column
  • the angle of the main optical axis of the NFLFS is smaller than the angle of view of the peers or the same column of each NFLFS.
  • the initial overlap point in the object direction of the overlapping regions is closer to the near end of the design depth of field of the Magixoom system.
  • the system control unit 14 is connected to the image processing unit 12 and the NFLFS array 10 of M x N to control the operation of the various components of the Magixoom system.
  • the horizontal field of view of the narrow field of view telephoto imaging subsystem NFLFSIOO at the i-th row and the j-th column is a vertical field angle of ⁇ + ⁇ ⁇ + £
  • the horizontal field of view angle HFOV of the Magixoom system is N ⁇ 3 ⁇ 4 + ⁇ 3 ⁇ 4 + e h
  • the vertical field of view of the Magixoom system is VFOV ⁇ ⁇ + ⁇ ⁇ + ⁇ ⁇ ⁇
  • ⁇ is the field of view of the horizontally adjacent NFLFS
  • the overlap angle is approximately the angle between the edge of the horizontal field of view overlapping region to the center of the system at the infinity of the horizontally adjacent NFLFS, and the angle between the main optical axes of the horizontally adjacent NFLFS 100, and 180° ⁇ ⁇ 0° , 90° ⁇ ” ⁇ 0°.
  • the field of view overlap angle of vertically adjacent NFLFS approximately the edge of the vertical field of view overlap at the infinity of the vertically adjacent NFLFS
  • the angle to the center of the system and 180 ° > ⁇ 0 °, 90 ° > ⁇ ⁇ 3 ⁇ 4 > 0 °.
  • each NFLFS 100 converges at a junction, which is the optical center of the Magixoom system, which is located in front of or behind the Magixoom system.
  • the main optical axis intersection of all NFLFS is behind the NFLFS, which is called the back optical center, and thus constitutes the Magixoom system as the rear optical system.
  • the intersection of the main optical axes of all NFLFS is in front of the NFLFS, and the junction is called the front optical center, and thus the Magixoom system becomes the front optical system.
  • Figures 3a and 3b are schematic illustrations of the front and back optical centers in a 3 X 3 NFLFS array.
  • the required field of view of the Magixoom system is determined according to the specific application requirements and cost of the Magixoom system, and the resolution required at different object distances; according to the resolution of the lens and the resolution of the CCD/CMOS photoelectric sensor Other factors determine the M of the Magixoom system
  • Design parameters of XN's NFLFS array such as the number of rows and columns of NFLFS , ⁇ 3 ⁇ 4 , ⁇ , ⁇ ⁇ , etc.
  • the image processing device 12 performs splicing processing on the array images having the adjacent overlapping characteristics taken by the narrow field of view telephoto imaging system array to obtain an ultra-high resolution wide field of view image.
  • the wide field of view scene image after the stitching process can be stored in the memory 22.
  • the image processing apparatus 12 performs splicing processing on the array image having the adjacent overlapping characteristics, and the image splicing technique in the prior art is used, and details are not described herein again.
  • the system control device 14 in the Magixoom system of the embodiment of the present invention may further include a mode control function.
  • the system control device 14 is connected to each of the NFLFS and to the image processing device 12. With the system control unit 14, the user can choose to have the Magixoom system operate in a photographing mode or a dynamic tracking mode or a macro mode.
  • the photographing mode includes a panoramic spherical mode and a panoramic planar mode.
  • the image processing device 12 directly splicing the array images taken by the NFLFS arrays whose image planes are distributed along the approximate spherical surface to obtain an image of the panoramic image plane along the approximate spherical surface without performing projection.
  • Transform splicing preprocessing; in the panoramic plane mode, graph The image processing device 12 performs splicing preprocessing including image projection transformation, and then performs splicing processing to obtain an image of a planar shooting mode, wherein the image projection transformation refers to an array formed by NFLFS arrays of various image planes distributed along a spherical surface.
  • Image Projection to Cut Point An array of planarly distributed images is obtained within a specified plane of the spherical surface of the Magixoom system's center of the sphere in the Magixoom system's field of view.
  • the NFLFS array is subjected to unified exposure control by the system control device 14 to take a one-time photograph of the wide field of view scene to obtain an image array as shown in FIG. 6, and the photographed image is sent to the image processing apparatus 12 for stitching preprocessing. And the splicing process, the ultra-high resolution image included in the outer edge of the image array as shown in FIG. 6 is obtained, and the spliced ultra-high resolution image is stored in the memory 22.
  • the unified exposure control means that all the NFLFS are uniformly controlled by the system control device 14 to control the electronic shutter of the sensor to expose the sensor at the same time, and the exposure at the same time includes that each NFLFS has the same exposure duration and different exposure durations. In the case of different exposure durations, the NFLFS exposure period with a longer exposure time covers the NFLFS exposure period with a shorter exposure duration.
  • the narrow field of view telephoto imaging system array photographs all scenes by the same shutter control, and the NFLFS array is uniformly exposed by the system control device 14 to photograph all the scenes to obtain the image array shown in FIG.
  • the system control device 14 defines a dynamic tracking finder frame as shown in FIG. 7 according to the coordinates and the framing range of the tracked object, and the image processing device 12 only splicing the image within the dynamic tracking finder frame.
  • the processing and splicing process results in an image within the dynamic tracking framing frame as shown in FIG. 7, and stores the image within the dynamic tracking framing frame to the memory 22.
  • the splicing pre-processing includes image projection transformation, wherein the image projection transformation refers to dynamically tracking an array image formed by NFLFS arrays of various image planes along the spherical surface in the finder frame to the point of view in the field of view of the Magixoom system.
  • the optical center of the Magixoom system provides an array of planarly distributed images in a specified section of the spherical surface of the sphere.
  • dynamic tracking mode or macro mode you can see the dynamic scene close-up video in the dynamic tracking frame or the video captured by the macro imaging system through the display and video display software.
  • the dynamic target object is identified by the pattern recognition function of the software in the image processing device to determine its position coordinates; and then according to the determined position coordinates and The required framing range determines the framing frame.
  • the scene is taken after tracking and the output dynamic video is processed. If the tracked dynamic target object's viewfinder spans more than two
  • a wide field of view imaging system can be set as a dynamic tracking aid on the side of the Magixoom system.
  • the imaging system 20 is configured to acquire the coordinates of the tracked target when the Magixoom system is operating in the dynamic tracking mode and transmit it to the Magixoom system in real time.
  • the dynamic tracking assisted imaging system 20 is also coupled to the system control unit 14.
  • the imaging field of view of the dynamic tracking assisted imaging system 20 coincides with the field of view of the Magixoom system, allowing the Magixoom system and the auxiliary imaging system to simultaneously capture the exact same scene with the same scene coordinates.
  • the coordinates of the tracking dynamic target object are determined by tracking the dynamic target object in the captured display image of the additional imaging system with an external tool such as a mouse or a finger on the touch screen.
  • the dynamic video data is selected in the Magixoom system according to the coordinates of the tracked dynamic target object and the frame required for the application, and the dynamic video of the tracked dynamic target object is output. If the target frame of the tracked target object spans more than two NFLFS shooting fields, the images in the taken frame are stitched to achieve dynamic tracking video.
  • the Magixoom system can also include a macro imaging system 18 coupled to system control unit 14.
  • the Magixoom system generally only shoots scenes with far objects, so that users can see the wide field of view while viewing the small scenes in a close-up manner, but this mode is due to the focus position and angle of view. Not suitable for taking macro images. Therefore, if the Magixoom system needs to capture an object within the macro, that is, when operating in the macro mode, under the control of the system control device 14, the NFLFS array of ⁇ N will not operate, and the macro imaging system 18 independently performs macro. Photo or video capture.
  • the memory may be located in the Magixoom system or external to the Magixoom system.
  • the image processing device is connected to the external memory through the data line.
  • the Magixoom system further includes a display 16, browsing software, and video browsing software for the user to view images and videos of the Magixoom system.
  • the browsing software and video browsing software can be installed into the system control device 14.
  • the image in the wide field of view scene seen through the display 16 and the browsing software is an image obtained by sampling the originally photographed image to obtain a small amount of data
  • the close-up image in the wide field of view scene seen through the display 16 and the browsing software is Wide field of view A partial close-up image within the scene or even an interpolated and magnified image of a local close-up image within the wide field of view scene.
  • the originally captured image may be stored in a memory for viewing by the user via display 16 and browsing software, or may be sent directly from image processing device 12 to display 16 for viewing by the user.
  • the imaging resolution of the Magixoom system is much greater than the display resolution.
  • the optical resolution of the Magixoom system greatly exceeds the resolution of conventional imaging systems with the same optical specifications at general industrial accuracy, with an ultra-high LW/PH value.
  • the imaging resolution of the Magixoom system is much larger than the normal display resolution in the general sense. Therefore, when the display of the ordinary display resolution displays the imaging of the system of the present invention, the ultra-high resolution wide field of view image is sampled and the display resolution is adapted for wide field of view image display. For any local position in the image formed by the ultra-high resolution imaging system of the present invention, image pixels of display resolution size are acquired centered on the position and displayed by a common display resolution display, and a partial close-up high resolution can be obtained. Imaging images.
  • the shooting application software in the image processing apparatus 12 sets the dynamic finder frame according to the specified tracking dynamic position and takes out the data in the dynamic framing frame in real time for shooting, thereby obtaining a dynamic shooting video for tracking the dynamic object.
  • Each NFLFS uses EDOF or EIDOF for large depth of field imaging.
  • EDOF or EIDOF are both prior art and are not mentioned here.
  • the image processing device 12 may include one or more of the following modules to improve stitching accuracy and stitching efficiency and system image quality: a color correction module that replaces the image of each NFLFS automatic white balance function. Color distortion correction; geometric correction module for geometric distortion correction of each NFLFS image; brightness correction module for brightness distortion correction for each NFLFS image; EDOF or EIDOF decoding module, for Decoding of images made by NFLFS using EDOF or EIDOF technology.
  • the Magixoom system in an embodiment of the invention may also include an output interface 24 coupled to system control unit 14. Through the output interface 24, it is possible to externally communicate with the system control device 14 to perform related operations, such as accessing the memory 22 to acquire an image.
  • M X N NFLFS 100 is 3 ⁇ 3 NFLFS100.
  • the vertical field resolution LW/PH of the Magixoom system in this example is close to 5783, and the horizontal field of view resolution LW/PH is close to 7800.
  • the spatial resolution at 100m object distance (corresponding to each pixel) is 1.15cm-1.19cm.
  • Each NFLFS in the Magixoom system uses EIDOF technology, and the target object is clearly imaged 3m ahead, and each NFLFS has a depth of field of 2m to infinity;
  • the Magixoom system consists of 3 x 3 sub-NFLFS.
  • Each NFLFS CCD uses a 1/4" target surface (approximately 4.5mm diagonal, 2.7mm high and 3.6mm wide).
  • the resolution of the CCD is 2592 X. 1944) ;
  • the angle of view of the diagonal direction of the imaged NFLFS lens as shown in Figure 4 and Figure 5 should be 22 °, corresponding to the horizontal field of view of the NFLFS lens.
  • the NFLFS lens has a vertical field of view of 13.3°.
  • the optical characteristics of the system are the overlapping areas of the field of view of each NFLFS lens.
  • the image processing apparatus includes image processing apparatuses of a full-calculation mode or an image processing apparatus of a data mapping mode in accordance with different product application requirements.
  • the image processing device of the full calculation mode may further include: an image projection module, an image overlap region feature point finding module, an image registration splicing module, an image fusion module, and an image cropping module (not shown), wherein
  • Image projection module projecting the sensor coordinate system of each array image to the system coordinate system to obtain a corresponding projection image in the system coordinate system;
  • Image overlapping area feature point finding module finding feature points in an overlapping area of the projected image
  • Image registration splicing module Using the feature points to find the corresponding registration points in the corresponding overlapping images, and screening the registration point pairs to find valid registration point pairs; according to the found effective registration Point-to-calculate the relative positional relationship between the projected images of the respective sensors, and perform image stitching in the system coordinate system;
  • Image fusion module adjusts the hue, brightness, and saturation between adjacent images after stitching to achieve a smooth transition between hue, brightness, and saturation between adjacent images;
  • the image processing apparatus of the data mapping mode may further include: a pixel mapping module, where
  • the pixmap module is configured to perform the Magixoom system image according to the mapping relationship between the captured array image and the array image and the fixed image of the Magixoom system image for the object distance of the actual photographing and the object distance of the product design. Mapping and generation.
  • the fixed a priori mapping relationship between the array image and the Magixoom system image refers to: an array image generated by actual shooting or simulation in the system design process, through image projection, overlapping region feature point searching, registration stitching, fusion And cropping, establishing a pixel mapping relationship between the array image and the Magixoom system image.
  • the image processing apparatus may further include:
  • the micro-registration module is used to obtain the relative positional relationship between adjacent projected images caused by the change of the object distance by accurately calculating the object distance and the object distance of the product design.
  • the offset of the pixel is corrected according to the offset, and the updated pixel mapping relationship is obtained.
  • FIG. 8 is a schematic flow chart of a Magixoom method according to an embodiment of the present invention. Referring to Figure 8, the process includes:
  • Step 81 setting an NFLFS array consisting of M rows and N columns of narrow field of view telephoto imaging subsystem NFLFS, the fields of view of adjacent NFLFS overlapping each other, and the main optical axis of each NFLFS converges at a point or a neighborhood of the point Inside, this point is the optical center of the Magixoom system;
  • both M and N are natural numbers greater than or equal to 1, and at least one of M and N is greater than 1 and is not equal to 2.
  • Step 83 setting a horizontal angle of view HFOV of the Magixoom system to No h + co h +e h ,
  • the vertical field of view VFOV of the Magixoom system is ⁇ « ⁇ + ⁇ « ⁇ +£ v ;
  • the design angle between the main optical axes of horizontally adjacent NFLFS, ⁇ ⁇ is the design angle between the main optical axes of vertically adjacent NFLFS, ⁇ 3 ⁇ 4 is the field of view overlap angle of horizontally adjacent NFLFS, approximation
  • the angle of overlap of the edge of the horizontal field of view overlap to the center of the system at the infinity of the horizontally adjacent NFLFS, ⁇ ⁇ is the field of view overlap angle of the vertically adjacent NFLFS, approximately vertically adjacent NFLFS vertical field of view of the object distance infinity edge overlap region the angle of the optical center of the system,
  • £ ⁇ are horizontal NFLFS the i-th row j-th column, the vertical field angle error, £ 3 ⁇ 4, ⁇ ⁇ respectively Horizontal and vertical field angle
  • Step 84 a system control device, connected to the image processing device and the NFLFS array, for controlling the operation of each component of the Magixoom system;
  • Step 85 An image processing apparatus, configured to process an array image having adjacent overlapping characteristics captured by the NFLFS array to obtain a wide field of view ultra-high resolution image.
  • the image processing device includes an image processing device of a full-calculation mode or an image processing device of a data mapping mode according to different product application requirements.
  • the image processing device of the full calculation mode includes: image projection, image overlap region feature point search, image registration stitching, image fusion, and image cropping, wherein
  • Image projection Projecting the sensor coordinate system of each array image to the system coordinate system, and obtaining a corresponding projection image in the system coordinate system;
  • Image overlap area feature point finding Find feature points in the overlapping area of the projected image;
  • Image registration stitching Use the feature points to find corresponding registration points in the corresponding overlapping images, and filter the registration point pairs to find effective Registration point pair; according to the found effective registration point pair calculated relative positional relationship between the sensor images, the image is stitched in the system coordinate system;
  • Image fusion Adjust the hue, brightness, and saturation between adjacent images after stitching to achieve a smooth transition between hue, brightness, and saturation between adjacent images;
  • Image cropping Take the inscribed quadrilateral of the image obtained after stitching, and cut off the portion other than the quadrilateral to obtain the image output.
  • the specific method for image projection includes:
  • the image processing apparatus includes three implementation manners for image processing, the first implementation manner is a full-process calculation mode, and the second implementation manner is a data mapping mode based on prior knowledge, and the third implementation manner is based on Micro-registered data mapping mode.
  • the image projection is to project the sensor coordinate system of each array image to the system coordinate system, and obtain the corresponding projection image in the system coordinate system, that is, based on the existing image projection matrix, through the projection matrix to the sensor coordinate system of the array image.
  • Each pixel is projected and interpolated to obtain a projected image of the image in the system coordinate system.
  • the sensor coordinate system refers to a scene based on the optical parameters of the lens and the sensor photosensitive plane and the sensor parameters are projected into an image. Coordinate system, each sensor coordinate system is independent of each other; system coordinate system is the coordinate system of the final output image of the zoom imaging system of the present invention.
  • the corresponding registration points are found in the corresponding overlapping images by using the feature points, and the registration point pairs are screened to find an effective registration point pair; the calculated sensors are obtained according to the found effective registration point pairs.
  • the hue, brightness, and saturation are adjusted between adjacent images after stitching to achieve a smooth transition between hue, brightness, and saturation between adjacent images;
  • the image projection step and the image overlap region feature point searching step are not in sequence, that is, the image projection step may also be after the image overlap region feature point searching step or at the same time; similarly, the image fusion step and the image There are no prior divisions in the cutting steps.
  • FIG. 9 is a schematic flowchart of a full-process calculation mode according to an embodiment of the present invention. See Figure 9, the process package Including: image projection based on prior knowledge, feature point finding in overlapping regions, normal flow processing or exception processing, image registration stitching, image blending, and image cropping, etc. After searching for feature points in overlapping regions, it is possible to pass normal Image registration and splicing are performed after the process is processed, and image registration splicing can also be performed after exception processing, specifically,
  • Step 901 Perform imaging on the captured array image according to a preset projection matrix
  • the image projection includes: a projection method for calculating a projection matrix based on the relationship between the feature points of each adjacent image captured, and a projection method based on the prior projection matrix. among them,
  • the above feature point finding algorithms are relatively mature, and the correctness of feature point finding is also guaranteed, but the computational complexity is relatively large.
  • a feature point finding algorithm based on regional extremum is proposed.
  • the feature point of the Magixoom system has an extreme value feature of the current region, and the extremum is an excellent extreme point under a certain threshold condition, and the information large.
  • the regional extreme points are obtained as follows:
  • Al l in the vicinity of the boundary of the overlapping area, select the starting search point of the effective regional extremum feature point, and determine the cross in a fixed step in each direction on any intersecting line passing the starting search point Judging auxiliary points of two regional extreme feature points on the line;
  • A12 Calculate the absolute value of the sum of the pixel value differences between the auxiliary point and the search point on each line in the cross line, and sum the absolute values on the two lines to obtain a summation value higher than a preset condition threshold.
  • the search point is set as the current regional extremum feature point coordinate in the extreme feature point list.
  • the effective region extremum feature point is selected adjacent to the boundary of the overlapping region between the array images.
  • the starting search point determines the auxiliary point of the two regional extreme feature points on each of the intersecting lines on any intersecting line that passes the starting search point.
  • the feature points need to be extreme points of the overlapping area.
  • / (, j) is the pixel value of the search point P(i, j), i, is a positive real number
  • ⁇ is the sum of the pixel value difference between the auxiliary judgment points P(i + step5, j - stepG), sfep7, + Wep8) and the search point P(i, j) on the second line in the cross line;
  • ⁇ is the preset condition threshold
  • s fe P is the sampling step size
  • FIG. 11 is a schematic diagram of determining auxiliary point selection according to an embodiment of the present invention.
  • the point is the intersection point, and a line consisting of pixels of the point P(i, j) is set as the first line in the cross line, and the other point of the point P (, ) is the pixel point.
  • the composed line is set as the second line in the cross line, and the positional relationship of different pixel points according to the sampling step is as shown in the figure.
  • step Al l and step A12 moving the search point, according to the same method as step Al l and step A12, and traversing the entire overlapping area to obtain a search point whose summation value is higher than a preset condition threshold, and obtaining a list of regional extreme value feature points of the overlapping area.
  • the extreme feature points of the overlapping region can be found through three or more intersecting lines according to steps Al l ⁇ A13 .
  • the extreme feature points can also be filtered to make the extreme feature points more accurate. Further includes:
  • the obtained regional extreme feature points are sorted according to the summation value from large to small, Taking the previous extreme point of the sort as the candidate region extreme value feature point;
  • A15 update the list of regional extreme feature points of the overlapped area.
  • the Wx 2 template information amount is calculated by using each candidate extreme point as the center, and the template information size is sorted, and the top N template information maximum candidate extreme points are taken out.
  • ⁇ and w can be determined according to actual needs, and 2 is a template specification centered on the candidate extreme point.
  • Image registration stitching algorithms include:
  • an image registration algorithm based on a projected image is adopted. Since there is no rotational stretching between the projected images, only the translation relationship is used. Therefore, accurate correlation can be performed based on the correlation degree of the projected image.
  • the criterion for accurate registration of correlation is to find the minimum absolute value and difference of the cross line.
  • the method used to select the registration area is: according to the optical system structure of the product and the object distance range of the product application scene, or the respective sensor images obtained according to the actual shooting of the product, the positional relationship of the same scene in the adjacent image, and the actual shooting.
  • the object distance range is obtained, and the maximum variation range of the corresponding adjacent image overlapping area is obtained, and the maximum registration range is determined.
  • the exact registration point pair corresponding to the extreme value feature points of the registration region is calculated, that is, the search for the precise registration point is performed.
  • FIG. 12 is a schematic diagram of a template crossover line of MSAD registration according to an embodiment of the present invention.
  • the intersection line of the over-registration region extremum feature points is used as the template cross-line of the MSAD registration, and the image point Q (ii, jj) in the search registration region is found to be the smallest in the template cross-line.
  • Point, candidate registration point pair as the current extreme feature point of the registration area. That is to say, the candidate registration points corresponding to the registration region extreme value feature points P(j, j) are represented as Q (ii, jj ), and each registration region extreme value feature point P(, ) and the corresponding candidate registration point Q (ii, jj) forms a candidate registration point pair.
  • Finding candidate registration point pairs using the MSAD method includes:
  • Step 1 the formula calculates MSAD
  • Step9, steplO, stepl 1, stepll are the registration step size
  • P(i, j) is an extreme image feature point of the registration image region
  • SAD is (Sum of Absolute Difference), which is the sum of the absolute values of the corresponding differences of the values of two corresponding sequences; MSAD is ( Minimum Sum of Absolute Difference ) and refers to the minimum of multiple SAD values.
  • the precise registration point is selected.
  • the punctual point is the reference positional relationship as the final image stitching. That is, using the distance difference integration algorithm, the pairing of pairs of N pairs is rationally screened.
  • any pair of registration point pairs ( ⁇ ⁇ ( ⁇ , j) , Q k2 (ii, jj) ) , that is, take any two pairs of registration points ⁇ P kl (i, j), Q kl (ii, jj)) and ⁇ P k2 (i, j), Q k2 (ii, jj) , respectively calculate the distance P kl P k2 , Q kl Q k2 , and use l ⁇ - ftA 2
  • A23 according to the small to large, sorting the rationality screening points of each candidate registration point pair obtained, and selecting the pre-sorting N. H ⁇ k registration point pairs;
  • the most reasonable N is selected.
  • H ⁇ k pairs the registration point pairs as the reference positional relationship for the final image fusion.
  • N H ⁇ k can be determined according to actual needs.
  • S k integration The h ⁇ k pair registration point pair serves as a reference point for the registration relationship between the two images of the array image.
  • the position coordinate information of the point in image 1 can be obtained as ⁇
  • the position coordinate information in image 2 is P 2 (3 ⁇ 4, y 2 )
  • the fusion region overlap region
  • the left and right boundaries are known, respectively x feft , x nght , which include but are not limited to the following specific methods: Image fusion using the following gradient fusion algorithm: then overlap the region
  • the pixel value is calculated as:
  • X p is the horizontal position coordinate information of any point selected
  • FIG. 14 is a schematic diagram of a fusion result obtained by using a coverage fusion algorithm according to an embodiment of the present invention. As shown in the figure, the results of the fusion are covered for the two images. In the figure, the black bold line portion is the place where the gray value jumps of the two images are merged. In the embodiment of the present invention, the overlay fusion algorithm only performs fusion processing on the hopping of the black bold line portion.
  • Step 905 Perform cropping processing on the image subjected to the image fusion processing, and output the image obtained by the cropping processing.
  • ⁇ is the maximum line number of the irregular polygon.
  • a pixel point matrix is constructed according to each pixel point of the overlapping area of the array image, and multiplied by the relation matrix to obtain the pixel value of each pixel of the overlapping area.
  • Step 181 Pre-establish a pixel mapping relationship.
  • f x p, y is the pixel value of the ( 1 ⁇ 2 , > ) point of the sensor image number P;
  • Step 801 pre-establishing a pixel mapping relationship
  • Step 803 real-time calculation and fine-tuning the pixel mapping relationship
  • the pre-established pixmap relationship is updated according to the pixmap relationship of the trimming correction, and a corrected pixmap relationship is generated.
  • Step 806 outputting a large resolution image.
  • the image processing apparatus further includes:
  • the correction process is as follows: after acquiring the array image, searching for feature points and searching for precise registration points for some overlapping regions, and calculating the offset ( ⁇ ⁇ , ⁇ y ) of the relative positional relationship between adjacent images, according to The offset corrects the image address, the output image coordinate, and the weighting factor in the original pixel mapping relationship table to obtain a new pixel mapping relationship.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种Magixoom方法和***，该***包括窄视场长焦光学成像子***阵列和具有图像拼接等功能的图像处理装置以及具有***控制功能的***控制装置。本发明中，所成图像具有超高分辨率。在选择的设计指标内，通过视场选择可以实现获得宽视场的广角图像的同时也可以获得窄视场的特写图像。

Description

说 明 书 宽视场超高分辨率光学成像***及方法
技术领域
本发明涉及光学成像领域， 尤其是一种宽视场角图像和窄视场角图像都能 达到较高分辨率的成像***及方法。 背景技术
目前的光学成像***大部分都是单镜头成像***， 包括短焦成像*** 以及长焦成像***。 其中， 短焦成像***具有可以拍摄宽视场角的宏观广 角图像的能力， 长焦成像***具有可以拍摄窄视场角的微观细节特写图像 的能力。 一般的像素成像的可视分辨率 （LW/PH )值都在 1千到 千万左 右， 更高分辨率的***， 因为没有通用高分辨率传感器， 很难做到； 或者 必须花很高的代价去实现更高分辨率的传感器， 同时因为高分辨率光学系 统也很难在工艺上达到， 因此要拍摄广角的成像， 就要选择短焦的广角镜 头； 要拍摄特写的细节图像， 就要选择长焦的窄视场镜头。 如果想拍摄既 能看到宽视场角的广角宏观图像， 同时也想看到该时刻的该场景内的任意 窄视场角的微观细节特写图像， 在一台相机上是不可能实现的。 这对于拍 摄动态的细节是非常难以捕捉到拍摄位置和时机的， 所有现在的相机只能 是利用多拍、 利用丰富的拍摄经验拍摄才可以提高细节拍摄的成功率。 比 如对于运动中的球员的细节特写， 连续拍摄就是很难的事情。
诺基亚开发了一款 4100万像素的 Lumia808 Pure View ***。 该***是 单镜头配高分辨率大像面互补金属氧化物半导体（CMOS )手机相机， 该相 机具有过采样（ oversampling ) 的功能， 在一个较宽的视场拍摄超高分辨率 的图像， 然后在显示的时候采用一般分辨率的显示， 可以去看整个视场或 者局部视场的一般分辨率图像， 实现了宽视场角和窄视场角等清晰分辨率 或者接近清晰分辨率图像的同时获得。 这样的***提供了较好的宏观广角 成像和微观细节成像的统一， 但由于该产品的光圈较大， 景深较小， 对于 大纵深的被拍摄场景， 很难确保被拍摄景物都在景深范围内。 如果被拍摄 的景物超出景深范围， 则该部分景物的细节则无法看清。 所以其缺点是景 深小。 该***无法实现不调焦拍摄， 另一个缺点是该***设计采用一个独 立的超高分辨率 CMOS传感器， 传感器成本较高， 另一个缺点是该***的 光学成像镜头的精度工艺要求非常高， 实现成本较高。 该***还无法实现 动态细节的跟踪拍摄。
微软公开开发了一种成像***即 Gigapixel camera, 其采用多个传感器 阵列和单一窄视场镜头， 分时对相邻并有互相交叠的场景下在不同的传感 器上进行拍摄相对位置移动拍摄的成像***。 该***也能实现在一张图像 实现看到大视场角的广角图像和小视场角的细节特写的能力。
现有技术中的传感器分辨率和显示分辨率接近的光学成像***， 如果 要拍摄广角的成像， 就要选择短焦广角的镜头； 而要拍摄特写的细节图像， 就要选择长焦的窄视场镜头。 两者不能兼得。 在动态细节的抓拍中， 由于 要跟焦拍摄， 跟目标拍摄， 即使有经验的拍摄者也很难长时间抓住动目标 特写拍摄。
因此， 现有技术中存在对能够拍摄动态细节又能够拍摄广角景象的成 像***的需要。 发明内容
针对现有技术的缺陷， 本发明提供了一种宽视场超高分辨率光学成像 ***， 即基于超高分辨率成像技术的魔幻变焦 （Magixoom ) ***， 包括： 由 M行和 N列窄视场长焦成像子*** NFLFS组成的 NFLFS阵列， 相邻的 NFLFS的视场互相交叠，每一个 NFLFS的主光轴汇聚于一点或者 该点邻域范围内， 该点为 Magixoom***光心， 其中， M、 N均为大于等 于 1 的自然数， 并且 M和 N中至少一个大于 1且均不等于 2; 第 i行 j 列处 NFLFS的水平视场角为 垂直视场角为 ν +Δ ν +£ 所述 Magixoom***的水平视场角 HFOV为 N<¾ +Δ<¾ + eh , Magixoom***的垂 直视场角 VFOV 为 Μ<¾ + Δ<¾ + £ν , 其中， 180° > <¾ > 0° , 90° > Δ<¾ > 0。， 180° > ων > 0 90° > Αων > 0° , ί¾为水平相邻的 NFLFS的主光轴之间的设计夹 角， 为垂直相邻的 NFLFS 的主光轴之间的设计夹角， Δί¾为水平相邻的 NFLFS的视场交叠角，近似为在水平相邻的 NFLFS的物距无穷远处水平视 场交叠区域边缘对***光心的夹角， Δβν为垂直相邻的 NFLFS 的视场交叠 角， 近似为在垂直相邻的 NFLFS的物距无穷远处垂直视场交叠区域边缘对 ***光心的夹角， ehij、 ^分别为第 i行 j列处 NFLFS的水平、 垂直视场 角误差， £h、 £v分别为 Magixoom***的水平、 垂直视场角误差；
图像处理装置， 用于对所述 NFLFS阵列所拍的具有相邻交叠特性的 阵列图像进行处理以获得宽视场超高分辨率图像的装置； ***控制装置， 连接到所述图像处理装置和 NFLFS阵列， 用于对所 述 Magixoom***的各个组成部件的运行进行控制的装置。
其中， 所述图像处理装置按照不同的产品应用要求， 包括全程计算模 式的图像处理装置或数据映射模式的图像处理装置。
其中， 所述全程计算模式的图像处理装置包括： 图像投影模块、 图像 重叠区域特征点寻找模块、 图像配准拼接模块、 图像融合模块以及图像裁 切模块， 其中，
图像投影模块， 将每个阵列图像所在传感器坐标系投影到***坐标系， 获得在***坐标系下相对应的投影图像；
图像重叠区域特征点寻找模块，在投影图像的重叠区域内寻找到特征 点；
图像配准拼接模块， 利用特征点在对应的重叠图像内找到对应的配准 点， 并对配准点对进行筛选， 找到有效的配准点对； 按照找到的有效配准 点对计算得到的各个传感器投影图像之间的相对位置关系， 在***坐标系 内进行图像的拼接；
图像融合模块， 对拼接后相邻图像之间在色调、 亮度、 饱和度进行调 整以达到相邻图像间在色调、 亮度、 饱和度的平滑过渡；
图像裁切模块， 取拼接后所得图像的内接四边形， 并剪切掉四边形之 外的部分， 得到图像输出。
其中， 所述数据映射模式的图像处理装置包括： 像素映射模块， 像素映射模块，用于针对实际拍摄的物距和产品设计的物距接近的情 况下，根据拍摄得到的阵列图像和阵列图像与 Magixoom***图像的固定 的先险的映射关系， 进行 Magixoom***图像的映射和生成；
其中，所述阵列图像与 Magixoom***图像的固定的先验的映射关系 是指： 按***设计过程中实际拍摄或者仿真产生的阵列图像， 通过图像投 影、 重叠区域特征点寻找、 配准拼接、 融合和裁切处理， 建立阵列图像各 个像素和 Magixoom***图像各个像素之间的像素映射关系。
其中， 所述图像处理装置进一步包括：
微配准模块，用于针对实际拍摄的物距和产品设计的物距有一定变化 的情况下， 通过精确的微配准， 获取物距变化带来的相邻投影后图像间的 相对位置关系的偏移量， 根据该偏移量， 对像素映射模块存储的像素映射 关系进行修正， 获得更新的像素映射关系。 一种 Magixoom方法， 该方法包括：
设置由 M行和 N列窄视场长焦成像子*** NFLFS组成 NFLFS阵列， 相邻的 NFLFS的视场互相交叠，每一个 NFLFS的主光轴汇聚于一点或者 该点邻域范围内， 该点为 Magixoom***光心， 其中， M、 N均为大于等 于 1 的自然数， 并且 M和 N中至少一个大于 1且均不等于 2; 设置第 i 行 j列处 NFLFS的水平视场角为 ί¾ +Δ + eMj , 垂直视场角为 ων + Λων + εν{/； 设置 Magixoom***的水平视场角 HFOV为 No)h + o)h + £h , Magixoom*** 的垂直视场角 VFOV 为 Μ<¾ + Δ<¾ + £ν , 其中， 180° > <¾ > 0° , 90° > Aah > 0° , 180° > ων > 0° , 90° > Αων > 0° , ί¾为水平相邻的 NFLFS的主光轴之间的设计夹 角， 为垂直相邻的 NFLFS 的主光轴之间的设计夹角， Δί¾为水平相邻的 NFLFS的视场交叠角，近似为在水平相邻的 NFLFS的物距无穷远处水平视 场交叠区域边缘对***光心的夹角， Δβν为垂直相邻的 NFLFS 的视场交叠 角， 近似为在垂直相邻的 NFLFS的物距无穷远处垂直视场交叠区域边缘对 ***光心的夹角， ehij、 ^分别为第 i行 j列处 NFLFS的水平、 垂直视场 角误差， £h、 £v分别为 Magixoom***的水平、 垂直视场角误差；
***控制装置， 连接到所述图像处理装置和 NFLFS阵列， 用于对所 述 Magixoom***的各个组成部件的运行进行控制的装置；
图像处理装置， 用于对所述 NFLFS阵列所拍的具有相邻交叠特性的 阵列图像进行处理以获得宽视场超高分辨率图像的装置。
其中， 所述图像处理装置按照不同的产品应用要求， 包括全程计算模 式的图像处理装置或数据映射模式的图像处理装置。
其中， 所述全程计算模式的图像处理装置包括： 图像投影模块、 图像 重叠区域特征点寻找模块、 图像配准拼接模块、 图像融合模块以及图像裁 切模块， 其中，
图像投影模块， 将每个阵列图像所在传感器坐标系投影到***坐标系， 获得在***坐标系下相对应的投影图像；
图像重叠区域特征点寻找模块，在投影图像的重叠区域内寻找到特征 点；
图像配准拼接模块， 利用特征点在对应的重叠图像内找到对应的配准 点， 并对配准点对进行筛选， 找到有效的配准点对； 按照找到的有效配准 点对计算得到的各个传感器投影图像之间的相对位置关系， 在***坐标系 内进行图像的拼接； 图像融合模块， 对拼接后相邻图像之间在色调、 亮度、 饱和度进行调 整以达到相邻图像间在色调、 亮度、 饱和度的平滑过渡；
图像裁切模块， 取拼接后所得图像的内接四边形， 并剪切掉四边形之 外的部分， 得到图像输出。
其中， 所述图像投影的具体方法包括：
( 1 ) 基于所拍各相邻图像特征点关系计算出投影矩阵的投影方法： 根据当前拍摄获得的相邻图像重叠区域的特征点对的相对位置关系，计算 出每个阵列图像所在传感器坐标系相对于***坐标系的投影矩阵，获得投 影图像；
( 2 ) 基于先验投影矩阵的投影方法： 根据产品出厂时测定的投影矩 阵作为先验的投影矩阵， 对拍摄获得的阵列图像， 直接进行投影计算， 即 可获得投影图像。
其中，所述获取重叠区域特征点在各个颜色空间的各维空间分量的区 域极值点但不限于区域极值点， 按如下方法和步骤获取区域极值点：
Al l , 确定相邻投影图像之一作为配准模板， 选择另一图像作为被配 准模板， 在配准模板重叠区域的边界邻近处， 选取有效的区域极值特征点 的起始搜寻点， 在过该起始搜寻点的任意交叉线上， 所述交叉线包括但不 限于两条线的交叉线，以各个方向的固定步长来确定该条交叉线上的两个 区域极值特征点的判断辅助点；
A12, 计算交叉线中的每条线上判断辅助点与搜寻点的像素值差之和 的绝对值， 将两条线上的绝对值进行求和， 获取求和值高于预设条件阈值 的搜寻点， 作为当前的区域极值特征点坐标， 置于极值特征点列表中；
A13 , 移动搜寻点， 按照与步骤 Al l 以及步骤 A12相同的方法， 并 遍历整个重叠区域， 获取求和值高于预设条件阈值的搜寻点，得到重叠区 域的区域极值特征点列表。
其中， 进一步包括：
将获取的区域极值特征点， 按照求和值从大到小进行排序， 选取排序 的前 ^个极值点作为候选区域极值特征点；
更新得到的重叠区域的区域极值特征点列表。
其中， 所述区域极值特征点计算公式为： diffx = f ii - stepl, j - step!) + ( + step3, j + step 4) - 2 (/， j)
dijfy = f (i + step5, j - step6) + f ii - stepl , j + step8) - 2f(i, j)
jdiffxl +
Figure imgf000008_0001
> T 其中，
/(， j)为点搜寻点 P(i, j)的像素值， i, j为正实数;
为交叉线中的第一条线上辅助判断点 P(i— stepi, j— stepT) 、 P(i + step3, j + stepA)与搜寻点 P(i, )的像素值差之和；
^^为交叉线中的第二条线上辅助判断点 P(i + step5, j - stepG) 、 sfep7， + Wep8)与搜寻点 P(i, j)的像素值差之和；
Γ为预设条件阈值；
、 steP3 , steP5、 为判断辅助点与搜索点的采样在图像横坐标 方向的步长间隔， steP2、 ste 4 , steP6、 为判断辅助点与搜索点的采样 在图像纵坐标方向的步长间隔。
其中， 所述根据获取的重叠区域特征点， 进行配准模板和被配准模板 之间的图像配准拼接包含但不限于以下具体方法和步骤：
按照产品设计的结构、 物距参数选择最大可能配准区域；
用 MSAD法求候选配准点对： 以过选择的配准模板的区域极值特征 点的交叉线作为配准交叉线，遍历被配准图像配准区域并计算每个搜索点 的 SAD , 找到 MSAD及对应的图像坐标点对， 作为当前区域极值特征点 的候选配准点对；
遍历前 K个区域极值特征点， 寻找出 K个候选配准点对；
根据获取的候选配准点对，基于距离差积分算法， 获取当前候选配准 点对的合理性 选积分；
按照从小到大， 对获取的各候选配准点对的合理性 选积分进行排 序， 选取排序前 N。h∞k个配准点对；
对 N eck个配准点对的横坐标和纵坐标分别求差得出配准点对的横纵 坐标配准相对平移数据；
对所有配准点对的横坐标差和纵坐标差分别求平均值，得到相邻投影 后图像的所有像素点的配准拼接横纵平移数据和对应于***坐标系的坐 标。
其中， 所述用 MSAD法求候选配准点对包括：
步骤 1 , 按如下公式计算 MSAD; SAD,
+
Figure imgf000009_0001
MSAD = min SADQ(iijj)
步骤 2, 找到 MSAD 点对应到配准模板和被配准模板的坐标作为候 选配准点对； 所述计算公式以两条线的交叉线为例，一条线或多条线的交叉线同样 适用；
式中，
step9、 steplO、 stepl 1、 stepll为配准步长；
"为以当前极值特征点为中心的配准步长数；
P(i, j)为配准图像区域极值特征点；
Q (ii, jj)为被配准图像区域极值特征点对应的配准点；
SAD是 ( Sum of Absolute Difference ) , 指两个对应序列的数值的对 应项差的绝对值之和；
MSAD是 ( Minimum Sum of Absolute Difference ) , 指多个 SAD值 中的最小值。 。
其中， 所述获取当前候选配准点对的合理性 选积分包括： 基于当前 ΝΛεΛ个配准点对（Pkl(i， j) ， Qkl(ii， jj) ),取任意一组配准点对 (P (i， j) ， Q (ii， jj) ), 分别计算距离 PklPk2, QklQk2 , 将 feL- βΑ1¾2|作为当 前的积分值， 累加到当前配准点对的合理性 选积分 中：
~
Figure imgf000009_0002
按照从小到大， 对获取的各候选配准点对的合理性 选积分进行排 序， 选取排序前 N。h∞k个候选配准点对作为配准点对。
其中， 在配准拼接的过程中， 所述方法进一步包括：
如果在图像拼接过程中在配准区域内无法搜寻到特征点的情况， 采用 上一次精确配准的坐标平移数据作为本次配准的坐标平移数据。
其中， 所述数据映射模式的图像处理装置包括： 像素映射模块， 像素映射模块，用于针对实际拍摄的物距和产品设计的物距接近的情 况下，根据拍摄得到的阵列图像和阵列图像与 Magixoom***图像的固定 的先险的映射关系， 进行 Magixoom***图像的映射和生成； 其中，所述阵列图像与 Magixoom***图像的固定的先验的映射关系 是指： 按***实际拍摄或者仿真产生的阵列图像， 通过图像投影、 重叠区 域特征点寻找、 配准拼接、 融合和裁切， 建立阵列图像和 Magixoom*** 图像之间的像素映射关系；
其中， 所述进行 Magixoom ***图像的映射和生成， 即为寻找
Magixoom***输出图像的像素值与各个传感器阵列图像像素值之间的像 素映射关系， 其具体表达式如下：
Figure imgf000010_0001
其中，
R ' j为 Magixoom图像坐标 处的像素值；
p为影响 Magixoom图像坐标 处像素值的传感器图像编号；
为传感器图像编号为 p的图像像素坐标；
f xp , y 为传感器图像编号为 P的坐标为（½, > )点的像素值；
为权重因子。
其中， 所述图像处理装置进一步包括：
微配准模块，用于针对实际拍摄的物距和产品设计的物距有一定变化 的情况下， 通过精确的微配准， 获取物距变化带来的相邻投影后图像间的 相对位置关系的偏移量， 根据该偏移量， 对像素映射模块存储的像素映射 关系进行修正， 获得更新的像素映射关系。
其中， 所述***控制装置进一步用于：
使所述 Magixoom***工作在拍照模式、 动态跟踪模式或微距模式， 其中， 在所述拍照模式下， 所述 NFLFS阵列由所述***控制装置进行统 一曝光控制以对宽视场场景进行一次性拍照，并且将拍照图像发送给图像 处理装置进行处理， 处理后的拍照图像存储到存储器。
其中， 所述统一曝光控制是指所有的 NFLFS由所述***控制装置统 一控制传感器的电子快门使传感器在同一个时刻曝光，所述在同一时刻曝 光包括各 NFLFS具有相同曝光时长和不同曝光时长； 在不同曝光时长情 况下， 具有较长曝光时间的 NFLFS 曝光时段覆盖具有较短曝光时长的 NFLFS的曝光时段。
其中， 在所述动态跟踪模式下， 所述 NFLFS阵列由统一曝光控制对 ***视场内的场景拍照，在拍照后所述***控制装置依据被跟踪对象的在 成像***中的坐标和依据应用设计的取景范围定义动态跟踪取景框，所述 图像处理装置只对所述动态跟踪取景框之内的图像进行拼接预处理和拼 接处理， 并将拼接处理后的动态跟踪取景框内的图像存储到存储器， 其中 拼接预处理包括图像投影变换， 其中， 所述图像投影变换是指动态跟踪取 景框内各个像面沿球面分布的 NFLFS阵列所成的阵列图像投影到切点在 Magixoom***视场内的以 Magixoom***的光心为球心的球面上的某个 指定切面内得到呈平面分布图像阵列。
进一步包括显示器、 照片浏览软件和视频显示软件，供用户浏览所述 Magixoom***的图像和视频， 其中，
在拍照模式下或微距模式下，通过显示器和浏览软件看到的宽视场场 景内的图像是对原始拍照的图像进行抽样后得到小数据量的图像，通过显 示器和浏览软件看到的宽视场场景内的特写图像是宽视场场景内的局部 特写图像或者甚至是宽视场场景内的局部特写图像经插值放大后的图像； 在动态跟踪模式或微距模式下，通过显示器和视频显示软件看到动态跟踪 取景框内的动态景物特写视频或者微距成像***拍摄的视频。
进一步包括：
微距成像子***，用于在所述 Magixoom***工作于微距模式下或者 集成于 Magixoom***中的独立的微距成像子***，在所述***控制装置 控制下独立地进行微距照片或者视频拍摄。
进一步包括：
动态跟踪辅助成像***， 其视场角和所述 NFLFS阵列的视场角近似 一致，用于辅助所述 Magixoom***运行于动态跟踪模式时获取被跟踪目 标的坐标并实时传递给所述 Magixoom***，或者用于远于物距介于微距 ***物距范围之外和 Magixoom***物距范围之内的成像。
其中， 所述图像处理装置可能包括下述模块中的一个或者多个， 以使 得 Magixoom***具有更好的性能：
颜色校畸模块， 替代每个 NFLFS的自动白平衡功能进行所成图像的 颜色畸变校正；
几何校畸模块， 用于对每个 NFLFS的图像进行几何畸变校正； 亮度校畸模块， 用于对每个 NFLFS的图像进行亮度畸变校正；
EDOF或 EIDOF解码模块，用于对采用 EDOF或 EIDOF技术的 NFLFS 所成图像的解码。
其中，
所述 NFLFS阵列为 3 X 3NFLFS阵列， 其中， 水平相邻 NFLFS的主 光轴夹角 ^为 16.2° , 垂直相邻 NFLFS的主光轴夹角 ^为 12.05° , 水平 交叠角 为 1.5° , 垂直交叠角 为 1.25° , 所述 HFOV为 50.Γ , 所 述 VFOV为 37.4° 。
本发明的 Magixoom***由于采用了 M x N窄视场长焦成像***阵列， 因此可以实现超高分辨率成像， 同时实现广角和特写的成像， 并且具有能 够实现跟踪动态目标进行特写跟踪拍摄。 本发明的成像***的成像分辨率 远远大于显示分辨率。 Magixoom***的光学分辨率大大超过同样光学指标 的传统成像***在一般工业精度下的分辨率， 具有超高的 LW/PH值。
经过 NFLFS阵列拍摄的、 经过图像处理装置拼接的超高分辨率图像的 分辨率远远大于一般的显示分辨率， 所以对宽视场场景的显示要先对超高 分辨率图像进行抽样。 具有这样特点的成像***命名为魔幻变焦， 即 Magixoom***。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对 实施例或现有技术描述中所需要使用的附图作筒单地介绍。 显而易见地， 以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员 而言， 还可以根据这些附图所示实施例得到其它的实施例及其附图。
图 1为本发明实施例的 Magixoom***的原理组成框图；
图 2为本发明实施例的 Magixoom***的 3 x 3NFLFS阵列的水平截 面示意图；
图 3a和图 3b分别为在 3 X 3NFLFS阵列中， 前光心和后光心的示意 图；
图 4为本发明实施例的 Magixoom***的水平方向正中一行 NFLFS 截面图；
图 5为本发明实施例的 Magixoom***的垂直方向正中一列 NFLFS 截面图。
图 6 为本发明实施例在拍照模式下图像阵列及超高分辨率图像示意 图。
图 7 为本发明实施例在动态跟踪模式下图像阵列和动态跟踪取景框 及动态跟踪图像示意图。
图 8为本发明实施 Magixoom方法流程示意图。
图 9为本发明实施例全程计算模式流程示意图。
图 10为 3x3 Magixoom***拍摄得到的九幅阵列图像示意图。
图 11为本发明实施例判断辅助点选取示意图。
图 12为本发明实施例 MSAD配准的模板交叉线示意图。
图 13为本发明实施例图像 1与图像 2形成的重叠区域示意图。
图 14为本发明实施例采用覆盖融合算法得到的融合结果示意图。 图 15为本发明实施例拼接得到的不规则多边形图像示意图。
图 16为本发明实施例对不规则多边形图像进行裁切的示意图。
图 17为本发明实施例数据映射模式流程示意图。
图 18为本发明实施例两幅图像重叠结构示意图。
图 19为本发明实施例基于微配准的数据映射模式流程示意图。 具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、 完整的描 述， 显然， 所描述的实施例仅仅是本发明的一部分实施例， 而不是全部的 实施例。基于本发明中的实施例， 本领域普通技术人员在没有做出创造性 劳动的前提下所得到的所有其它实施例， 都属于本发明所保护的范围。
图 1 示出了根据本发明的实施例的 Magixoom ***。 如图 1 所示， Magixoom***包括 NFLFS 阵列 10、 图像处理装置 12和***控制装置 14。 NFLFS阵列为 M行、 N列。 如图 2所示， 相邻的 NFLFSIOO的视场 互相交叠， 每一个 NFLFSIOO的主光轴汇聚于一点或者该点邻域范围内， 该点为 Magixoom***光心， 其中， M和 N均为大于等于 1的自然数， 并且 M和 N中至少之一大于 1且均不等于 2。 换言之， 窄视场长焦成像 子*** NFLFS阵列中相邻的 NFLFS的视场相邻， 在设计的物距范围内， 相邻的 NFLFS的视场略有互相交叠；相邻的同行或者同列的 NFLFS的主 光轴夹角要小于每个 NFLFS的同行或者同列的视场角。 互相交叠区域的 沿物距方向的起始交叠点在 Magixoom ***的设计景深的近端更近的位 置。 ***控制装置 14连接到所述图像处理装置 12和 M x N的 NFLFS阵 列 10, 对所述 Magixoom***的各个组成部件的运行进行控制。
参见图 2, 在 NFLFS 阵列中， 第 i行 j列处窄视场长焦成像子*** NFLFSIOO 的水平视场角为 垂直视场角为 ν + Δ ν +£ 所述 Magixoom***的水平视场角 HFOV为 N<¾ + Δ<¾ + eh , Magixoom***的垂 直视场角 VFOV Μων + ων + εν , 其中， Δ 为水平相邻的 NFLFS的视场交 叠角， 近似为在水平相邻的 NFLFS的物距无穷远处水平视场交叠区域边缘 对***光心的夹角， ％为水平相邻的 NFLFS100的主光轴之间的夹角， 并 且 180°〉 〉0° , 90°〉Α"〉0°。 为垂直相邻的 NFLFS的视场交叠角， 近似 为在垂直相邻的 NFLFS的物距无穷远处垂直视场交叠区域边缘对***光心 的夹角， 并且 180°〉 〉0° , 90°〉Δ<¾〉0°。
每一个 NFLFS 100的主光轴汇聚于一交汇点，该点为 Magixoom*** 光心，该光心位于 Magixoom***的前方或后方。如图 2所示，所有 NFLFS 的主光轴交汇点在 NFLFS的后方， 该交汇点称为后光心， 并且这样构成 Magixoom ***成为后光心***。 相应地， 所有 NFLFS 的主光轴交汇点 在 NFLFS的前方， 则该交汇点称为前光心， 并且这样构成 Magixoom系 统成为前光心***。 图 3a和图 3b为在 3 X 3NFLFS阵列中， 前光心和后 光心的示意图。
实际应用中，依据 Magixoom***的具体应用需求和成本来确定所需 的 Magixoom***的视场角， 所需的在不同物距的分辨率； 根据镜头的分 辨率和 CCD/CMOS光电传感器的分辨率等因素确定 Magixoom***的 M
X N的 NFLFS阵列的设计参数， 例如 NFLFS的行和列的数量， , Δί¾ , ν , Αων等
图像处理装置 12对所述窄视场长焦成像***阵列所拍的具有相邻交 叠特性的阵列图像进行拼接处理以获得超高分辨率的宽视场场景图像。拼 接处理后的宽视场场景图像可以存储到存储器 22中。本发明的实施例中， 图像处理装置 12对所拍的具有相邻交叠特性的阵列图像进行拼接处理采 用的是现有技术中的图像拼接技术， 在此不再赘述。
可选地， 本发明的实施例的 Magixoom***中的***控制装置 14还 可以包括有模式控制功能。***控制装置 14与每一个 NFLFS连接并且与 图像处理装置 12 连接。 利用***控制装置 14 , 用户可以选择使得 Magixoom***工作在拍照模式或动态跟踪模式或微距模式。
本发明中， 拍照模式包括全景球面模式和全景平面模式。在所述全景 球面模式下， 图像处理装置 12 对由像面沿近似球面分布的所述 NFLFS 阵列拍出的阵列图像进行直接拼接处理得到全景的像面沿近似球面成像 的图像， 而无需进行投影变换的拼接预处理； 在所述全景平面模式下， 图 像处理装置 12进行包括图像投影变换在内的拼接预处理， 而后再进行拼 接处理得到平面拍摄模式的图像， 其中， 所述图像投影变换是指各个像面 沿球面分布的 NFLFS阵列所成的阵列图像投影到切点在 Magixoom*** 视场内的以 Magixoom ***光心为球心的球面上的某个指定切面内得到 呈平面分布图像阵列。
在拍照模式下， NFLFS阵列由***控制装置 14进行统一曝光控制来 对宽视场场景进行一次性拍照得到如图 6所示的图像阵列，并且将拍照图 像发送给图像处理装置 12进行拼接预处理和拼接处理， 得到如图 6所示 的图像阵列外缘包括的超高分辨率图像，拼接处理后的超高分辨率图像存 储到存储器 22。 所述统一曝光控制是指所有的 NFLFS由所述***控制装 置 14统一控制传感器的电子快门使传感器在同一个时刻曝光， 所述在同 一时刻曝光包括各 NFLFS具有相同曝光时长和不同曝光时长， 在不同曝 光时长的情况下， 具有较长曝光时间的 NFLFS曝光时段覆盖具有较短曝 光时长的 NFLFS曝光时段。
在动态跟踪模式下，窄视场长焦成像***阵列由对同一个快门控制对 所有场景拍照， NFLFS阵列由***控制装置 14进行统一曝光控制来对所 有场景拍照得到图 7所示的图像阵列， 在拍照后所述***控制装置 14依 据被跟踪对象的坐标和取景范围定义如图 7的所示的动态跟踪取景框，图 像处理装置 12只对所述动态跟踪取景框之内的图像进行拼接预处理和拼 接处理得到如图 7所示的动态跟踪取景框范围内的图像，并将动态跟踪取 景框范围内的图像存储到存储器 22。 其中， 拼接预处理包括图像投影变 换， 其中， 所述图像投影变换是指动态跟踪取景框内各个像面沿球面分布 的 NFLFS阵列所成的阵列图像投影到切点在 Magixoom***视场内的以 Magixoom***的光心为球心的球面上的某个指定切面内得到呈平面分布 图像阵列。
在动态跟踪模式或微距模式下，通过显示器和视频显示软件看到动态 跟踪取景框内的动态景物特写视频或者微距成像***拍摄的视频。
动态跟踪模式的取景框的设置有两种方式。
在一种设置取景框的方式中， 由于在一些专用领域的拍摄中， 用户所 关注的动态目标对象的模式是固定的并且是先验的，因此可以用图像处理 来描述和识别。 在此情况下， 通过图像处理装置中的软件的模式识别功能 对动态目标对象进行识别以确定其位置坐标；然后根据确定的位置坐标和 所要求的取景范围确定取景框。在此情况下， 是先跟踪拍摄后取景并处理 输出动态视频。 如果跟踪的动态目标对象的取景框跨越两个以上的
NFLFS 的拍摄视场， 则需对所取的取景框内的图像进行拼接来实现动态 跟踪视频。
另一种设置取景框的方式中，对于一般的通用拍摄***， 由于对跟踪 的动态目标对象的软件识别比较困难，可以在 Magixoom***的边上另设 一个和宽视场成像***作为动态跟踪辅助成像*** 20 ,用于当 Magixoom ***运行于动态跟踪模式时获取被跟踪目标的坐标并实时传递给 Magixoom***。 动态跟踪辅助成像*** 20也连接到***控制装置 14。 动态跟踪辅助成像*** 20的成像视场角与 Magixoom***的视场角一致， 使得 Magixoom***和辅助成像***同时拍摄完全一样的场景，具有一样 的场景坐标。在这样的配置下， 通过用外部工具比如鼠标或者触摸屏上的 手指在附加成像***的拍摄显示图像中去跟踪动态目标对象，从而确定跟 踪动态目标对象的坐标。依据跟踪的动态目标对象的坐标和应用所需的取 景框在 Magixoom***中选取动态视频数据，输出跟踪的动态目标对象的 动态视频。 如果跟踪的目标对象的取景框跨越两个以上的 NFLFS的拍摄 视场， 则需对所取的取景框内的图像进行拼接以实现动态跟踪视频。
本发明中， Magixoom ***还可以包括与***控制装置 14连接的一 个微距成像*** 18。 Magixoom ***工作时一般只拍摄物距较远些的场 景，使用户能看清宽视场场景的同时还可以用特写方式看清远处的细小景 物，但这个模式由于聚焦位置和视场角的缘故不适合于拍摄微距图像。 因 此， 如果 Magixoom***需要拍摄微距内的对象即工作在微距模式时， 在 ***控制装置 14的控制下， Μ χ N的 NFLFS阵列将不工作， 由微距成像 *** 18独立地进行微距照片或视频拍摄。
本发明的实施例中， 存储器可以是设置在 Magixoom***中， 也可以 设置在 Magixoom***外部。 在存储器设置在 Magixoom***外部时， 图 像处理装置通过数据线与外部存储器连接。
可选地， Magixoom***进一步包括显示器 16、 浏览软件和视频浏览 软件， 供用户浏览所述 Magixoom***的图像和视频。 浏览软件和视频浏 览软件可以安装到***控制装置 14中。通过显示器 16和浏览软件看到的 宽视场场景内的图像是对原始拍照的图像进行抽样后得到小数据量的图 像， 通过显示器 16和浏览软件看到的宽视场场景内的特写图像是宽视场 场景内的局部特写图像或者是甚至是宽视场场景内的局部特写图像经插 值放大后的图像。原始拍摄的图像可以存储在存储器中以供用户通过显示 器 16和浏览软件观看， 也可以直接从图像处理装置 12发送到显示器 16 供用户浏览。
根据本发明的实施例， Magixoom***的成像分辨率远远大于显示分 辨率。 Magixoom***的光学分辨率大大超过同样光学指标的传统成像系 统在一般工业精度下的分辨率， 具有超高的 LW/PH值。
根据本发明的实施例， Magixoom***的成像分辨率远远大于一般意 义上的普通显示分辨率。 因此， 在普通显示分辨率的显示器显示本发明的 ***的成像时，要对超高分辨率宽视场图像进行抽样后适配显示器分辨率 以进行宽视场图像显示。对于本发明的超高分辨率成像***所成图像中的 任何局部位置，以该位置为中心获取显示分辨率大小的图像像素并通过普 通显示分辨率显示器进行显示， 可以得到局部特写的高分辨率成像图像。
在动态跟踪模式下， 图像处理装置 12中的拍摄时应用软件根据指定 的跟踪动态位置设置动态取景框并实时取出动态取景框内的数据进行拍 摄， 得到跟踪动态物体的动态拍摄视频。
每一个 NFLFS采用 EDOF或 EIDOF来实现大景深成像。 EDOF或 EIDOF均是现有技术， 在此不在赞述。
可选地， 图像处理装置 12可以包括下述一个或多个模块以利于提高 拼接准确性和拼接效率和***成像像质：颜色校畸模块，替代每个 NFLFS 的自动白平衡功能进行所成图像的颜色畸变校正； 几何校畸模块， 用于对 每个 NFLFS的图像进行几何畸变校正；亮度校畸模块，用于对每个 NFLFS 的图像进行亮度畸变校正； EDOF或 EIDOF解码模块， 用于对采用 EDOF 或 EIDOF技术的 NFLFS所成图像的解码。
可选地，本发明的实施例中的 Magixoom***还可以包括与***控制 装置 14连接的输出接口 24。通过输出接口 24 , 可以从外部与***控制装 置 14通信进行相关的操作， 例如访问存储器 22以获取图像。
Magixoom***实例
参见图 3 , 示出了本发明的一个实例的 Magixoom***的示意图。 根 据本实例， M X N个 NFLFS 100为 3 χ 3个 NFLFS100。
1 )每一个 NFLFS的分辨率为 500万像素， 因此 Magixoom***的像 素为 500万 X 9=4500万像素， 相当于 7800 x 5800。 而一般的高端相机的 分辨率为 2000万像素，其垂直 LW/PH为 1800左右，水平 LW/PH为 2500 左右。 本实例中的 Magixoom***的垂直视场分辨率 LW/PH接近 5783 , 水平视场分辨率 LW/PH接近 7800。 Magixoom***的对角线方向视场角 为 62° , 水平视场角 1^0¥= 3«¾ + 为 50.1 ° , 如图 4所示； 垂直视场 角 VFOV= 3«v + A«v为 37.4° , 如图 5所示。 100m物距处空间分辨率 （每 个像素对应 ) 为 1.15cm-1.19cm。
2 ) Magixoom***中的每一个 NFLFS采用 EIDOF技术， 目标对象在 前方 3m处清晰成像， 每一个 NFLFS景深为 2m至无穷远；
3 ) Magixoom***由 3 x 3个子 NFLFS组成，每个 NFLFS的 CCD采 用 1/4" 靶面 （对角线约 4.5mm, 高约 2.7mm, 宽约 3.6mm ) , CCD的分 辨率为 2592 X 1944 ) ； 如图 4, 图 5所示， 每个 NFLFS的对角线视场角 为 22° , 水平视场角为 + Δ = 17.7° , 垂直视场角为《ν + Δ«ν =13.3。 ， 景 深范围为 2000-inf; 在这个 NFLFS 阵列中， 如图 4、 图 5所示， 相邻的 NFLFS 的水平主光轴夹角 ^=16.2° , 相邻的 NFLFS 的垂直主光轴夹角 ^ =12.05。 ， 相邻 NFLFS的水平交叠角 Δί¾=1.5。 ， 垂直交叠角 Δ^ =1.25 。 ； Magixoom***的水平视场角 HFOV= 3i¾ +Δί¾=3 x 16.2。 +1.5。 =50.1 ° , 垂直视场角 VFOV= 3«v + A«v=3 x 12.05 ° +1.25=37.4° 。
满足***需求 "对角线方向视场角为 62° " , 则如图 4、 图 5所示成 像 NFLFS镜头的对角线方向视场角应为 22° , 对应的 NFLFS镜头水平 方向视场角为 17.7° , NFLFS镜头垂直方向视场角 13.3° 。 且***的光 路特点是存在各 NFLFS镜头视场的交叠区域。
图像处理装置按照不同的产品应用要求，包括全程计算模式的图像处 理装置或数据映射模式的图像处理装置。
全程计算模式的图像处理装置还可以包括： 图像投影模块、 图像重叠 区域特征点寻找模块、 图像配准拼接模块、 图像融合模块以及图像裁切模 块 （图中未示出） ， 其中，
图像投影模块： 将每个阵列图像所在传感器坐标系投影到***坐标系， 获得在***坐标系下相对应的投影图像；
图像重叠区域特征点寻找模块：在投影图像的重叠区域内寻找到特征 点；
图像配准拼接模块： 利用特征点在对应的重叠图像内找到对应的配准 点， 并对配准点对进行筛选， 找到有效的配准点对； 按照找到的有效配准 点对计算得到的各个传感器投影图像之间的相对位置关系， 在***坐标系 内进行图像的拼接；
图像融合模块： 对拼接后相邻图像之间在色调、 亮度、 饱和度进行调 整以达到相邻图像间在色调、 亮度、 饱和度的平滑过渡；
图像裁切模块： 取拼接后所得图像的内接四边形， 并剪切掉四边形之 外的部分， 得到图像输出。
当然， 实际应用中， 数据映射模式的图像处理装置也可以包括： 像素 映射模块， 其中，
像素映射模块，用于针对实际拍摄的物距和产品设计的物距接近的情 况下，根据拍摄得到的阵列图像和阵列图像与 Magixoom***图像的固定 的先险的映射关系， 进行 Magixoom***图像的映射和生成。
其中，所述阵列图像与 Magixoom***图像的固定的先验的映射关系 是指： 按***设计过程中实际拍摄或者仿真产生的阵列图像， 通过图像投 影、 重叠区域特征点寻找、 配准拼接、 融合和裁切， 建立阵列图像和 Magixoom***图像之间的像素映射关系。
较佳地， 图像处理装置还可以进一步包括：
微配准模块，用于针对实际拍摄的物距和产品设计的物距有一定变化 的情况下， 通过精确的微配准， 获取物距变化带来的相邻投影后图像间的 相对位置关系的偏移量， 根据该偏移量， 对像素映射模块存储的像素映射 关系进行修正， 获得更新的像素映射关系。
图 8为本发明实施 Magixoom方法流程示意图。 参见图 8 , 该流程包 括：
步骤 81, 设置由 M行和 N 列窄视场长焦成像子*** NFLFS 组成 NFLFS阵列， 相邻的 NFLFS的视场互相交叠， 每一个 NFLFS的主光轴 汇聚于一点或者该点邻域范围内， 该点为 Magixoom***光心；
本步骤中， M、 N均为大于等于 1的自然数， 并且 M和 N中至少一 个大于 1且均不等于 2。
步骤 82, 设置第 i行 j列处 NFLFS的水平视场角为 +A h +£Uj , 垂 直视场角为 ων + Αων + £vij；
步骤 83 , 设置 Magixoom***的水平视场角 HFOV为 Noh+ coh +eh ,
Magixoom***的垂直视场角 VFOV为 Μ«ν +Δ«ν +£v；
本步據中， 180°> <¾>0°, 90°> Δ<¾>0°, 180° > <¾ν >0°, 90° > Αων > 0° , <¾为 水平相邻的 NFLFS的主光轴之间的设计夹角， βν为垂直相邻的 NFLFS的 主光轴之间的设计夹角， Δί¾为水平相邻的 NFLFS 的视场交叠角， 近似为 在水平相邻的 NFLFS的物距无穷远处水平视场交叠区域边缘对***光心的 夹角， Δβν为垂直相邻的 NFLFS的视场交叠角，近似为在垂直相邻的 NFLFS 的物距无穷远处垂直视场交叠区域边缘对***光心的夹角， 、 £^分别为 第 i行 j列处 NFLFS的水平、 垂直视场角误差， £¾、 εν分别为 Magixoom ***的水平、 垂直视场角误差。
步骤 84 , ***控制装置， 连接到所述图像处理装置和 NFLFS阵列， 用于对所述 Magixoom***的各个组成部件的运行进行控制的装置；
步骤 85 , 图像处理装置， 用于对所述 NFLFS阵列所拍的具有相邻交 叠特性的阵列图像进行处理以获得宽视场超高分辨率图像的装置。
其中， 所述图像处理装置按照不同的产品应用要求， 包括全程计算模 式的图像处理装置或数据映射模式的图像处理装置。
所述全程计算模式的图像处理装置包括： 图像投影、 图像重叠区域特 征点寻找、 图像配准拼接、 图像融合以及图像裁切， 其中，
图像投影： 将每个阵列图像所在传感器坐标系投影到***坐标系， 获 得在***坐标系下相对应的投影图像；
图像重叠区域特征点寻找： 在投影图像的重叠区域内寻找到特征点； 图像配准拼接： 利用特征点在对应的重叠图像内找到对应的配准点， 并对配准点对进行筛选， 找到有效的配准点对； 按照找到的有效配准点对 计算得到的各个传感器投影图像之间的相对位置关系， 在***坐标系内进 行图像的拼接；
图像融合： 对拼接后相邻图像之间在色调、 亮度、 饱和度进行调整以 达到相邻图像间在色调、 亮度、 饱和度的平滑过渡；
图像裁切： 取拼接后所得图像的内接四边形， 并剪切掉四边形之外的 部分， 得到图像输出。
其中， 所述图像投影的具体方法包括：
( 1 ) 基于所拍各相邻图像特征点关系计算出投影矩阵的投影方法： 根据当前拍摄获得的相邻图像重叠区域的特征点对的相对位置关系，计算 出每个阵列图像所在传感器坐标系相对于***坐标系的投影矩阵，获得投 影图像。
( 2 ) 基于先验投影矩阵的投影方法： 根据产品出厂时测定的投影矩 阵作为先验的投影矩阵， 对拍摄获得的阵列图像， 直接进行投影计算， 即 可获得投影图像。
本发明实施例中， 图像处理装置对图像处理包括三种实现方式， 第 一种实现方式为全程计算模式，第二种实现方式为基于先验知识的数据映 射模式， 第三种实现方式为基于微配准的数据映射模式。
其中，
通过全程计算模式实现图像处理的步骤包括： 图像投影、 图像重叠区 域特征点搜寻、 图像配准拼接、 图像融合、 图像裁切等。 其中，
图像投影为将每个阵列图像所在传感器坐标系投影到***坐标系，获 得在***坐标系下相对应的投影图像， 即基于现有的图像投影矩阵， 通过 投影矩阵对阵列图像所在传感器坐标系的每个像素点进行投影以及插值 计算， 从而获取图像在***坐标系下的投影图像； 本发明实施例中， 传感 器坐标系是指基于镜头光学参数和传感器感光平面及传感器参数的景物 投影成图像的坐标系， 各传感器坐标系相互独立； ***坐标系为本发明变 焦成像***最终输出图像的坐标系。
在图像重叠区域特征点搜寻步骤中，在投影图像的重叠区域内寻找到 特征点。 即利用预先定义的特征点特征， 对阵列图像的重叠区域， 以预先 设置的步长对采样后的重叠区域图像进行遍历，选择符合预先定义的特征 点的点作为下一步骤图像配准的特征点；
在图像配准拼接步骤中，利用特征点在对应的重叠图像内找到对应的 配准点， 并对配准点对进行筛选， 找到有效的配准点对； 按照找到的有效 配准点对计算得到的各个传感器投影图像之间的相对位置关系，在***坐 标系内进行图像的拼接；
在图像融合步骤中， 对拼接后相邻图像之间在色调、 亮度、 饱和度进 行调整以达到相邻图像间在色调、 亮度、 饱和度的平滑过渡；
在图像裁切步骤中， 利用图像融合获得的不规则多边形结果， 进行图 像裁切， 取拼接后所得图像的内接四边形， 并剪切掉四边形之外的部分， 获得矩形图像作为 Magixoom***最终输出。
所应说明的是， 图像投影步骤与图像重叠区域特征点搜寻步骤没有先 后顺序之分，即图像投影步骤也可以在图像重叠区域特征点搜寻步骤之后 或同时； 相类似地， 图像融合步骤与图像裁切步骤也没有先后顺序之分。
图 9为本发明实施例全程计算模式流程示意图。 参见图 9 , 该流程包 括： 基于先验知识的图像投影、 重叠区域的特征点寻找、 正常流程处理或 例外处理、 图像配准拼接、 图像融合以及图像裁切等， 在重叠区域的特征 点寻找后， 既可以通过正常流程处理后执行图像配准拼接， 也可以通过例 外处理后执行图像配准拼接， 具体来说，
步骤 901 , 对拍摄得到的阵列图像， 按照预先设置的投影矩阵进行投 影；
本步骤中， 图像投影包括： 基于拍摄的各相邻图像特征点关系计算出 投影矩阵的投影方法以及基于先验投影矩阵的投影方法。 其中，
基于拍摄的各相邻图像特征点关系计算出投影矩阵的投影方法，根据 当前拍摄获得的相邻图像重叠区域的特征点对的相对位置关系，计算出每 个阵列图像所在传感器坐标系相对于***坐标系的投影矩阵，获得投影图 像。
基于先验投影矩阵的投影方法，基于预先设置的投影矩阵， 可以对拍 摄得到的阵列图像， 如图 10所示， 为 3x3 Magixoom***拍摄得到的九 幅阵列图像示意图。 通过对阵列图像进行投影，使得投影得到的阵列图像 之间只存在平移关系，从而便于后续使用精度最高以及运算效率最高的配 准算法进行配准，并利用高精度配准结果对图像进行加权渐变融合或者覆 盖滤波融合， 最后对图像进行裁切输出超大分辨率图像。
本发明实施例中， Magixoom***是一个阵列图像获取设备。 设备的 获取源由一个 CCD相机阵列组成， 并且固定在 Magixoom结构中。 根据 预先设置的基准相面， 可以获取相对于基准相面的各阵列图像的投影矩 阵， 标记为 M。
对于图 10 中除基准相面外的任意阵列图像， 在某些应用场景中， Magixoom***假设每个阵列图像所在传感器坐标系，相对于***坐标系， 拥有唯一的投影矩阵 M , 从而可以得到相对精确的投影图像。 根据 Magixoom***实际拍摄所得的各传感器图像， 采用基于拍摄的各相邻图 像特征点关系计算出投影矩阵的投影方法或者其他方法计算，获得各个传 感器坐标系相对于***坐标系的投影矩阵 M , 将其作为先验投影矩阵。
以图 10为例， 投影矩阵 M为一个 3x3实数矩阵：
Figure imgf000022_0001
关于投影矩阵 M以及投影矩阵 M中的各项参数， 为公知技术， 在此 略去详述。
实际应用中， 在拍摄获得阵列图像后， 直接应用上述先验投影矩阵， 即可获得投影图像。
该基于先验投影矩阵的投影方法是本发明软件算法的专有模块，目前 市场上没有基于先验知识支持的图像拼接算法，大量软件的易用性被拼接 精度限制。 本发明创新地提出了基于先验知识的图像拼接软件算法， 极大 地提高了图像拼接精度。
步骤 902, 在投影得到的投影阵列图像中， 获取重叠区域特征点； 本步骤中，采用特征点寻找算法进行投影阵列图像的重叠区域特征点 搜索。
特征点寻找算法， 包括：
基于尺度不变特征转换 （SIFT ) 的特征点寻找算法；
基于小波分解高频特征的特征点寻找算法；
基于 harris角点检测的特征点寻找算法；
基于梯度极值的特征点寻找算法；
基于边缘检 'J和图形学特征的特征点寻找算法。
上述特征点寻找算法都相对比较成熟，对特征点寻找的正确性也有较 好的保证， 但是相对来说运算量都比较大。 本发明实施例中， 提出了基于 区域极值的特征点寻找算法， Magixoom***的特征点具备了当前区域的 极值特征， 该极值在特定阈值条件下是一个优良的极值点， 且信息量大。
获取重叠区域特征点包含在各个颜色空间的各维空间分量的区域极 值点但不限于区域极值点， 按如下方法和步骤获取区域极值点：
Al l , 在重叠区域的边界邻近处， 选取有效的区域极值特征点的起始 搜寻点， 在过该起始搜寻点的任意交叉线上， 以各个方向的固定步长来确 定该条交叉线上的两个区域极值特征点的判断辅助点；
A12, 计算交叉线中的每条线上判断辅助点与搜寻点的像素值差之和 的绝对值， 将两条线上的绝对值进行求和， 获取求和值高于预设条件阈值 的搜寻点， 作为当前的区域极值特征点坐标， 置于极值特征点列表中； 本发明实施例中， 在阵列图像两两之间重叠区域的边界邻近处， 选取 有效的区域极值特征点的起始搜寻点， 在过该起始搜寻点的任意交叉线 上， 确定每一条交叉线上的两个区域极值特征点的判断辅助点。 分别计算 交叉线上选取的起始搜寻点与判断辅助点之间的像素值的均差，获取均差 满足预设条件阈值的起始搜寻点， 作为当前的极值特征点； 即对该选取的 起始搜寻点进行是否为极值特征点的判断。
本步骤中， 特征点需要是重叠区域的极值点。
考虑重叠区域上的任意一点 Ρ(， ·) , 则满足下述条件的点可以作为极 值特征点：
Figure imgf000024_0001
\diffx\ + \diffy\ > T 其中，
/ (， j)为搜寻点 P(i, j)的像素值， i, 为正实数；
为交叉线中的第一条线上辅助判断点 P(i— stepi, j— stepT) 、
P(i + step3, j + stepA)与搜寻点 P(i, )的像素值差之和；
^^为交叉线中的第二条线上辅助判断点 P(i + step5, j - stepG) 、 sfep7， + Wep8)与搜寻点 P(i, j)的像素值差之和；
Γ为预设条件阈值；
sfeP为采样步长；
1、 、 steP3、 、 stepS、 、 stepl、 为判断辅助点与搜索点的采样在图 像横坐标方向的步长间隔， 1、 4、 steP6、 为判断辅助点与搜索 点的采样在图像纵坐标方向的步长间隔。
图 11为本发明实施例判断辅助点选取示意图。 参见图 11 , 以点 为交点， 并将经过点 P(i, j)的一条由像素点组成的直线设置为交叉线中的 第一条线，经过点 P (， )的另一条由像素点组成的直线设置为交叉线中的第 二条线， 不同像素点按照采样步长的位置关系如图所示。
A13 , 移动搜寻点， 按照与步骤 Al l 以及步骤 A12相同的方法， 并 遍历整个重叠区域， 获取求和值高于预设条件阈值的搜寻点，得到重叠区 域的区域极值特征点列表。
实际应用中， 可以按照步骤 Al l~ A13 , 通过三条以上交叉线寻找重 叠区域的极值特征点。
较佳地， 在得到重叠区域的极值特征点列表后，还可以对极值特征点 进行筛选， 以使极值特征点更为精确。 进一步包括：
A14, 将获取的区域极值特征点， 按照求和值从大到小进行排序， 选 取排序的前 个极值点作为候选区域极值特征点；
本步骤中， 以 （μ ϊ|+| )^|)按照从大到小进行排序， 取出前 个 (μ¾¾|+μ^|)最大的极值点作为候选极值点。 其中， 为自然数。
A15 , 更新得到的重叠区域的区域极值特征点列表。
本步骤中， 对当前的 个候选点， 以各候选极值点为中心， 分别进行 Wx 2模板信息量计算， 并以模板信息量大小排序， 取出前 N个模板信息 量最大的候选极值点作为当前重叠区域的极值特征点。 其中， κ、 w可根 据实际需要确定， 、 2为以候选极值点为中心形成的模板规格。
关于步骤 A15 , 为公知技术， 在此略去详述。
步骤 903 ,根据获取的重叠区域极值特征点列表，进行图像配准拼接； 本步骤中， 采用图像配准拼接算法， 对获取的重叠区域极值特征点列 表中的极值特征点进行图像配准拼接。
图像配准拼接算法包括：
基于小波变换的图像配准算法；
基于 SIFT的图像配准算法；
基于相关的图像配准算法；
基于区域特征的图像配准算法；
基于投影图像的图像配准算法。
本发明实施例中， 采用基于投影图像的图像配准算法。 由于投影图像 之间无旋转拉伸， 只有平移关系， 因此， 可以采用基于投影图像的相关度 进行精确配准，相关度精确配准的判断标准为寻找交叉线最小绝对值和差
( MSAD , Minimum Sum of Absolute Difference ) 对应的坐标关系， 从而 可以达到搜索配准点的高精度及高效率要求。
根据获取的重叠区域极值特征点列表，进行配准模板和被配准模板之 间的图像配准拼接包含但不限于以下具体方法和步骤：
Α20 , 确定相邻投影图像之一作为配准模板， 选择另一图像作为被 配准模板， 按照产品设计的结构、 物距参数选择最大可能配准区域；
本步骤中， 选择配准区域所用方法为： 根据产品的光学***结构和产 品应用场景的物距范围， 或者根据产品实际拍摄所得的各个传感器图像、 同一景物在相邻图像的位置关系以及实际拍摄的物距范围，得到对应的相 邻图像重叠区域的最大变化范围， 确定最大配准范围。
A21 , 用 MSAD法求候选配准点对： 以过选择的配准模板的区域极值 特征点的交叉线作为配准交叉线，遍历被配准图像配准区域并计算每个搜 索点的 S AD , 找到 MS AD及对应的图像坐标点对， 作为当前区域极值 特征点的候选配准点对；
本步骤中， 计算对应配准区域极值特征点的精确配准点对， 即进行精 确配准点的搜寻。
图 12为本发明实施例 MSAD配准的模板交叉线示意图。 如图 12所 示， 以过配准区域极值特征点的交叉线作为 MSAD配准的模板交叉线， 寻找搜索配准区域中图像点 Q (ii， jj)与该模板交叉线中 MSAD最小的点， 作为配准区域当前极值特征点的候选配准点对。 也就是说， 配准区域极值 特征点 P(j, j)对应的候选配准点表示为 Q (ii, jj ) ,每一配准区域极值特征点 P(， )与对应的候选配准点 Q (ii, jj)形成候选配准点对。用同样的方法找到 其他极值特征点的配准点对， 获得 N对候选配准点对。
配准区域当前极值特征点的候选配准点计算公式为（本公式以两条线 的交叉线为例， 多条线的交叉线同样适用） ：
用 MSAD法求候选配准点对包括：
步骤 1, 公式计算 MSAD;
SADQ(iijj)
Figure imgf000026_0001
+
Figure imgf000026_0002
+ k* stepl l,j-k* stepll) - Q(ii + k* stepl 1, jj-k*
MSAD = min SADQ(iijj)
步骤 2, 找到 MSAD 点对应到配准模板和被配准模板的坐标作为候 选配准点对； 所述计算公式以两条线的交叉线为例，一条线或多条线的交叉线同样 适用；
式中，
step9、 steplO、 stepl 1、 stepll为配准步长；
"为以当前极值特征点为中心的配准步长数；
P(i, j)为配准图像区域极值特征点；
Q (ii, jj)为被配准图像区域极值特征点对应的配准点；
SAD是 ( Sum of Absolute Difference ) ， 指两个对应序列的数值的对 应项差的绝对值之和； MSAD是 ( Minimum Sum of Absolute Difference ) , 指多个 SAD值 中的最小值。
A22, 遍历前 K个区域极值特征点， 寻找出 Κ个候选配准点对， 根 据获取的候选配准点对，基于距离差积分算法， 获取当前候选配准点对的 合理性 选积分；
本步骤中， 进行精确配准点的 选。 对于获得的 N对候选配准点对 (Pk(i， j) ， Qk(ii， jj) ) , k = l,2,3 ······ N , 需要从中选取最合理的 对配准点 对作为最终图像拼接的参考位置关系。 即使用基于距离差积分算法， 对 N 对配准点对进行合理性筛选。
本发明实施例中， 基于当前 ΝΛ6Λ个配准点对（Pkl(i， j) ， Qkl(ii， jj) ), 取 任意一组配准点对 (Ρκ(ί, j) ， Qk2(ii， jj) ) , 即取任意两组配准点对 {Pkl(i,j),Qkl(ii,jj))和 {Pk2(i,j),Qk2(ii,jj)) , 分别计算距离 PklPk2 , QklQk2 , 将 l ^- ftA2|作为当前的积分值， 累加到当前配准点对的合理性筛选积分
Skl中。 依据相同的计算方法， 可以获取 N组 Sk , 其中， k = l，2，3...... N。
Figure imgf000027_0001
A23, 按照从小到大， 对获取的各候选配准点对的合理性筛选积分进 行排序， 选取排序前 N。h∞k个配准点对；
本步骤中，从合理性筛选积分中， 选取最合理的 N。h∞k对配准点对作为 最终图像融合的参考位置关系。 其中， N。h∞k可根据实际需要确定。 这样， 选取合理性筛选积分 Sk最小的 N。h∞k对配准点对作为该阵列图像两两之间 的配准关系参考点。
A24, 对 ΝΛεΛ个配准点对的横坐标和纵坐标分别求差得出配准点对的 横纵坐标配准相对平移数据；
对所有配准点对的横坐标差和纵坐标差分别求平均值，得到相邻投影 后图像的所有像素点的配准拼接横纵平移数据和对应于***坐标系的坐 标。
本步骤中， 根据阵列图像两两之间的配准关系参考点， 获取对应的横 纵坐标相对位置关系， 最后获得关系矩阵 Μϋ , 从而可以根据获取的关系 矩阵 Μϋ , 将重叠区域像素点映射为图像配准拼接像素点， 实现图像配准 拼接。
当然， 实际应用中， 当根据步骤 902无法获取配准区域特征点时， 这 时， 进行无特征点图像差错处理。 也就是说， Magixoom***图像阵列中， 拼接区域（重叠区域） 内不具有特征点。 因而， 考虑初始化阵列图像两两 位置关系， 如果阵列图像之间的重叠区域内不具有特征点， 则以初始化两 两位置关系作为阵列图像的位置关系进入拼接。 即如果在图像拼接过程中 在配准区域内无法搜寻到特征点的情况， 采用上一次精确配准的坐标平移 数据作为本次配准的坐标平移数据。 步骤 904 , 对进行图像配准拼接得到的图像进行图像融合处理； 本步骤中，在进行图像拼接时，由于图像之间的白平衡以及亮度差异， 导致拼接后的图像有明显的拼接痕迹，图像融合算法是处理拼接痕迹的算 法。 采用图像融合算法进行图像融合处理。 图像融合算法包括：
基于加权的渐变融合算法；
基于图像三角的图像融合；
基于小波变换的图像融合；
覆盖融合算法；
基于主成分分析的图像融合算法等。
本发明实施例的 Magixoom ***选择两种图像融合算法中的任意一 种或两种， 其中之一是加权的渐变融合算法， 在 Magixoom***基于先验 知识的高精度配准算法的支持下， 该算法可以使得拼接无痕迹。
本发明实施例采用的另一种融合算法为覆盖融合算法，该算法能够保 持图像的清晰度， 能够处理图像配准小误差（低于两个像素）带来的融合 问题， 采用高斯滤波消除覆盖融合的边界， 高斯滤波能够将低频亮度落差 去除的同时保持图像的细节。
图 13为本发明实施例图像 1与图像 2形成的重叠区域示意图。 如 图所示， 标记图像 1的像素值为/ (， ， 标记图像 2的像素值为 g(M，v)。 考 虑到融合后的图像输出为方形图像， 因而， 需要在前述的拼接图像结果上 裁切图像， 以获得重叠区域。 因此， 在重叠区域， 本发明实施例针对一个 方向 （横向或者纵向） ， 采用线性渐变融合算法进行渐变融合处理。
进行图像融合处理具体包括：
选取重叠区域中的任意一点， 得到位置坐标信息；
根据形成重叠区域的第一图像与第二图像的位置关系，分别获取选取 的任意点在第一图像中的第一像素值，以及，在第二图像中的第二像素值； 获取重叠区域的边界信息；
根据第一像素值、 第二像素值、 位置坐标信息以及边界信息， 计算选 取的任意点的像素值。
所述进行图像融合处理即为重叠区域点的像素值的计算，本发明实施 例中， 对于重叠区域里面的任意一点， 位置坐标信息为 Ρ(χ，3 , 通过图像
1 (第一图像） 与图像 2 (第二图像） 之间的位置关系， 可以获得该点在 图像 1 中的位置坐标信息为 ^ ， 在图像 2 中的位置坐标信息为 P2(¾, y2) , 假设融合区域 （重叠区域） 左边界与右边界已知， 分别为 xfeft、 xnght , 其包含但不限于以下具体方法： 用如下渐变融合算法， 进行图像融 合： 则重叠区域该点的像素值计算公式为：
R融合（X, y ) = /( , ) X (χ2， y2 ) X
Figure imgf000029_0001
式中，
合 ( , 为选取的任意点的像素值；
f ix^ y, )为选取的任意点在第一图像中的第一像素值；
/( , y2)为选取的任意点在第二图像中的第二像素值；
为第一像素值系数；
为第二像素值系数；
X 为重叠区域的右边界信息；
Xp为选取的任意点的水平位置坐标信息；
Xfe/i为重叠区域的左边界信息。
当然， 实际应用中， 也可以采用覆盖融合算法进行图像融合处理。 图 14为本发明实施例采用覆盖融合算法得到的融合结果示意图。 如 图所示， 为两个图像覆盖融合的结果。 图中， 黑粗体线部分是覆盖融合两 个图像灰度值跳变的地方。 本发明实施例中， 覆盖融合算法仅对黑粗体线 部分的跳变进行融合处理。 覆盖融合算法上， 对沿着黑粗体线的任意点 P(x, y) , 对左右两边有落差的图像块， 进行边界高斯滤波， 低频模糊， 高 频保持处理， 可以使得图像 1与图像 2之间的衔接自然。
步骤 905 , 对进行图像融合处理的图像进行裁切处理， 将进行裁切处 理得到的图像输出。
本步骤中， Magixoom***图像阵列在拼接、 融合处理后， 得到的中 间图像是一个不规则的多边形，需要对中间图像进行裁切或者对最后的结 果图像进行裁切。
图 15为本发明实施例拼接得到的不规则多边形图像示意图。
图 16为本发明实施例对不规则多边形图像进行裁切的示意图。
参见图 15和图 16, 在拼接出来的不规则多边形图像中， 寻找内接四 边形， 从而从不规则多边形图像中裁切出内接四边形图像。 也就是说， 内 接四边形图像为执行图像裁切的结果。 考虑到拼接出来、有像素值定义的 区域是一个不规则多四边形， 那么按照如下算法获得内接四边形。 即对进 行图像融合处理的图像进行裁切处理具体包括：
分别定义行扫描变量以及列扫描变量；
初始化行扫描变量为不规则多边形的第一行， 进行扫描， 获取从全零 像素值（0, 0, 0)到非全零像素值 (R G A )变化的第一个点， 记录为左侧第一 内接点， 以及， 获取非全零像素值 0Κ2,(¾, β2)到全零像素值（0, 0, 0)变化的第 一个点， 记录为右侧第一内节点；
遍历行扫描变量至不规则多边形的最大行，依序进行扫描， 分别获取 左侧第二内接点至左侧第 Η内接点， 以及右侧第二内节点至右侧第 Η内 节点 'ι
本步骤中， Η为不规则多边形的最大行号。
对获取的左侧第一内接点至左侧第 Η 内接点， 按照从小至大进行排 序， 获取排序最大的左侧内接点作为内接四边形的左边界， 对获取的右侧 第一内接点至右侧第 Η 内接点， 按照从小到大进行排序， 获取排序最小 的右侧内接点作为内接四边形的右边界；
初始化列扫描变量为不规则多边形的第一列， 进行扫描， 获取从全零 像素值（0, 0, 0)到非全零像素值 (R G A )变化的第一个点， 记录为上侧第一 内接点， 以及， 获取非全零像素值 0Κ2,(¾, β2)到全零像素值（0, 0, 0)变化的第 一个点， 记录为下侧第一内节点；
遍历列扫描变量至不规则多边形的最大列，依序进行扫描， 分别获取 上侧第二内接点至上侧第 L 内接点， 以及下侧第二内节点至下侧第 L内 节点？
本步骤中， L为不规则多边形的最大列号。
对获取的上侧第一内接点至上侧第 L 内接点， 按照从小至大进行排 序， 获取排序最大的上侧内接点作为内接四边形的上边界， 对获取的下侧 第一内接点至下侧第 L 内接点， 按照从小到大进行排序， 获取排序最小 的下侧内接点作为内接四边形的下边界；
根据获取的内接四边形的左边界、右边界、上边界以及下边界生成裁 切图像。
实际应用中， 在获取关系矩阵后， 在后续阵列图像处理中， 根据阵列 图像重叠区域的各像素点， 构建像素点矩阵， 与关系矩阵进行相乘， 即可 得到重叠区域各像素点的像素值，而无需每次都需要执行获取关系矩阵的 流程。
图 17为本发明实施例基于先验知识的数据映射模式流程示意图。 参 见图 17 , 基于先验知识的数据映射模式与全程计算模式不同的是， 该流 程预先建立像素映射关系，预先建立像素映射关系的流程与全程计算模式 相同。 包括： 重叠区域的特征点寻找、 正常流程处理或例外处理、 图像配 准拼接、 图像融合以及图像裁切等， 在获取阵列图像后， 直接可以根据预 先建立的像素映射关系进行映射处理， 输出大分辨率图像。 具体来说， 包 括：
步骤 181 , 预先建立像素映射关系；
步骤 182, 获取阵列图像；
步骤 183 , 根据像素映射关系， 对获取的阵列图像进行像素映射， 生 成大分辨率图像；
步骤 184, 输出大分辨率图像。
该基于先验知识的数据映射模式实现过程为：
在产品设计阶段，在设计物距下进行实际拍摄，得到各个传感器图像。 应用全程计算模式， 进行图像处理，得到各个传感器图像与最终输出图像 的对应关系， 即像素映射关系， 包括地址关系和像素值权重关系。
当实际拍摄的物距和产品设计的物距接近时，传感器图像与最终输出 图像的对应关系是固定不变的。 因而， 通过全程计算模式， 可以构建传感 器图像与输出图像的像素映射关系， 作为后续进行阵列图像处理的依据， 从而无需每次在进行阵列图像处理时， 都需要运行全程计算模式。 这样， ***在拍摄获得传感器阵列图像后，可以直接运用该预先建立的像素映射 关系， 即可获得最终的输出图像， 无需再有全程计算模式的中间过程。
图 18为本发明实施例两幅图像重叠结构示意图。 参见图 18 , 以两幅 图像的拼接为例， 建立包含像素映射关系的映射表。 图中， 图 1为传感器 1所得图像， 图 2为传感器 2所得图像。 （i,j ) 为最终输出的图像坐标， （xl,yl ) 为第一幅 （图 1 ) 图像坐标， （x2,y2) 为第二幅（图 2)图像坐标， 其坐标起始点均为（ 1,1 )。 由图中可以看出， 图 1总像素为 3 x 5, 图 2总像素为 3x5, 最终输出图像总像素为 4 X 3。
本发明实施例中， 所述数据映射模式的图像处理装置包括： 像素映射 模块。
像素映射模块，用于针对实际拍摄的物距和产品设计的物距接近的情 况下，根据拍摄得到的阵列图像和阵列图像与 Magixoom***图像的固定 的先险的映射关系， 进行 Magixoom***图像的映射和生成。
其中，所述阵列图像与 Magixoom***图像的固定的先验的映射关系 是指： 按***设计过程中实际拍摄或者仿真产生的阵列图像， 通过图像投 影、 重叠区域特征点寻找、 配准拼接、 融合和裁切， 建立阵列图像和 Magixoom***图像之间的像素映射关系。
其中， 所述进行 Magixoom ***图像的映射和生成， 即为寻找 Magixoom***输出图像的像素值与各个传感器阵列图像像素值之间的像 素映射关系， 其具体表达式如下：
M
P=l
其中，
R ' 为 Magixoom图像坐标 (" 处的像素值；
p为影响 Magixoom图像坐标 处像素值的传感器图像编号；
为传感器图像编号为 p的图像像素坐标；
f xp, y 为传感器图像编号为 P的坐标为（½, > )点的像素值；
为权重因子。
根据该像素映射关系， 建立的包含像素映射关系的映射表如表 1 所 示。
表 1 输出图像坐标（ζ', 传感器图像编号 Ρ 图像地址 权重因子
( 1,1 ) 1 ( 2,2) 1
( 1,2) 1 ( 2,3 ) 1
( 1,3) 1 ( 2,4) 1 ( 2,1 ) 1 ( 3,2) 0.5
2 ( 1,3 ) 0.5
( 2,2) 1 ( 3,3 ) 0.5
2 ( 1,4) 0.5
( 2,3) 1 ( 3,4) 0.5
2 ( 1,5 ) 0.5
( 3,1 ) 2 ( 2,3 ) 1
( 3,2) 2 ( 2,4) 1
( 3,3) 2 ( 2,5 ) 1
(4,1 ) 2 ( 3,3 ) 1
(4,2) 2 ( 3,4) 1
(4,3) 2 ( 3,5 ) 1 实际应用中， 在拍摄获得传感器图像后， 只需要利用上述映射表和计 算公式， 对最终输出图像的坐标（i,j ) 的像素值进行计算， 可以得到最终 输出图像所有坐标点的像素值。
本发明实施例中， 在获取像素映射关系后，后续还可以对获取的像素 映射关系进行微配准，使得像素映射关系更为精确。 即提出基于微配准的 数据映射模式，该种模式主要用于实际拍摄的物距和产品设计的物距有一 定变化的情况的应用环境。
图 19为本发明实施例基于微配准的数据映射模式流程示意图。 参见 图 19, 该流程包括：
步骤 801, 预先建立像素映射关系；
步骤 802, 获取阵列图像；
步骤 803, 实时计算并对像素映射关系进行微调修正；
本步骤中，根据获取的阵列图像实时计算并对像素映射关系进行微调 修正， 即进行 £配准。
步骤 804, 生成修正的像素映射关系；
本步骤中， 根据微调修正的像素映射关系，对预先建立的像素映射关 系进行更新， 生成修正的像素映射关系。
步骤 805, 根据修正的像素映射关系， 对获取的阵列图像进行像素映 射， 生成大分辨率图像；
步骤 806, 输出大分辨率图像。 本发明实施例中， 所述图像处理装置进一步包括：
微配准模块，用于针对实际拍摄的物距和产品设计的物距有一定变化 的情况下， 通过精确的微配准， 获取物距变化带来的相邻投影后图像间的 相对位置关系的偏移量， 根据该偏移量， 对像素映射模块存储的像素映射 关系进行修正， 获得更新的像素映射关系。
当实际拍摄的物距和产品设计的物距变化较大时，尤其是拍摄动态场 景时， 各个传感器图像之间的重叠区域会产生一定程度的偏移， 这种偏移 使得像素映射关系的映射表内容会有某些细微变化。 于是， 需要对之前建 立的像素映射关系进行实时修正。
修正的过程为： 获取阵列图像后，对某些重叠区域进行特征点的寻找 和精确配准点的搜寻， 计算出相邻图像间的相对位置关系的偏移量（ Δ χ , △ y ) , 根据该偏移量， 对原始像素映射关系表内的图像地址、 输出图像 坐标和权重因子进行修正， 获得新的像素映射关系。
利用像素值的计算公式和上述新的像素映射表，对最终输出图像的坐 标 （i,j ) 的像素值进行计算， 得到最终输出图像所有坐标点的像素值。
这样， 基于预先获取的图像数据的映射地址关系， 以及， 本帧拍摄时 来自各长焦子***的各幅图像的位置， 微调修正数据， 并构建新的映射地 址关系 （像素映射关系）， 依据构建的像素映射关系进行拍摄图像数据的 映射。 其中， 修正的像素映射关系为： 最终图像（大分辨率图像） 的每一 地址的像素值与来自对应的长焦子***的图像的一个或多个地址的像素 值的对应地址关系以及像素值权重关系；预先建立的像素映射关系为验证 正确的最终图像的各个像素与来自各长焦子***的图像的一个或者多个 相关像素的对应地址关系以及像素值权重关系。 发明的精神和范围。 这样， 倘若对本发明的这些修改和变型属于本发明权 利要求及其等同技术的范围之内， 则本发明也包含这些改动和变型在内。

Claims

权 利 要 求 书
1.一种 Magixoom***， 其特征在于， 包括：
由 M行和 N列窄视场长焦成像子*** NFLFS组成的 NFLFS阵列， 相邻的 NFLFS的视场互相交叠，所有的 NFLFS的主光轴汇聚于一点或者 该点邻域范围内， 该点为 Magixoom***光心， 其中， M、 N均为大于等 于 1 的自然数， 并且 M和 N中至少一个大于 1且均不等于 2; 第 i行 j 列处 NFLFS的水平视场角为 垂直视场角为 所述 Magixoom***的水平视场角 HFOV为 N<¾ +Δ<¾ + eh , Magixoom***的垂 直视场角 VFOV 为 Μ<¾ + Δ<¾ + £ν , 其中， 180° > <¾ > 0° , 90° > Δ<¾ > 0° , 180° > ων > 0 90° > Αων > 0° , ί¾为水平相邻的 NFLFS的主光轴之间的设计夹 角， 为垂直相邻的 NFLFS 的主光轴之间的设计夹角， Δί¾为水平相邻的 NFLFS的视场交叠角，近似为在水平相邻的 NFLFS的物距无穷远处水平视 场交叠区域边缘对***光心的夹角， Δβν为垂直相邻的 NFLFS 的视场交叠 角， 近似为在垂直相邻的 NFLFS的物距无穷远处垂直视场交叠区域边缘对 ***光心的夹角， εΜ]、 ^分别为第 i行 j列处 NFLFS的水平、 垂直视场 角误差， £h、 £v分别为 Magixoom***的水平、 垂直视场角误差；
图像处理装置， 用于对所述 NFLFS阵列所拍的具有相邻交叠特性的 阵列图像进行处理以获得宽视场超高分辨率图像的装置；
***控制装置， 连接到所述图像处理装置和 NFLFS阵列， 用于对所 述 Magixoom***的各个组成部件的运行进行控制的装置。
2. 如权利要求 1所述的 Magixoom***， 其中， 所述图像处理装置 按照不同的产品应用要求，包括全程计算模式的图像处理装置或数据映射 模式的图像处理装置。
3. 如权利要求 2所述的 Magixoom ***， 其中， 所述全程计算模式 的图像处理装置包括： 图像投影模块、 图像重叠区域特征点寻找模块、 图 像配准拼接模块、 图像融合模块以及图像裁切模块， 其中，
图像投影模块， 将每个阵列图像所在传感器坐标系投影到***坐标系， 获得在***坐标系下相对应的投影图像；
图像重叠区域特征点寻找模块，在投影图像的重叠区域内寻找到特征 点；
图像配准拼接模块， 利用特征点在对应的重叠图像内找到对应的配准 点， 并对配准点对进行筛选， 找到有效的配准点对； 按照找到的有效配准 点对计算得到的各个传感器投影图像之间的相对位置关系， 在***坐标系 内进行图像的拼接；
图像融合模块， 对拼接后相邻图像之间在色调、 亮度、 饱和度进行调 整以达到相邻图像间在色调、 亮度、 饱和度的平滑过渡；
图像裁切模块， 取拼接后所得图像的内接四边形， 并剪切掉四边形之 外的部分， 得到图像输出。
4. 如权利要求 2所述的 Magixoom ***， 其中， 所述数据映射模式 的图像处理装置包括： 像素映射模块，
像素映射模块，用于针对实际拍摄的物距和产品设计的物距接近的情 况下，根据拍摄得到的阵列图像和阵列图像与 Magixoom***图像的固定 的先险的映射关系， 进行 Magixoom***图像的映射和生成；
其中，所述阵列图像与 Magixoom***图像的固定的先验的映射关系 是指： 按***实际拍摄或者仿真产生的阵列图像， 通过图像投影、 重叠区 域特征点寻找、 配准拼接、 融合和裁切处理， 建立阵列图像各个像素和 Magixoom***图像各个像素之间的像素映射关系。
5. 如权利要求 4所述的 Magixoom ***， 其中， 所述图像处理装置 进一步包括：
微配准模块，用于针对实际拍摄的物距和产品设计的物距有一定变化 的情况下， 通过精确的微配准， 获取物距变化带来的相邻投影后图像间的 相对位置关系的偏移量， 根据该偏移量， 对像素映射模块存储的像素映射 关系进行修正， 获得更新的像素映射关系。
6. 一种 Magixoom方法， 该方法包括：
设置由 M行和 N列窄视场长焦成像子*** NFLFS组成 NFLFS阵列， 相邻的 NFLFS的视场互相交叠，每一个 NFLFS的主光轴汇聚于一点或者 该点邻域范围内， 该点为 Magixoom***光心， 其中， M、 N均为大于等 于 1 的自然数， 并且 M和 N中至少一个大于 1且均不等于 2; 设置第 i 行 j列处 NFLFS的水平视场角为 ί¾ +Δ + eMj , 垂直视场角为 ων + Λων + εν{/； 设置 Magixoom***的水平视场角 HFOV为 No)h + o)h + £h , Magixoom*** 的垂直视场角 VFOV 为 Μ<¾ + Δ<¾ + £ν , 其中， 180° > <¾ > 0° , 90° > A h > 0° , 180° > ων > 0° , 90° > Αων > 0° , ί¾为水平相邻的 NFLFS的主光轴之间的设计夹 角， 为垂直相邻的 NFLFS 的主光轴之间的设计夹角， Δί¾为水平相邻的 NFLFS的视场交叠角，近似为在水平相邻的 NFLFS的物距无穷远处水平视 场交叠区域边缘对***光心的夹角， Δβν为垂直相邻的 NFLFS 的视场交叠 角， 近似为在垂直相邻的 NFLFS的物距无穷远处垂直视场交叠区域边缘对 ***光心的夹角， ehij、 ^分别为第 i行 j列处 NFLFS的水平、 垂直视场 角误差， £h、 £v分别为 Magixoom***的水平、 垂直视场角误差；
***控制装置， 连接到所述图像处理装置和 NFLFS阵列， 用于对所 述 Magixoom***的各个组成部件的运行进行控制的装置；
图像处理装置， 用于对所述 NFLFS阵列所拍的具有相邻交叠特性的 阵列图像进行处理以获得宽视场超高分辨率图像的装置。
7. 如权利要求 6所述的 Magixoom方法， 其中， 所述图像处理装置 按照不同的产品应用要求，包括全程计算模式的图像处理装置或数据映射 模式的图像处理装置。
8. 如权利要求 7所述的 Magixoom方法， 其中， 所述全程计算模式 的图像处理装置包括： 图像投影模块、 图像重叠区域特征点寻找模块、 图 像配准拼接模块、 图像融合模块以及图像裁切模块， 其中，
图像投影模块， 将每个阵列图像所在传感器坐标系投影到***坐标系， 获得在***坐标系下相对应的投影图像；
图像重叠区域特征点寻找模块，在投影图像的重叠区域内寻找到特征 点；
图像配准拼接模块， 利用特征点在对应的重叠图像内找到对应的配准 点， 并对配准点对进行筛选， 找到有效的配准点对； 按照找到的有效配准 点对计算得到的各个传感器投影图像之间的相对位置关系， 在***坐标系 内进行图像的拼接；
图像融合模块， 对拼接后相邻图像之间在色调、 亮度、 饱和度进行调 整以达到相邻图像间在色调、 亮度、 饱和度的平滑过渡； 图像裁切模块， 取拼接后所得图像的内接四边形， 并剪切掉四边形之 外的部分， 得到图像输出。
9. 如权利要求 8所述的 Magixoom方法， 其中， 所述图像投影的具 体方法包括：
( 1 ) 基于所拍各相邻图像特征点关系计算出投影矩阵的投影方法： 根据当前拍摄获得的相邻图像重叠区域的特征点对的相对位置关系，计算 出每个阵列图像所在传感器坐标系相对于***坐标系的投影矩阵，获得投 影图像；
( 2 ) 基于先验投影矩阵的投影方法： 根据产品出厂时测定的投影矩 阵作为先验的投影矩阵， 对拍摄获得的阵列图像， 直接进行投影计算， 即 可获得投影图像。
10. 如权利要求 8所述的 Magixoom方法， 其中， 所述获取重叠区域 特征点包含在各个颜色空间的各维空间分量的区域极值点但不限于区域 极值点， 按如下方法和步骤获取区域极值点：
Al l , 确定相邻投影图像之一作为配准模板， 选择另一图像作为被配 准模板， 在配准模板重叠区域的边界邻近处， 选取有效的区域极值特征点 的起始搜寻点， 在过该起始搜寻点的任意交叉线上， 所述交叉线包括但不 限于两条线的交叉线，以各个方向的固定步长来确定该条交叉线上的两个 区域极值特征点的判断辅助点；
A12 , 计算交叉线中的每条线上判断辅助点与搜寻点的像素值差之和 的绝对值， 将两条线上的绝对值进行求和， 获取求和值高于预设条件阈值 的搜寻点， 作为当前的区域极值特征点坐标， 置于极值特征点列表中；
A13 , 移动搜寻点， 按照与步骤 Al l 以及步骤 A12相同的方法， 并 遍历整个重叠区域， 获取求和值高于预设条件阈值的搜寻点，得到重叠区 域的区域极值特征点列表。
11. 如权利要求 10所述的 Magixoom方法， 其中， 进一步包括： 将获取的区域极值特征点， 按照求和值从大到小进行排序， 选取排序 的前 ^个极值点作为候选区域极值特征点；
更新得到的重叠区域的区域极值特征点列表。
12. 如权利要求 10所述的 Magixoom方法， 其中， 所述区域极值特 征点计算公式为：
diffx = f ii - stepl, j - step!) + ( + step3, j + step 4) - 2 (/， j)
dijfy = f (i + step5, j - step6) + f ii - stepl , j + step8) - 2f(i, j)
jdiffxl +
Figure imgf000039_0001
> T 其中，
/(， j)为点搜寻点 P(i, j)的像素值， i, 为正实数；
为交叉线中的第一条线上辅助判断点 P(i— stepi, j— stepT) 、 P(i + step3, j + stepA)与搜寻点 P(i, )的像素值差之和；
^^为交叉线中的第二条线上辅助判断点 P(i + step5, j - stepG) 、 sfep7， + Wep8)与搜寻点 P(i, j)的像素值差之和；
Γ为预设条件阈值；
、 steP3 , steP5、 为判断辅助点与搜索点的采样在图像横坐标 方向的步长间隔， 1、 steP4 , steP6、 为判断辅助点与搜索点的采样 在图像纵坐标方向的步长间隔。
13. 如权利要求 8所述的 Magixoom方法， 其中， 所述根据获取的重 叠区域特征点，进行配准模板和被配准模板之间的图像配准拼接包含但不 限于以下具体方法和步骤：
按照产品设计的结构、 物距参数选择最大可能配准区域；
用 MSAD法求候选配准点对： 以过选择的配准模板的区域极值特征 点的交叉线作为配准交叉线，遍历被配准图像配准区域并计算每个搜索点 的 SAD , 找到 MSAD及对应的图像坐标点对， 作为当前区域极值特征点 的候选配准点对；
遍历前 K个区域极值特征点， 寻找出 K个候选配准点对；
根据获取的候选配准点对，基于距离差积分算法， 获取当前候选配准 点对的合理性 选积分；
按照从小到大， 对获取的各候选配准点对的合理性 选积分进行排 序， 选取排序前 N。h∞k个配准点对；
对 N eck个配准点对的横坐标和纵坐标分别求差得出配准点对的横纵 坐标配准相对平移数据； 对所有配准点对的横坐标差和纵坐标差分别求平均值，得到相邻投影 后图像的所有像素点的配准拼接横纵平移数据和对应于***坐标系的坐 标。
14. 如权利要求 13所述的 Magixoom方法， 其中， 所述用 MSAD法 求候选配准点对包括：
步骤 1,
SADQ(i
+
Figure imgf000040_0001
MSAD = min SAD,
步骤 2, 找到 MSAD 点对应到配准模板和被配准模板的坐标作为候 选配准点对； 所述计算公式以两条线的交叉线为例，一条线或多条线的交叉线同样 适用；
式中，
step9、 steplO、 stepl 1、 stepll为配准步长；
"为以当前极值特征点为中心的配准步长数；
P(i, j)为配准图像区域极值特征点；
Q (ii, jj)为被配准图像区域极值特征点对应的配准点；
SAD是 ( Sum of Absolute Difference ) ， 指两个对应序列的数值的对 应项差的绝对值之和；
MSAD是 ( Minimum Sum of Absolute Difference ) , 指多个 SAD值 中的最小值。
15. 如权利要求 13所述的 Magixoom方法， 其中， 所述获取当前候 选配准点对的合理性 选积分包括：
基于当前 ΝΛεΛ个配准点对（Pkl(i， j) ， Qkl(ii， jj) ),取任意一组配准点对 (P (i， j) ， Q (ii， jj) ), 分别计算距离 PklPk2, QklQk2 , 将 feL- βΑ1¾2|作为当 前的积分值， 累加到当前配准点对的合理性 选积分 中： ~ 。
Figure imgf000041_0001
按照从小到大， 对获取的各候选配准点对的合理性 选积分进行排 序， 选取排序前 N。h∞k个候选配准点对作为配准点对。
16. 如权利要求 13所述的 Magixoom方法， 其中， 在配准拼接的过 程中， 所述方法进一步包括：
如果在图像拼接过程中在配准区域内无法搜寻到特征点的情况， 采用 上一次精确配准的坐标平移数据作为本次配准的坐标平移数据。
17. 如权利要求 7所述的 Magixoom方法， 其中， 所述数据映射模式的 图像处理装置包括： 像素映射模块，
像素映射模块，用于针对实际拍摄的物距和产品设计的物距接近的情 况下，根据拍摄得到的阵列图像和阵列图像与 Magixoom***图像的固定 的先险的映射关系， 进行 Magixoom***图像的映射和生成；
其中，所述阵列图像与 Magixoom***图像的固定的先验的映射关系 是指： 按***实际拍摄或者仿真产生的阵列图像， 通过图像投影、 重叠区 域特征点寻找、 配准拼接、 融合和裁切， 建立阵列图像和 Magixoom*** 图像之间的像素映射关系；
其中， 所述进行 Magixoom ***图像的映射和生成， 即为寻找 Magixoom***输出图像的像素值与各个传感器阵列图像像素值之间的像 素映射关系， 其具体表达式如下：
Figure imgf000041_0002
其中，
R ' j为 Magixoom图像坐标 处的像素值；
p为影响 Magixoom图像坐标 处像素值的传感器图像编号；
为传感器图像编号为 p的图像像素坐标；
f xp , y 为传感器图像编号为 P的坐标为（½, > )点的像素值；
为权重因子。
18. 如权利要求 17所述的 Magixoom方法， 其中， 所述图像处理装 置进一步包括： 微配准模块，用于针对实际拍摄的物距和产品设计的物距有一定变化 的情况下， 通过精确的微配准， 获取物距变化带来的相邻投影后图像间的 相对位置关系的偏移量， 根据该偏移量， 对像素映射模块存储的像素映射 关系进行修正， 获得更新的像素映射关系。
19. 如权利要求 1所述的 Magixoom***， 其中， 所述***控制装置 进一步用于：
使所述 Magixoom***工作在拍照模式、 动态跟踪模式或微距模式， 其中， 在所述拍照模式下， 所述 NFLFS阵列由所述***控制装置进行统 一曝光控制以对宽视场场景进行一次性拍照，并且将拍照图像发送给图像 处理装置进行处理， 处理后的拍照图像存储到存储器。
20. 如权利要求 19所述的 Magixoom***， 其中， 所述统一曝光控 制是指所有的 NFLFS由所述***控制装置统一控制传感器的电子快门使 传感器在同一个时刻曝光， 所述在同一时刻曝光包括各 NFLFS具有相同 曝光时长和不同曝光时长； 在不同曝光时长情况下， 具有较长曝光时间的 NFLFS曝光时段覆盖具有较短曝光时长的 NFLFS的曝光时段。
21. 如权利要求 20所述的 Magixoom***， 其中， 在所述动态跟踪 模式下， 所述 NFLFS阵列由统一曝光控制对***视场内的场景拍照， 在 拍照后所述***控制装置依据被跟踪对象的在成像***中的坐标和依据 应用设计的取景范围定义动态跟踪取景框，所述图像处理装置只对所述动 态跟踪取景框之内的图像进行拼接预处理和拼接处理，并将拼接处理后的 动态跟踪取景框内的图像存储到存储器，其中拼接预处理包括图像投影变 换， 其中， 所述图像投影变换是指动态跟踪取景框内各个像面沿球面分布 的 NFLFS阵列所成的阵列图像投影到切点在 Magixoom***视场内的以 Magixoom***的光心为球心的球面上的某个指定切面内得到呈平面分布 图像阵列。
22. 如权利要求 1、 19、 20或 21所述的 Magixoom***， 进一步包 括显示器、 照片浏览软件和视频显示软件， 供用户浏览所述 Magixoom系 统的图像和视频， 其中， 在拍照模式下或微距模式下，通过显示器和浏览软件看到的宽视场场 景内的图像是对原始拍照的图像进行抽样后得到小数据量的图像，通过显 示器和浏览软件看到的宽视场场景内的特写图像是宽视场场景内的局部 特写图像或者甚至是宽视场场景内的局部特写图像经插值放大后的图像； 在动态跟踪模式或微距模式下，通过显示器和视频显示软件看到动态跟踪 取景框内的动态景物特写视频或者微距成像***拍摄的视频。
23. 如权利要求 1所述的 Magixoom***， 进一步包括：
微距成像子***，用于在所述 Magixoom***工作于微距模式下或者 集成于 Magixoom***中的独立的微距成像子***，在所述***控制装置 控制下独立地进行微距照片或者视频拍摄。
24. 如权利要求 1所述的 Magixoom***， 进一步包括：
动态跟踪辅助成像***， 其视场角和所述 NFLFS阵列的视场角近似 一致，用于辅助所述 Magixoom***运行于动态跟踪模式时获取被跟踪目 标的坐标并实时传递给所述 Magixoom***，或者用于远于物距介于微距 ***物距范围之外和 Magixoom***物距范围之内的成像。
25. 如权利要求 1所述的 Magixoom***， 其中，
所述 NFLFS阵列为 3 X 3NFLFS阵列， 其中， 水平相邻 NFLFS的主 光轴夹角 ^为 16.2° , 垂直相邻 NFLFS的主光轴夹角 ^为 12.05° , 水平 交叠角 Δί¾为 1.5° , 垂直交叠角 为 1.25° , 所述 HFOV为 50.Γ , 所 述 VFOV为 37.4° 。
PCT/CN2013/081002 2012-08-07 2013-08-07 宽视场超高分辨率光学成像***及方法 WO2014023231A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210279808.9A CN102821238B (zh) 2012-03-19 2012-08-07 宽视场超高分辨率成像***
CN201210279808.9 2012-08-07

Publications (1)

Publication Number Publication Date
WO2014023231A1 true WO2014023231A1 (zh) 2014-02-13

Family

ID=50067552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/081002 WO2014023231A1 (zh) 2012-08-07 2013-08-07 宽视场超高分辨率光学成像***及方法

Country Status (2)

Country Link
CN (1) CN102821238B (zh)
WO (1) WO2014023231A1 (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104853089A (zh) * 2015-04-16 2015-08-19 深圳市威德视科技开发有限公司 一种实现完整高清图片的方法和装置
CN105872475A (zh) * 2016-05-20 2016-08-17 北京格灵深瞳信息技术有限公司 一种监控摄像装置
CN105933660A (zh) * 2016-05-20 2016-09-07 北京格灵深瞳信息技术有限公司 一种监控摄像装置
CN106815808A (zh) * 2017-01-20 2017-06-09 长沙全度影像科技有限公司 一种利用分块运算的图像拼接方法
US9867538B2 (en) 2016-03-21 2018-01-16 Canon Kabushiki Kaisha Method for robust eye tracking and ophthalmologic apparatus therefor
CN110673607A (zh) * 2019-09-25 2020-01-10 优地网络有限公司 动态场景下的特征点提取方法、装置、及终端设备
CN110910485A (zh) * 2019-12-16 2020-03-24 山东东艺数字科技有限公司 一种沉浸式cave影像制作方法
CN111833384A (zh) * 2020-05-29 2020-10-27 武汉卓目科技有限公司 一种可见光和红外图像快速配准方法及装置
CN111971711A (zh) * 2018-04-10 2020-11-20 深圳华大智造科技有限公司 荧光图像配准方法、基因测序仪及***、存储介质
CN112082909A (zh) * 2020-04-24 2020-12-15 西安理工大学 一种应用于双线阵扫描成像***中细胞流速的计算方法
CN112509038A (zh) * 2020-12-15 2021-03-16 华南理工大学 结合视觉仿真的自适应图像模板截取方法、***及存储介质
CN112995514A (zh) * 2021-03-03 2021-06-18 上海悦易网络信息技术有限公司 一种工业相机的拍照物距的获取方法及设备
CN113313659A (zh) * 2021-04-25 2021-08-27 中国人民解放***箭军工程大学 一种多机协同约束下高精度图像拼接方法
CN113645462A (zh) * 2021-08-06 2021-11-12 深圳臻像科技有限公司 一种3d光场的转换方法及装置
CN113689339A (zh) * 2021-09-08 2021-11-23 北京经纬恒润科技股份有限公司 图像拼接方法及装置
CN113689321A (zh) * 2021-08-23 2021-11-23 陈凤妹 基于立体投影加密的图像信息传输方法及装置
CN113822987A (zh) * 2021-09-22 2021-12-21 杭州趣村游文旅集团有限公司 一种相邻三维实景模型间的自动调色方法
CN113840123A (zh) * 2020-06-24 2021-12-24 上海赫千电子科技有限公司 一种车载图像的图像处理装置、汽车
CN113947526A (zh) * 2020-07-16 2022-01-18 四川大学 一种改进尺度不变特征变换的快速拼接方法
CN114070981A (zh) * 2021-11-09 2022-02-18 南通大学 一种异型管道全景成像装置及全景成像方法
CN114257703A (zh) * 2021-12-14 2022-03-29 成都信和创业科技有限责任公司 四目微光夜视仪图像拼接融合自动检测方法和装置
CN114286017A (zh) * 2021-11-15 2022-04-05 华能国际电力股份有限公司上海石洞口第二电厂 基于自由视角的超大尺度电力设备图像采集方法及***
CN114636546A (zh) * 2022-03-10 2022-06-17 杭州海康威视数字技术股份有限公司 用于成像同步性检测的***
CN114897699A (zh) * 2022-05-25 2022-08-12 中国电建集团中南勘测设计研究院有限公司 一种风机叶片的红外图像拼接方法及装置
CN115524343A (zh) * 2022-09-29 2022-12-27 哈尔滨工业大学 一种冰晶体物理结构的细观表征方法
CN115797995A (zh) * 2022-11-18 2023-03-14 北京的卢铭视科技有限公司 人脸活体检测方法、电子设备及存储介质
CN117876222A (zh) * 2024-03-12 2024-04-12 昆明理工大学 一种弱纹理湖泊水面场景下的无人机影像拼接方法
CN118092515A (zh) * 2024-04-17 2024-05-28 南京协众光电技术有限公司 一种光电测角精度定向***的调节装置与调节方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821238B (zh) * 2012-03-19 2015-07-22 北京泰邦天地科技有限公司 宽视场超高分辨率成像***
CN103969958B (zh) * 2013-01-25 2016-03-30 上海微电子装备有限公司 一种多曝光视场拼接***和方法
CN103338343A (zh) * 2013-05-29 2013-10-02 山西绿色光电产业科学技术研究院（有限公司） 以全景图像为基准的多路图像无缝拼接方法及装置
CN104079808B (zh) * 2014-07-13 2017-05-10 西安电子科技大学 超高分辨率宽场成像***
US9307133B1 (en) 2015-02-11 2016-04-05 Pho Imaging Limited System and method of imaging for increasing image resolution
CN104702971B (zh) * 2015-03-24 2018-02-06 西安邮电大学 相机阵列高动态范围成像方法
UA114549C2 (uk) * 2015-09-16 2017-06-26 Сергій Іванович Мірошниченко Багатосенсорний формувач відеозображень на базі оптоелектронних перетворювачів
CN108353118B (zh) * 2015-12-29 2019-04-02 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
CN107389687B (zh) * 2017-06-27 2020-10-09 北京航空航天大学 一种电子元器件外观图像采集装置及其采集方法
CN109636763B (zh) * 2017-10-09 2022-04-01 小元感知(北京)科技有限公司 一种智能复眼监控***
CN107959767B (zh) * 2017-12-14 2020-04-10 中国科学院长春光学精密机械与物理研究所 一种以电视跟踪结果为导向的调焦调光方法
CN108234958B (zh) * 2018-02-06 2024-04-05 长沙学院 举高喷射消防车及其成像***、成像方法
CN108989739B (zh) * 2018-07-24 2020-12-18 上海国茂数字技术有限公司 一种全视角视频会议直播***及方法
CN108881873B (zh) * 2018-07-31 2019-12-17 杭州一隅千象科技有限公司 高分辨率图像融合的方法、装置和***
CN109040601B (zh) * 2018-09-05 2020-06-26 清华-伯克利深圳学院筹备办公室 一种多尺度非结构化的十亿像素vr全景摄影***
CN109379522A (zh) * 2018-12-06 2019-02-22 Oppo广东移动通信有限公司 成像方法、成像装置、电子装置及介质
CN109639997B (zh) * 2018-12-20 2020-08-21 Oppo广东移动通信有限公司 图像处理方法、电子装置及介质
CN109639974A (zh) * 2018-12-20 2019-04-16 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置及介质
CN109379528A (zh) * 2018-12-20 2019-02-22 Oppo广东移动通信有限公司 成像方法、成像装置、电子装置及介质
CN109600551A (zh) * 2018-12-29 2019-04-09 Oppo广东移动通信有限公司 成像方法、成像装置、电子装置及介质
CN110493526B (zh) 2019-09-10 2020-11-20 北京小米移动软件有限公司 基于多摄像模块的图像处理方法、装置、设备及介质
CN114205522B (zh) 2020-01-23 2023-07-18 华为技术有限公司 一种长焦拍摄的方法及电子设备
CN112085106A (zh) * 2020-09-10 2020-12-15 江苏提米智能科技有限公司 一种应用于多图像融合的图像识别方法、装置、电子设备及存储介质
CN113066011B (zh) * 2021-04-07 2022-11-11 合肥英睿***技术有限公司 一种图像处理方法、装置、***、介质和电子设备
CN115272077B (zh) * 2022-07-29 2023-06-06 西安羚控电子科技有限公司 一种基于视域融合的图像拼接方法及***
CN116471490B (zh) * 2023-06-19 2023-08-29 清华大学 变光照十亿像素光场智能成像***、方法与装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031197A1 (en) * 2000-10-04 2005-02-10 Knopp David E. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
US20090141043A1 (en) * 2007-11-30 2009-06-04 Hitachi, Ltd. Image mosaicing apparatus for mitigating curling effect
CN101976449A (zh) * 2010-11-25 2011-02-16 上海合合信息科技发展有限公司 拍摄多幅文本图像并拼接的方法
CN102819835A (zh) * 2012-07-26 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种图像拼接中筛选特征点匹配对的方法
CN102821238A (zh) * 2012-03-19 2012-12-12 北京泰邦天地科技有限公司 宽视场超高分辨率成像***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098784A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 視野角制御装置および表示装置
JP5110350B2 (ja) * 2006-09-29 2012-12-26 Ｎｌｔテクノロジー株式会社 光学素子およびこれを用いた照明光学装置、表示装置、電子機器
JP4586869B2 (ja) * 2008-03-13 2010-11-24 ソニー株式会社 液晶表示装置及び電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031197A1 (en) * 2000-10-04 2005-02-10 Knopp David E. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
US20090141043A1 (en) * 2007-11-30 2009-06-04 Hitachi, Ltd. Image mosaicing apparatus for mitigating curling effect
CN101976449A (zh) * 2010-11-25 2011-02-16 上海合合信息科技发展有限公司 拍摄多幅文本图像并拼接的方法
CN102821238A (zh) * 2012-03-19 2012-12-12 北京泰邦天地科技有限公司 宽视场超高分辨率成像***
CN102819835A (zh) * 2012-07-26 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种图像拼接中筛选特征点匹配对的方法

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104853089A (zh) * 2015-04-16 2015-08-19 深圳市威德视科技开发有限公司 一种实现完整高清图片的方法和装置
US9867538B2 (en) 2016-03-21 2018-01-16 Canon Kabushiki Kaisha Method for robust eye tracking and ophthalmologic apparatus therefor
CN105872475A (zh) * 2016-05-20 2016-08-17 北京格灵深瞳信息技术有限公司 一种监控摄像装置
CN105933660A (zh) * 2016-05-20 2016-09-07 北京格灵深瞳信息技术有限公司 一种监控摄像装置
CN106815808A (zh) * 2017-01-20 2017-06-09 长沙全度影像科技有限公司 一种利用分块运算的图像拼接方法
CN111971711A (zh) * 2018-04-10 2020-11-20 深圳华大智造科技有限公司 荧光图像配准方法、基因测序仪及***、存储介质
CN110673607A (zh) * 2019-09-25 2020-01-10 优地网络有限公司 动态场景下的特征点提取方法、装置、及终端设备
CN110673607B (zh) * 2019-09-25 2023-05-16 优地网络有限公司 动态场景下的特征点提取方法、装置、及终端设备
CN110910485A (zh) * 2019-12-16 2020-03-24 山东东艺数字科技有限公司 一种沉浸式cave影像制作方法
CN110910485B (zh) * 2019-12-16 2023-07-25 山东东艺数字科技有限公司 一种沉浸式cave影像制作方法
CN112082909A (zh) * 2020-04-24 2020-12-15 西安理工大学 一种应用于双线阵扫描成像***中细胞流速的计算方法
CN112082909B (zh) * 2020-04-24 2023-08-11 西安理工大学 一种应用于双线阵扫描成像***中细胞流速的计算方法
CN111833384A (zh) * 2020-05-29 2020-10-27 武汉卓目科技有限公司 一种可见光和红外图像快速配准方法及装置
CN111833384B (zh) * 2020-05-29 2023-12-26 武汉卓目科技有限公司 一种可见光和红外图像快速配准方法及装置
CN113840123B (zh) * 2020-06-24 2024-05-31 上海赫千电子科技有限公司 一种车载图像的图像处理装置、汽车
CN113840123A (zh) * 2020-06-24 2021-12-24 上海赫千电子科技有限公司 一种车载图像的图像处理装置、汽车
CN113947526B (zh) * 2020-07-16 2023-04-18 四川大学 一种改进尺度不变特征变换的快速拼接方法
CN113947526A (zh) * 2020-07-16 2022-01-18 四川大学 一种改进尺度不变特征变换的快速拼接方法
CN112509038A (zh) * 2020-12-15 2021-03-16 华南理工大学 结合视觉仿真的自适应图像模板截取方法、***及存储介质
CN112509038B (zh) * 2020-12-15 2023-08-22 华南理工大学 结合视觉仿真的自适应图像模板截取方法、***及存储介质
CN112995514B (zh) * 2021-03-03 2023-05-30 上海万物新生环保科技集团有限公司 一种工业相机的拍照物距的获取方法及设备
CN112995514A (zh) * 2021-03-03 2021-06-18 上海悦易网络信息技术有限公司 一种工业相机的拍照物距的获取方法及设备
CN113313659B (zh) * 2021-04-25 2024-01-26 中国人民解放***箭军工程大学 一种多机协同约束下高精度图像拼接方法
CN113313659A (zh) * 2021-04-25 2021-08-27 中国人民解放***箭军工程大学 一种多机协同约束下高精度图像拼接方法
CN113645462A (zh) * 2021-08-06 2021-11-12 深圳臻像科技有限公司 一种3d光场的转换方法及装置
CN113645462B (zh) * 2021-08-06 2024-01-16 深圳臻像科技有限公司 一种3d光场的转换方法及装置
CN113689321A (zh) * 2021-08-23 2021-11-23 陈凤妹 基于立体投影加密的图像信息传输方法及装置
CN113689321B (zh) * 2021-08-23 2023-12-22 深圳普汇智为科技有限公司 基于立体投影加密的图像信息传输方法及装置
CN113689339A (zh) * 2021-09-08 2021-11-23 北京经纬恒润科技股份有限公司 图像拼接方法及装置
CN113689339B (zh) * 2021-09-08 2023-06-20 北京经纬恒润科技股份有限公司 图像拼接方法及装置
CN113822987A (zh) * 2021-09-22 2021-12-21 杭州趣村游文旅集团有限公司 一种相邻三维实景模型间的自动调色方法
CN114070981A (zh) * 2021-11-09 2022-02-18 南通大学 一种异型管道全景成像装置及全景成像方法
CN114070981B (zh) * 2021-11-09 2023-09-19 南通大学 一种异型管道全景成像方法
CN114286017A (zh) * 2021-11-15 2022-04-05 华能国际电力股份有限公司上海石洞口第二电厂 基于自由视角的超大尺度电力设备图像采集方法及***
CN114257703A (zh) * 2021-12-14 2022-03-29 成都信和创业科技有限责任公司 四目微光夜视仪图像拼接融合自动检测方法和装置
CN114257703B (zh) * 2021-12-14 2023-12-01 成都信和创业科技有限责任公司 四目微光夜视仪图像拼接融合自动检测方法和装置
CN114636546A (zh) * 2022-03-10 2022-06-17 杭州海康威视数字技术股份有限公司 用于成像同步性检测的***
CN114636546B (zh) * 2022-03-10 2024-05-14 杭州海康威视数字技术股份有限公司 用于成像同步性检测的***
CN114897699B (zh) * 2022-05-25 2024-04-05 中国电建集团中南勘测设计研究院有限公司 一种风机叶片的红外图像拼接方法及装置
CN114897699A (zh) * 2022-05-25 2022-08-12 中国电建集团中南勘测设计研究院有限公司 一种风机叶片的红外图像拼接方法及装置
CN115524343A (zh) * 2022-09-29 2022-12-27 哈尔滨工业大学 一种冰晶体物理结构的细观表征方法
CN115797995B (zh) * 2022-11-18 2023-09-01 北京的卢铭视科技有限公司 人脸活体检测方法、电子设备及存储介质
CN115797995A (zh) * 2022-11-18 2023-03-14 北京的卢铭视科技有限公司 人脸活体检测方法、电子设备及存储介质
CN117876222A (zh) * 2024-03-12 2024-04-12 昆明理工大学 一种弱纹理湖泊水面场景下的无人机影像拼接方法
CN117876222B (zh) * 2024-03-12 2024-06-11 昆明理工大学 一种弱纹理湖泊水面场景下的无人机影像拼接方法
CN118092515A (zh) * 2024-04-17 2024-05-28 南京协众光电技术有限公司 一种光电测角精度定向***的调节装置与调节方法

Also Published As

Publication number Publication date
CN102821238B (zh) 2015-07-22
CN102821238A (zh) 2012-12-12

Similar Documents

Publication Publication Date Title
WO2014023231A1 (zh) 宽视场超高分辨率光学成像***及方法
WO2021073331A1 (zh) 基于终端设备的变焦虚化图像获取方法和装置
US9325899B1 (en) Image capturing device and digital zooming method thereof
CN108600576B (zh) 图像处理装置、方法和***以及计算机可读记录介质
WO2017088678A1 (zh) 长曝光全景图像拍摄装置和方法
JP5389697B2 (ja) 高品質な合成パノラマ画像のイン・カメラ生成
JP5969992B2 (ja) 携帯型装置でのステレオスコピック（３ｄ）のパノラマ生成
WO2020007320A1 (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
US20060120712A1 (en) Method and apparatus for processing image
US20060078214A1 (en) Image processing based on direction of gravity
US20060078215A1 (en) Image processing based on direction of gravity
CN105530431A (zh) 一种反射式全景成像***及方法
CN112085659B (zh) 一种基于球幕相机的全景拼接融合方法、***及存储介质
JP2002503893A (ja) 仮想現実カメラ
JP2006211139A (ja) 撮像装置
WO2014183385A1 (zh) 一种终端及其实现图像处理的方法
JP3907008B2 (ja) 写真のための被写界の深度を増大するための方法及び手段
WO2021184302A1 (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
JP2016129289A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US11832018B2 (en) Image stitching in the presence of a full field of view reference image
CN108513057B (zh) 图像处理方法及装置
JP2020053774A (ja) 撮像装置および画像記録方法
TWI398716B (zh) Use the flash to assist in detecting focal lengths
JP6665917B2 (ja) 画像処理装置
WO2018196854A1 (zh) 一种拍照方法、拍照装置及移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13828244

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13828244

Country of ref document: EP

Kind code of ref document: A1