WO2011027483A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2011027483A1
WO2011027483A1 PCT/JP2010/001422 JP2010001422W WO2011027483A1 WO 2011027483 A1 WO2011027483 A1 WO 2011027483A1 JP 2010001422 W JP2010001422 W JP 2010001422W WO 2011027483 A1 WO2011027483 A1 WO 2011027483A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
compression
compression rate
unit
region
Prior art date
Application number
PCT/JP2010/001422
Other languages
English (en)
French (fr)
Inventor
横光澄男
藤井博文
藤松健
渡邊偉志
松本裕一
三輪道雄
杉浦雅貴
森岡幹夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP10813439.6A priority Critical patent/EP2475163A4/en
Priority to US13/393,983 priority patent/US8639045B2/en
Priority to CN201080037781.1A priority patent/CN102577350B/zh
Publication of WO2011027483A1 publication Critical patent/WO2011027483A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/413—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
    • H04N1/415—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information in which the picture-elements are subdivided or grouped into fixed one-dimensional or two-dimensional blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/413—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
    • H04N1/417—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information using predictive or differential encoding
    • H04N1/4172—Progressive encoding, i.e. by decomposition into high and low resolution components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an image processing apparatus and an image processing method, and relates to a technique for compressing an image obtained by a wide-angle camera such as an omnidirectional camera.
  • Omnidirectional cameras are widely used in various fields because they can obtain images with a wide field of view with a single camera.
  • the omnidirectional camera is used in, for example, a surveillance system.
  • An omnidirectional camera can obtain an omnidirectional image by using an omnidirectional lens optical system or an omnidirectional mirror optical system.
  • Patent Documents 1 and 2 disclose techniques for reducing the data amount of omnidirectional images.
  • data of omnidirectional images is obtained by reducing the number of colors of images other than circular images or increasing the compression rate among square images including circular images obtained by an omnidirectional camera.
  • a technique for reducing the amount is disclosed.
  • Patent Document 3 discloses a technique for reducing the amount of image data by changing the compression rate in accordance with the shooting location and the shooting target.
  • the conventionally proposed image data compression method performs data compression in consideration of the characteristics of a wide-angle camera.
  • it is still insufficient in terms of performing high-quality and high-efficiency image compression considering the camera characteristics of a wide-angle camera.
  • the present invention has been made in view of such a point, and provides an image processing apparatus and an image processing method capable of performing high-quality and high-efficiency image compression in consideration of camera characteristics unique to a wide-angle camera.
  • the imaging unit is configured to divide a captured image obtained by the imaging unit into a plurality of regions, and each area image divided by the region dividing unit.
  • An image compression unit that compresses the image by changing a compression rate in accordance with the degree of distortion when acquiring the captured image.
  • One aspect of the image processing apparatus of the present invention is a region dividing unit that divides a captured image obtained by a camera into a plurality of regions, and each region image divided by the region dividing unit is a predetermined image of the captured image.
  • an image compression unit that compresses the image by changing the compression rate according to the length from each point to each region image.
  • FIG. 3A is a diagram illustrating a relationship between an angle from an optical axis and a captured image
  • FIG. 3A is a diagram illustrating at which position on an imaging surface an object existing at an angle ⁇ in real space is captured through an optical system
  • FIG. 3B is a diagram showing a captured image.
  • FIG. 2 is a block diagram illustrating a configuration of the first embodiment.
  • region division according to the distance d Block diagram showing a configuration of the second embodiment
  • the inventors of the present invention have noticed that the quality of an image greatly differs depending on the image area in an image obtained by a wide-angle camera such as an omnidirectional camera.
  • the omnidirectional image obtained by the omnidirectional camera has a markedly different image quality depending on the image area.
  • the captured image near the optical axis direction of the camera has small distortion, small aberration, and high resolution.
  • the captured image in the direction away from the optical axis direction of the camera, the captured image has more distortion, greater aberration, and lower resolution. -The more distant the object is from the camera, the lower the resolution of the captured image.
  • the optical axis direction of the omnidirectional camera may be the front direction or the central direction of the omnidirectional camera.
  • the above-mentioned characteristics such as “the captured image in the vicinity of the optical axis direction of the camera has a small distortion, a small aberration, and a high resolution” are characterized by a narrow-angle camera other than an omnidirectional (wide-angle) camera (hereinafter, such a camera). This is a characteristic that appears also in a super wide-angle camera such as an omnidirectional camera.
  • the above-mentioned characteristics such as “the resolution of the captured image becomes lower as the object is farther from the camera” are characteristics that appear in a normal camera, but an ultra-wide-angle camera such as an omnidirectional camera rather than a normal camera. This is a characteristic that appears prominently.
  • the captured image is divided into a plurality of regions according to the angle from the optical axis of the camera, and each divided region image is separated from the optical axis.
  • the image is compressed by changing the compression rate according to the angle to each of the area images.
  • the compression rate is changed according to the distance from the camera to the target included in each area image.
  • First compression method “a method that significantly reduces the amount of data in a low-quality area and maintains the quality of a high-quality area”
  • Second compression method a method that “obtains an image with an average resolution in all areas”
  • First compression method “a method for significantly reducing the amount of data in a low-quality area and maintaining the quality in a high-quality area” This compression method is performed in the following (i) to (iii) Change the compression rate according to the rules.
  • a region image obtained with a larger angle from the optical axis is compressed with a larger compression rate.
  • a target image that is farther away from the camera is compressed with a larger compression rate.
  • An image obtained near the optical axis is compressed with a large compression ratio.
  • the image quality is not so good due to distortion in the first place, and even if the information is reduced, the image quality degradation is not noticeable at the time of display, and the image obtained at an angle away from the camera optical axis. Since the compression rate is increased, it is possible to greatly reduce image data while suppressing substantial image quality deterioration. Further, since the compression rate is changed by a simple parameter such as an angle from the optical axis, the compression rate can be changed without performing complicated image processing.
  • the image quality is not so good due to the low resolution in the first place, and even if the information is reduced, the image quality deterioration is not noticeable at the time of display or cannot be used for human identification, etc.
  • An omnidirectional camera is often installed on the ceiling or pillar in the direction of the earth's surface.
  • the captured image of a person existing in the optical axis direction of the camera is only the head.
  • an image in which only the head is shown has low significance, so that the image in that region may be deteriorated by increasing the compression rate.
  • the inventors have considered that the processing of (iii) can greatly reduce the code amount of an image that is not a significant region, and can reduce the code amount as a whole, from such examination.
  • ROI encoding is a technique for encoding a region of interest (ie, ROI) of an image with a different image quality from other regions. Specifically, the image quality deterioration of the attention area is suppressed by reducing the compression rate of the attention area.
  • ROI encoding since the degree of significant image deterioration differs depending on which region is the attention region, which region is set as the attention region is important. In order to set an accurate attention area, image processing such as pattern recognition is generally required, which increases the amount of calculation.
  • the above processes (i) to (iii) can be used in appropriate combination.
  • all of the processes (i) to (iii) may be used, or the process (i) may be performed without performing the processes (ii) and (iii).
  • the processes (i) and (ii) may be performed without performing the process (iii).
  • the processes (i) and (iii) may be performed without performing the process (ii).
  • an image obtained with an angle less than 5 ° from the optical axis is compressed with a large compression ratio ((iii)
  • the image obtained at an angle of 5 ° or more from the optical axis may be compressed with a larger compression ratio as the angle from the optical axis increases (the process (i) is performed).
  • Second Compression Method “A Method for Obtaining an Image with Average Resolution in All Regions” This compression method changes the compression rate according to the following rules (iv) and (v). (iv) A region image obtained with a larger angle from the optical axis is compressed with a smaller compression rate. (v) The target image that is farther from the camera is compressed with a smaller compression rate.
  • FIG. 1 shows a state in which the omnidirectional camera 10 images the targets T1 to T6.
  • the target is a person, but the target is not limited to a person.
  • the omnidirectional camera 10 is installed on the ceiling or pillar in the direction of the ground surface.
  • C0 is the optical axis of the omnidirectional camera.
  • FIG. 1 shows a state of imaging by the omnidirectional camera 10 as seen from a direction parallel to the ground surface.
  • FIG. 2 shows an omnidirectional image 1 captured by the omnidirectional camera 10.
  • targets T1 and T2 are present at an angle ⁇ 1 from the optical axis C0
  • targets T3 and T4 are present at an angle ⁇ 2
  • targets T5 and T6 are present at an angle ⁇ 3.
  • ⁇ 1, ⁇ 2, and ⁇ 3 have a relationship of ⁇ 1> ⁇ 2> ⁇ 3.
  • the targets T1, T3, and T5 are present at a distance d1 from the omnidirectional camera 10
  • the targets T2, T4, and T6 are present at a distance d2 from the omnidirectional camera 10.
  • d1 and d2 have a relationship of d1 ⁇ d2.
  • FIG. 3 is a diagram showing the relationship between the angle ⁇ from the optical axis C0 and the captured image.
  • FIG. 3A is a diagram showing at which position on the imaging surface an object existing at an angle ⁇ in real space is imaged via the optical system 2.
  • the point corresponding to the optical axis C0 on the imaging surface is P0
  • the point on the imaging surface corresponding to the object T is a point having a distance l from the point P0.
  • the point P0 is the center point of the captured image in the omnidirectional image.
  • f ⁇ tan ⁇ The distance from the point P0 to the intersection of the straight line connecting the object T1 and the optical center of the optical system 2 and the imaging surface is represented by f ⁇ tan ⁇ .
  • f indicates the focal length of the camera.
  • the relationship between the distance l and f ⁇ tan ⁇ is expressed by the following equation using coefficients ⁇ 1 and ⁇ 2 representing lens distortion.
  • the relationship between the angle ⁇ and the distance l is uniquely determined using the focal length f and the coefficients ⁇ 1 and ⁇ 2 . Therefore, if the compression rate according to the angle ⁇ is set, the compression rate according to the distance l can be easily obtained from the compression rate. That is, as shown in FIG. 3B, on the omnidirectional image 1, the compression rate of the object T at a distance l from the point P0 corresponding to the optical axis C0 may be set according to the value of the distance l. However, since it is difficult to obtain the distance d from the camera in the real space to each of the targets T1 to T6 from the omnidirectional image 1, it is obtained using a distance measuring means. A method for obtaining the distance d will be described later.
  • FIG. 4 shows that the sizes of captured images (which may be referred to as resolutions) when the same object is photographed differ according to the distance d to the target.
  • the captured image size decreases as the distance d from the imaging surface of the camera to the target increases. For example, when the distance d1 to the target T3 is 5 [m] and the distance d2 to the target T4 is 10 [m], the target T3 is an image of 10 pixels and the target T4 is an image of 5 pixels.
  • the resolution of the target T3 is twice that of the target T4.
  • the divided regions A1 and A2 including the targets T1 and T2 are compressed at a high compression rate because the angle ⁇ 1 from the optical axis C0 is large and the distortion is large.
  • the divided regions A3 and A4 including the targets T3 and T4 are compressed at a lower compression rate than the targets T1 and T2 because the angle ⁇ 2 from the optical axis C0 is smaller than the angle ⁇ 1 and the distortion is small. Since the targets T5 and T6 exist near the optical axis C0 and only the head is captured, the targets T5 and T6 are compressed at a high compression rate.
  • T1, T3, and T5 are T2
  • Compression is performed at a lower compression rate than T4 and T6.
  • the omnidirectional image 1 is divided into divided areas A1 to A6 including the targets T1 to T6, and the compression rates of the divided areas A1 to A6 are set.
  • the present invention is not limited to the case of dividing the image while paying attention to the target. That is, the omnidirectional image 1 is divided into a plurality of regions according to the angle ⁇ (the length from the point P1 to the divided regions A1 to A6 in the captured image), and each of the divided region images is angle ⁇ (imaged).
  • the image may be compressed by changing the compression rate according to the length from the point P1 to the divided areas A1 to A6.
  • FIG. 5 shows that in the first compression method, the rule image (i) is compressed with a larger compression ratio as the region image obtained with a larger angle from the optical axis, and the rule (ii) the distance from the camera is compressed.
  • the contours of the compression rate in a three-dimensional space when using a combination of compressing with a larger compression rate as a farther target image is shown.
  • the contour lines L1 to L3 have a relationship of the compression rate indicated by the contour line L1 ⁇ the compression rate indicated by the contour line L2 ⁇ the compression rate indicated by the contour line L3.
  • FIG. 6 shows that in the first compression method, the rule image (i) is compressed with a larger compression ratio as the region image obtained with a larger angle from the optical axis, and the rule (ii) the distance from the camera is compressed.
  • the rule image (iii) is compressed with a larger compression ratio as the region image obtained with a larger angle from the optical axis, and the rule (ii) the distance from the camera is compressed.
  • the contours of the compression rate in a three-dimensional space when used in the above are shown.
  • the contour lines L1 to L5 have a relationship of compression rate indicated by the contour line L1, ⁇ compression rate indicated by the contour line L2, ⁇ compression rate indicated by the contour line L3 ⁇ compression rate indicated by the contour line L4 ⁇ compression rate indicated by the contour line L5.
  • 6 shows a case where an image near the optical axis (0 ⁇ ⁇ ⁇ TH) is compressed at a fixed compression ratio L5, but as shown in FIG. 7, the image is near the optical axis (0 ⁇ ⁇ ⁇ TH).
  • the compression rate of the image may be changed according to the angle ⁇ (the length from the point P1 in the captured image) and the distance d while being relatively larger than the compression rates of the images in the other regions.
  • the divided areas A1 and A2 including the targets T1 and T2 are compressed at a low compression rate because the angle ⁇ 1 from the optical axis C0 is large and the distortion is large.
  • the divided regions A3 and A4 including the targets T3 and T4 are compressed at a higher compression rate than the targets T1 and T2 because the angle ⁇ 2 from the optical axis C0 is smaller than the angle ⁇ 1 and the distortion is small.
  • T1, T3, and T5 are T2
  • Compression is performed at a higher compression rate than T4 and T6.
  • FIG. 8 shows that in the second compression method, the region image obtained with a larger angle from the rule (iv) optical axis is compressed with a smaller compression rate, and the rule (v) is separated from the camera by a distance.
  • the contours of the compression rate in a three-dimensional space when using a combination of compressing a target image with a smaller compression rate are shown.
  • the contour lines L1 to L3 are in a relationship of compression rate indicated by the contour line L1> compression rate indicated by the contour line L2> compression rate indicated by the contour line L3.
  • the compression rate when the first compression method is adopted can be obtained by the equation (2) or the equation (3).
  • the compression rate is set to a relatively large fixed value as compared with other regions.
  • the coefficient ⁇ multiplied by the angle ⁇ may be set in accordance with, for example, a distortion coefficient, aberration, resolution, etc. depending on the lens characteristics included in the camera parameter.
  • the coefficient ⁇ multiplied by the distance d may be set according to the focal length included in the camera parameters, for example.
  • the compression rate when the second compression method is adopted can be obtained by the equation (4) or the equation (5).
  • FIG. 9 shows an example of the ⁇ value.
  • FIG. 10 shows a specific example of the compression rate.
  • FIG. 11 shows a configuration according to Embodiment 1 of the present invention.
  • a wide-angle camera device 110 in FIG. 11 includes a camera unit 11, a distance measurement unit 12, and an image processing device 100.
  • the camera unit 11 is, for example, an omnidirectional camera.
  • the camera unit 11 is not limited to an omnidirectional camera, and may be any camera whose imaging image quality deteriorates due to distortion or the like as the angle ⁇ from the optical axis increases.
  • the camera unit 11 is an omnidirectional camera, the effect of the present invention becomes remarkable. Therefore, in the following description, a case where the camera unit 11 is an omnidirectional camera will be described.
  • the omnidirectional image obtained by the camera unit 11 is output to the area dividing unit 101 of the image processing apparatus 100.
  • the distance measuring unit 12 is arranged accompanying the camera unit 11 or is built in the camera unit 11.
  • the distance measuring unit 12 measures the distance d between the target existing in the imaging region and the camera unit 11.
  • a distance measuring sensor such as an ultrasonic sensor or an infrared sensor can be used.
  • the distance measuring unit 12 receives a signal from the wireless tag attached to the target, obtains a position coordinate of the wireless tag based on the received wireless signal, and calculates a distance from the position coordinate and the position coordinate of the camera unit 11.
  • requires d may be sufficient.
  • the distance measurement unit 12 may obtain the distance to the target using the stereo image.
  • the distance measuring unit 12 may have any configuration as long as the target can be measured in the imaging space. Information on the distance d obtained by the distance measuring unit 12 is output to the region dividing unit 101 and the compression rate setting unit 104.
  • the area dividing unit 101 divides the omnidirectional image into a plurality of areas. At this time, as shown in FIG. 2, the area dividing unit 101 may divide into divided areas A1 to A6 including the targets T1 to T6 with reference to the targets T1 to T6 in the omnidirectional image 1. Regardless of the targets T1 to T6, it may be simply divided into a plurality of regions. Note that images having different distances d are divided into different regions.
  • FIG. 12 shows an example of area division according to the distance d.
  • FIG. 12 shows an example in which an area is divided into an area where the distance from the camera is less than 5 [m] and an area where the distance is 5 [m] or more. That is, when the angle ⁇ is ignored, the image including the targets T11 and T12 is divided into an image in a different area from the image including the targets T21 and T22.
  • the pixels of the substantially the same distance which adjoins can be collected, and it can divide into areas. .
  • the omnidirectional image divided into a plurality of regions is output to the distance calculation unit 102.
  • the distance calculation unit 102 calculates the distance l from the point P0 corresponding to the optical axis C0 to each region image in the captured image.
  • the compression rate setting unit 104 sets the compression rate of each region image from the distance l on the captured image and the distance d from the camera unit 11 to the target.
  • the compression rate setting unit 104 has a table storing compression rates corresponding to the distances l and d, and the compression rates corresponding to the distances l and d with the distances l and d as read addresses. Is output.
  • the compression rate corresponding to the angle ⁇ can be obtained using any one of the equations (2) to (5). Further, since the relationship between the angle ⁇ and the distance l is uniquely determined by the expression (1), the compression ratio corresponding to the distance l can be obtained from the compression ratio corresponding to the angle ⁇ .
  • the table of the compression rate setting unit 104 stores the compression rate corresponding to the distance l.
  • the coefficients ⁇ and ⁇ in the equations (2) to (5) may be set according to the distortion coefficient, aberration, resolution, focal length, and the like stored in the camera parameter storage unit 103 as described above.
  • the compression rate in the region of 0 ⁇ ⁇ ⁇ TH may be set to a relatively large value as compared with other regions.
  • the image compression unit 105 obtains compressed encoded data by compressing and encoding each region image divided by the region dividing unit 101 at the compression rate set by the compression rate setting unit 104.
  • the image output unit 106 outputs the compression encoded data to a transmission path, a recording medium, or the like.
  • the compressed encoded data transmitted to the counterpart device via the transmission path is decoded and displayed by the counterpart device. Further, the compressed and encoded data recorded on the recording medium is reproduced and decoded by the reproducing device and displayed.
  • the area dividing unit 101 that divides the captured image obtained by the camera unit 11 into a plurality of areas, and each area image divided by the area dividing unit 101 is converted into a predetermined point (light This is a point corresponding to the axis C0.
  • a predetermined point light This is a point corresponding to the axis C0.
  • the distance l from the captured image to each region image and the distance d from the camera unit 11 to the targets T1 to T4 included in each region.
  • FIG. 13 in which the same reference numerals are assigned to corresponding parts as in FIG. 11 shows the configuration of the wide-angle camera device of the second embodiment.
  • the image processing device 200 of the wide-angle camera device 210 includes an object detection unit 201.
  • the object detection unit 201 detects a target object (that is, a target) from the omnidirectional image.
  • the object detection unit 201 detects, for example, a moving object as a target.
  • the object detection unit 201 may classify and detect a specific object according to the type. The detection of the moving object included in the image and the object classification processing can be easily realized by a known technique, but will be briefly described below.
  • FIG. 14 shows how a moving object is detected by inter-frame difference processing.
  • a situation is shown in which a person as a moving object is detected by taking the difference between the t frame and the t + 1 frame.
  • FIG. 15 shows a state in which a moving object is detected by background difference processing.
  • a background image is obtained from images of a plurality of frames (t-2 frame, t-1 frame, and t frame), and a person as a moving object is detected by taking a difference between the background image and the image of t + 1 frame. Is shown.
  • FIG. 16 shows a state in which a person and a car are classified and detected from the captured image.
  • FIG. 17 shows a processing example for classifying and detecting a specific object according to the type.
  • the object detection unit 201 holds the shapes of a person, a car, a two-wheeled vehicle, etc. as a learning pattern by learning. Then, the object detection unit 201 detects a special-purpose object included in the input image by performing pattern matching processing between the input image and the learning pattern.
  • the object detection unit 201 outputs a detection result of a specific object such as a moving object to the region division unit 202.
  • a specific object such as a moving object
  • the region dividing unit 202 divides the omnidirectional image into regions including a specific object (a person in the case of FIG. 2).
  • the distance calculation unit 102, the compression rate setting unit 104, and the image compression unit 105 in the subsequent stage perform the same processing as in the first embodiment only on a predetermined image area including a specific object, not all images.
  • only the important region including the specific object is compressed at the compression rate considering the camera characteristics of the wide-angle camera as described in the first embodiment. Note that the area other than the important area including the specific object is compressed with a larger compression ratio than the important area.
  • the compression rate of the area other than the important area is increased, so that the data amount of the compression encoded data can be further reduced.
  • the image processing apparatuses 100 and 200 can be configured by a computer such as a personal computer including a memory and a CPU.
  • the functions of the constituent elements constituting the image processing apparatuses 100 and 200 can be realized by the CPU reading and executing the computer program stored in the memory.
  • the present invention is suitable for use in compressing an image captured by a wide-angle camera such as an omnidirectional camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置（１００）は、カメラ部（１１）によって得られた撮像画像を複数の領域に分割する領域分割部（１０１）と、領域分割部（１０１）によって分割された各領域画像を、撮像画像の所定の点から各領域画像までの距離ｌ及びカメラ部（１１）から各領域に含まれるターゲットまでの距離ｄに応じて圧縮率を変化させて圧縮する画像圧縮部（１０５）とを有する。例えば、画像圧縮部（１０５）が光軸からの角度が大きな領域画像ほど大きな圧縮率で圧縮することにより、低品質の領域のデータ量が大幅に減らされ、高品質の領域の品質を維持した圧縮が行われる。

Description

画像処理装置及び画像処理方法
　本発明は、画像処理装置及び画像処理方法に関し、全方位カメラ等の広角カメラにより得られた画像を圧縮する技術に関する。
　全方位カメラは、１台のカメラで広い視野範囲の画像を得ることができるため、種々の分野で広く用いられている。全方位カメラは、例えば監視システム等に用いられている。全方位カメラは、全方位レンズ光学系や全方位ミラー光学系を用いることで、全方位画像を得ることができるようになっている。
　ところで、全方位画像を高解像度で取得した場合は、情報量が多くなるので、画像を圧縮してから、伝送路に送出したり、記録媒体に記録することが多い。
　全方位画像のデータ量を削減する技術が、特許文献１、２で開示されている。特許文献１、２には、全方位カメラにより得られた円形画像を含む四角形の画像のうち、円形画像以外の画像の色数を減らしたり、圧縮率を高くすることで、全方位画像のデータ量を削減する技術が開示されている。
　また、特許文献３には、撮影場所や撮影対象に応じて圧縮率を変えることで、画像データ量を削減する技術が開示されている。
特開２００７－３１８５９６号公報 特開２００７－３１８５９７号公報 特許第３５７３６５３号公報
"A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", Roger Y,Tsaim IEEE Journal of Robotics and Automation, Vol. RA-3,No.4, August 1987,pp327 式(5a）
　ところで、従来提案されている画像データの圧縮方法は、広角カメラの特性を十分に考慮してデータ圧縮を行っているとは言えない。その結果、広角カメラのカメラ特性を考慮した、高画質及び高効率の画像圧縮を行う点で未だ不十分であった。
　本発明はかかる点に鑑みてなされたものであり、広角カメラ特有のカメラ特性を考慮した、高画質及び高効率の画像圧縮を行うことができる画像処理装置及び画像処理方法を提供する。
　本発明の画像処理装置の一つの態様は、撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割部と、前記領域分割部によって分割された各領域画像を、前記撮像手段が前記撮像画像を取得する際の歪の程度に応じて圧縮率を変化させて圧縮する画像圧縮部と、を具備する。
　本発明の画像処理装置の一つの態様は、カメラによって得られた撮像画像を、複数の領域に分割する領域分割部と、前記領域分割部によって分割された各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮部と、を具備する。
　本発明によれば、全方位カメラ等の広角カメラ特有のカメラ特性を利用した圧縮処理を行うので、画質と圧縮率とを両立させた画像圧縮を行うことができる。
全方位カメラによってターゲットを撮像している様子を示す図 全方位カメラによって撮像された全方位画像を示す図 光軸からの角度と撮像画像との関係を示す図であり、図３Ａは実空間上で角度θに存在する物体が光学系を介して撮像面上のどの位置で撮像されるかを示す図、図３Ｂは撮像画像を示す図 ターゲットまでの距離に応じて撮像画像のサイズが異なることを示す図 ３次元空間上の圧縮率の等高線を示す図 ３次元空間上の圧縮率の等高線を示す図 ３次元空間上の圧縮率の等高線を示す図 ３次元空間上の圧縮率の等高線を示す図 圧縮率の計算に用いるα値の一例を示す図 圧縮率の具体例を示す図 実施の形態１の構成を示すブロック図 距離ｄに応じた領域分割の例を示す図 実施の形態２の構成を示すブロック図 フレーム間差分処理によって動物体を検出する様子を示す図 背景差分処理によって動物体を検出する様子を示す図 撮像画像から人物、車を分類して検出した様子を示す図 特定物体を種類に応じて分類して検出するための処理例を示す図
　［１］原理
　先ず、本発明の実施の形態を説明する前に、実施の形態の原理について説明する。
　本発明の発明者らは、全方位カメラ等の広角カメラによって得られた画像においては、画像領域に応じて画像の品質が大きく異なることに着目した。特に、全方位カメラによって得られた全方位画像は、画像領域に応じて画像の品質が顕著に異なる。
　先ず、発明者らは、全方位カメラのカメラ特性に起因して、撮像画像に次の特性が現れることに着目した。
　・カメラの光軸方向付近の撮像画像は、歪みが小さく、収差が小さく、解像度が高い。逆の表現をすると、カメラの光軸方向から離れた方向ほど、撮像画像は、歪みが大きく、収差が大きく、解像度が低くなる。
　・カメラから距離の離れた対象ほど、撮像画像の解像度が低くなる。
　ここで、全方位カメラの光軸方向とは、全方位カメラの正面方向又は中心方向といってもよい。
　なお、上記「カメラの光軸方向付近の撮像画像は、歪みが小さく、収差が小さく、解像度が高い」といった特性は、全方位（広角）カメラ以外の狭角のカメラ（以下、このようなカメラを通常のカメラと呼ぶ）にも現れる特性であるが、特に全方位カメラのような超広角カメラにおいて顕著に現れる特性である。また、上記「カメラから距離の離れた対象ほど、撮像画像の解像度が低くなる」といった特性も、通常のカメラにも現れる特性であるが、通常のカメラよりも全方位カメラのような超広角カメラにおいて顕著に現れる特性である。
　本発明では、上記全方位（広角）カメラの特性を利用して、撮像画像をカメラの光軸からの角度に応じて複数の領域に分割し、分割したされた各領域画像を、光軸からの各領域画像までの角度に応じて圧縮率を変化させて圧縮する。この処理は、撮像画像のみに着目した場合、カメラによって得られた撮像画像を複数の領域に分割し、分割された各領域画像を、撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する、と言うことができる。また、本発明では、カメラから各領域画像に含まれるターゲットまでの距離に応じて、圧縮率を変化させる。
　本発明では、上記角度・距離に応じた圧縮率の変化のさせ方として、
　第１の圧縮方法：「低品質の領域のデータ量を大幅に減らし、高品質の領域の品質を維持する」方法
　第２の圧縮方法：「全領域で平均的な解像度の画像を得る」方法
　の２つの圧縮方法を提示する。
　以下、第１及び第２の圧縮方法について、個別に説明する。
　［１－２］第１の圧縮方法：「低品質の領域のデータ量を大幅に減らし、高品質の領域の品質を維持する」方法
　この圧縮方法は、次の(i)～(iii)の規則に従って圧縮率を変化させる。
　(i)光軸からの角度が大きな角度で得られた領域画像ほど大きな圧縮率で圧縮する。
　(ii)カメラから距離の離れた対象の画像ほど大きな圧縮率で圧縮する。
　(iii)光軸付近で得られた画像は大きな圧縮率で圧縮する。
　(i)の処理を行うことにより、そもそも歪み等のためにあまり画像品質が良くなく、情報を削減しても表示時に画質劣化が目立たない、カメラ光軸から離れた角度で得られた画像ほど、圧縮率を大きくするので、実質的な画質劣化を抑制しつつ、画像データを大幅に削減できる。また、光軸からの角度といった単純なパラメータによって圧縮率を変えるので、複雑な画像処理を行うことなしに、圧縮率を変えることができる。
　同様に、(ii)の処理を行うことにより、そもそも低解像度等のためにあまり画像品質が良くなく、情報を削減しても表示時に画質劣化が目立たない又は人物識別等に利用できない、カメラから遠いターゲットほど、圧縮率を大きくするので、実質的な有意領域の画質劣化を抑制しつつ、画像データを大幅に削減できる。
　ここで、(iii)の処理を行う理由について説明する。全方位カメラは、天井や柱に、地表方向に向けて設置されることが多く、このような場合、カメラの光軸方向に存在する人物の撮像画像は、頭部のみが写ったものとなっている可能性が高い。発明者らは、頭部のみが写った画像は有意性が低いので、その領域の画像は圧縮率を大きくして画質が劣化してもよいと考えた。発明者らは、このような検討から、(iii)の処理を行えば、有意領域でない画像の符号量を大きく削減でき、全体としての符号量を削減できると考えた。
　ところで、有意画像ほど圧縮率を小さくする技術としては、従来、ＲＯＩ（Region of Interest）符号化がある。ＲＯＩ符号化は、画像の注目領域（つまり、ＲＯＩ）を他の領域とは異なる画質で符号化する技術である。具体的には、注目領域ほど圧縮率を小さくすることで、注目領域の画質劣化を抑制する。但し、ＲＯＩ符号化では、どの領域を注目領域とするかによって有意画像の劣化の程度が異なるので、どの領域を注目領域に設定するかが重要となる。的確な注目領域の設定するためには、一般に、パターン認識等の画像処理が必要になるので、演算量が増大する。
　これに対して、(iii)では、全方位（広角）画像の特徴を有効に利用して有意性を決めているので、大きな演算量の増加を伴わずに、的確に全方位画像の有意領域を設定できる。この結果、比較的小さな演算規模で、高品質及び高圧縮率の圧縮画像データを得ることができる。
　ここで、上記(i)～(iii)の処理は、適宜組み合わせて用いることができる。例えば、上記(i)～(iii)の処理を全て用いてもよく、上記(ii)、(iii)の処理を行わずに上記(i)の処理のみを行ってもよい。また、上記(iii)の処理を行わずに、上記(i)、(ii)の処理を行ってもよい。また、上記(ii)の処理を行わずに、上記(i)、(iii)の処理を行ってもよい。
　なお、上記(i)と(iii)の処理を組み合わせて行う場合には、例えば、光軸からの角度が５°未満の角度で得られた画像は大きな圧縮率で圧縮し（(iii)の処理を行う）、光軸からの角度が５°以上の角度で得られた画像は光軸からの角度が大きくなるほど大きな圧縮率で圧縮すればよい（(i)の処理を行う）。
　［１－３］第２の圧縮方法：「全領域で平均的な解像度の画像を得る」方法
　この圧縮方法は、次の(iv)、(v)の規則に従って圧縮率を変化させる。
　(iv)光軸からの角度が大きな角度で得られた領域画像ほど小さな圧縮率で圧縮する。
　(v)カメラから距離の離れた対象の画像ほど小さな圧縮率で圧縮する。
　(iv)の処理を行うことにより、そもそも歪み等のためにあまり画像品質が良くない画像ほど、圧縮によるさらなる劣化を抑制でき、結果として、全領域で均一（平均的）な品質の画像を得ることができる。また、光軸からの角度といった単純なパラメータによって圧縮率を変えるので、複雑な画像処理を行うことなしに、圧縮率を変えることができる。
　同様に、(v)の処理を行うことにより、そもそも低解像度等のためにあまり画像品質が良くない画像ほど、圧縮によるさらなる劣化を抑制でき、結果として、全領域で均一（平均的）な品質の画像を得ることができる。
　ここで、上記(iv)、(v)の処理は、組み合わせて用いてもよいし、(v)の処理を行わずに上記(iv)の処理のみを行ってもよい。
　［１－４］処理イメージ
　次に、図１～図１０を用いて、本発明の処理イメージを説明する。
　図１は、全方位カメラ１０がターゲットＴ１～Ｔ６を撮像している様子を示すものである。なお、図の例の場合、ターゲットは人物であるが、ターゲットは人物に限らない。図１の例では、全方位カメラ１０は、天井や柱に、地表方向に向けて設置されている。図中、Ｃ０は全方位カメラの光軸である。図１は、全方位カメラ１０による撮像の様子を、地表と平行な方向から見たものである。
　図２は、全方位カメラ１０によって撮像された全方位画像１を示すものである。
　図１及び図２において、ターゲットＴ１、Ｔ２は光軸Ｃ０から角度θ１の位置に存在し、ターゲットＴ３、Ｔ４は角度θ２の位置に存在し、ターゲットＴ５、Ｔ６は角度θ３の位置に存在する。ここで、θ１、θ２、θ３は、θ１＞θ２＞θ３の関係にある。また、ターゲットＴ１、Ｔ３、Ｔ５は全方位カメラ１０から距離ｄ１の位置に存在し、ターゲットＴ２、Ｔ４、Ｔ６は全方位カメラ１０から距離ｄ２の位置に存在する。ここで、ｄ１、ｄ２は、ｄ１＜ｄ２の関係にある。
　図３は、光軸Ｃ０からの角度θと、撮像画像との関係を示す図である。図３Ａは、実空間上で角度θに存在する物体が光学系２を介して撮像面上のどの位置で撮像されるかを示す図である。ここで、撮像面上における光軸Ｃ０に対応する点をＰ０とすると、物体Ｔに対応する撮像面上の点は点Ｐ０から距離ｌの点となる。なお、点Ｐ０は、全方位画像においては、撮像画像の中心の点となる。
　点Ｐ０から、物体Ｔ１と光学系２の光学中心とを結ぶ直線の延長線と、撮像面との交点までの距離は、ｆ×tanθで表される。ｆはカメラの焦点距離を示す。距離ｌと、ｆ×tanθとの関係は、レンズの歪を表す係数κ１、κ２などを用いて、次式により表される。
　ｆ×tanθ　 ＝　ｌ＋ｌ×(κ１×ｌ2＋κ２×ｌ４＋、、、）
　　　　　　　＝　ｌ×（ｌ＋ κ１×ｌ2＋κ２×ｌ４＋、、、)　　　………（１）
　上記式（１）については、例えば非特許文献１に記載されている。
　このように、焦点距離ｆと係数κ１、κ２等を用いて、角度θと距離ｌとの関係は一意に定まる。よって、角度θに応じた圧縮率を設定すれば、その圧縮率から距離ｌに応じた圧縮率は容易に求めることができる。つまり、図３Ｂに示すように、全方位画像１上において、光軸Ｃ０に対応する点Ｐ０から距離ｌの物体Ｔの圧縮率は、距離ｌの値に応じて設定すればよくなる。但し、実空間上でのカメラから各ターゲットＴ１～Ｔ６までの距離ｄは全方位画像１から求めることは困難なので、距離計測手段を用いて求める。距離ｄの求め方は、後述する。
　図４は、ターゲットまでの距離ｄに応じて同じ物体を撮影したときの撮像画像のサイズ（解像度といってもよい）が異なることを示すものである。カメラの撮像面からターゲットまでの距離ｄが大きいほど撮像画像サイズは小さくなる。例えば、ターゲットＴ３までの距離ｄ１が５［ｍ］、ターゲットＴ４までの距離ｄ２が１０［ｍ］の場合には、ターゲットＴ３は１０ピクセルの画像となり、ターゲットＴ４は５ピクセルの画像となるので、ターゲットＴ３の解像度はターゲットＴ４の解像度の２倍となる。
　［１－４－１］第１の圧縮方法（「低品質の領域のデータ量を大幅に減らし、高品質の領域の品質を維持する」方法）を用いる場合の処理イメージ
　図２において、ターゲットＴ１、Ｔ２を含む分割領域Ａ１、Ａ２は光軸Ｃ０からの角度θ１が大きく歪みが大きいので高圧縮率で圧縮される。ターゲットＴ３、Ｔ４を含む分割領域Ａ３、Ａ４は、光軸Ｃ０からの角度θ２が角度θ１よりも小さく、歪みが小さいので、ターゲットＴ１、Ｔ２よりも低圧縮率で圧縮される。ターゲットＴ５、Ｔ６は光軸Ｃ０付近に存在し頭のみしか写らないので、高圧縮率で圧縮される。
　また、Ｔ１、Ｔ３、Ｔ５の全方位カメラ１０からの距離ｄ１は、Ｔ２、Ｔ４、Ｔ６の全方位カメラ１０からの距離ｄ２よりも小さい（ｄ１＜ｄ２）ので、Ｔ１、Ｔ３、Ｔ５はＴ２、Ｔ４、Ｔ６よりも低圧縮率で圧縮される。
　なおここでは、説明を簡単化するために、図２のように、全方位画像１を、ターゲットＴ１～Ｔ６を含む分割領域Ａ１～Ａ６に分割して、この分割領域Ａ１～Ａ６の圧縮率を角度θ（撮像画像においては点Ｐ０から分割領域Ａ１～Ａ６までの長さｌ）及び距離ｄに応じた変化させる場合について説明したが、ターゲットに着目して画像を分割する場合に限らない。すなわち、全方位画像１を、角度θ（撮像画像においては点Ｐ１から分割領域Ａ１～Ａ６までの長さ）に応じて複数の領域に分割し、分割された各領域画像を、角度θ（撮像画像においては点Ｐ１から分割領域Ａ１～Ａ６までの長さ）に応じて圧縮率を変化させて圧縮すればよい。
　図５は、第１の圧縮方法のうち、上記規則(i)光軸からの角度が大きな角度で得られた領域画像ほど大きな圧縮率で圧縮する、及び、上記規則(ii)カメラから距離の離れた対象の画像ほど大きな圧縮率で圧縮する、を組み合わせて用いた場合の、３次元空間上の圧縮率の等高線を示したものである。図５において、等高線Ｌ１～Ｌ３は、等高線Ｌ１が示す圧縮率　＜　等高線Ｌ２が示す圧縮率　＜　等高線Ｌ３が示す圧縮率、の関係にある。
　図６は、第１の圧縮方法のうち、上記規則(i)光軸からの角度が大きな角度で得られた領域画像ほど大きな圧縮率で圧縮する、及び、上記規則(ii)カメラから距離の離れた対象の画像ほど大きな圧縮率で圧縮する、及び、上記規則(iii)光軸付近（０≦θ＜ＴＨ；ＴＨは予め決められた閾値）の画像は大きな圧縮率で圧縮する、を組み合わせて用いた場合の、３次元空間上の圧縮率の等高線を示したものである。図６において、等高線Ｌ１～Ｌ５は、等高線Ｌ１が示す圧縮率　＜　等高線Ｌ２が示す圧縮率　＜　等高線Ｌ３が示す圧縮率　＜　等高線Ｌ４が示す圧縮率　＜　等高線Ｌ５が示す圧縮率、の関係にある。なお、図６では、光軸付近（０≦θ＜ＴＨ）の画像を固定の圧縮率Ｌ５で圧縮する場合を示したが、図７に示すように、光軸付近（０≦θ＜ＴＨ）の画像の圧縮率は、他の領域の画像の圧縮率よりも相対的に大きくしつつ、角度θ（撮像画像においては点Ｐ１からの長さ）及び距離ｄに応じて変化させてもよい。
　［１－４－２］第２の圧縮方法（「全領域で平均的な解像度の画像を得る」方法）を用いる場合の処理イメージ
　図２において、ターゲットＴ１、Ｔ２を含む分割領域Ａ１、Ａ２は光軸Ｃ０からの角度θ１が大きく歪みが大きいので低圧縮率で圧縮される。ターゲットＴ３、Ｔ４を含む分割領域Ａ３、Ａ４は、光軸Ｃ０からの角度θ２が角度θ１よりも小さく、歪みが小さいので、ターゲットＴ１、Ｔ２よりも高圧縮率で圧縮される。
　また、Ｔ１、Ｔ３、Ｔ５の全方位カメラ１０からの距離ｄ１は、Ｔ２、Ｔ４、Ｔ６の全方位カメラ１０からの距離ｄ２よりも小さい（ｄ１＜ｄ２）ので、Ｔ１、Ｔ３、Ｔ５はＴ２、Ｔ４、Ｔ６よりも高圧縮率で圧縮される。
　図８は、第２の圧縮方法の上記規則(iv)光軸からの角度が大きな角度で得られた領域画像ほど小さな圧縮率で圧縮する、及び、上記規則(v)カメラから距離の離れた対象の画像ほど小さな圧縮率で圧縮する、を組み合わせて用いた場合の、３次元空間上の圧縮率の等高線を示したものである。図８において、等高線Ｌ１～Ｌ３は、等高線Ｌ１が示す圧縮率　＞　等高線Ｌ２が示す圧縮率　＞　等高線Ｌ３が示す圧縮率、の関係にある。
　［１－５］圧縮率の設定
　次に、具体的な圧縮率の設定について説明する。
　上記第１の圧縮方法を採用する場合の圧縮率は、式（２）又は式（３）により求めることができる。
　圧縮率　＝　（θ×α）×（ｄ×β）　　　　………　　（２）
　圧縮率　＝　（θ×α）＋（ｄ×β）　　　　………　　（３）
　但し、０≦θ＜ＴＨの領域では、圧縮率は、他の領域よりも相対的に大きな固定値に設定する。
　なお、角度θに乗ずる係数αは、例えば、カメラパラメータに含まれる、レンズ特性に依存する歪係数、収差、解像度等に応じて設定すればよい。また、距離ｄに乗ずる係数βは、例えば、カメラパラメータに含まれる焦点距離等に応じて設定すればよい。
　上記第２の圧縮方法を採用する場合の圧縮率は、式（４）又は式（５）により求めることができる。
　圧縮率　＝　（１／θ×α）×（１／ｄ×β）　　　　………　　（４）
　圧縮率　＝　（１／θ×α）＋（１／ｄ×β）　　　　………　　（５）
　図９に、α値の一例を示す。図９は、中心解像度（つまりθ＝０の解像度）が１９０［ＬＰ／ｍｍ］、レンズ端解像度（つまりθ＝９０°の解像度）が１００［ＬＰ／ｍｍ］のカメラを用い、上記第２の圧縮方法を採用する場合における、α値の設定の一例を示すものである。
　図１０に、圧縮率の具体例を示す。
　［２］実施の形態１
　図１１に、本発明の実施の形態１に係る構成を示す。図１１の広角カメラ装置１１０は、カメラ部１１と、距離計測部１２と、画像処理装置１００とを有する。
　カメラ部１１は、例えば全方位カメラである。なお、カメラ部１１は、全方位カメラに限らず、光軸からの角度θが大きくなるほど歪み等により撮像画質が悪くなるカメラであればよい。但し、カメラ部１１が全方位カメラの場合に、本発明の効果が顕著となるので、以下の説明では、カメラ部１１が全方位カメラである場合について説明する。カメラ部１１により得られた全方位画像は、画像処理装置１００の領域分割部１０１に出力される。
　距離計測部１２は、カメラ部１１に付随して配置され、又は、カメラ部１１に内蔵されている。距離計測部１２は、撮像領域内に存在するターゲットとカメラ部１１との距離ｄを計測する。距離計測部１２としては、超音波センサ、赤外センサ等の測距センサを用いることができる。また、距離計測部１２は、ターゲットに付帯された無線タグからの信号を受信し、受信した無線信号に基づいて無線タグの位置座標を求め、この位置座標とカメラ部１１の位置座標とから距離ｄを求める構成でもよい。さらに、カメラ部１１がステレオ画像を取得できる構成となっている場合には、距離計測部１２は、ステレオ画像を用いてターゲットまでの距離を求めてもよい。距離計測部１２は、撮像空間内でターゲットを測位できるものであればどのような構成でもよい。距離計測部１２により得られた距離ｄの情報は、領域分割部１０１及び圧縮率設定部１０４に出力される。
　領域分割部１０１は、全方位画像を複数の領域に分割する。このとき、領域分割部１０１は、図２に示したように、全方位画像１の中のターゲットＴ１～Ｔ６を基準にして各ターゲットＴ１～Ｔ６を含む分割領域Ａ１～Ａ６に分割してもよく、ターゲットＴ１～Ｔ６とは無関係に単純に複数の領域に分割してもよい。なお、距離ｄが異なる画像は異なる領域に分割する。
　図１２に、距離ｄに応じた領域分割の例を示す。図１２では、カメラからの距離が５［ｍ］未満の領域と、５［ｍ］以上の領域とで、領域分割する例が示されている。つまり、角度θを無視した場合、ターゲットＴ１１、Ｔ１２を含む画像は、ターゲットＴ２１、Ｔ２２を含む画像とは異なる領域の画像に分割される。なお、ステレオ画像を用いて距離を計測する場合には、画素毎に距離を計測できるので、画素毎の距離情報に基づいて、近接するほぼ同一の距離の画素を集めて領域分割することができる。複数領域に分割された全方位画像は、距離算出部１０２に出力される。
　距離算出部１０２は、撮像画像において、光軸Ｃ０に対応する点Ｐ０から各領域画像までの距離ｌを算出する。
　圧縮率設定部１０４は、撮像画像上での上記距離ｌとカメラ部１１からターゲットまでの距離ｄとから、各領域画像の圧縮率を設定する。実際上、圧縮率設定部１０４は、距離ｌと距離ｄとに対応した圧縮率が格納されたテーブルを有し、距離ｌと距離ｄを読み出しアドレスとして、距離ｌ及び距離ｄに対応した圧縮率を出力する。なお、上述したように角度θに対応する圧縮率は、式（２）～式（５）のいずれかを用い求めることができる。また、式（１）により角度θと距離ｌとの関係は一意に決っているので、角度θに対応する圧縮率から距離ｌに対応する圧縮率を求めることができる。圧縮率設定部１０４のテーブルには、その距離ｌに対応する圧縮率が格納されている。なお、式（２）～式（５）における係数α、βは、上述したように、カメラパラメータ格納部１０３に格納された歪係数、収差、解像度、焦点距離等に応じて設定すればよい。また、上述したように、第１の圧縮方法を用いる場合には、０≦θ＜ＴＨの領域の圧縮率は、他の領域よりも相対的に大きな値に設定するとよい。
　画像圧縮部１０５は、領域分割部１０１によって分割された各領域画像を、圧縮率設定部１０４によって設定された圧縮率で圧縮符号化することで、圧縮符号化データを得る。
　画像出力部１０６は、圧縮符号化データを、伝送路や記録媒体等に出力する。伝送路を介して相手側装置に伝送された圧縮符号化データは、相手側装置によって復号されて表示される。また、記録媒体に記録された圧縮符号化データは、再生装置によって再生復号されて表示される。
　以上の構成によれば、カメラ部１１によって得られた撮像画像を複数の領域に分割する領域分割部１０１と、領域分割部１０１によって分割された各領域画像を、撮像画像の所定の点（光軸Ｃ０に対応する点であり、全方位画像１においては撮像画像の中心点）から各領域画像までの距離ｌ及びカメラ部１１から各領域に含まれるターゲットＴ１～Ｔ４までの距離ｄに応じて圧縮率を変化させて圧縮する画像圧縮部１０５とを設けたことにより、広角カメラのカメラ特性を考慮した、高画質及び高効率の画像圧縮を実現できる。
　［３］実施の形態２
　図１１との対応部分に同一符号を付して示す図１３に、実施の形態２の広角カメラ装置の構成を示す。広角カメラ装置２１０の画像処理装置２００は、物体検出部２０１を有する。
　物体検出部２０１は、全方位画像から注目物体（すなわちターゲット）を検出する。物体検出部２０１は、ターゲットとして、例えば動いている物体を検出する。また、物体検出部２０１は、特定の物体を種類に応じて分類して検出してもよい。画像中に含まれる動物体の検出及び物体の分類処理は、既知の技術によって容易に実現できるが、以下簡単に説明する。
　図１４は、フレーム間差分処理によって動物体を検出する様子を示す。図では、ｔフレームとｔ＋１フレームとの差分をとることにより、動物体である人物が検出される様子が示されている。
　図１５は、背景差分処理によって動物体を検出する様子を示す。図では、複数フレーム（ｔ－２フレームとｔ－１フレームとｔフレーム）の画像から背景画像を得、この背景画像とｔ＋１フレームの画像の差分をとることにより、動物体である人物が検出される様子が示されている。
　図１６は、撮像画像から人物、車を分類して検出した様子を示す。
　図１７は、特定物体を種類に応じて分類して検出するための処理例を示す。図１７Ａに示すように、物体検出部２０１は、学習により、人物、車、２輪車等の形状を学習パターンとして保持している。そして、物体検出部２０１は、入力画像と学習パターンとのパターンマッチング処理を行うことで、入力画像に含まれる特手物体を検出する。
　物体検出部２０１は、動物体等の特定物体の検出結果を領域分割部２０２に出力する。領域分割部２０２は、例えば図２に示すように、全方位画像を、特定物体（図２の場合には人物）を含む領域毎に分割する。
　後段の距離算出部１０２、圧縮率設定部１０４、画像圧縮部１０５では、全画像ではなく、特定物体を含む所定画像領域に対してのみ、実施の形態１と同様の処理を行う。これにより、特定物体を含む重要領域のみが実施の形態１で示したような、広角カメラのカメラ特性を考慮した圧縮率で圧縮される。なお、特定物体を含む重要領域以外の領域は、重要領域よりも大きな圧縮率で圧縮する。
　これにより、実施の形態１の効果に加えて、重要領域以外の圧縮率を高くするので、圧縮符号化データのデータ量を一段と削減できるようになる。
　［４］他の実施の形態
　上述の実施の形態の処理に加えて、復号側で超解像度処理を行うことを考慮した圧縮処理を行ってもよい。ここで、超解像度処理を行うためには、撮像された画像の折り返し歪み成分が必要となる。画像の高周波成分を削除してしまうような圧縮を行うと、折り返し歪み成分も失われてしまうので、超解像度処理が困難になる。これを考慮して、高周波成分は、例えばその他の成分よりも１割小さい圧縮率で圧縮符号化することにより、高周波成分が圧縮によりできるだけ失われないようにすると好ましい。
　上述の実施の形態の画像処理装置１００、２００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、画像処理装置１００、２００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
　２００９年９月３日出願の特願２００９－２０４０３８の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明は、例えば全方位カメラ等の広角カメラにより撮像された画像を圧縮するのに用いて好適である。
　１　全方位画像
　１０　全方位カメラ
　１１　カメラ部
　１２　距離計測部
　１００　画像処理装置
　１０１、２０２　領域分割部
　１０２　距離算出部
　１０３　カメラパラメータ格納部
　１０４　圧縮率設定部
　１０５　画像圧縮部
　１０６　画像出力部
　１１０、２１０　広角カメラ装置
　２０１　物体検出部
　Ｔ１～Ｔ６　ターゲット
　θ１～θ３　角度
　ｄ１、ｄ２　距離
　Ｃ０　光軸
　Ａ１～Ａ６　分割領域
 

Claims (15)

  1. 　撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割部と、
    　前記領域分割部によって分割された各領域画像を、前記撮像手段が前記撮像画像を取得する際の歪の程度に応じて圧縮率を変化させて圧縮する画像圧縮部と、
    　を具備する画像処理装置。
  2. 　撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割部と、
    　前記領域分割部によって分割された各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮部と、
    　を具備する画像処理装置。
  3. 　前記画像圧縮部は、さらに、前記撮像手段から前記各領域画像に含まれるターゲットまでの距離に応じて、前記圧縮率を変化させる、
    　請求項１に記載の画像処理装置。
  4. 　前記画像圧縮部は、さらに、前記撮像手段から前記各領域画像に含まれるターゲットまでの距離に応じて、前記圧縮率を変化させる、
    　請求項２に記載の画像処理装置。
  5. 　前記圧縮部は、前記所定の点からの長さが大きな領域画像ほど大きな圧縮率で圧縮する、
    　請求項２に記載の画像処理装置。
  6. 　前記圧縮部は、前記所定の点からの長さが大きな領域画像ほど小さな圧縮率で圧縮する、
    　請求項２に記載の画像処理装置。
  7. 　前記圧縮部は、前記撮像手段からの距離が大きいターゲットを含む領域画像ほど大きな圧縮率で圧縮する、
    　請求項３に記載の画像処理装置。
  8. 　前記画像圧縮部は、さらに、前記撮像手段から前記各領域画像に含まれるターゲットまでの距離に応じて、前記圧縮率を変化させる、
    　請求項４に記載の画像処理装置。
  9. 　前記圧縮部は、前記撮像手段からの距離が大きいターゲットを含む領域画像ほど小さな圧縮率で圧縮する、
    　請求項３に記載の画像処理装置。
  10. 　前記圧縮部は、前記撮像手段からの距離が大きいターゲットを含む領域画像ほど小さな圧縮率で圧縮する、
    　請求項４に記載の画像処理装置。
  11. 　前記所定の点は、前記撮像手段の光軸に対応する点である、
    　請求項２に記載の画像処理装置。
  12. 　前記撮像画像は、全方位画像であり、
    　前記所定の点は、撮像画像のほぼ中心の点である、
    　請求項２に記載の画像処理装置。
  13. 　前記圧縮部は、前記所定の点からの長さが予め決められた閾値以下の領域画像は、前記所定の点からの長さが前記閾値より大きい領域画像よりも、大きな圧縮率で圧縮する、
    　請求項１１に記載の画像処理装置。
  14. 　撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割ステップと、
    　分割した各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮ステップと、
    　を含む画像処理方法。
  15. 　コンピュータに、
    　撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割ステップと、
    　分割した各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮ステップと、
    　を実行させるプログラム。
     
PCT/JP2010/001422 2009-09-03 2010-03-02 画像処理装置及び画像処理方法 WO2011027483A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10813439.6A EP2475163A4 (en) 2009-09-03 2010-03-02 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US13/393,983 US8639045B2 (en) 2009-09-03 2010-03-02 Image processing device and image processing method
CN201080037781.1A CN102577350B (zh) 2009-09-03 2010-03-02 图像处理装置和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-204038 2009-09-03
JP2009204038A JP4860739B2 (ja) 2009-09-03 2009-09-03 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2011027483A1 true WO2011027483A1 (ja) 2011-03-10

Family

ID=43649044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001422 WO2011027483A1 (ja) 2009-09-03 2010-03-02 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US8639045B2 (ja)
EP (1) EP2475163A4 (ja)
JP (1) JP4860739B2 (ja)
CN (1) CN102577350B (ja)
WO (1) WO2011027483A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985945A (zh) * 2011-06-02 2013-03-20 松下电器产业株式会社 物体检测装置、物体检测方法和物体检测程序
JP2014002454A (ja) * 2012-06-15 2014-01-09 Panasonic Corp 人物検出装置及び人物検出方法
CN103581603A (zh) * 2012-07-24 2014-02-12 联想(北京)有限公司 一种多媒体数据的传输方法及电子设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
JP5798375B2 (ja) 2011-05-19 2015-10-21 株式会社トプコン 全周カメラ
JP5826612B2 (ja) 2011-11-18 2015-12-02 株式会社キーエンス 画像処理装置、画像処理方法及びコンピュータプログラム
JP5811879B2 (ja) * 2012-02-10 2015-11-11 株式会社Ｊｖｃケンウッド 画像処理装置および画像処理方法
JP6058963B2 (ja) * 2012-10-02 2017-01-11 株式会社トプコン 全周カメラ
US8995763B2 (en) * 2012-12-21 2015-03-31 Vmware, Inc. Systems and methods for determining compression methods to use for an image
WO2015122052A1 (ja) * 2014-02-17 2015-08-20 株式会社ソニー・コンピュータエンタテインメント 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
US10904531B2 (en) * 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video
JP6683280B1 (ja) 2018-10-19 2020-04-15 ソニー株式会社 センサ装置、信号処理方法
CN109709561B (zh) * 2018-12-29 2022-05-27 努比亚技术有限公司 测距方法、终端和计算机可读存储介质
US11995870B2 (en) * 2020-01-27 2024-05-28 Citrix Systems, Inc. Dynamic image compression based on perceived viewing distance
CN113727105B (zh) * 2021-09-08 2022-04-26 北京医百科技有限公司 一种深度图压缩方法、装置、***及存储介质
CN116228606B (zh) * 2023-05-09 2023-07-28 南京茂聚智能科技有限公司 一种基于大数据的图像优化处理***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3573653B2 (ja) 1998-04-07 2004-10-06 松下電器産業株式会社 車載画像表示装置
JP2006295299A (ja) * 2005-04-06 2006-10-26 Megachips Lsi Solutions Inc デジタル絞りシステム
JP2007318597A (ja) 2006-05-29 2007-12-06 Opt Kk 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
JP2007318596A (ja) 2006-05-29 2007-12-06 Opt Kk 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム
JP2008193458A (ja) * 2007-02-06 2008-08-21 Victor Co Of Japan Ltd カメラ画像圧縮処理装置及び圧縮処理方法
JP2008193530A (ja) * 2007-02-06 2008-08-21 Canon Inc 画像記録装置、画像記録方法、及びプログラム
JP2009204038A (ja) 2008-02-27 2009-09-10 Musashi Seimitsu Ind Co Ltd ディファレンシャル装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574503A (en) * 1992-03-31 1996-11-12 Rockwell International Adaptive interframe video data compression and start-up techniques
US5995447A (en) * 1997-05-14 1999-11-30 Gas Research Institute System and method for processing acoustic signals to image behind reflective layers
JP3695119B2 (ja) * 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
EP1408693A1 (en) 1998-04-07 2004-04-14 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
JP2001268565A (ja) * 2000-03-15 2001-09-28 Fuji Xerox Co Ltd 画像符号化装置および画像復号装置
CA2433163C (en) * 2000-12-28 2008-04-01 Evolvable Systems Research Institute, Inc. Data coding method apparatus and program
JP3626141B2 (ja) * 2001-08-10 2005-03-02 株式会社ソキア 撮像装置を備えた自動視準測量機
JP2003115050A (ja) * 2001-10-04 2003-04-18 Sony Corp 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム
US7450771B2 (en) * 2004-07-09 2008-11-11 National Taiwan University Pre-compression rate-distortion optimization method for JPEG 2000
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
WO2009097449A1 (en) * 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US8542730B2 (en) * 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
US8264524B1 (en) * 2008-09-17 2012-09-11 Grandeye Limited System for streaming multiple regions deriving from a wide-angle camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3573653B2 (ja) 1998-04-07 2004-10-06 松下電器産業株式会社 車載画像表示装置
JP2006295299A (ja) * 2005-04-06 2006-10-26 Megachips Lsi Solutions Inc デジタル絞りシステム
JP2007318597A (ja) 2006-05-29 2007-12-06 Opt Kk 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
JP2007318596A (ja) 2006-05-29 2007-12-06 Opt Kk 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム
JP2008193458A (ja) * 2007-02-06 2008-08-21 Victor Co Of Japan Ltd カメラ画像圧縮処理装置及び圧縮処理方法
JP2008193530A (ja) * 2007-02-06 2008-08-21 Canon Inc 画像記録装置、画像記録方法、及びプログラム
JP2009204038A (ja) 2008-02-27 2009-09-10 Musashi Seimitsu Ind Co Ltd ディファレンシャル装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROGER Y: "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", TSAIM IEEE JOURNAL OF ROBOTICS AND AUTOMATION, vol. RA-3, no. 4, August 1987 (1987-08-01), pages 327
See also references of EP2475163A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985945A (zh) * 2011-06-02 2013-03-20 松下电器产业株式会社 物体检测装置、物体检测方法和物体检测程序
CN102985945B (zh) * 2011-06-02 2016-09-07 松下知识产权经营株式会社 物体检测装置、物体检测方法
JP2014002454A (ja) * 2012-06-15 2014-01-09 Panasonic Corp 人物検出装置及び人物検出方法
US20140341472A1 (en) * 2012-06-15 2014-11-20 Panasonic Corporation Person detection device and person detection method
US9147121B2 (en) * 2012-06-15 2015-09-29 Panasonic Intellectual Property Management Co., Ltd. Person detection device and person detection method
CN103581603A (zh) * 2012-07-24 2014-02-12 联想(北京)有限公司 一种多媒体数据的传输方法及电子设备
CN103581603B (zh) * 2012-07-24 2017-06-27 联想(北京)有限公司 一种多媒体数据的传输方法及电子设备

Also Published As

Publication number Publication date
EP2475163A1 (en) 2012-07-11
US20120155769A1 (en) 2012-06-21
US8639045B2 (en) 2014-01-28
CN102577350A (zh) 2012-07-11
EP2475163A4 (en) 2015-04-22
JP2011055366A (ja) 2011-03-17
CN102577350B (zh) 2015-04-22
JP4860739B2 (ja) 2012-01-25

Similar Documents

Publication Publication Date Title
JP4860739B2 (ja) 画像処理装置及び画像処理方法
US11131753B2 (en) Method, apparatus and computer program for a vehicle
US9088772B2 (en) Image-capturing apparatus
US10636121B2 (en) Calibration method and apparatus for panoramic stereo video system
WO2019100933A1 (zh) 用于三维测量的方法、装置以及***
US11902577B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US8472669B2 (en) Object localization using tracked object trajectories
US10728525B2 (en) Image capturing apparatus, image processing method, and recording medium
JP6417886B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
US20110157320A1 (en) Parallax detecting apparatus, distance measuring apparatus, and parallax detecting method
US20120045100A1 (en) Position measuring apparatus, position measuring method, image processing apparatus and image processing method
CN102158719A (zh) 图像处理装置、成像装置、图像处理方法和程序
KR101508254B1 (ko) 두 개의 촬영장치를 이용하여 구현한 차량용 블랙박스 및 무왜곡 영상을 제공하기 위한 유효화소 추출 방법
US9183634B2 (en) Image processing apparatus and image processing method
JP2010002233A (ja) 複眼画像入力装置及びそれを用いた距離測定装置
US8749652B2 (en) Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof
US20230283898A1 (en) Image processing device, image processing method and non-transitory computer-readable recording medium
JP2006318059A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP7207038B2 (ja) 撮像装置、撮像光学系及び移動体
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
WO2012056610A1 (ja) コンテンツシーン判定装置
WO2014050288A1 (ja) 撮像装置
JP5872171B2 (ja) カメラシステム
JP2001167276A (ja) 撮影装置
US9176221B2 (en) Distance estimation in camera-based systems utilizing motion measurement and compression attributes

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080037781.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10813439

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13393983

Country of ref document: US

Ref document number: 2010813439

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE