WO2011114654A1 - 画像符号化装置及びカメラシステム - Google Patents

画像符号化装置及びカメラシステム Download PDF

Info

Publication number
WO2011114654A1
WO2011114654A1 PCT/JP2011/001332 JP2011001332W WO2011114654A1 WO 2011114654 A1 WO2011114654 A1 WO 2011114654A1 JP 2011001332 W JP2011001332 W JP 2011001332W WO 2011114654 A1 WO2011114654 A1 WO 2011114654A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
encoding
encoding device
prediction
image encoding
Prior art date
Application number
PCT/JP2011/001332
Other languages
English (en)
French (fr)
Inventor
植松良介
方城正博
小川雅裕
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180014229.5A priority Critical patent/CN102804783B/zh
Publication of WO2011114654A1 publication Critical patent/WO2011114654A1/ja
Priority to US13/596,743 priority patent/US8488892B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients

Definitions

  • the present invention relates to an image encoding apparatus that encodes a moving image and a camera system including the image encoding apparatus.
  • an image coding apparatus that performs intraframe coding and interframe coding using a method compliant with MPEG (Moving Picture Experts Group) is known.
  • MPEG Motion Picture Experts Group
  • the image encoding device disclosed in Patent Document 1 uses either a reference mode that uses bidirectional encoding or a reference mode that does not use bidirectional encoding. Selection is made according to the encoding execution environment, such as resolution setting and frame rate setting. Thereby, the encoding process according to an execution environment is performed.
  • the present invention solves the above-described conventional problems, and its object is to reduce power consumption and processing time required for encoding processing while preventing deterioration of image quality due to encoding processing of moving images. There is.
  • an aspect of the present invention is an image encoding apparatus that encodes a moving image, and performs encoding by performing encoding processing on luminance data and color difference data of an encoding target image.
  • Prediction that selects one of forward prediction, backward prediction, and bidirectional prediction as the prediction method for the encoding process based on the compression processing unit that outputs data and the spatial frequency of the encoding target image
  • a compression control unit capable of executing a method selection process and performing a scene determination that determines whether to execute the prediction method selection process based on image movement information indicating a motion amount of the encoding target image; It is characterized by.
  • the prediction method used for the encoding process can be determined based on the spatial frequency of the encoding target image. Therefore, the prediction method used for the encoding process can be appropriately determined so that the effect of suppressing the deterioration of the image quality and the effect of reducing the power consumption and the processing time required for the encoding process can be greatly obtained.
  • the present invention it is possible to reduce power consumption and processing time required for encoding processing while preventing deterioration of image quality due to encoding processing of moving images.
  • FIG. 1 is a block diagram showing a configuration of a camera system according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing operations of the compression processing unit and the compression control unit according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing operations of the compression processing unit and the compression control unit according to the first modification of the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing operations of the compression processing unit and the compression control unit according to the second modification of the first embodiment of the present invention.
  • FIG. 5 is a flowchart showing operations of the compression processing unit and the compression control unit according to the third modification of the first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of a camera system according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing operations of the compression processing unit and the compression control unit according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing operations of the compression processing
  • FIG. 6 is a block diagram showing a configuration of a camera system according to Embodiment 2 of the present invention.
  • FIG. 7 is a flowchart showing operations of the compression processing unit and the compression control unit according to the second embodiment of the present invention.
  • FIG. 8 is a flowchart showing operations of the compression processing unit and the compression control unit according to the first modification of the second embodiment of the present invention.
  • FIG. 9 is a flowchart showing operations of the compression processing unit and the compression control unit according to the second modification of the second embodiment of the present invention.
  • FIG. 10 is a flowchart showing operations of the compression processing unit and the compression control unit according to the third embodiment of the present invention.
  • the camera system 100 As shown in FIG. 1, the camera system 100 according to Embodiment 1 of the present invention includes an imaging device 101, an imaging control device 102, an image processing device 103, a storage device 104, and a display device 105. .
  • the camera system 100 is mounted on, for example, a network camera, an in-vehicle camera, a digital video camera, and a digital still camera.
  • the imaging device 101 converts image light into an electrical signal by the imaging element.
  • the imaging control device 102 takes in an electrical signal obtained by the imaging element of the imaging device 101, performs digital conversion on the electrical signal, and outputs a video signal.
  • the imaging control apparatus 102 controls the timing of taking in the electrical signal and the irradiation time of the image light on the imaging element of the imaging apparatus 101.
  • the image processing device 103 includes an image input unit 106 and an image encoding device 107.
  • the image input unit 106 performs automatic exposure (AE) processing, color tone correction (WB) processing, aperture processing, YC (luminance color difference signal) processing on the video signal output from the imaging control apparatus 102. And the luminance data and color difference data of the image are generated by performing the noise removal processing.
  • the image input unit 106 includes a motion detection unit 108 and a frequency detection unit 109.
  • the motion detection unit 108 obtains a motion amount (image movement information) by a representative matching method based on the video signal output from the imaging control device 102.
  • the frequency detection unit 109 detects the spatial frequency of the image indicated by the video signal from a plurality of frequency detection ranges.
  • the frequency detection range is a divided region obtained by dividing one image into a plurality of regions, and each frequency detection range (divided region) is configured by a plurality of macroblocks.
  • the image encoding device 107 encodes the luminance data and the color difference data generated by the image input unit 106 and outputs encoded data.
  • the image encoding device 107 includes a compression processing unit 110, a compression control unit 111, and a display IF (Interface) 112.
  • the compression processing unit 110 performs an encoding process on the luminance data and color difference data of the encoding target image generated by the image input unit 106 and outputs the encoded data as encoded data.
  • This encoding process is performed by a method compliant with MPEG.
  • the compression control unit 111 controls which reference image is referred to.
  • a motion vector and a code amount are obtained by the encoding process.
  • the compression control unit 111 selects a reference image referred to by the compression processing unit 110 during the encoding process based on the amount of motion obtained by the motion detection unit 108 and the spatial frequency detected by the frequency detection unit 109. To do. Then, the compression processing unit 110 is controlled so as to perform the encoding process with reference to the selected reference image.
  • the compression control unit 111 includes a scene determination unit 113 and an image difference determination unit 114.
  • the image difference determination unit 114 selects a reference image based on the spatial frequency of the encoding target image. That is, the image difference determination unit 114 selects a prediction method to be used for the encoding process of the compression processing unit 110 from forward prediction, backward prediction, and bidirectional prediction based on the spatial frequency of the encoding target image.
  • the prediction method selection process to be executed is executed.
  • the scene determination unit 113 determines whether or not to perform a prediction method selection process by the image difference determination unit 114 on an image that is compressed as a bi-predictive encoded image (a picture that refers to a front frame and a back frame). This determination is performed based on the amount of motion obtained by the motion detector 108.
  • the display IF 112 outputs luminance data and color difference data generated by the image input unit 106.
  • the storage device 104 temporarily stores the encoded data output by the image encoding device 107 of the image processing device 103.
  • the display device 105 displays an image based on the luminance data and the color difference data output by the display IF 112 of the image encoding device 107.
  • This operation is performed on an image to be compressed as a bi-predictive encoded image (front / rear frame reference picture).
  • the operation of FIG. 2 is performed for each frame. That is, the selection of the reference image is performed for each frame, and the control of the reference image is not switched from the start to the end of encoding for one frame.
  • step 201 the scene determination unit 113 determines whether or not the amount of motion obtained by the motion detection unit 108 is greater than or equal to a predetermined value. If the amount of motion is greater than or equal to the predetermined value, the image difference determination unit 114 performs a prediction method selection process. It is determined not to be performed. If the amount of motion is greater than or equal to the predetermined amount, the process proceeds to step 204, whereas if it is less than the predetermined amount, the process proceeds to step 202.
  • step 202 the image difference determination unit 114 reads the spatial frequency detected by the frequency detection unit 109, and determines whether or not the average value of the spatial frequencies in a plurality of frequency detection ranges is greater than or equal to a predetermined value. If the average value is greater than or equal to the predetermined value, the process proceeds to step 205, whereas if it is less than the predetermined value, the process proceeds to step 203.
  • step 203 the image difference determination unit 114 determines that the average value of spatial frequencies in a plurality of frequency detection ranges is the encoding target among the front image and the rear image of the encoding target image that is the current encoding target. Select the one closest to the image. If the front image is selected, the process proceeds to step 206, while if the rear image is selected, the process proceeds to step 207.
  • step 204 the compression control unit 111 controls the compression processing unit 110 to perform encoding processing using all prediction methods of forward prediction, backward prediction, and bidirectional prediction.
  • the compression processing unit 110 performs an encoding process.
  • the compression processing unit 110 needs to input a front image and a rear image.
  • the compression control unit 111 controls the compression processing unit 110 to perform the encoding process using both the front image and the rear image as reference images. That is, the compression control unit 111 controls the compression processing unit 110 so as to perform encoding processing by bidirectional prediction. In accordance with this control, the compression processing unit 110 performs an encoding process, specifies the most efficient prediction method (the prediction method that minimizes the amount of data information obtained by the encoding process), and codes using this prediction method The data obtained by the encoding process is output as encoded data. At this time, the compression processing unit 110 needs to input a front image and a rear image. In the decoding process of the image encoded in this manner, only one reference image selected based on the difference between the reference image determined by the compression control unit 111 and the decoding target image is required. Therefore, the memory access amount in the decoding process can be reduced.
  • the compression control unit 111 controls the compression processing unit 110 to perform the encoding process using only the front image as a reference image. That is, the compression control unit 111 controls the compression processing unit 110 to perform the encoding process by forward prediction. In accordance with this control, the compression processing unit 110 performs an encoding process. At this time, the compression processing unit 110 needs to input a front image. Only the forward image is required for the decoding process of the image thus encoded. Therefore, the memory access amount in both the encoding process and the decoding process can be reduced.
  • the compression control unit 111 controls the compression processing unit 110 to perform the encoding process using only the back image as a reference image. That is, the compression control unit 111 controls the compression processing unit 110 to perform the encoding process by backward prediction. In accordance with this control, the compression processing unit 110 performs encoding. At this time, the compression processing unit 110 needs to input a rear image. Only the backward image is required for the decoding process of the image encoded in this way. Therefore, the memory access amount in both the encoding process and the decoding process can be reduced.
  • the present embodiment when the amount of motion of the image is small and the spatial frequency is low, only one reference image is referred to during the encoding process, so the memory access amount in the encoding process and the decoding process is reduced. Is done. Therefore, power consumption can be reduced. Further, when the amount of motion of the image is small and the spatial frequency is low, even if the reference image is reduced, the influence on the image quality is small, so that deterioration of the image quality can be suppressed.
  • Modification 1 of Embodiment 1 In the camera system 100 according to the first modification of the first embodiment of the present invention, the compression processing unit 110 and the compression control unit 111 execute the operation illustrated in FIG. 3 instead of the operation illustrated in FIG. As shown in the figure, in this modification, the compression control unit 111 executes the operation of step 301 instead of step 203.
  • step 301 the image difference determination unit 114 determines that the integrated value of the spatial frequency in the plurality of frequency detection ranges is the encoding target among the front image and the rear image of the encoding target image that is the current encoding target. Select the one closest to the image. If the front image is selected, the process proceeds to step 206, while if the rear image is selected, the process proceeds to step 207.
  • the image difference determination unit 114 is a space in the plurality of frequency detection ranges of the current encoding target image among the front image and the rear image of the encoding target image that is the current encoding target. Select the one with the smallest maximum frequency difference. If the front image is selected, the process proceeds to step 206, while if the rear image is selected, the process proceeds to step 207.
  • Modification 3 of Embodiment 1 In the camera system 100 according to the third modification of the first embodiment of the present invention, the compression processing unit 110 and the compression control unit 111 execute the operation illustrated in FIG. 5 instead of the operation illustrated in FIG. As shown in the figure, in this modification, the compression control unit 111 executes the operation of step 501 instead of step 203.
  • step 501 the image difference determination unit 114 selects the current encoding target image from the plurality of frequency detection ranges among the front image and the rear image of the encoding target image that is the current encoding target. The one with the larger number of frequency detection ranges for detecting the spatial frequency where the difference from the spatial frequency is larger than the threshold is selected. If the front image is selected, the process proceeds to step 206, while if the rear image is selected, the process proceeds to step 207.
  • the compression control unit 111 includes a code amount accumulation unit 601 in addition to the scene determination unit 113 and the image difference determination unit 114.
  • the code amount accumulating unit 601 accumulates the code amount obtained by the encoding process of the compression processing unit 110.
  • the compression processing unit 110 and the compression control unit 111 execute the operation illustrated in FIG. 7 instead of the operation illustrated in FIG.
  • the compression control unit 111 executes the operation of step 701 before step 201.
  • step 701 the scene determination unit 113 determines whether or not the code amount stored in the code amount storage unit 601 exceeds a predetermined threshold value. If it exceeds, the scene determination unit 113 determines that the image is in a high compression state. If not, it is determined that the image is normally compressed. If it is determined that the image is in a high compression state, the process proceeds to step 204, whereas if it is determined that the image is in a normal compression state, the process proceeds to step 201.
  • the threshold value used for the determination in step 701 may be a fixed value or may be controlled based on the bit rate of the target system.
  • the reference image can be efficiently selected by controlling the bit rate to be high when the bit rate is high and low when the bit rate is low.
  • the power consumption can be reduced by reducing the memory access amount in the encoding process and the decoding process while suppressing the deterioration of the image quality that occurs at the time of high compression.
  • step 801 the scene determination unit 113 determines whether or not the compression rate used for the encoding process by the compression processing unit 110 is below a predetermined threshold value. If the compression rate is lower, the scene determination unit 113 determines that the image is in a high compression state. On the other hand, if it does not fall, it is determined that the image is in a normal compressed state. If it is determined that the image is in a high compression state, the process proceeds to step 204, whereas if it is determined that the image is in a normal compression state, the process proceeds to step 201.
  • the threshold value used for the determination in step 801 may be a fixed value as in the second embodiment, or may be controlled based on the bit rate of the target system.
  • step 901 the scene determination unit 113 determines whether or not the bit rate of the encoding process by the compression processing unit 110 exceeds a predetermined threshold value. If it exceeds, the scene determination unit 113 determines that the image is in a high compression state. If not, it is determined that the image is normally compressed. If it is determined that the image is in a high compression state, the process proceeds to step 204, whereas if it is determined that the image is in a normal compression state, the process proceeds to step 201.
  • step 3 In the camera system 100 according to the third embodiment of the present invention, the compression processing unit 110 and the compression control unit 111 execute the operation illustrated in FIG. 10 instead of the operation illustrated in FIG. As shown in the figure, in the third embodiment, when it is determined in step 701 that the code amount stored in the code amount storage unit 601 does not exceed a predetermined threshold, the process proceeds to step 1001. It has become.
  • step 1001 the compression control unit 111 determines whether or not the code amount stored in the code amount storage unit 601 is below a predetermined threshold value. If the code amount is lower, the compression control unit 111 determines that the image is in a low compression state. If not lower, it is determined that the image is normally compressed. If it is determined that the image is in a low compression state, the process proceeds to step 203, while if it is determined that the image is in a normal compression state, the process proceeds to step 201.
  • the encoding process and the decoding are performed.
  • the memory access amount in the conversion process can be reduced efficiently. Therefore, it is possible to efficiently reduce power consumption while suppressing deterioration in image quality.
  • the selection of the reference image by the compression control unit 111 is performed for each frame. It may be performed for each divided region constituting the part. As a result, the reference image can be selected with higher definition.
  • step 201 it is determined in step 201 whether or not to perform the prediction method selection process based on the motion amount obtained by the motion detection unit 108.
  • the lens control unit The determination may be made based on the angular velocity information obtained by (not shown) or the motion vector obtained by the compression processing unit 110 for the image immediately before the encoding target image. Alternatively, the determination may be made based on two or all of the motion amount obtained by the motion detection unit 108, the angular velocity information, and the motion vector.
  • the motion vector obtained by the compression processing unit 110 is used to determine whether or not to perform the prediction method selection process, determination for each macroblock is facilitated.
  • information used in a conventional camera is used to determine the prediction method selection process or whether to perform the prediction method selection process.
  • an increase in processing can be suppressed.
  • the compression method (code amount, bit rate, etc.) acquired by the encoding process is used for determining the prediction method selection process or whether or not to perform the prediction method selection process, so that the normal moving image shooting can be performed.
  • An optimal prediction method according to rate control can be selected.
  • step 202 either step 205 or step 203 is performed based on whether the average value of the spatial frequencies in the plurality of frequency detection ranges is equal to or greater than a predetermined value. It was determined whether to proceed with the process. However, the determination may be performed based on whether the number of spatial frequencies in a plurality of frequency detection ranges that exceed a predetermined threshold is equal to or greater than a predetermined number. In addition, in the determination, when the selection of the reference image by the compression control unit 111 (determination by the scene determination unit 113) is performed for each frequency detection range (divided region), the spatial frequency of the frequency detection range is not less than a predetermined value. You may perform based on whether there exists.
  • the present invention can be applied to encoding systems other than MPEG as long as the encoding system uses bidirectional predictive encoding.
  • the present invention is useful as an image encoding device that encodes a moving image and a camera system including the image encoding device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　圧縮制御部（１１１）は、符号化対象画像の空間周波数に基づいて、順方向予測、逆方向予測、及び双方向予測のうちのいずれかを符号化処理に用いる予測方法として選択する予測方法選択処理を実行可能であり、予測方法選択処理を実行するか否かを、符号化対象画像の動き量を示す画像移動情報に基づいて判定する。

Description

画像符号化装置及びカメラシステム
　本発明は、動画像を符号化する画像符号化装置及び当該画像符号化装置を備えたカメラシステムに関するものである。
　従来、ＭＰＥＧ(Moving Picture Experts Group)に準拠した方式を用いて、フレーム内符号化及びフレーム間符号化を行う画像符号化装置が知られている。このような画像符号化装置では、近年、高画質化のための画像サイズの拡大に伴って、符号化処理に必要な消費電力や処理時間の増大が問題になっている。このような問題を解決するため、特許文献１に開示された画像符号化装置は、双方向符号化を用いる参照モードと、双方向符号化を用いない参照モードとのうちのいずれか一方を、解像度設定やフレームレート設定等、符号化の実行環境に応じて選択するようにしている。これにより、実行環境に応じた符号化処理が実行される。
国際公開第２００５／０７６６２９号パンフレット
　しかし、上記特許文献１では、撮影された画像の性質が参照モードの選択に反映されないので、画像によっては画質が著しく劣化してしまう。
　本発明は上記従来の問題点を解決するもので、その目的とするところは、動画像の符号化処理による画質の劣化を防止しつつ、符号化処理に必要な消費電力及び処理時間を削減することにある。
　上記の課題を解決するため、本発明の一態様は、動画像を符号化する画像符号化装置であって、符号化対象画像の輝度データ及び色差データに対して符号化処理を行って符号化データを出力する圧縮処理部と、符号化対象画像の空間周波数に基づいて、順方向予測、逆方向予測、及び双方向予測のうちのいずれかを前記符号化処理に用いる予測方法として選択する予測方法選択処理を実行可能であり、当該予測方法選択処理を実行するか否かを、前記符号化対象画像の動き量を示す画像移動情報に基づいて判定するシーン判定を行う圧縮制御部とを備えていることを特徴とする。
　この態様によると、符号化処理に用いる予測方法を、符号化対象画像の空間周波数に基づいて決定できる。したがって、画質の劣化の抑制効果、及び符号化処理に必要な消費電力及び処理時間の削減効果が大きく得られるように、符号化処理に用いる予測方法を適切に決定できる。
　本発明により、動画像の符号化処理による画質の劣化を防止しつつ、符号化処理に必要な消費電力及び処理時間を削減できる。
図１は、本発明の実施形態１に係るカメラシステムの構成を示すブロック図である。 図２は、本発明の実施形態１に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 図３は、本発明の実施形態１の変形例１に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 図４は、本発明の実施形態１の変形例２に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 図５は、本発明の実施形態１の変形例３に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 図６は、本発明の実施形態２に係るカメラシステムの構成を示すブロック図である。 図７は、本発明の実施形態２に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 図８は、本発明の実施形態２の変形例１に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 図９は、本発明の実施形態２の変形例２に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。 図１０は、本発明の実施形態３に係る圧縮処理部及び圧縮制御部の動作を示すフローチャートである。
　以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態において、他の実施形態と同様の動作を行うステップについては、同一の符号を付して説明を省略する。
　(実施形態１)
　本発明の実施形態１に係るカメラシステム１００は、図１に示すように、撮像装置１０１と、撮像制御装置１０２と、画像処理装置１０３と、記憶装置１０４と、表示装置１０５とを備えている。カメラシステム１００は、例えば、ネットワークカメラ、車載カメラ、デジタルビデオカメラ、デジタルスチルカメラに搭載される。
　撮像装置１０１は、撮像素子により映像光を電気信号に変換する。
　撮像制御装置１０２は、撮像装置１０１の撮像素子により得られた電気信号を取り込んで当該電気信号に対するデジタル変換を行って映像信号を出力する。また、撮像制御装置１０２は、前記電気信号の取り込みタイミング、及び撮像装置１０１の撮像素子への映像光の照射時間を制御する。
　画像処理装置１０３は、画像入力部１０６と、画像符号化装置１０７とを備えている。
　画像入力部１０６は、撮像制御装置１０２により出力された映像信号に対して、自動露出（ＡＥ:Automatic Exposure）処理、色調補正（ＷＢ:White Balance）処理、アパーチャ処理、ＹＣ（輝度色差信号）処理、及びノイズ除去処理を施すことにより、画像の輝度データ及び色差データを生成する。また、画像入力部１０６は、動き検出部１０８と、周波数検出部１０９とを備えている。動き検出部１０８は、撮像制御装置１０２により出力された映像信号に基づいて、代表マッチング方式により動き量（画像移動情報）を求める。周波数検出部１０９は、撮像制御装置１０２により出力された映像信号に基づいて、当該映像信号により示される画像の空間周波数を複数の周波数検出範囲から検出する。周波数検出範囲は、１つの画像を複数に分割した分割領域であり、各周波数検出範囲（分割領域）は、複数のマクロブロックにより構成される。
　画像符号化装置１０７は、画像入力部１０６により生成された輝度データ及び色差データに対して符号化を行って符号化データを出力する。詳しくは、画像符号化装置１０７は、圧縮処理部１１０と、圧縮制御部１１１と、表示ＩＦ（Interface）１１２とを備えている。
　圧縮処理部１１０は、画像入力部１０６により生成された符号化対象画像の輝度データ及び色差データに対して符号化処理を行って符号化データとして出力する。この符号化処理は、ＭＰＥＧに準拠した方式で行われる。この符号化処理の際、いずれの参照画像を参照するかが、圧縮制御部１１１により制御される。また、符号化処理により、動きベクトル及び符号量が求められる。
　圧縮制御部１１１は、動き検出部１０８により求められた動き量、及び周波数検出部１０９により検出された空間周波数に基づいて、符号化処理の際に圧縮処理部１１０により参照される参照画像を選択する。そして、選択した参照画像を参照して符号化処理を行うよう、圧縮処理部１１０を制御する。圧縮制御部１１１は、シーン判定部１１３と、画像差異判定部１１４とを備えている。
　画像差異判定部１１４は、符号化対象画像の空間周波数に基づいて、参照画像を選択する。つまり、画像差異判定部１１４は、符号化対象画像の空間周波数に基づいて、順方向予測、逆方向予測、及び双方向予測のうちから、圧縮処理部１１０の符号化処理に用いる予測方法を選択する予測方法選択処理を実行する。
　シーン判定部１１３は、双方向予測符号化画像（前方フレーム及び後方フレームを参照するピクチャ）として圧縮される画像に対し、画像差異判定部１１４による予測方法選択処理を行うか否かを判定する。この判定は、動き検出部１０８により求められた動き量に基づいて行う。
　表示ＩＦ１１２は、画像入力部１０６により生成された輝度データ及び色差データを出力する。
　記憶装置１０４は、画像処理装置１０３の画像符号化装置１０７によって出力された符号化データを一時的に格納する。
　表示装置１０５は、画像符号化装置１０７の表示ＩＦ１１２によって出力された輝度データ及び色差データに基づいて画像を表示する。
　次に、図２を参照して圧縮処理部１１０及び圧縮制御部１１１の詳細な動作をステップ毎に説明する。この動作は、双方向予測符号化画像（前方後方フレーム参照ピクチャ）として圧縮される画像に対して行われる。また、この図２の動作は、１フレーム毎に行われる。つまり、参照画像の選択は、１フレーム毎に行われ、参照画像の制御は、１フレーム分の符号化を開始してから終了するまで切り換えられない。
　ステップ２０１において、シーン判定部１１３は、動き検出部１０８により求められた動き量が所定以上であるか否かを判定し、所定以上である場合には画像差異判定部１１４に予測方法選択処理を行わせないと判定する。動き量が所定以上である場合には処理がステップ２０４に進む一方、所定未満である場合には処理がステップ２０２に進む。
　ステップ２０２において、画像差異判定部１１４は、周波数検出部１０９により検出された空間周波数を読み出し、複数の周波数検出範囲における空間周波数の平均値が所定以上であるか否かを判定する。この平均値が所定以上である場合には処理がステップ２０５に進む一方、所定未満である場合には処理がステップ２０３に進む。
　ステップ２０３において、画像差異判定部１１４は、今回の符号化の対象となっている符号化対象画像の前方画像と後方画像とのうち、複数の周波数検出範囲における空間周波数の平均値が符号化対象画像と近い方を選択する。前方画像が選択された場合には処理がステップ２０６に進む一方、後方画像が選択された場合には処理がステップ２０７に進む。
　ステップ２０４において、圧縮制御部１１１は、順方向予測、逆方向予測、及び双方向予測のすべての予測方法を用いて符号化処理を行うよう圧縮処理部１１０を制御する。この制御に従って、圧縮処理部１１０が符号化処理を行う。このとき、圧縮処理部１１０には、前方画像及び後方画像の入力が必要となる。
　ステップ２０５において、圧縮制御部１１１は、前方画像及び後方画像の両方を参照画像として符号化処理を行うよう圧縮処理部１１０を制御する。つまり、圧縮制御部１１１は、双方向予測により符号化処理を行うよう圧縮処理部１１０を制御する。この制御に従って、圧縮処理部１１０が符号化処理を行い、最も効率の良い予測方法（符号化処理により得られるデータの情報量が最も少なくなる予測方法）を特定し、この予測方法を用いた符号化処理により得られたデータを符号化データとして出力する。このとき、圧縮処理部１１０には、前方画像及び後方画像の入力が必要となる。このようにして符号化された画像の復号化処理には、圧縮制御部１１１により決定された参照画像と復号化対象画像との差分に基づいて選択された一方の参照画像のみが必要となる。したがって、復号化処理におけるメモリアクセス量を軽減できる。
　ステップ２０６において、圧縮制御部１１１は、前方画像のみを参照画像として符号化処理を行うよう圧縮処理部１１０を制御する。つまり、圧縮制御部１１１は、順方向予測により符号化処理を行うよう圧縮処理部１１０を制御する。この制御に従って、圧縮処理部１１０が符号化処理を行う。このとき、圧縮処理部１１０には、前方画像の入力が必要となる。このようにして符号化された画像の復号化処理には、前方画像のみが必要となる。したがって、符号化処理と復号化処理の両方におけるメモリアクセス量を軽減できる。
　ステップ２０７において、圧縮制御部１１１は、後方画像のみを参照画像として符号化処理を行うよう圧縮処理部１１０を制御する。つまり、圧縮制御部１１１は、逆方向予測により符号化処理を行うよう圧縮処理部１１０を制御する。この制御に従って、圧縮処理部１１０が符号化を行う。このとき、圧縮処理部１１０には、後方画像の入力が必要となる。このようにして符号化された画像の復号化処理には、後方画像のみが必要となる。したがって、符号化処理と復号化処理の両方におけるメモリアクセス量を軽減できる。
　本実施形態によると、画像の動き量が小さく、かつ空間周波数が低いときには、符号化処理の際、１枚の参照画像のみを参照するので、符号化処理と復号化処理におけるメモリアクセス量が軽減される。したがって、消費電力を削減できる。また、画像の動き量が小さくかつ空間周波数が低いときには、参照画像を減らしても画質への影響が小さいので、画質の劣化を抑制できる。
　(実施形態１の変形例１)
　本発明の実施形態１の変形例１に係るカメラシステム１００では、圧縮処理部１１０及び圧縮制御部１１１が、図２に示す動作に代えて、図３に示す動作を実行する。同図に示すように、本変形例では、圧縮制御部１１１が、ステップ２０３に代えて、ステップ３０１の動作を実行する。
　ステップ３０１では、画像差異判定部１１４が、今回符号化の対象となっている符号化対象画像の前方画像と後方画像とのうち、上記複数の周波数検出範囲における空間周波数の積算値が符号化対象画像と近い方を選択する。前方画像が選択された場合には処理がステップ２０６に進む一方、後方画像が選択された場合には処理がステップ２０７に進む。
　そのほかの構成及び動作は実施形態１と同じであるので、図３において同一の処理には同一の符号を付してその詳細な説明を省略する。
　（実施形態１の変形例２）
　本発明の実施形態１の変形例２に係るカメラシステム１００では、圧縮処理部１１０及び圧縮制御部１１１が、図２に示す動作に代えて、図４に示す動作を実行する。同図に示すように、本変形例では、圧縮制御部１１１が、ステップ２０３に代えて、ステップ４０１の動作を実行する。
　ステップ４０１では、画像差異判定部１１４が、今回符号化の対象となっている符号化対象画像の前方画像と後方画像とのうち、今回の符号化対象画像との上記複数の周波数検出範囲における空間周波数の差分の最大値が小さい方を選択する。前方画像が選択された場合には処理がステップ２０６に進む一方、後方画像が選択された場合には処理がステップ２０７に進む。
　そのほかの構成及び動作は実施形態１と同じであるので、図４において同一の処理には同一の符号を付してその詳細な説明を省略する。
　（実施形態１の変形例３）
　本発明の実施形態１の変形例３に係るカメラシステム１００では、圧縮処理部１１０及び圧縮制御部１１１が、図２に示す動作に代えて、図５に示す動作を実行する。同図に示すように、本変形例では、圧縮制御部１１１が、ステップ２０３に代えて、ステップ５０１の動作を実行する。
　ステップ５０１では、画像差異判定部１１４が、今回符号化の対象となっている符号化対象画像の前方画像と後方画像とのうち、上記複数の周波数検出範囲のうち、今回の符号化対象画像の空間周波数との差分が閾値よりも大きくなる空間周波数を検出する周波数検出範囲の数が多い方を選択する。前方画像が選択された場合には処理がステップ２０６に進む一方、後方画像が選択された場合には処理がステップ２０７に進む。
　そのほかの構成及び動作は実施形態１と同じであるので、図５において同一の処理には同一の符号を付してその詳細な説明を省略する。
　（実施形態２）
　本発明の実施形態２に係るカメラシステム１００は、図６に示すように、圧縮制御部１１１が、シーン判定部１１３、及び画像差異判定部１１４に加え、符号量蓄積部６０１を備えている。この符号量蓄積部６０１は、圧縮処理部１１０の符号化処理により求められた符号量を蓄積する。
　また、本実施形態２に係るカメラシステム１００では、圧縮処理部１１０及び圧縮制御部１１１が、図２に示す動作に代えて、図７に示す動作を実行する。同図に示すように、本実施形態２では、圧縮制御部１１１が、ステップ２０１の前に、ステップ７０１の動作を実行する。
　ステップ７０１では、シーン判定部１１３が、符号量蓄積部６０１に蓄積された符号量が所定の閾値を上回るか否かを判定し、上回る場合には画像が高圧縮状態であると判定する一方、上回らない場合には画像が通常圧縮状態であると判定する。画像が高圧縮状態であると判定された場合には処理がステップ２０４に進む一方、画像が通常圧縮状態であると判定された場合には処理がステップ２０１に進む。
　ステップ７０１の判定に用いる閾値は、固定値であってもよいが、ターゲットシステムのビットレートに基づいて制御されるようにしてもよい。ビットレートが高いときには高く、ビットレートが低いときには低く制御されるようにすることにより、効率良く参照画像を選択できる。
　そのほかの構成及び動作は実施形態１と同じであるので、図６及び図７において同一の構成及び処理には同一の符号を付してその詳細な説明を省略する。
　本実施形態２によると、高圧縮時に発生する画質の劣化を抑制しつつ、符号化処理と復号化処理におけるメモリアクセス量を軽減することにより消費電力を削減することができる。
　（実施形態２の変形例１）
　本発明の実施形態２の変形例１に係るカメラシステム１００では、圧縮処理部１１０及び圧縮制御部１１１が、図７に示す動作に代えて、図８に示す動作を実行する。同図に示すように、本変形例では、圧縮制御部１１１が、ステップ７０１に代えて、ステップ８０１の動作を実行する。
　ステップ８０１では、シーン判定部１１３が、圧縮処理部１１０による符号化処理に用いられる圧縮率が所定の閾値を下回るか否かを判定し、下回る場合には画像が高圧縮状態であると判定する一方、下回らない場合には画像が通常圧縮状態であると判定する。画像が高圧縮状態であると判定された場合には処理がステップ２０４に進む一方、画像が通常圧縮状態であると判定された場合には処理がステップ２０１に進む。
　ステップ８０１の判定に用いる閾値も、実施形態２と同様に、固定値であってもよいし、ターゲットシステムのビットレートに基づいて制御されるようにしてもよい。
　そのほかの構成及び動作は実施形態２と同じであるので、図８において同一の処理には同一の符号を付してその詳細な説明を省略する。
　（実施形態２の変形例２）
　本発明の実施形態２の変形例２に係るカメラシステム１００では、圧縮処理部１１０及び圧縮制御部１１１が、図７に示す動作に代えて、図９に示す動作を実行する。同図に示すように、本変形例では、圧縮制御部１１１が、ステップ７０１に代えて、ステップ９０１の動作を実行する。
　ステップ９０１では、シーン判定部１１３が、圧縮処理部１１０による符号化処理のビットレートが所定の閾値を上回るか否かを判定し、上回る場合には画像が高圧縮状態であると判定する一方、上回らない場合には画像が通常圧縮状態であると判定する。画像が高圧縮状態であると判定された場合には処理がステップ２０４に進む一方、画像が通常圧縮状態であると判定された場合には処理がステップ２０１に進む。
　そのほかの構成及び動作は実施形態２と同じであるので、図９において同一の処理には同一の符号を付してその詳細な説明を省略する。
　（実施形態３）
　本発明の実施形態３に係るカメラシステム１００では、圧縮処理部１１０及び圧縮制御部１１１が、図７に示す動作に代えて、図１０に示す動作を実行する。同図に示すように、本実施形態３では、ステップ７０１において、符号量蓄積部６０１に蓄積された符号量が所定の閾値を上回らないと判定された場合に、処理がステップ１００１に進むようになっている。
　ステップ１００１では、圧縮制御部１１１が、符号量蓄積部６０１に蓄積された符号量が所定の閾値を下回るか否かを判定し、下回る場合には画像が低圧縮状態であると判定する一方、下回らない場合には画像が通常圧縮状態であると判定する。画像が低圧縮状態であると判定された場合には処理がステップ２０３に進む一方、画像が通常圧縮状態であると判定された場合には処理がステップ２０１に進む。
　そのほかの構成及び動作は実施形態２と同じであるので、図１０において同一の処理には同一の符号を付してその詳細な説明を省略する。
　本実施形態３によると、符号化されたデータの量が画質の劣化に影響しにくい低圧縮時に、前方画像と後方画像のうちのいずれか一方を参照画像として選択するので、符号化処理と復号化処理におけるメモリアクセス量を効率良く軽減できる。したがって、画質の劣化を抑制しつつ、消費電力を効率良く削減することができる。
　なお、上記実施形態１～３及びそれらの変形例では、圧縮制御部１１１による参照画像の選択（シーン判定部１１３による判定）が、１フレーム毎に行われたが、マクロブロック等、フレームの一部を構成する分割領域毎に行われるようにしてもよい。これにより、参照画像の選択をより高精細に行うことができる。
　また、上記実施形態１～３及びそれらの変形例では、ステップ２０１において、動き検出部１０８により求められた動き量に基づいて予測方法選択処理を行うか否かを判定したが、レンズ制御部（図示せず）により求められた角速度情報、又は符号化対象画像の一つ前の画像について圧縮処理部１１０により求められた動きベクトルに基づいて判定するようにしてもよい。また、動き検出部１０８により求められた動き量、上記角速度情報、及び上記動きベクトルのうちの２つ又は全てに基づいて判定するようにしてもよい。予測方法選択処理を行うか否かの判定に、圧縮処理部１１０により求められた動きベクトルを使用した場合、マクロブロック毎の判定が容易になる。
　また、予測方法選択処理、又は当該予測方法選択処理を行うか否かの判定に、従来のカメラにおいて使用されている情報（カメラの角速度、動きベクトル（画像動き情報）、空間周波数等）を用いることにより、処理の増加を抑制できる。
　また、予測方法選択処理、又は当該予測方法選択処理を行うか否かの判定に、符号化処理により取得される圧縮情報（符号量、ビットレート等）を用いることにより、通常の動画撮影時におけるレート制御に応じた最適な予測方法を選択できる。
　また、上記実施形態１～３及びそれらの変形例では、ステップ２０２において、複数の周波数検出範囲における空間周波数の平均値が所定以上であるか否かに基づいて、ステップ２０５とステップ２０３のいずれに処理を進めるかを判定した。しかし、当該判定は、複数の周波数検出範囲における空間周波数のうち、所定の閾値を超えるものの個数が所定個以上であるかに基づいて行ってもよい。また、当該判定は、圧縮制御部１１１による参照画像の選択（シーン判定部１１３による判定）を各周波数検出範囲（分割領域）毎に行う場合には、その周波数検出範囲の空間周波数が所定以上であるか否かに基づいて行ってもよい。
　また、本発明は、双方向予測符号化を用いる符号化方式であれば、ＭＰＥＧ以外の符号化方式にも適用できる。
　本発明は、動画像を符号化する画像符号化装置及び当該画像符号化装置を備えたカメラシステムとして有用である。
１００　　　カメラシステム 
１０１　　　撮像装置 
１０２　　　撮像制御装置 
１０４　　　記憶装置 
１０５　　　表示装置 
１０６　　　画像入力部 
１０７　　　画像符号化装置 
１１０　　　圧縮処理部 
１１１　　　圧縮制御部 

Claims (17)

  1. 　動画像を符号化する画像符号化装置であって、
    　符号化対象画像の輝度データ及び色差データに対して符号化処理を行って符号化データを出力する圧縮処理部と、
    　符号化対象画像の空間周波数に基づいて、順方向予測、逆方向予測、及び双方向予測のうちのいずれかを前記符号化処理に用いる予測方法として選択する予測方法選択処理を実行可能であり、当該予測方法選択処理を実行するか否かを、前記符号化対象画像の動き量を示す画像移動情報に基づいて判定するシーン判定を行う圧縮制御部とを備えていることを特徴とする画像符号化装置。
  2. 　請求項１の画像符号化装置において、
    　前記画像移動情報は、代表点マッチング方式により求められた画素移動情報を含むことを特徴とする画像符号化装置。
  3. 　請求項１の画像符号化装置において、
    　当該画像符号化装置は、カメラに搭載され、
    　前記画像移動情報は、前記カメラの角速度情報を含むことを特徴とする画像符号化装置。
  4. 　請求項１の画像符号化装置において、
    　前記画像移動情報は、今回符号化処理の対象となっている画像の一つ前の画像について求められた動きベクトルを含むことを特徴とする画像符号化装置。
  5. 　請求項１の画像符号化装置において、
    　前記画像移動情報は、代表点マッチング方式により求められた画素移動情報、角速度情報、及び今回符号化処理の対象となっている画像の一つ前の画像について求められた動きベクトルのうちの少なくとも２つを含むことを特徴とする画像符号化装置。
  6. 　請求項１の画像符号化装置であって、
    　前記予測方法選択処理は、前記符号化処理の方法として順方向予測、及び逆方向予測のいずれか一方を選択するとき、参照画像の複数の周波数検出範囲における空間周波数の平均値が符号化対象画像と近い方を選択するものであることを特徴とする画像符号化装置。
  7. 　請求項１の画像符号化装置であって、
    　前記予測方法選択処理は、前記符号化処理の方法として順方向予測、及び逆方向予測のいずれか一方を選択するとき、参照画像の複数の周波数検出範囲における空間周波数の積算値が符号化対象画像と近い方を選択するものであることを特徴とする画像符号化装置。
  8. 　請求項１の画像符号化装置であって、
    　前記予測方法選択処理は、前記符号化処理の方法として順方向予測、及び逆方向予測のいずれか一方を選択するとき、参照画像と符号化対象画像との複数の周波数検出範囲における空間周波数の差分の最大値が小さい方を選択するものであることを特徴とする画像符号化装置。
  9. 　請求項１の画像符号化装置であって、
    　前記予測方法選択処理は、前記符号化処理の方法として順方向予測、及び逆方向予測のいずれか一方を選択するとき、参照画像の複数の周波数検出範囲のうち、符号化対象画像の空間周波数との差分が閾値よりも大きくなる空間周波数を検出する周波数検出範囲の数が多い方を選択するものであることを特徴とする画像符号化装置。
  10. 　請求項１の画像符号化装置であって、
    　前記シーン判定は、前記画像移動情報に加え、前記画像の符号量を示す圧縮状態判定値にさらに基づいて、前記予測方法選択処理を実行するか否かを判定するものであることを特徴とする画像符号化装置。
  11. 　請求項１の画像符号化装置であって、
    　前記シーン判定は、前記画像移動情報に加え、前記符号化処理の圧縮率を示す圧縮状態判定値にさらに基づいて、前記予測方法選択処理を実行するか否かを判定するものであることを特徴とする画像符号化装置。
  12. 　請求項１の画像符号化装置であって、
    　前記シーン判定は、前記画像移動情報に加え、前記符号化処理のビットレートを示す圧縮状態判定値にさらに基づいて、前記予測方法選択処理を実行するか否かを判定するものであることを特徴とする画像符号化装置。
  13. 　請求項１０の画像符号化装置であって、
    　前記シーン判定は、前記圧縮状態判定値が所定の第１の閾値を上回るか否かを判定し、当該判定結果に基づいて、前記予測方法選択処理を実行するか否かを判定するものであることを特徴とする画像符号化装置。
  14. 　請求項１３の画像符号化装置であって、
    　前記シーン判定は、前記圧縮状態判定値が所定の第２の閾値を下回るか否かを判定し、当該判定結果に基づいて、前記予測方法選択処理を実行するか否かを判定するものであることを特徴とする画像符号化装置。
  15. 　請求項１の画像符号化装置であって、
    　前記圧縮制御部によるシーン判定が、フレーム毎に行われることを特徴とする画像符号化装置。
  16. 　請求項１の画像符号化装置であって、
    　前記圧縮制御部によるシーン判定が、フレームの一部を構成する分割領域毎に行われることを特徴とする画像符号化装置。
  17. 　請求項１～１６のうちのいずれか１項の画像符号化装置と、
    　撮像素子により映像光を電気信号に変換する撮像装置と、
    　前記撮像素子により得られた電気信号の取り込みタイミング、前記撮像素子への映像光の照射時間を制御するとともに、前記電気信号に対してデジタル変換を行って映像信号として出力する撮像制御装置と、
    　前記撮像制御装置により出力された映像信号に基づいて、前記輝度データ及び色差データを生成する画像入力部と、
    　前記画像符号化装置の圧縮処理部により出力された符号化データを一時的に格納する記憶装置と、
    　前記画像符号化装置の画像入力部により生成された輝度データ及び色差データに基づいて画像を表示する表示装置とを備えたカメラシステム。
PCT/JP2011/001332 2010-03-17 2011-03-07 画像符号化装置及びカメラシステム WO2011114654A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201180014229.5A CN102804783B (zh) 2010-03-17 2011-03-07 图像编码装置和相机***
US13/596,743 US8488892B2 (en) 2010-03-17 2012-08-28 Image encoder and camera system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010061521A JP5583439B2 (ja) 2010-03-17 2010-03-17 画像符号化装置及びカメラシステム
JP2010-061521 2010-03-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/596,743 Continuation US8488892B2 (en) 2010-03-17 2012-08-28 Image encoder and camera system

Publications (1)

Publication Number Publication Date
WO2011114654A1 true WO2011114654A1 (ja) 2011-09-22

Family

ID=44648770

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001332 WO2011114654A1 (ja) 2010-03-17 2011-03-07 画像符号化装置及びカメラシステム

Country Status (4)

Country Link
US (1) US8488892B2 (ja)
JP (1) JP5583439B2 (ja)
CN (1) CN102804783B (ja)
WO (1) WO2011114654A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6093009B2 (ja) * 2013-04-19 2017-03-08 日立マクセル株式会社 符号化方法及び符号化装置
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
JP6875821B2 (ja) * 2016-10-19 2021-05-26 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法およびプログラム
GB201717011D0 (en) 2017-10-17 2017-11-29 Nokia Technologies Oy An apparatus a method and a computer program for volumetric video
JP7224892B2 (ja) * 2018-12-18 2023-02-20 ルネサスエレクトロニクス株式会社 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298902A (ja) * 1998-04-08 1999-10-29 Sony Corp 画像符号化装置および方法
JP2004088736A (ja) * 2002-06-28 2004-03-18 Matsushita Electric Ind Co Ltd 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
JP2005516501A (ja) * 2002-01-24 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｐｂフレームモードでのビデオ画像の符号化

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3050736B2 (ja) * 1993-12-13 2000-06-12 シャープ株式会社 動画像符号化装置
US6088391A (en) * 1996-05-28 2000-07-11 Lsi Logic Corporation Method and apparatus for segmenting memory to reduce the memory required for bidirectionally predictive-coded frames
EP2369847B1 (en) * 1997-02-13 2016-04-20 Mitsubishi Denki Kabushiki Kaisha Moving picture decoding method
US6671323B1 (en) * 1999-02-05 2003-12-30 Sony Corporation Encoding device, encoding method, decoding device, decoding method, coding system and coding method
WO2003026315A1 (en) * 2001-09-14 2003-03-27 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
WO2004004357A1 (ja) * 2002-06-28 2004-01-08 Matsushita Electric Industrial Co., Ltd. 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
AU2003281133A1 (en) * 2002-07-15 2004-02-02 Hitachi, Ltd. Moving picture encoding method and decoding method
US20070291131A1 (en) 2004-02-09 2007-12-20 Mitsuru Suzuki Apparatus and Method for Controlling Image Coding Mode
JP4867497B2 (ja) * 2006-06-21 2012-02-01 ソニー株式会社 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム
CN100471277C (zh) * 2007-02-13 2009-03-18 武汉大学 一种快速实现双帧参考视频流的时域可伸缩编码的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298902A (ja) * 1998-04-08 1999-10-29 Sony Corp 画像符号化装置および方法
JP2005516501A (ja) * 2002-01-24 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｐｂフレームモードでのビデオ画像の符号化
JP2004088736A (ja) * 2002-06-28 2004-03-18 Matsushita Electric Ind Co Ltd 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム

Also Published As

Publication number Publication date
CN102804783B (zh) 2016-04-06
JP2011199411A (ja) 2011-10-06
JP5583439B2 (ja) 2014-09-03
CN102804783A (zh) 2012-11-28
US20120321208A1 (en) 2012-12-20
US8488892B2 (en) 2013-07-16

Similar Documents

Publication Publication Date Title
US11228772B2 (en) Rate control in video coding
US7760953B2 (en) Image processing apparatus and method, computer program, and storage medium with varied block shapes to execute motion detection
KR101960006B1 (ko) 비디오 인코딩 방법 및 비디오 인코더 시스템
WO2010095207A1 (ja) 動画撮像装置
US9854167B2 (en) Signal processing device and moving image capturing device
US8035699B2 (en) Image capturing apparatus, control method therefor, and program
EP2727330B1 (en) Encoder-supervised imaging for video cameras
JP6149707B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
US10674110B2 (en) Image encoding apparatus, and control method thereof
US8503855B2 (en) Image processing apparatus, control method therefor, and program
WO2011114654A1 (ja) 画像符号化装置及びカメラシステム
US20120008685A1 (en) Image coding device and image coding method
CN108632527B (zh) 控制器、摄像机以及用于控制摄像机的方法
US8405745B2 (en) Image processing apparatus, image processing method, and program
US10587823B2 (en) Encoding device comprising video switching device, encoding method including video switching detection method
US20120307881A1 (en) Image coding device, image coding/decoding system, image coding method, and image display method
KR101678138B1 (ko) 동화상 부호화 방법, 장치 및 프로그램
US10856002B2 (en) Method, device and system for method of encoding a sequence of frames in a video stream
US10516896B2 (en) Encoding device, encoding method, and storage medium
JP5579730B2 (ja) 明るさ変化コーディング
JP2006197006A (ja) 動画像符号化装置
JP2005184626A (ja) 画像処理装置
JP5880737B2 (ja) 動画像符号化装置
JP2011029690A (ja) 電子カメラ及び画像符号化方法
JP2006191185A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180014229.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11755847

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11755847

Country of ref document: EP

Kind code of ref document: A1