WO2011152170A1 - 映像処理装置 - Google Patents

映像処理装置 Download PDF

Info

Publication number
WO2011152170A1
WO2011152170A1 PCT/JP2011/060532 JP2011060532W WO2011152170A1 WO 2011152170 A1 WO2011152170 A1 WO 2011152170A1 JP 2011060532 W JP2011060532 W JP 2011060532W WO 2011152170 A1 WO2011152170 A1 WO 2011152170A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
decoding
unit
processing
processing apparatus
Prior art date
Application number
PCT/JP2011/060532
Other languages
English (en)
French (fr)
Inventor
禎 三橋
賢司 太田
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2011152170A1 publication Critical patent/WO2011152170A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00079—Time or data compression or expansion the compression ratio or quality level being adapted to circumstances, e.g. to the available recording space
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Definitions

  • the present invention relates to a video processing technique for received video content such as digital broadcasting.
  • video recording devices equipped with television broadcast receivers are not limited to dedicated television broadcast receivers, but are installed in various devices such as mobile phones and general-purpose personal computers. In such devices used for various purposes other than video recording and viewing, it is necessary for the CPU to operate applications and video signal processing related to video conversion for improving the compression rate during video recording. Processing capacity is increasing.
  • MPEG Motion Picture Coding Experts Group
  • video coding is used in television broadcasting and recording equipment.
  • input encoded data is sequentially stored in a buffer, the input data is sequentially read, and necessary information is separated by a demultiplexer.
  • variable length decoding, inverse quantizer, inverse DCT (Inverse Discrete Cosine Transform), and motion compensation by motion prediction using the previous or subsequent frame are performed and stored in the frame buffer.
  • the picture order is arranged by rearranging the pictures, read out in the order to be displayed, and output on the screen.
  • the moving picture data encoded by this MPEG system is divided into three types of picture (picture) types based on the inter-frame prediction method, that is, an I picture that is an image that is independently encoded within a picture, and unidirectional inter-frame prediction. It has a P picture, which is an image to be encoded, and a B picture, which is an image to be subjected to bidirectional interframe prediction encoding.
  • the high frequency part of the horizontal frequency is removed from the orthogonal transform coefficients when performing the inverse discrete cosine transform processing at the time of MPEG decoding.
  • the processing required for decoding is reduced, or the processing load at the time of decoding is reduced by supplying only the I picture to the video decoding unit in the reproduction of moving image data encoded by the MPEG method. Things are possible.
  • the encoder unit converts a predetermined I picture into a P picture for each GOP.
  • a method is disclosed in which a TS conversion process for converting a predetermined P picture into a B picture is performed, and a re-encoding process is performed so as to reduce the amount of data.
  • the present invention has been made in view of the above circumstances, and while recording a video, without increasing the processing load and without adding extra hardware, confirming the video being recorded,
  • An object is to provide a video processing apparatus capable of reproducing a plurality of contents.
  • a video processing apparatus that records a received video signal, a decoder unit that performs a decoding process of the video signal, and a first screen display based on the video decoded by the decoder unit
  • An image processing apparatus having an output composition unit for performing composition for displaying an image together with a second screen display during work, and a control unit for controlling the whole, on at least a part of the display device.
  • a video processing apparatus comprising a decoding processing control unit for adjusting a processing load in the decoder unit of a video signal for performing screen display.
  • the decoding processing control unit may include an output frame determining unit that determines whether or not to perform decoding processing in units of picture types. For example, the processing load can be reduced by not processing the B picture or by not processing the P and B pictures.
  • a screen configuration determination unit that sends a command for adjusting the picture type of the first screen display to the output frame determination unit in a direction in which the load decreases based on the load of the control unit.
  • the decoding processing control unit includes an output size determining unit that performs video reduction or reduction of a decoding processing amount accompanying a reduction in video resolution in accordance with the output size or video resolution of the first screen display. Also good.
  • the reduction of the processing load accompanying the reduction of the image resolution is a reduction of the processing load accompanying the reduction of the image resolution by the low-frequency component inverse DCT processing.
  • processing load associated with the reduction of the image resolution may be reduced according to the resolution of the display device.
  • a screen configuration determining unit that sends a command for adjusting the display size of the first screen display to the output size determining unit in a direction in which the load decreases based on the load of the control unit.
  • the data storage unit that records the video signal before decoding by the decoder unit, and the video signal being acquired and the video signal stored in the data storage unit are selectively output to the decoding unit And a switch to be used.
  • the recorded video or the video currently being acquired can be set as the second screen display. Further, it is possible to record the received signal without deteriorating the image quality and changing the resolution.
  • the received signal may be recorded in the storage unit after the code amount is reduced by a designated method.
  • the decoding process with a reduced processing load for the first screen display is preferably to reduce the processing load by decoding only a part of the moving image data in the received data.
  • Part of the received data is motion compensated by a first frame that is two-dimensional compressed video data that is information-compressed in a frame and a first frame that is information-compressed in a temporally forward frame.
  • the second frame which is information-compressed three-dimensional compressed video data
  • the three-dimensional compressed video data which is information-compressed by adding motion compensation by the first frame or the second frame in the longitudinal direction in time. It is preferable to reduce the processing load by decoding only part of the moving image data, which is encoded data including a third frame.
  • the first screen display When determining whether the first screen display is to be performed on at least a part of the display device by using the information of the content being recorded as characters or at least a part of the display device according to the processing load in the control unit Convenient.
  • a display having a resolution corresponding to a designated size may be performed.
  • a plurality of tuner units may be provided to record a plurality of signals, and the first display may be divided into a plurality of parts and displayed on at least a part of the display device.
  • the second screen display at least one hardware decoding circuit may be provided. As a result, the image decoded by the hardware decoding circuit can be displayed in a larger size than the plurality of reduced images.
  • a step of performing a decoding process on a received video signal and a first screen display based on the decoded video are provided on at least a part of the display device as a second working And a step of performing a composition for displaying an image together with the screen display, and a decoding processing control step for adjusting a load of the decoding processing of the video signal for performing the first screen display.
  • a featured video recording method is provided. Further, the present invention may be a program for causing a computer to execute the method described above, or a computer-readable recording medium for recording the program.
  • recorded video can be confirmed and a plurality of contents can be reproduced with a small processing load while recording. Therefore, the scale of hardware is not increased, and power consumption for processing can be reduced.
  • FIG. 1 is a diagram showing a configuration example of a video processing apparatus (video recording apparatus and video display apparatus) according to the present invention.
  • the tuner unit 3 is, for example, a BS / CS digital tuner, a terrestrial digital tuner, and the like.
  • the tuner unit 3 amplifies a broadcast signal such as terrestrial digital and BS / CS received by the antenna 1 and selects a channel given from the control unit 21.
  • a broadcast signal of a specific frequency channel is selected and received based on the signal.
  • the selection of the broadcast signal to be received is given by the user with a general operation device 23 that is effective for screen operations such as a remote control, a mouse, and a touch panel.
  • the received signal is analog / digital converted by an A / D (A n a l o g / D i g i t a l) converter 5, and the digital signal of the selected channel is demodulated by the demodulator 7 to obtain video data.
  • a / D A n a l o g / D i g i t a l
  • the demodulator 7 can demodulate the broadcast signal into video data in MPEG2 TS (Transport Stream) format.
  • a necessary TS stream is obtained by a TS stream demultiplexer 9 that separates necessary video data and audio data in accordance with each PID (Packet Identification) such as set video data and audio data.
  • PID Packet Identification
  • the obtained TS stream is recorded in the data storage unit 27.
  • the data to be recorded may be the entire TS stream obtained after demodulation by the demodulator 7, or the TS stream from which only data necessary for reproduction is extracted by the TS demultiplexer 9 can be recorded.
  • the data to be recorded may be recorded in the data storage unit 27 after appropriate code amount reduction without changing the resolution.
  • it can be realized by converting to H.264 / AVC or the like that can realize higher compression efficiency.
  • the data storage unit 27 is a non-volatile storage medium for storing video data, for example, a hard disk drive, a recording medium such as an SSD (Solid State Drive), an SD card, an optical disk such as a DVD or a Blu-ray disc, and the like.
  • the TS stream needs to be written at any time.
  • a switch 10a for switching whether to output to the decoder unit 15 is provided.
  • an output composition unit 17 and a screen configuration determination unit 25 described later are included.
  • FIG. 2 is a functional block diagram showing a configuration example of the decoder unit 15 according to the present embodiment. 2 includes a demultiplexer 31, a variable length decoding unit 33, an inverse quantization unit 35, an inverse DCT unit 37, a decoding process control unit 39, a picture rearrangement unit 41, a motion prediction unit 45, and a picture storage unit 43. It consists of
  • the demultiplexer 31 supplies the encoded data to the variable length decoding unit 33, and in the case of a motion vector, supplies the motion vector and the encoding mode to the motion prediction unit 45.
  • variable length decoding unit 33 detects a variable length code from the supplied code, returns it to a fixed length code, and supplies it to the inverse quantization unit 35.
  • the inverse quantization unit 35 inversely transforms the code of the transform coefficient quantized on the encoding side to the original transform coefficient, and inversely quantizes the inverse DCT by the quantization step size from the demultiplexer 31. To the unit 37.
  • the inverse DCT unit 37 inversely transforms the transform coefficient from the inverse quantization unit 35 to the original pixel value.
  • the inverse DCT unit 37 converts the video signal for each macroblock that has been DCT (discrete cosine transform) transformed by the encoding side. Reproduce.
  • the reproduced video signal is supplied to the picture rearrangement unit 41 via the adder 47 or temporarily stored in the picture storage unit 43.
  • the motion prediction unit 45 generates a video signal of the current frame obtained by performing motion compensation on the video signal of the previous frame from the picture storage unit 43 using a motion vector.
  • the motion-corrected video signal is added to the video signal from the inverse DCT unit 37 in the adder 47 and stored in the frame buffer 40.
  • the picture rearrangement unit 41 arranges the order of the pictures of the video signal from the frame buffer 40 and outputs the video signals read in the order to be displayed.
  • the decoding unit 15 in the present embodiment includes a decoding processing control unit 39 that reduces the decoding processing load according to the processing load state of the CPU.
  • the decoding process control unit 39 can provide a parameter that provides a decoding process with a low load during inverse quantization and inverse DCT.
  • the decoding processing control unit 39 includes an output frame determination unit and an output size determination unit.
  • FIG. 3 is a functional block diagram showing the decoding process control according to the present embodiment. However, the processing diagram in the decoder unit 15 is simplified.
  • the output frame determination unit 39 a receives information in the first frame that is two-dimensionally compressed video data that is information-compressed in the frame and information in the temporally forward frame. Add motion compensation with the first frame or the second frame in the front-rear direction and the second frame, which is 3D compressed video data that has been compressed by adding motion compensation with the compressed first frame.
  • the processing load is reduced by decoding only a part of the moving image data of the encoded data including the third frame that is the 3D compressed video data that is information-compressed. Can be done.
  • the processing load can be reduced by not processing the B picture or by not processing the P and B pictures.
  • the video being recorded is subjected to a light load decoding that is simplified and displayed in a small size, thereby performing a recording process.
  • a display as shown in FIG. 8 is added to one video being recorded as will be described later.
  • the output size determination unit 39b reduces the amount of decoding processing accompanying image reduction according to the determined output size. For example, the amount of processing can be reduced by removing the high frequency part of the horizontal frequency from the 16 ⁇ 16 DCT coefficients and performing inverse DCT processing using the coefficients of 8 ⁇ 8, 4 ⁇ 4, 2 ⁇ 2. However, the resolution can be lowered. Or you may make it reduce the processing load accompanying reduction of image resolution according to the resolution of a display apparatus.
  • Each parameter value in the decoding process control unit 39 is determined by the processing load state and screen configuration determination unit (25: FIG. 1) of the CPU.
  • the output size determination unit selects the maximum output size that is equal to or smaller than the specified size and is obtained by high-frequency removal of the DCT coefficient (S102).
  • S102 high-frequency removal of the DCT coefficient
  • the output frame determination unit determines to change the decoded picture (S105). Even when the decoding process for only the I picture is performed, if the CPU load state exceeds a predetermined value, the output frame determination unit (FIG. 3: 39a) determines not to perform the decoding process.
  • FIG. 5 is a diagram illustrating an overall detailed configuration example according to the present embodiment.
  • the screen configuration determination unit 25 determines the size and arrangement to be output based on operation information given from the user by the operation device 23 such as a remote controller, a mouse, and a touch panel, and CPU load information obtained from the control unit 21. .
  • FIG. 6 a configuration example of the size and arrangement determined by the screen configuration determination unit 25 and displayed on the display screen 19 is shown in FIG. Arrangement is performed according to the output size determined by the screen configuration determination unit 25.
  • the recorded content is reduced and displayed with a load reduction, and is displayed, for example, at an end on the output screen.
  • the configuration example shown in FIG. 6 is an example in which the recorded content 19a is arranged at the upper right end of the screen, but the recorded content 19a may be arranged at any of the four corners or at any place on the four sides. .
  • the place to be arranged can be selected by the user from a predetermined arrangement method.
  • the screen configuration determination unit 25 selects a new image size. For example, the amount of processing is reduced by removing the high frequency part of the horizontal frequency from the 16 ⁇ 16 DCT coefficients and performing inverse DCT processing using coefficients such as 8 ⁇ 8, 4 ⁇ 4, and 2 ⁇ 2. , Perform resolution conversion.
  • other considerations obtained from the control unit include the relationship between the screen resolution and the content display resolution. For example, when the resolution (pixel) of either the vertical or horizontal side after resolution conversion is lower than 1/8 of the display device with respect to the screen resolution of the display device, the character program information 19c (FIG. 6C) is displayed. The method of performing etc. can be considered.
  • the output synthesis unit 17 Based on the arrangement information in the screen configuration determination unit 25, the output synthesis unit 17 synthesizes the output while reducing the load when decoding the content being recorded on a part of the screen, and outputs it together with the screen being worked on. Thus, it is possible to check the video currently being recorded without obstructing the screen display during work (for example, recording processing) and without increasing the load on the CPU.
  • the recorded video can be reproduced and confirmed with a small processing load while performing the recording process, the hardware scale is not increased and the power consumption for the process can be reduced.
  • the TS stream since the TS stream is saved, it can be displayed without losing image quality when viewed later.
  • FIG. 7 is a block diagram showing a second embodiment of the present invention, and is a functional block diagram showing a configuration example of a video processing apparatus.
  • FIG. 8 is an example displayed on the display screen 19, and is a diagram showing a configuration example of the size and arrangement determined by the screen configuration determination unit in the present embodiment.
  • the present embodiment has a plurality of tuner units 3a to 3n, and includes a plurality of programs (including terrestrial digital broadcasting, BS, CS, etc.) Terrestrial digital broadcasting, including the case of having multiple tuners).
  • programs including terrestrial digital broadcasting, BS, CS, etc.
  • Terrestrial digital broadcasting including the case of having multiple tuners.
  • a broadcast signal of a specific frequency channel is selected based on the channel selection signal given from the control unit 21. Selection of each broadcast signal to be received is given from the user by a general operation device 23 effective for screen operations such as a remote controller, a mouse, and a touch panel.
  • the process of processing the obtained signal of each channel is to process the first embodiment in parallel, and the description of the same processing is omitted.
  • FIG. 8A a configuration example of the size and arrangement determined by the screen configuration determination unit 25 is shown in FIG. 8B .
  • Arrangement is performed on the screen according to the output size determined by the screen configuration determination unit 25.
  • the recorded content is reduced and displayed with a load reduction, and is displayed at the end on the output screen.
  • the configuration example shown in FIG. 8A is an example in which a plurality of recorded contents are arranged vertically at the right end (19d).
  • FIG. 8B is an example in which a plurality of recorded contents are arranged horizontally at the lower end (19e).
  • FIG. 8C a plurality of arrangements may be performed on each side in the vertical and horizontal directions (19f).
  • the arrangement may be at any of the four corners, or at any place on the four sides. This is selected by the user from a predetermined arrangement method.
  • FIG. 8D it is possible to specify (change) the size of the content being recorded in accordance with a user instruction (19g shows a reduced state).
  • the user gives an instruction to change the size by operating the remote controller or using the operation device 23 that can be dragged on a mouse or touch panel.
  • the screen configuration determination unit 25 selects a new image size. For example, the amount of processing is reduced by removing the high frequency part of the horizontal frequency from the 16 ⁇ 16 DCT coefficients and performing inverse DCT processing using coefficients such as 8 ⁇ 8, 4 ⁇ 4, and 2 ⁇ 2. , Perform resolution conversion.
  • the picture processing to be decoded is performed according to the processing in FIG. 4 as in the first embodiment. That is, even when displayed in the configuration example of each arrangement as shown in FIG. 8, the CPU load status has a predetermined value even when only I pictures are decoded, as in the first embodiment. In the case of exceeding, it is possible to display only the character program information as shown in FIG.
  • the output synthesis unit 17 synthesizes the output while reducing the load at the time of decoding the content being recorded on a part of the screen, and outputs it together with the working screen By doing this, it is possible to check the video currently being recorded without obstructing the screen display during work and without increasing the load on the CPU.
  • recorded video can be played and confirmed with a small processing load while recording, so that the hardware scale is not increased and the power consumption for processing can be reduced. Is possible.
  • a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included.
  • the program may be a program for realizing a part of the above-described functions, or may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • the present invention can be applied to a video recording device (video processing device) including a tuner capable of receiving a television broadcast such as a terrestrial digital broadcast, a BS digital broadcast, or a CS broadcast.
  • the video display device provided with the video recording device can be used for, for example, a digital television, a high-definition recorder, a personal computer equipped with a television tuner, and a portable terminal such as a mobile phone.
  • a ... Image processing display apparatus 1 ... Antenna, 3 ... Tuner part, 5 ... A / D converter, 7 ... Demodulator part, 9 ... TS demultiplexer, 11 ... Decoding process control part, 15 ... Decoder part, 17 ... Output composition , 21 ... control unit, 23 ... operating device, 25 ... screen configuration determination unit, 27 ... data storage unit, 31 ... demultiplexer, 33 ... variable length decoding unit, 35 ... inverse DCT unit, 39 ... decoding process control 39a, output frame determining unit, 39b, output size determining unit, 41 ... picture rearranging unit, 43 ... picture accumulating unit, 45 ... motion predicting unit, 47 ... adder.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

　受信される映像信号を記録する映像処理装置において、映像信号の復号処理を行うデコーダ部と、前記デコーダ部で復号された映像に基づく第１の画面表示を、表示装置の少なくとも一部に、作業中の第２の画面表示と共に画像表示するための合成を行う出力合成部と、全体を制御する制御部と、を有する映像処理装置であって、前記第１の画面表示を行うための映像信号の前記デコーダ部における処理負荷を調整するデコード処理制御部を有する映像処理装置である。これにより、処理負荷を増大させる事なく視聴及び現在の記録状態を確認することができる。

Description

映像処理装置
　本発明は、デジタル放送等の受信される映像コンテンツの映像処理技術に関する。
　近年、テレビジョン放送受信装置を備えた映像記録装置は、専用のテレビジョン放送受信装置に留まらず、携帯電話や汎用的なパソコン等、様々な機器に搭載されている。この様な、映像の録画や視聴以外のさまざまな用途で用いられる機器においては、動作するアプリケーションや、映像の録画時の圧縮率向上のための動画変換に係る映像信号処理など、ＣＰＵにおいて必要とされる処理能力が増加している。
　ところで、テレビジョン放送や録画機器等では、ＭＰＥＧ（Moving Picture coding Experts Group）方式の動画像符号化が用いられている。ＭＰＥＧで符号化された画像データを復号する装置においては、入力された符号化データをバッファに順次格納し、その入力データを順次読み出し、多重化分離器によって必要な情報を分離する。次に、可変長復号、逆量子化器、逆ＤＣＴ（Inverse Discrete Cosine Transform）、前もしくは後ろのフレームを用いた動き予測による動き補償の各処理を行い、フレームバッファに格納し、このフレームバッファからピクチャ並び替えによってピクチャの順序を整え、表示すべき順に読み出して画面上に出力している。
　さらに、このＭＰＥＧ方式によって符号化される動画像データは、フレーム間予測方法に基づく３種類の画像(ピクチャ)タイプ、即ち、画像内独立符号化される画像であるＩピクチャ、片側方向フレーム間予測符号化される画像であるＰピクチャ、双方向フレーム間予測符号化される画像であるＢピクチャを持っている。
　ここで、デコード時の処理を削減する事で、低処理量、低負荷で、簡易的に映像を再生する方法が提案されている。
　例えば、下記特許文献１に記載の動画像復号化装置および動画像復号化方法では、ＭＰＥＧデコード時の逆離散コサイン変換処理を施す際に、直交変換係数のうち水平周波数の高域部分を除去する事で、復号に必要な処理を削減したり、ＭＰＥＧ方式によって符号化された動画像データの再生において、Ｉピクチャのみをビデオ復号部に供給することで、復号時の処理負荷を削減したりする事が可能である。
　さらに、下記特許文献２においては、テレビジョン放送の録画時において、一旦デコード処理を行い、予め設定された変換規則に基づいて、エンコーダ部が、各ＧＯＰについて、所定のＩピクチャをＰピクチャに、所定のＰピクチャをＢピクチャに変換するＴＳ変換処理を行い、データ量を低減させるように再符号化処理を行う方法が開示されている。
　一方、デコード処理のために必要な専用のハードウェアを設ける事によって、ＣＰＵ負荷を増加させる事無くデコード処理を行う事は可能である。例えば、複数の映像を同時に画面上に表示する等、複数のストリームに対して、同時にデコードを行う必要がある事がある。しかしながら、この際、必要な数のデコーダを用意する事は、専用のハードウェアによって回路規模が増大し、コストの増加や、消費電力量の増加につながるという欠点がある。
　また、そのようなハードウェアデコーダを搭載せず、且つ、ＣＰＵの処理能力が十分でないテレビジョン放送受信装置を備えた映像記録装置においても、録画中の映像を確認したいという要求は存在する。これは、例えばテレビチューナを備えたＣＰＵの処理能力が小さいＰＣや、携帯電話などのモバイル端末において、ユーザーが他の作業をしながら現在録画している映像コンテンツを確認したいという要求や、放送の録画中であっても、複数の映像を視聴したいという要求がある。
特開２００２－１１２１９５号 特開２００５－１２３８２９号
　映像信号に対して、映像の品質を劣化させる事無く録画するためには、ＴＳストリームを保存すればよいため、デコード処理を行う必要はないが、録画中の映像を視聴するためにはデコード処理を行わなければならない。
　さらに、前述したようなＴＳ変換処理を伴う場合、表示の有無に関らず、デコード処理を行う必要があり、処理量は増加する。
　しかしながら、デジタル放送におけるハイビジョン放送等の規格においては、１０８０×１９２０画素といった高精細な映像信号をデコードする必要があり、デコード処理には大きなＣＰＵリソースを消費する。
　このため、ＣＰＵの処理能力が小さい機器などで、ハイビジョン映像などの高精細なデータに対して、表示を行いながら録画する事は、ＣＰＵリソースを使いきってしまうばかりでなく、録画に係る処理に支障が出るという問題がある。
　本発明は、上記事情を鑑みてなされたものであり、映像の記録を行いながら、処理負荷を増大させる事無く、且つ、余分なハードウェアを追加する事無く、記録中の映像の確認及び、複数コンテンツの再生ができる映像処理装置を提供することを目的とする。
　本発明の一観点によれば、受信される映像信号を記録する映像処理装置において、映像信号の復号処理を行うデコーダ部と、前記デコーダ部で復号された映像に基づく第１の画面表示を、表示装置の少なくとも一部に、作業中の第２の画面表示と共に画像表示するための合成を行う出力合成部と、全体を制御する制御部と、を有する映像処理装置であって、前記第１の画面表示を行うための映像信号の前記デコーダ部における処理負荷を調整するデコード処理制御部を有することを特徴とする映像処理装置が提供される。
　前記デコード処理制御部は、ピクチャタイプ単位でデコード処理を行うか否かを決定する出力フレーム決定部を有するようにしても良い。例えば、Ｂピクチャを処理しない事、或いはＰ、Ｂピクチャを処理しない事によって処理負荷を削減する事が出来る。
　さらに、前記制御部の負荷に基づいて、前記負荷が低くなる方向に前記第１の画面表示のピクチャタイプを調整する指令を前記出力フレーム決定部に送る画面構成決定部を有することが好ましい。
　また、前記デコード処理制御部は、前記第１の画面表示の出力サイズ又は映像解像度に応じて、映像縮小又は映像解像度の低下に伴うデコード処理量の低減を行う出力サイズ決定部を有するようにしても良い。前記画像解像度の縮小に伴う処理負荷の低減は、低周波成分の逆DCT処理による画像解像度の縮小に伴う処理負荷の低減である。
　また、前記表示装置の解像度に応じて前記画像解像度の縮小に伴う処理負荷の低減を行うようにしても良い。
　さらに、前記制御部の負荷に基づいて、前記負荷が低くなる方向に前記第１の画面表示の表示サイズを調整する指令を前記出力サイズ決定部に送る画面構成決定部を有することが好ましい。
　これにより、録画処理を行いながら、小さな処理負荷で録画済み映像の再生及び確認ができるため、ハードウェアの規模を増大させる事が無く、また、処理に係る消費電力の削減が可能である。
　上記において、前記デコーダ部による復号前の映像信号を記録するデータ蓄積部と、取得中の映像信号と前記データ蓄積部に蓄積されている映像信号とのいずれかを選択的に前記デコード部に出力するスイッチと、を有するようにすると良い。これにより、記録済みの映像と現在取得中の映像とのいずれかを前記第２の画面表示とすることができる。また、受信された信号を画質の劣化及び解像度の変更を伴う事なく記録を行うことができる。
　また、受信された信号を、指定された方法で符号量の削減を行ってから前記蓄積部に記録するようにしても良い。前記第１の画面表示のための処理負荷の低減された復号処理は、受信したデータの内の一部の動画像データのみを復号する事で処理負荷の低減を行うことであることが好ましい。
　前記受信したデータの一部は、フレーム内で情報圧縮された２次元圧縮映像データである第一のフレームと、時間的に前方向のフレーム内で情報圧縮された第一のフレームによる動き補償を加えて情報圧縮された３次元圧縮映像データである第二のフレームと、時間的に前後方向の第一のフレームまたは第二のフレームによる動き補償を加えて情報圧縮された３次元圧縮映像データである第三のフレームとを混在して含む符号化データであり、その内一部の動画像データのみを復号する事で処理負荷の低減を行うことが好ましい。　
　前記第１の画面表示を、録画中のコンテンツの情報を文字として表示装置の少なくとも一部に行うか、画像表示を表示装置の少なくとも一部に行うかを制御部における処理負荷に応じて決定すると便利である。前記第１の画像表示を、前記表示装置の少なくとも一部に行う際に、指定されるサイズに対応する解像度の表示を行うようにしても良い。
　また、複数のチューナ部を備え、複数の信号に対して記録を行うとともに、前記第１の表示を複数に分割して前記表示装置の少なくとも一部に行うようにしても良い。前記第２の画面表示用に、少なくとも一つのハードウェアデコード回路を備えているようにしても良い。これにより、ハードウェアデコード回路でデコードされた画像は、前記縮小された複数の画像よりも大きなサイズで表示することができる。
　本発明の他の観点によれば、受信される映像信号の復号処理を行うステップと、復号処理された映像に基づく第１の画面表示を、表示装置の少なくとも一部に、作業中の第２の画面表示と共に画像表示するための合成を行うステップと、を有し、前記第１の画面表示を行うための映像信号の前記復号処理の負荷を調整するデコード処理制御ステップと、を有することを特徴とする映像記録方法が提供される。また、本発明は、コンピュータに上記に記載の方法を実行させるためのプログラムであっても良いし、該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。
　本明細書は本願の優先権の基礎である日本国特許出願２０１０－１２４２０６号の明細書および／または図面に記載される内容を包含する。
　本発明に係る映像処理装置によれば、録画を行いながら、小さな処理負荷で録画映像の確認及び、複数コンテンツの再生ができる。従って、ハードウェアの規模を増大させる事が無く、また、処理に係る消費電力の削減が可能である。
本発明の第１の実施の形態に係る映像処理装置の一構成例を、映像記録装置として示した機能ブロック図である。 図１のデコーダ部の処理詳細構成を示す機能ブロック図である。 本実施の形態に係るデコード処理制御を示すブロック図である。 デコード処理部に係る動作を説明するためのフローチャート図である。 本実施の形態に係る全体の詳細処理構成を示す機能ブロック図である。 本実施の形態に係る画面構成決定部で決定される表示サイズ、配置の例を示す図ある。 本発明の第２の実施の形態に係る映像処理装置の一構成例を示す図である。 本実施の形態に係る画面構成決定部で決定される表示サイズ、配置の例を示す図である。 本実施の形態に係るハードウェアデコード回路を備えた映像処理装置の一構成例を示す機能ブロック図である。
　（第１の実施の形態）
　以下、図面を参照して本発明に係るマルチ画面表示装置の好適な実施形態について説明する。本発明の第１の実施の形態では、受信したデジタル放送を録画する機能と低負荷で表示する機能を有し、且つ、両機能を同時に利用する事を目的とする映像処理装置についての実施の形態を説明する。
　図１は、本発明に係る映像処理装置（映像記録装置及び映像表示装置）の一構成例を示す図である。チューナ部３は、例えば、ＢＳ／ＣＳデジタルチューナ、地上波デジタルチューナ等であり、アンテナ１で受信した地上波デジタル、ＢＳ／ＣＳ等の放送信号を増幅し、制御部２１から与えられた選局信号に基づいて特定周波数チャンネルの放送信号を選局、受信する。受信する放送信号の選択は、例えばリモコンやマウス、タッチパネルなどの画面操作に有効な、一般的な操作器２３によって、ユーザーから与えられる。
　受信信号は、Ａ／Ｄ（ A n a l o g / D i g i t a l） コンバータ５によってアナログ／デジタル変換され、選局されたチャンネルのデジタル信号を復調部７において復調し、映像データを得る。例えば、地上波デジタルの放送信号は、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）方式で変調されており、復調部７は、この放送信号を、ＭＰＥＧ２ＴＳ（Transport Stream）形式の映像データに復調する事が出来る。
　設定されたビデオデータやオーディオデータ等の各ＰＩＤ（Packet Identification）に従って必要なビデオデータ、オーディオデータを分離するＴＳ デマルチプレクサ(Transport Stream Demultiplexer)９によって、必要なＴＳストリームを得る。
　ここで、受信中の放送を時間的に後の段階で視聴したい場合には、得られたＴＳストリームを、データ蓄積部２７に記録する。記録するデータは、復調部７による復調後に得られるＴＳストリーム全体でも良いし、ＴＳデマルチプレクサ９によって再生に必要なデータのみを抽出したＴＳストリームを記録する事も可能である。
　また、記録するデータは、解像度変更を伴わない適切な符号量削減を行ってから、データ蓄積部２７に記録しても良い。例えば、より高い圧縮効率を実現する事が可能な、H.264/AVC等に変換する事で実現できる。
　データ蓄積部２７は、映像データを蓄積する不揮発性の記憶媒体、例えばハードディスクドライブ、ＳＳＤ（Solid State Drive）、SDカード等の記録メディア、ＤＶＤ、ブルーレイディスク等の光学ディスク等であり、得られたＴＳストリームを、随時書き込む必要がある。
　ＴＳストリームを記録しながら、記録中の映像を視聴／確認するためには、得られた受信データを、デコード処理制御部１１により制御されるデコーダ部１５で復号する必要がある。復調部７からの出力とＴＳデマルチプレクサ９からの出力とのいずれをデータ蓄積部２７に入力させるかを切り替えるスイッチ１０ｂ、ＴＳデマルチプレクサ９からの出力と、データ蓄積部２７からの出力のいずれをデコーダ部１５に出力するかを切り替えるスイッチ１０ａが設けられている。その他、後述する出力合成部１７、画面構成決定部２５、を有している。
　ここで、デコーダ部１５の処理の詳細について図２を参照しながら説明する。
　図２は、本実施の形態に係るデコーダ部１５の一構成例を示す機能ブロック図である。図２において、多重化分離器３１、可変長復号部３３、逆量子化部３５、逆ＤＣＴ部３７、デコード処理制御部３９、ピクチャ並び替え部４１、動き予測部４５及びピクチャ蓄積部４３を含んで構成されている。
　多重化分離器３１は、符号化データを可変長復号部３３に、動きベクトルの場合には、その動きベクトルおよび符号化モードを動き予測部４５に供給する。
　可変長復号部３３は、供給された符号から可変長符号を検出して、固定長の符号に戻し、逆量子化部３５に供給する。
　逆量子化部３５は、符号化側において量子化された変換係数の符号を元の変換係数に逆変換するものであり、多重化分離器３１からの量子化ステップサイズにより逆量子化し、逆ＤＣＴ部３７に供給する。
　逆ＤＣＴ部３７は、逆量子化部３５からの変換係数を元の画素値に逆変換するものであり、符号化側によりＤＣＴ（discrete cosine transform）変換されたそれぞれのマクロブロック毎の映像信号を再生する。再生された映像信号は、加算器４７を介してピクチャ並び替え部４１に供給され、またはピクチャ蓄積部４３に一時蓄積される。
　動き予測部４５は、ピクチャ蓄積部４３からの前フレームの映像信号を動きベクトルにて動き補償した現フレームの映像信号を生成する。動き補正した映像信号は、加算器４７において逆ＤＣＴ部３７からの映像信号と加算されてフレームバッファ４０に格納される。
　ピクチャ並び替え部４１は、このフレームバッファ４０からの映像信号のピクチャの順序を整え、表示すべき順に読み出した映像信号を出力する。
　また、本実施形態におけるデコード部１５は、ＣＰＵの処理負荷状態に応じてデコード処理負荷を削減するデコード処理制御部３９を備える。デコード処理制御部３９は、逆量子化時及び逆ＤＣＴ時に負荷の低いデコード処理を与えるパラメータを提供することができる。
　ここで、図３で後述するように、デコード処理制御部３９は、出力フレーム決定部と、出力サイズ決定部とを備える。
　図３は、本実施形態に係るデコード処理制御を示す機能ブロック図である。但し、デコーダ部１５での処理図は簡略化している。
　デコーダ部１５の前段のデコード処理制御部３９において、出力フレーム決定部３９ａでは、フレーム内で情報圧縮された２次元圧縮映像データである第一のフレームと、時間的に前方向のフレーム内で情報圧縮された第一のフレームによる動き補償を加えて情報圧縮された３次元圧縮映像データである第二のフレームと、時間的に前後方向の第一のフレームまたは第二のフレームによる動き補償を加えて情報圧縮された３次元圧縮映像データである第三のフレームとを混在して含む符号化データに対して、その内の一部の動画像データのみを復号処理する事で処理負荷の低減を行うことが出来る。
　例えば、ＭＰＥＧ２においては、Ｉ，Ｐ，Ｂの各ピクチャタイプに対し（ピクチャタイプ単位で）、デコード処理を行うか否かを決定する。例えば、Ｂピクチャを処理しない事、或いはＰ、Ｂピクチャを処理しない事によって処理負荷を削減する事が出来る。
　また、受信中の映像を記録媒体には劣化のない状態でＴＳストリームを保存しつつ、記録中の映像を簡略化した負荷の軽いデコードを行なって、小さく表示させることで、録画処理を行いながら完全なデコード処理及び表示処理を行うのに十分な処理性能を持たないＰＣやモバイル端末においても、後述するように、例えば、図８に示すような表示を、録画中の１つの映像に加えて複数のローカルコンテンツ映像として行った際に、処理の簡略化によってこの表示手法が低負荷で実現でき、後には保存されたＴＳストリームを使うことにより、全画面表示をしても高精細に表示できるという利点がある。
　さらに、出力サイズ決定部３９ｂは、決定された出力サイズに応じて、画像縮小に伴うデコード処理量の低減を行う。例えば、１６×１６のＤＣＴ係数のうち水平周波数の高域部分を除去し、８×８、４×４、２×２、といった係数を用いて逆ＤＣＴ処理を行う事で、処理量を削減しつつ、解像度を下げる事が出来る。あるいは、表示装置の解像度に応じて画像解像度の縮小に伴う処理負荷の低減を行うようにしても良い。
　デコード処理制御部３９における各パラメータ値は、ＣＰＵの処理負荷状態及び画面構成決定部（２５：図１）によって決定される。
　ここで、デコード処理制御部３９における処理の流れを図４に示す。まず、指定された出力サイズを検出する。出力サイズ決定部（図３：３９ｂ）は、指定されるサイズ以下であり、かつ、ＤＣＴ係数の高域除去によって得られる出力サイズで最大のものを選択する（Ｓ１０２）。ここで、得られた指定サイズでデコード処理を行う事が可能か否かを判定する（Ｓ１０３）。この判定は、例えば、制御部から得られるＣＰＵ負荷状況を得る事で判定することができる。現在の負荷が高いほど、小さいサイズのデコード処理が適していることになる。一定以下の負荷である場合（ＹＥＳ）は、出力フレーム決定部（図３：３９ａ）で所定のピクチャタイプの処理を行うよう決定する（Ｓ１０４）。一定以上の処理負荷があり、ＣＰＵ負荷状況が所定の値を超える場合（ＮＯ）は、デコードピクチャの変更を出力フレーム決定部で決定する（Ｓ１０５）。尚、Ｉピクチャのみのデコード処理を行った場合でもＣＰＵ負荷状況が所定の値を超える場合は、出力フレーム決定部（図３：３９ａ）ではデコード処理を行わない事を決定する。
　図５は、本実施形態に係る全体の詳細な構成例を示す図５である。画面構成決定部２５では、ユーザーからリモコンやマウス、タッチパネル等の操作器２３で与えられる操作情報と、制御部２１から得られるＣＰＵの負荷情報等に基づいて、出力すべきサイズ、配置を決定する。
　ここで、画面構成決定部２５で決定され、表示画面１９に表示されるサイズ、配置の構成例を図６（ａ）に示す。画面構成決定部２５で決定された出力サイズに従って、配置を行う。ここで、作業中の画面に対して録画コンテンツ映像を出力する場合、録画コンテンツは負荷軽減を伴って縮小表示され、例えば、出力画面上の端に表示される。図６に示す構成例は、画面の右端上部に録画コンテンツ１９ａを配置した例であるが、録画コンテンツ１９ａの配置は四隅の何れの場所でも良いし、四辺上の何れの場所であっても良い。配置される場所は、予め決められた配置方法の中から、ユーザーによって選択することができる。
　また、図６（ｂ）に示すように、ユーザーの指示によって録画中のコンテンツのサイズを指定する事（１９ｂ参照）、矢印のように表示領域を変更することも可能である。ユーザーは、リモコン操作、或いはマウスやタッチパネル上でのドラッグ操作可能な操作器２３によって、録画コンテンツの表示１９ａのサイズの変更を指示する。この時、画面構成決定部２５で新たな画像サイズを選択する。例えば、１６×１６のＤＣＴ係数のうち水平周波数の高域部分を除去し、８×８、４×４、２×２、といった係数を用いて逆ＤＣＴ処理を行う事で、処理量を削減した、解像度変換を行う。
　また、図６（ｃ）に示す様に、Ｉピクチャのみのデコード処理を行った場合でもＣＰＵ負荷状況が所定の値を超える場合は、文字番組情報１９ｃのみを表示し、デコードを行わない。
　その他、制御部から得られる負荷情報以外に、制御部から得られる考慮すべきものとしては、画面の解像度とコンテンツの表示解像度の関係も挙げられる。例えば、表示装置の画面解像度に対して、解像度変換後の縦横いずれかの辺の解像度(ピクセル)が表示装置の１／８を下回る場合は、文字番組情報１９ｃ（図６（ｃ））の表示を行うなどの方法が考えられる。
　画面構成決定部２５での配置情報に基づき、出力合成部１７で画面上の一部に録画中のコンテンツをデコード時の負荷軽減をしながら出力を合成し、作業中の画面と共に出力を行う事で、作業中（例えば録画処理）の画面表示を妨げることなく、また、ＣＰＵの負荷を増大させる事なく、現在録画中の映像を確認する事が出来る。
　従って、録画処理を行いながら、小さな処理負荷で録画済み映像の再生及び確認ができるため、ハードウェアの規模を増大させる事が無く、また、処理に係る消費電力の削減が可能である。
　また、ＴＳストリームを保存しているので、後に視聴する際には画質を損なう事なく表示可能である。
　（第２の実施の形態）
　図７は、本発明の第２の実施の形態を表すブロック図であり、映像処理装置の一構成例を示す機能ブロック図である。また、図８は、表示画面１９に表示される例であって、本実施の形態における画面構成決定部で決定されるサイズ、配置の一構成例を示す図である。
　第１の実施の形態が１つのチューナ部のみを持つのに対し、本実施の形態においては、複数のチューナ部３ａから３ｎまでを持ち、複数番組（地デジ、ＢＳ、ＣＳなどを含む、同じ地デジでも複数チューナ部を持っている場合を含む。）を受信する事が可能な構成を持つものとする。
　この時、制御部２１から与えられた選局信号に基づいて特定周波数チャンネルの放送信号を選局する。受信するそれぞれの放送信号の選択は、例えばリモコンやマウス、タッチパネルなどの画面操作に有効な、一般的な操作器２３によって、ユーザーから与えられる。
　得られた各チャンネルの信号を処理する過程は、上記の実施の形態１をそれぞれ並列に処理するものであり、同一の処理に関しては、その説明を省略する。
　ここで、画面構成決定部２５で決定されるサイズ、配置の構成例を図８（ａ）に示す。画面構成決定部２５で決定された出力サイズに従って、画面上に配置を行う。ここで、作業中の画面に対して録画コンテンツ映像を出力する場合、録画コンテンツは負荷軽減を伴って縮小表示され、出力画面上の端に表示する。図８（ａ）に示す構成例は、右端部に録画コンテンツを縦に複数配置した例である（１９ｄ）。同様に、図８（ｂ）に示す構成例は、下端部に録画コンテンツを横に複数配置した例である（１９ｅ）。さらに、図８（ｃ）の様に、縦横各辺に複数配置を行っても良い（１９ｆ）。さらに、配置は四隅の何れの場所でも良いし、四辺上の何れの場所に配置されても良い。これは、予め決められた配置方法の中から、ユーザーによって選択される。
　また、図８（ｄ）に示すように、ユーザーの指示によって、録画中のコンテンツのサイズを指定（変更）する事を可能とする（１９ｇは縮小した様子を示している）。ユーザーはリモコン操作、或いはマウスやタッチパネル上でのドラッグ操作可能な操作器２３によって、サイズの変更を指示する。この時、画面構成決定部２５で新たな画像サイズを選択する。例えば、１６×１６のＤＣＴ係数のうち水平周波数の高域部分を除去し、８×８、４×４、２×２、といった係数を用いて逆ＤＣＴ処理を行う事で、処理量を削減した、解像度変換を行う。
　また、デコードするピクチャ処理は、第１の実施の形態と同様に、図４の処理に従って行われる。すなわち、図８で示した様な各配置の構成例で表示させた場合においても、上記の実施の形態１と同様、Ｉピクチャのみのデコード処理を行った場合でもＣＰＵ負荷状況が所定の値を超える場合は、図８（ｃ）に示すように文字番組情報のみを表示し、デコードを行わないようにすることができる。
　以上により、画面構成決定部２５での配置情報に基づき、出力合成部１７で画面上の一部に録画中のコンテンツをデコード時の負荷軽減をしながら出力を合成し、作業中の画面と共に出力を行う事で、作業中の画面表示を妨げることなく、また、ＣＰＵの負荷を増大させる事なく、現在録画中の映像を確認する事が出来る。
　さらに図９に示すように、１ストリームをデコード可能なハードウェアデコード回路５１をＴＳデマルチプレクサ９と出力合成部１７との間に配置することで、出力合成部１７で図８の作業中の画面に出力可能であり、ＣＰＵに負荷をかけることなく、視聴したいコンテンツと録画中のコンテンツとを、全て視聴する事が出来る。
　従って、本実施の形態によれば、録画を行いながら、小さな処理負荷で録画映像の再生及び確認ができるため、ハードウェアの規模を増大させる事が無く、また、処理に係る消費電力の削減が可能である。
　また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
　また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　本発明は、地上デジタル放送、BSデジタル放送、或いはCS放送などのテレビジョン放送を受信可能なチューナを備えた映像記録装置（映像処理装置）へ適用可能である。映像記録装置を備えた映像表示装置には、例えばデジタルテレビ、ハイビジョンレコーダ、テレビチューナを備えたパソコンや、携帯電話などの携帯端末に利用可能である。
　本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。
Ａ…映像処理示装置、１…アンテナ、３…チューナ部、５…Ａ／Ｄコンバータ、７…復調部、９…ＴＳデマルチプレクサ、１１…デコード処理制御部、１５…デコーダ部、１７…出力合成部、２１…制御部、２３…操作器、２５…画面構成決定部、２７…データ蓄積部、３１…多重化分離器、３３…可変長復号部、３５…逆ＤＣＴ部、３９…デコード処理制御部、３９ａ…出力フレーム決定部、３９ｂ…出力サイズ決定部、４１…ピクチャ並び替え部、４３…ピクチャ蓄積部、４５…動き予測部、４７…加算器。

Claims (17)

  1. 　受信される映像信号を記録する映像処理装置において、映像信号の復号処理を行うデコーダ部と、前記デコーダ部で復号された映像に基づく第１の画面表示を、表示装置の少なくとも一部に、作業中の第２の画面表示と共に画像表示するための合成を行う出力合成部と、全体を制御する制御部と、を有する映像処理装置であって、
    　前記第１の画面表示を行うための映像信号の前記デコーダ部における処理負荷を調整するデコード処理制御部を有することを特徴とする映像処理装置。
  2. 　前記デコード処理制御部は、ピクチャタイプ単位でデコード処理を行うか否かを決定する出力フレーム決定部を有することを特徴とする請求項１に記載の映像処理装置。
  3. 　さらに、
    　前記制御部の負荷に基づいて、前記第１の画面表示のピクチャタイプを前記負荷が低くなる方向に調整する指令を前記出力フレーム決定部に送る画面構成決定部を有することを特徴とする請求項２に記載の映像処理装置。
  4. 　前記デコード処理制御部は、前記第１の画面表示の出力サイズ又は映像解像度に応じて、映像縮小又は映像解像度の低下に伴うデコード処理量の低減を行う出力サイズ決定部を有することを特徴とする請求項１又は２に記載の映像処理装置。
  5. 　前記画像解像度の縮小に伴う処理負荷の低減は、低周波成分の逆DCT処理による画像解像度の縮小に伴う処理負荷の低減であることを特徴とする請求項４に記載の映像処理装置。
  6. 　前記表示装置の解像度に応じて前記画像解像度の縮小に伴う処理負荷の低減を行うことを特徴とする請求項４に記載の映像処理装置。
  7. 　さらに、
    　前記制御部の負荷に基づいて、前記負荷が低くなる方向に前記第１の画面表示の表示サイズを調整する指令を前記出力サイズ決定部に送る画面構成決定部を有することを特徴とする請求項４に記載の映像処理装置。
  8. 　前記デコーダ部による復号前の映像信号を記録するデータ蓄積部と、取得中の映像信号と前記データ蓄積部に蓄積されている映像信号とのいずれかを選択的に前記デコード部に出力するスイッチと、を有することを特徴とする請求項１から７までのいずれか１項に記載の映像処理装置。
  9. 　受信された信号を、指定された方法で符号量の削減を行ってから前記蓄積部に記録することを特徴とする請求項８に記載の映像処理装置。
  10. 　前記第１の画面表示のための処理負荷の低減された復号処理は、受信したデータの内の一部の動画像データのみを復号する事で処理負荷の低減を行うことであることを特徴とする請求項１に記載の映像処理装置。
  11. 　前記受信したデータの一部は、フレーム内で情報圧縮された２次元圧縮映像データである第一のフレームと、時間的に前方向のフレーム内で情報圧縮された第一のフレームによる動き補償を加えて情報圧縮された３次元圧縮映像データである第二のフレームと、時間的に前後方向の第一のフレームまたは第二のフレームによる動き補償を加えて情報圧縮された３次元圧縮映像データである第三のフレームとを混在して含む符号化データであり、その内の一部の動画像データのみを復号する事で処理負荷の低減を行うことを特徴とする請求項８に記載の映像処理装置。
  12. 　前記第１の画面表示を、録画中のコンテンツの情報を文字として表示装置の少なくとも一部に行うか、画像表示を表示装置の少なくとも一部に行うかを、制御部における処理負荷に応じて決定することを特徴とする請求項１から１１までのいずれか１項に記載の映像処理装置。
  13. 　前記第１の画像表示を、前記表示装置の少なくとも一部に行う際に、指定されるサイズに対応する解像度の表示を行うことを特徴とする請求項１２に記載の映像処理装置。
  14. 　複数のチューナ部を備え、
    　複数の信号に対して記録を行うとともに、前記第１の画面表示を複数に分割して前記表示装置の少なくとも一部に行うことを特徴とする請求項１から１３までのいずれか１項に記載の映像処理装置。
  15. 　前記第２の画面表示用に、少なくとも一つのハードウェアデコード回路を備えていることを特徴とする請求項１４に記載の映像処理装置。
  16. 　受信される映像信号の復号処理を行うステップと、
    　復号処理された映像に基づく第１の画面表示を、表示装置の少なくとも一部に、作業中の第２の画面表示と共に画像表示するための合成を行うステップと、を有し、
    　前記第１の画面表示を行うための映像信号の前記復号処理の負荷を調整するデコード処理制御ステップと、を有することを特徴とする映像記録方法。
  17. 　コンピュータに請求項１６に記載の方法を実行させるためのプログラム。
PCT/JP2011/060532 2010-05-31 2011-05-02 映像処理装置 WO2011152170A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-124206 2010-05-31
JP2010124206A JP2011250358A (ja) 2010-05-31 2010-05-31 映像処理装置

Publications (1)

Publication Number Publication Date
WO2011152170A1 true WO2011152170A1 (ja) 2011-12-08

Family

ID=45066552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/060532 WO2011152170A1 (ja) 2010-05-31 2011-05-02 映像処理装置

Country Status (2)

Country Link
JP (1) JP2011250358A (ja)
WO (1) WO2011152170A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125158A1 (ja) * 2012-02-21 2013-08-29 パナソニック株式会社 映像出力装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112195A (ja) * 2000-10-04 2002-04-12 Sanyo Electric Co Ltd 動画像復号化装置および動画像復号化方法
JP2002281425A (ja) * 2001-03-16 2002-09-27 Toshiba Corp 情報処理装置、画像記録再生装置及び表示画像制御方法
JP2002532998A (ja) * 1998-12-11 2002-10-02 株式会社日立製作所 限定されたレンダリングリソースを用いて多重画像をレンダリングする方法及び装置
JP2007316405A (ja) * 2006-05-26 2007-12-06 Canon Inc マルチ画面表示装置
JP2009044282A (ja) * 2007-08-07 2009-02-26 Sharp Corp デジタル映像データ再生装置及び表示装置
JP2010093529A (ja) * 2008-10-08 2010-04-22 Sharp Corp 表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532998A (ja) * 1998-12-11 2002-10-02 株式会社日立製作所 限定されたレンダリングリソースを用いて多重画像をレンダリングする方法及び装置
JP2002112195A (ja) * 2000-10-04 2002-04-12 Sanyo Electric Co Ltd 動画像復号化装置および動画像復号化方法
JP2002281425A (ja) * 2001-03-16 2002-09-27 Toshiba Corp 情報処理装置、画像記録再生装置及び表示画像制御方法
JP2007316405A (ja) * 2006-05-26 2007-12-06 Canon Inc マルチ画面表示装置
JP2009044282A (ja) * 2007-08-07 2009-02-26 Sharp Corp デジタル映像データ再生装置及び表示装置
JP2010093529A (ja) * 2008-10-08 2010-04-22 Sharp Corp 表示装置

Also Published As

Publication number Publication date
JP2011250358A (ja) 2011-12-08

Similar Documents

Publication Publication Date Title
US20240056611A1 (en) Image processing device and image processing method
KR102498725B1 (ko) 화상 부호화 장치, 화상 부호화 방법 및 기록 매체
US6952451B2 (en) Apparatus and method for decoding moving picture capable of performing simple and easy multiwindow display
JP4534935B2 (ja) トランスコーダ、記録装置及びトランスコード方法
JP5090158B2 (ja) 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
WO2012060459A1 (ja) 動画像配信システム、動画像配信方法および動画像配信用プログラム
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
JP2013055587A (ja) 画像処理装置、画像処理方法、および画像処理システム
JP2008537427A (ja) 効率的なビデオ復号化アクセラレータ
US9723308B2 (en) Image processing apparatus and image processing method
US20130216150A1 (en) Image processing device, image processing method, and program
WO2010100991A1 (ja) 動画像ストリーム復号装置及びその制御方法並びにプログラム、記録媒体
JP2005347871A5 (ja)
KR100860661B1 (ko) 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기
WO2009093557A1 (ja) マルチ画面表示装置
WO2011152170A1 (ja) 映像処理装置
JP5387520B2 (ja) 情報処理装置と情報処理方法
JP4043406B2 (ja) 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置
JP2008526077A (ja) ビデオストリーム変更装置
WO2003071805A2 (en) Method for processing video images
JP5240230B2 (ja) トランスコーダ、記録装置及びトランスコード方法
KR20090076022A (ko) 썸네일 생성 장치 및 이를 포함한 멀티코덱 디코더 장치
JP2009290387A (ja) エンコーダ、デコーダ、及び記録再生装置
KR100686137B1 (ko) 디지털 방송 수신기 및 캡처된 이미지 편집 및 저장 방법
JP2011087194A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11789579

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11789579

Country of ref document: EP

Kind code of ref document: A1