WO2019021484A1 - 表示処理装置および撮像装置 - Google Patents

表示処理装置および撮像装置 Download PDF

Info

Publication number
WO2019021484A1
WO2019021484A1 PCT/JP2017/027553 JP2017027553W WO2019021484A1 WO 2019021484 A1 WO2019021484 A1 WO 2019021484A1 JP 2017027553 W JP2017027553 W JP 2017027553W WO 2019021484 A1 WO2019021484 A1 WO 2019021484A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
osd
display
color
data
Prior art date
Application number
PCT/JP2017/027553
Other languages
English (en)
French (fr)
Inventor
隆輔 土田
上野 晃
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/027553 priority Critical patent/WO2019021484A1/ja
Publication of WO2019021484A1 publication Critical patent/WO2019021484A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • the present invention relates to a display processing device and an imaging device.
  • An imaging device such as a still image camera or a moving image camera has a function of displaying a captured image (captured image) on a display device.
  • an imaging device such as a TFT (Thin Film Transistor) liquid crystal display (LCD) or an EVF (Electronic View Finder) may be used.
  • LCD Thin Film Transistor
  • EVF Electronic View Finder
  • another display device for example, there is also an external display device (external display) connected to an imaging device such as a television (TV: TeleVision), a TFT monitor, an organic EL (Electro Luminescence) display.
  • TV TeleVision
  • TFT monitor an organic EL (Electro Luminescence) display.
  • organic EL Electro Luminescence
  • the display processing device provided in the imaging device to generate an image (display image) for displaying the captured image on the display device has a function of generating display images corresponding to various types of display devices. It is required to In addition, since a recent imaging apparatus is also required to have a function of displaying a captured image on a plurality of display devices at the same time, the display processing apparatus is also required to have a function of generating a plurality of display images simultaneously.
  • HDTV High Definition
  • VGA 640 ⁇ 480
  • UHDTV Ultra High Definition TeleVision
  • an image processing device configured as a system LSI in which a plurality of processing devices for realizing various functions in the imaging device such as the display processing device described above are connected to a common data bus is used. It is mounted. Then, in the imaging device, a storage device such as, for example, a dynamic random access memory (DRAM) is connected to a data bus configured in the image processing device to temporarily store data of the captured image and the like. There is.
  • DRAM dynamic random access memory
  • each of the plurality of processing devices connected to the data bus exchanges data to be processed with the DRAM by DMA (Direct Memory Access) transfer via the data bus.
  • DMA Direct Memory Access
  • the display processing device when performing display processing for generating a display image, the display processing device also acquires data of a captured image to be displayed for display processing from the DRAM by DMA transfer via a data bus. At this time, the data amount of the captured image acquired from the DRAM by DMA transfer via the data bus by the display processing device increases with the high definition of the display device displaying the display image. An increase in the data amount of a captured image acquired from the DRAM by this DMA transfer causes a pressure on the bus bandwidth of the DMA transfer in the data bus configured in the image processing apparatus.
  • an image for showing various information such as information on the imaging device such as the remaining amount of the battery provided in the imaging device, information on the photographed image such as photographing date and time, etc.
  • Screen Display (OSD) images are also displayed on display devices so as to be superimposed on display images.
  • the processing for superimposing the OSD image on the display image is also performed by the display processing device.
  • the display processing device acquires data of the OSD image to be superimposed, as well as data of the captured image to be displayed, from the DRAM by DMA transfer via the data bus.
  • data of an OSD image has a format in which color information representing a color when displaying information and transparency information representing transparency (in some cases, semi-transparent) are combined for each pixel in a display image.
  • Data for one surface (one frame) of a display image is stored in the DRAM.
  • the display processing device does not have an area that causes the display device to display the pixel itself included in the display image generated based on the captured image, that is, there is no color information for displaying information, and the pixel is transparent. It is necessary to acquire data of an OSD image of one frame of the display image from the DRAM even in the area constituted only by the transparency information representing.
  • Patent Document 1 a technology of a display processing device that reduces the data amount of the OSD image is disclosed.
  • the display processing device generates an OSD image when viewed as a whole of the OSD image for one frame by run-length compressing the data of the OSD image for each line in the scanning direction. The amount of data when acquiring data from DRAM is reduced.
  • the technique disclosed in Patent Document 1 when considering the entire OSD image for one frame, it is possible to reduce the bandwidth of the data bus required for DMA transfer of the data of the OSD image. it can.
  • the technology disclosed in Patent Document 1 can not necessarily suppress the compression of the bus bandwidth of the data bus in all the periods in which the data of the OSD image of one frame is DMA-transferred.
  • the run-length compression used in the technique disclosed in Patent Document 1 is a combination of continuous data of the same value, one data value, and length information indicating the number of continuous values.
  • it is a data compression method that reduces the amount of data by representing by. That is, in run-length compression, the compression ratio increases as the number of continuous data with the same value increases, but when the number of continuous data with the same value is small, conversely, data is more than when data is not compressed. This is because the compression method may increase in volume.
  • an OSD image for displaying information on a display device there is also an image in which color or transparency changes for each pixel.
  • run-length compression is performed on such an OSD image, length information is added to the data of each pixel, so the amount of data increases compared to the OSD image not having run-length compression.
  • the color or transparency of a specific line (which may be one line or a plurality of lines) changes for each pixel
  • the data amount of the other lines decreases, but the data amount corresponding to the length information increases in a specific line. Therefore, in the display processing apparatus, the maximum bus bandwidth required to DMA transfer the data of the OSD image of the specific line whose data amount has increased is the data of the OSD image of the other line whose data amount has not increased. It is projected to be larger than the maximum bus bandwidth required for DMA transfer.
  • the timing of performing the process of superimposing the OSD image which is not run-length compressed is not run-length compressed.
  • the data of the OSD image can be obtained from the DRAM by DMA transfer with less bus bandwidth than when.
  • run length compression is not performed in order to acquire the data of the OSD image from the DRAM by DMA transfer. More bus bandwidth is required than at the timing of superimposing the OSD image.
  • the bus bandwidth necessary for DMA transfer of the data of the OSD image of the specific line whose data amount has increased and the data amount have not increased The difference from the bus bandwidth required for DMA transfer of OSD image data of other lines is large, and the bus bandwidth required at the time of processing to superimpose the data of the line whose data amount has increased is prominent. It will increase. This is because, in the processing in which the display processing device superimposes an OSD image of one frame on the display image, the bus bandwidth required for DMA transfer of the data of the OSD image is not constant in all periods, It indicates that a peak period occurs which requires a lot of bus bandwidth.
  • a plurality of processing devices are connected to the data bus configured in the image processing device. For this reason, it is also considered that if the maximum bus bandwidth required when the display processing device DMA-transfers the data of the OSD image is increased, DMA transfer by other processing devices provided in the image processing device may be inhibited. Be In particular, during peak periods when the display processing device requires a lot of bus bandwidth due to the protrusion, the bus bandwidth of DMA transfer on the data bus is compressed to inhibit DMA transfer by other processing devices provided in the image processing device. It is possible that the probability of failure is high, which causes the operation of the system of the image pickup apparatus equipped with the image processing apparatus to be broken.
  • the present invention has been made based on the above problem recognition, and suppresses the amount of data transfer when acquiring an on-screen display image to be superimposed on an image to be displayed on a display device from a storage device, and protrudes a large number. It is an object of the present invention to provide a display processing device and an imaging device capable of suppressing the occurrence of a period requiring data transfer.
  • the display processing device is a display processing device that causes a superimposed image for displaying additional information to be displayed superimposed on the display image, and the additional information is added to the display image.
  • a superimposed image in which two images are combined is generated, the color image forming the superimposed image and the transparency image are associated, and stored in another space of a storage unit connected to a common bus.
  • the color information of each pixel constituting the corresponding color image is preceded based on the superimposed image generation unit and the transparency information of each pixel constituting the transparency image previously acquired from the storage unit.
  • the display processing unit acquires the display image from the storage unit, and outputs the acquired display image.
  • the transparency image is acquired from the storage unit, and the acquired transparency image is output, and the corresponding color image is configured based on the transparency information of each pixel constituting the acquired transparency image It is determined in a predetermined transfer unit whether or not acquisition of the color information of each pixel to be performed is performed in advance, and a transparency image acquisition unit that outputs a flag signal representing the determined result;
  • the transparency image acquisition unit Based on the transparency information of each of the pixels constituting the transparency image output from the color image acquisition unit that outputs, as the acquired color image, the image obtained as the pseudo color information, and the transparency image acquisition unit Generating an image signal in which the color information of each pixel constituting the color image output from the color image acquisition unit is superimposed on the corresponding pixel included in the display image output from the display image acquisition unit And an image superimposing unit that outputs the generated image signal to a display device.
  • the superimposed image generation unit does not acquire the transparency image
  • the color image acquisition unit does not acquire the color image.
  • Each of the color image and the transparency image may be generated while the unit is not acquiring the color image.
  • the display processing unit in the display processing device according to the third aspect, the display processing unit generates a synchronization signal that generates a synchronization signal that is a timing signal that causes the display device to represent the image signal.
  • a period during which the transparency image acquisition unit does not acquire the transparency image and the color image acquisition unit does not acquire the color image is a blanking period that the synchronization signal represents May be
  • the superimposed image generation unit is configured to determine the color image and the transparency image from the timing of the head of the blanking period. The generation may be started.
  • the superimposed image generation unit is configured to receive the color image from timing when a predetermined time has elapsed from the beginning of the blanking period. Each generation with the transparency image may be initiated.
  • the superimposed image generation unit causes the bus bandwidth monitor connected to the common bus to display the image signal to the display device.
  • the color image and the transparency image are generated in the divided periods in which the transfer amount of data on the common bus is small, which is measured in each divided period obtained by dividing the period to be divided into predetermined equal intervals. Good.
  • the imaging device is a display processing device that causes a superimposed image for displaying additional information to be displayed superimposed on the display image, and the additional information is displayed on the display image 2 of a color image composed of color information representing the color of each pixel for making the image, and a transparency image composed of transparency information representing the transparency of each pixel for causing the display information to display the additional information
  • a superimposed image in which two images are combined is generated, the color image forming the superimposed image and the transparency image are associated, and stored in another space of a storage unit connected to a common bus
  • the color information of each pixel constituting the corresponding color image is recorded on the basis of the transparency information of each pixel constituting the transparency image previously acquired from the storage unit and the image generation unit.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging device equipped with an image processing device provided with a display processing device according to an embodiment of the present invention. It is the figure which showed typically an example of the OSD image which the OSD data generation part which comprises the display processing apparatus in embodiment of this invention produces
  • timing chart which showed another example of the timing which the OSD data generation part which constitutes the display processing device in the embodiment of the present invention generates OSD image data. It is a figure explaining operation
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging device equipped with an image processing apparatus provided with a display processing apparatus according to an embodiment of the present invention.
  • the imaging device 1 illustrated in FIG. 1 includes an image processing device 10, a dynamic random access memory (DRAM) 30, an image sensor 40, and a display device 70.
  • the image processing apparatus 10 further includes a central processing unit (CPU) 12, a DRAM bus arbitration unit 13, an imaging processing unit 14, an image processing unit 15, and an on screen display (OSD) data generation unit 16. , A display processing unit 17, and a media interface (I / F) unit 18.
  • CPU 12 central processing unit
  • DRAM bus arbitration unit 13 an imaging processing unit 14
  • image processing unit 15 the OSD data generation unit 16
  • the display processing unit 17, and the media interface unit 18 It is connected to a DRAM bus 11 which is a common data bus.
  • the configurations of the OSD data generation unit 16 and the display processing unit 17 provided in the image processing device 10 correspond to the display processing device of the present invention.
  • the imaging device 1 captures an image of a subject with the image sensor 40, and causes the display device 70 to display an image (display image) according to the captured image (captured image).
  • an OSD image for indicating various information such as information on the imaging device such as the remaining amount of the battery and information on the photographed image such as photographing date and time as additional information To be displayed on the display device 70.
  • the image sensor 40 is a CCD (Charge Coupled Device) image sensor that photoelectrically converts an optical image of an object formed by a lens (not shown) provided in the imaging device 1 or a complementary metal-oxide semiconductor (CMOS): (Complementary metal oxide semiconductor) image sensor represented by an image sensor.
  • CMOS complementary metal-oxide semiconductor
  • the image sensor 40 outputs, to the imaging processing unit 14, a pixel signal corresponding to an optical image of a captured subject under control of the imaging processing unit 14 included in the image processing apparatus 10.
  • the DRAM 30 is a data storage unit that stores various data processed in the imaging device 1.
  • the DRAM 30 is connected to the DRAM bus 11 via a DRAM bus arbitration unit 13 provided in the image processing apparatus 10.
  • the DRAM 30 stores data of images of respective processing stages in the imaging device 1.
  • the DRAM 30 stores pixel data output by the imaging processing unit 14 based on the pixel signal output from the image sensor 40.
  • the DRAM 30 stores data of an image (captured image or display image) generated by the image processing unit 15 provided in the image processing apparatus 10 or data of an OSD image generated by the OSD data generation unit 16.
  • the display device 70 is a display device that displays a display image or an OSD image output from the display processing unit 17 provided in the image processing apparatus 10.
  • the display device 70 includes various display devices having different sizes of display images and OSD images to be displayed, that is, the number of pixels.
  • an imaging device such as a TFT (Thin Film Transistor) liquid crystal display (LCD) or an organic EL (Electro Luminescence) display for displaying an image of VGA (640 ⁇ 480) size on the display device 70
  • a small display device mounted on the camera 1 and operating as a viewfinder for confirming a subject to be photographed.
  • the display device 70 has a configuration that can be attached to and detached from the imaging apparatus 1 such as HDTV (High Definition TeleVision) that displays images of full HD (1920 ⁇ 1080) size. There is also a display device.
  • the display device 70 is configured to be attachable to and detachable from the imaging device 1 such as UHDTV (Ultra High Definition TeleVision) that displays an image of 4K2K (3840 ⁇ 2160) size, and a large display for confirming a captured image. It may be an apparatus.
  • the image processing apparatus 10 performs predetermined image processing on pixel signals output from the image sensor 40 to generate a captured image or a display image. Then, the image processing apparatus 10 causes the display device 70 to display the generated display image. The image processing apparatus 10 also records the generated captured image on a recording medium (not shown).
  • the CPU 12 is a control unit which is connected to the DRAM bus 11 and controls each component provided in the image processing apparatus 10.
  • the CPU 12 controls the entire image processing apparatus 10 according to a program or data for controlling each component.
  • the CPU 12 may control the components provided in the imaging device 1.
  • a program or data for controlling each component provided in the image processing apparatus 10 by the CPU 12 may be stored in the DRAM 30 connected to the DRAM bus 11 via the DRAM bus arbitration unit 13. .
  • the CPU 12 controls the entire image processing apparatus 10 by reading and executing programs and data stored in the DRAM 30 through the DRAM bus arbitration unit 13.
  • the DRAM bus arbitration unit 13 arbitrates a DMA (Direct Memory Access) access request (DMA request) to the DRAM 30 from each component in the image processing apparatus 10 connected to the DRAM bus 11. Further, the DRAM bus arbitration unit 13 arbitrates DMA requests from the respective components to the DRAM 30, and as a result, the delivery of data between the components receiving the DMA request and the DRAM 30 via the DRAM bus 11, that is, Control DMA transfer. More specifically, the DRAM bus arbitration unit 13 transfers (writes) the data output to the DRAM bus 11 by the component receiving the DMA request to the DRAM bus 11, and the DMA request of the data acquired (read) from the DRAM 30. Control the output to the received component.
  • DMA Direct Memory Access
  • the imaging processing unit 14 generates imaging data based on the pixel signal by performing a predetermined imaging process on the pixel signal output from the image sensor 40.
  • the imaging processing performed by the imaging processing unit 14 on the pixel signal output from the image sensor 40 is so-called preprocessing such as flaw correction and shading correction.
  • the imaging processing unit 14 causes the DRAM 30 to record (write) data of an image (hereinafter, referred to as “pre-processed image”) generated by the pre-processing by DMA transfer.
  • the image processing unit 15 acquires (reads out) data of the preprocessed image recorded in the DRAM 30 by DMA transfer, and applies predetermined image processing to the acquired data of the preprocessed image to obtain the preprocessed image. Generate an image based on it.
  • the image processing that the image processing unit 15 applies to the data of the preprocessed image includes noise removal processing, YC conversion processing, resizing processing, JPEG compression processing, MPEG compression processing, H.
  • image processing for display and image processing for recording such as moving image compression processing such as H.264 compression processing.
  • the image processing apparatus 10 causes the DRAM 30 to record (write in) data of a display image (hereinafter, referred to as “display image data”) generated by performing image processing for display on the data of the preprocessed image (hereinafter referred to as “display image data”). ). Further, the image processing apparatus 10 causes the DRAM 30 to record (write) data of a captured image generated by performing image processing for recording on data of a preprocessed image by DMA transfer.
  • the OSD data generation unit 16 displays various information to be superimposed on the display image as additional information (hereinafter referred to as “OSD information”) corresponding to one frame of the display image according to the operation mode or setting of the imaging device 1 Generate an OSD image.
  • the OSD image is a combination of color information representing the color when displaying the OSD information at the position of each pixel included in the display image and transparency information representing transparency or non-transparency (in some cases, semi-transparency) It is an image.
  • the OSD image generated by the OSD data generation unit 16 is not composed of one image in a format combining color information and transparency information corresponding to each pixel in the display image, but is composed of color information of each pixel.
  • the OSD image is an image (hereinafter referred to as "OSD color image") in which color information at the time of superposing the OSD information on the display image is shown corresponding to the position of each pixel included in the display image.
  • OSD transparency image two images in which transparency information when superimposing OSD information on a display image is shown corresponding to the position of each pixel included in the display image. It is organized in pairs.
  • Each of the OSD color image and the OSD transparency image is a so-called bitmap image.
  • the color information included in the OSD color image forming the OSD image and the transparency information included in the OSD transparency image forming the OSD image correspond one to one at the same pixel position in each image. ing. That is, each color information included in the OSD color image and each transparency information included in the OSD transparency image correspond to the position of each pixel included in the display image.
  • a detailed description of the OSD image generated by the OSD data generation unit 16 will be described later.
  • the OSD data generation unit 16 causes the DRAM 30 to record (write) the generated OSD image data (hereinafter referred to as “OSD image data”) by DMA transfer. More specifically, the OSD data generation unit 16 generates data of the generated OSD color image (hereinafter referred to as "OSD color image data") and data of the generated OSD transparency image (hereinafter referred to as "OSD transparency image data”) ) Are recorded (written) in the DRAM 30 by DMA transfer. At this time, the OSD data generation unit 16 links the OSD color image data and the OSD transparency image data and causes the DRAM 30 to record (write) the same.
  • OSD image data generated OSD image data
  • OSD transparency image data data of the generated OSD transparency image data
  • the OSD color image data and the OSD transparency image data can be obtained so that the display processing unit 17 can separately acquire (read) the OSD color image data and the OSD transparency image data separately. And each is stored (written) in a storage area of another space (address space) in the DRAM 30.
  • the space of the storage area of the DRAM 30 in which the OSD data generation unit 16 records (writes) the OSD color image data and the OSD transparency image data is a remote space (for example, a storage area of a different bank). It may be continuous space (for example, storage area starting from another address separated in the same bank).
  • the information on the operation mode and setting of the imaging device 1 for the OSD data generation unit 16 to generate the OSD image is, for example, a user of the imaging device 1 with respect to a user interface unit (not shown) provided in the imaging device 1
  • the information is, for example, information generated by the CPU 12 based on the information of the operation performed by the user acquired from the user interface unit (not shown).
  • the information for the OSD data generation unit 16 to generate the OSD image is not particularly limited.
  • the display processing unit 17 acquires (reads) display image data recorded in the DRAM 30 by DMA transfer, and causes the display device 70 to display a display image corresponding to the acquired display image data.
  • the display processing unit 17 also acquires (reads) the OSD image data recorded in the DRAM 30 by DMA transfer, and superimposes it on an image corresponding to the acquired OSD image data, that is, a display image corresponding to the display image data.
  • An OSD image to be displayed is displayed on the display device 70.
  • the display processing unit 17 first obtains (reads out) the OSD transparency image data recorded in the DRAM 30 by DMA transfer.
  • the display processing unit 17 determines (determines) whether to acquire (read) the OSD color image data from the DRAM 30 based on the acquired OSD transparency image data. Thereafter, the display processing unit 17 acquires (reads) the OSD color image data determined to be acquired (read out) from the DRAM 30 by DMA transfer. Then, the display processing unit 17 superimposes and displays an image based on the acquired (read out) OSD transparency image data and the OSD color image data, that is, the OSD image on the image to be displayed on the display device 70.
  • a detailed description of the configuration of the display processing unit 17 and the method of DMA transfer in which the display processing unit 17 acquires (reads) OSD transparency image data and OSD color image data from the DRAM 30 will be described later.
  • the media interface unit 18 acquires (reads) data of a captured image recorded in the DRAM 30 by DMA transfer, and records data of the acquired captured image on a recording medium (not shown).
  • Examples of recording media on which the media interface unit 18 records data of captured images include recording media of various configurations such as an SD memory card (SD Memory Card) and a compact flash (Compact Flash: CF (registered trademark)). .
  • the imaging device 1 superimposes an OSD image for showing various OSD information on an image (display image) corresponding to the image (captured image) of the subject captured by the image sensor 40 as a display device. It can be displayed on 70.
  • the imaging device 1 can record an image according to an image (captured image) of a subject captured by the image sensor 40 on a recording medium.
  • FIG. 2 is a view schematically showing an example of an OSD image generated by the OSD data generation unit 16 constituting the display processing apparatus according to the embodiment of the present invention.
  • FIG. 2A shows an example of OSD information (also referred to as an OSD image) for one frame to be superimposed on a display image.
  • 2B shows an example of an OSD color image (OSD color image data) generated by the OSD data generation unit 16 based on the OSD information
  • FIG. 2C shows OSD data generation.
  • generates based on OSD information is shown.
  • the OSD information is displayed at a position not overlapping the subject captured in the display image. For this reason, in a general OSD image, it is an area indicating that most of the area of one frame is transparent. However, in FIG. 2, in order to facilitate the description, a case where information is displayed at the center of the display image as in the OSD information shown in FIG. 2A will be described.
  • the OSD information shown in (a) of FIG. 2 is information for displaying the numeral “1” at the center of the display image. Therefore, in the OSD data generation unit 16, the pixels of the portion (region) for displaying the numeral "1" are colored non-transparent or semi-transparent, and the pixels of the other regions are non-colored transparent. Generate an OSD image.
  • the OSD data generation unit 16 generates the OSD image in a format in which two images of the OSD color image and the OSD transparency image are combined. Therefore, the OSD data generation unit 16 separates the OSD information as shown in (a) of FIG. 2 into color information and transparency information, and an OSD color image as shown in (b) of FIG. An OSD image in the form of a pair of two images with the OSD transparency image as shown in (c) of FIG. 2 is generated.
  • the color information of each pixel included in the OSD color image is not limited to the information representing the presence or absence of the color as described above ("with color” or "without color”).
  • color information of each pixel included in the OSD color image is information of colors represented by R (red), G (green), B (blue), Y (brightness), Cb (color difference: blue)
  • the color information may be represented in the YC 422 point sequential format of Cr (color difference: red).
  • color information of each pixel included in the OSD color image may be configured to reproduce the color information (RGB or YCbCr) described above using table information such as a look-up table (LUT). .
  • the OSD data generation unit 16 is a pixel of transparency information indicating that a pixel in a region displaying the numeral “1” is nontransparent (or semitransparent). And generates an OSD transparency image which is a pixel of transparency information indicating that pixels in other regions are transparent.
  • the OSD transparency image may be generated.
  • the OSD data generation unit 16 associates each of the generated OSD color image data (OSD color image data) and the generated OSD transparency image data (OSD transparency image data) with each other to perform another DMA transfer in the DRAM 30. It is recorded (written) in the storage area of the space (address space).
  • the display processing unit 17 displays an image in which the OSD image corresponding to the OSD image data stored (written) in the DRAM 30 by the OSD data generation unit 16 is superimposed on the display image corresponding to the display image data. It is displayed on the device 70.
  • FIG. 3 is a view schematically showing processing when the display processing unit 17 constituting the display processing apparatus according to the embodiment of the present invention causes the display device 70 to display an image (display image on which the OSD image is superimposed).
  • FIG. 3 (a) shows an example of a display image according to display image data
  • FIG. 3 (b) shows an example of an OSD image according to OSD image data
  • FIG. 3 (c) show an example of the image displayed on the display device 70.
  • the display processing unit 17 acquires the display image data and the OSD image data recorded in the DRAM 30 by DMA transfer, and responds to the acquired display image data according to the acquired display image data.
  • the superimposed OSD image is displayed on the display device 70. More specifically, the OSD image according to the OSD image data as shown in (b) of FIG. 3 is superimposed on the display image according to the display image data as shown in (a) of FIG. 3 Thus, an image as shown in (c) of FIG. 3 is generated, and the generated image is displayed on the display device 70.
  • FIG. 3B shows an example of the OSD image showing the OSD information at the upper left and lower right of the display image shown in FIG. 3A.
  • the OSD image shown in (b) of FIG. 3 shows, for example, information on the remaining amount of the battery provided in the imaging device 1 in the upper left area of the display image, and the captured image is captured in the lower right area of the display image It is an example in the case of showing the information on photography date.
  • the transparency information included in the OSD image is transparent except for the region where the OSD information is displayed (in the example of the OSD image shown in (b) of FIG. 3, the region showing the OSD information in the upper left and lower right). It is information representing a pixel.
  • data of the conventional OSD image is image data in a format in which color information and transparency information in each pixel are combined. Then, in the conventional display processing device, all pixels representing that the transparency information included in the OSD image is transparent are also acquired, and the OSD image is superimposed on the display image. That is, in the conventional display processing apparatus, two sheets (two frames) of image data of a display image and an OSD image are acquired. For this reason, in the conventional display processing apparatus, the bus bandwidth of the data bus is compressed by DMA transfer for acquiring the OSD image data from the DRAM.
  • the OSD data generation unit 16 separates the OSD information into color information and transparency information, and generates the OSD color image and the OSD transparency image.
  • the OSD image is generated in the form of a pair of two images.
  • the display processing unit 17 first acquires (reads out) the OSD transparency image data by DMA transfer, and acquires the OSD color image data It is determined (decided) whether or not it is determined, and only the OSD color image data determined to be acquired is acquired (read out) from the DRAM 30 by DMA transfer.
  • the display processing unit 17 acquires all display image data of a display image of one sheet (one frame) from the DRAM 30 by DMA transfer, all data of an OSD image of one frame is obtained as the OSD image data. A smaller amount of data is obtained from the DRAM 30 by DMA transfer. As a result, although the display processing unit 17 acquires image data of two frames of the display image and the OSD image from the DRAM 30, the data transfer amount is suppressed and the bus bandwidth of the DRAM bus 11 is compressed. It can be reduced.
  • the conventional OSD image data there is also a format of which the data amount is reduced by run length compression for each line.
  • the compression of the bus bandwidth of the data bus can be reduced by suppressing the transfer amount of data when acquiring the data of the OSD image by the DMA transfer.
  • a particular line one line or a plurality of lines included in the OSD image changes color or transparency for each pixel
  • the particular line can be obtained by run-length compression.
  • the amount of data of is increased by the length information. For this reason, in the conventional display processing device, the transfer amount of data when acquiring data of a specific line by DMA transfer increases, and the maximum bus bandwidth required for DMA transfer at this time is run-length compression.
  • the OSD transparency image generated by the OSD data generation unit 16 is an image of transparency information of each pixel originally included in the OSD image. Then, in the display processing device according to the embodiment of the present invention, the sum of the data amount of the OSD color image data and the OSD transparency image data generated by the OSD data generation unit 16 is the same as the data amount of the conventional OSD image data. .
  • the display processing apparatus even when a specific line (one line or a plurality of lines) included in the OSD image changes in color or transparency for each pixel
  • the data amount of each of the OSD color image data and the OSD transparency image data corresponding to the specific line generated by the OSD data generation unit 16 is the same as the data amount of the OSD image data not subjected to run length compression. Therefore, even if the display processing unit 17 obtains both the OSD color image data and the OSD transparency image data separately from the DRAM 30 by DMA transfer, the required bus bandwidth of the DRAM bus 11 is at most the conventional one.
  • the bus bandwidth of the DRAM bus 11 necessary for obtaining OSD image data from the DRAM 30 by DMA transfer is the conventional display processing apparatus in which the run length is not compressed.
  • the OSD image data is not significantly larger than the bus bandwidth when acquiring from the DRAM. Rather, in the display processing apparatus according to the embodiment of the present invention, only the OSD color image data determined to be acquired is acquired from the DRAM 30 based on the OSD transparency image data acquired by the display processing unit 17 first, so the OSD image data is acquired.
  • the bus bandwidth of the DRAM bus 11 required when acquiring from the DRAM 30 by DMA transfer is reduced.
  • FIG. 4 is a block diagram showing a schematic configuration of the display processing unit 17 that constitutes the display processing apparatus according to the embodiment of the present invention.
  • the display processing unit 17 includes a synchronization signal generation unit 171, a display image data DMA processing unit 172, an OSD image data DMA processing unit 173, a data superposition unit 174, a delay adjustment unit 175, and a DMA cancellation determination unit 176. Is equipped.
  • the display processing unit 17 causes the display device 70 to display an image according to the display image data or the display image according to the display image data according to the OSD image data based on the clock signal (not shown).
  • a synchronization signal is generated which represents the timing of displaying an image on which the OSD image is superimposed.
  • the synchronization signal generated by the synchronization signal generation unit 171 is a vertical synchronization signal VD corresponding to the display device 70, a horizontal synchronization signal HD, and the like.
  • the synchronization signal generation unit 171 outputs the generated synchronization signal to each of the display image data DMA processing unit 172, the OSD image data DMA processing unit 173, and the delay adjustment unit 175.
  • the display image data DMA processing unit 172 is a DMA processing unit that acquires display image data recorded in the DRAM 30 by DMA transfer based on the synchronization signal output from the synchronization signal generation unit 171. More specifically, the display image data DMA processing unit 172, for example, during a period in which the horizontal synchronization signal HD output from the synchronization signal generation unit 171 represents displaying a display image according to the display image data, Display image data is acquired from the DRAM 30 in units of predetermined DMA transfer.
  • the unit of DMA transfer in the display image data DMA processing unit 172 is a unit of pixels included in the display image data or a unit in which a plurality of continuous pixels are put together, that is, a unit of burst transfer in DMA. Then, the display image data DMA processing unit 172 outputs the acquired display image data to the data superimposing unit 174.
  • the timing at which the display image data DMA processing unit 172 acquires display image data from the DRAM 30 by DMA transfer is a signal of an image to be displayed on the display device 70 until the display device 70 displays a display image according to the display image data.
  • image signal any timing may be used. Therefore, for example, in the case where the display image data DMA processing unit 172 has a line buffer capable of temporarily storing data for a predetermined number of lines in an image displayed on the display device 70, The display image data for the number of lines that can be temporarily stored in the line buffer may be obtained in advance from the DRAM 30 by DMA transfer.
  • the display image data DMA processing unit 172 converts the display image data temporarily stored in the line buffer into data at the timing when the display device 70 displays the display image according to the display image data. It is output to the superimposing unit 174.
  • the DMA cancellation determination unit 176 is a DMA processing unit that acquires OSD transparency image data among the OSD image data recorded in the DRAM 30 by DMA transfer based on the synchronization signal output from the synchronization signal generation unit 171. However, the DMA cancellation determination unit 176 DMA-transfers the OSD transparency image data recorded in the DRAM 30 before the OSD image data DMA processing unit 173 acquires the OSD color image data recorded in the DRAM 30 by DMA transfer. get. More specifically, the DMA cancellation determination unit 176, for example, displays an OSD image in a period in which the horizontal synchronization signal HD output from the synchronization signal generation unit 171 represents displaying a display image according to the display image data.
  • the OSD transparency image data is acquired from the DRAM 30 in a predetermined DMA transfer unit.
  • the unit of DMA transfer in the DMA cancellation determination unit 176 is also similar to the unit of DMA transfer in the display image data DMA processing unit 172, a unit of pixels included in the OSD transparency image data and plural continuous pixels It is a unit of burst transfer in DMA.
  • the unit of DMA transfer in the DMA cancellation determination unit 176 may not be the same unit as the unit of DMA transfer in the display image data DMA processing unit 172.
  • the DMA cancellation determination unit 176 causes the OSD image data DMA processing unit 173 to obtain OSD image data (more specifically, OSD color image data) from the DRAM 30 by DMA transfer based on the acquired OSD transparency image data. Decide whether or not. At this time, the DMA cancellation determination unit 176 determines whether the data of each pixel included in the acquired OSD transparency image data is data of a pixel for displaying the OSD information, thereby the OSD image data The DMA processing unit 173 determines whether to acquire the OSD color image data from the DRAM 30 or not.
  • the DMA cancellation determination unit 176 is data of each pixel included in the acquired OSD transparency image data, that is, transparency information indicating that the transparency information is non-transparent (or semi-transparent). Check if it is transparency information indicating that it is transparent. Then, when the checked transparency information is transparency information indicating non-transparent (or semi-transparent), the DMA cancellation determination unit 176 determines that the data of the corresponding pixel included in the OSD color image data is the OSD information. It is determined that the color information represents the color of a pixel to be displayed.
  • the DMA cancellation determination unit 176 displays the OSD information on the data (color information) of the corresponding pixel included in the OSD color image data. It is determined that the color information is not color information that represents the color of the target pixel.
  • the DMA cancellation determination unit 176 determines whether the OSD image data DMA processing unit 173 acquires pixel data for displaying OSD information, that is, OSD color image data from the DRAM 30 by DMA transfer. Decide. Then, the DMA cancellation determination unit 176 outputs an OSD cancellation flag representing the determined result to the OSD image data DMA processing unit 173.
  • the OSD cancel flag output by the DMA cancel determination unit 176 is whether the OSD image data DMA processing unit 173 acquires the OSD color image data by DMA transfer or does not acquire the OSD color image data (is it canceled)? It is a signal that represents information.
  • the DMA cancellation determination unit 176 sends the acquired OSD transparency image data, that is, the transparency information corresponding to each pixel included in the OSD color image data acquired by the OSD image data DMA processing unit 173 to the data superimposing unit 174. Output.
  • the timing at which the DMA cancellation determination unit 176 acquires OSD transparency image data from the DRAM 30 by DMA transfer is any timing before the OSD image data DMA processing unit 173 acquires OSD color image data from the DRAM 30 by DMA transfer. It may be Therefore, for example, as in the display image data DMA processing unit 172, for example, a line buffer capable of temporarily storing data for a predetermined number of lines in an image displayed on the display device 70, similarly to the display image data DMA processing unit 172.
  • OSD transparency image data for the number of lines that can be temporarily stored in the line buffer may be acquired in advance from the DRAM 30 by DMA transfer.
  • the DMA cancellation determination unit 176 may previously make a so-called horizontal blanking period during which a horizontal synchronization signal HD output from the synchronization signal generation unit 171 indicates that a display image according to display image data is not displayed.
  • the OSD transparency image data may be obtained in advance from the DRAM 30 in units of the defined DMA transfer.
  • the DMA cancellation determination unit 176 acquires OSD transparency image data from the DRAM 30 in advance, for example, at the beginning of the horizontal blanking period or at a timing when a predetermined time has elapsed from the beginning.
  • the DMA cancellation determination unit 176 temporarily stores in the line buffer, and the OSD transparency image data corresponding to the OSD color image data acquired from the DRAM 30 by the OSD image data DMA processing unit 173 by DMA transfer.
  • the OSD image data DMA processing unit 173 determines whether to acquire the OSD color image data from the DRAM 30 by DMA transfer based on the above.
  • the DMA cancellation determination unit 176 adjusts the OSD cancellation flag representing the determined result to the OSD image data DMA processing unit 173 in accordance with the timing when the OSD image data DMA processing unit 173 acquires the OSD color image data from the DRAM 30 by DMA transfer.
  • the OSD image data DMA processing unit 173 is a DMA processing unit that acquires, by DMA transfer, OSD color image data among the OSD image data recorded in the DRAM 30 based on the synchronization signal output from the synchronization signal generation unit 171. . However, the OSD image data DMA processing unit 173 acquires the OSD color image data from the DRAM 30 by DMA transfer, in which the OSD cancellation flag output from the DMA cancellation determination unit 176 indicates that the acquisition of the OSD color image data is performed. .
  • the OSD image data DMA processing unit 173 for example, during a period in which the horizontal synchronization signal HD output from the synchronization signal generation unit 171 represents displaying the display image according to the display image data,
  • the OSD color image data representing that the OSD cancellation flag is acquired is acquired from the DRAM 30 in a predetermined DMA transfer unit.
  • the unit of DMA transfer in the OSD image data DMA processing unit 173 is the unit of pixels included in the OSD color image data and It is a unit of burst transfer in DMA in which a plurality of continuous pixels are put together.
  • the unit of DMA transfer in the OSD image data DMA processing unit 173 may not be the same unit as the unit of DMA transfer in the display image data DMA processing unit 172 or the DMA cancellation determination unit 176. Then, the OSD image data DMA processing unit 173 outputs the acquired OSD color image data to the data superimposing unit 174.
  • the timing at which the OSD image data DMA processing unit 173 acquires the OSD color image data from the DRAM 30 by DMA transfer is the same as the display image data DMA processing unit 172, the display device 70 superimposes the OSD image according to the OSD image data. Any timing may be used as long as an image signal to be displayed on the display device 70 can be prepared before the display image corresponding to the display image data is displayed. Therefore, for example, as with the display image data DMA processing unit 172, the OSD image data DMA processing unit 173 can temporarily store data for a predetermined number of lines in an image displayed on the display device 70.
  • OSD color image data for the number of lines which can be temporarily stored in the line buffer may be obtained in advance from the DRAM 30 by DMA transfer.
  • the OSD image data DMA processing unit 173 determines in advance a horizontal blanking period in which the horizontal synchronization signal HD output from the synchronization signal generation unit 171 indicates that a display image according to display image data is not displayed.
  • the OSD color image data may be obtained in advance from the DRAM 30 in units of DMA transfer. In this case, it is considered that the OSD image data DMA processing unit 173 acquires OSD color image data from the DRAM 30 in advance, for example, at timing when a predetermined time has elapsed from the beginning of the horizontal blanking period or from the beginning.
  • the OSD image data DMA processing unit 173 DMA-transfers the OSD color image data, which indicates that the OSD cancellation flag output from the DMA cancellation determination unit 176 is to acquire the OSD color image data, in advance by using the DRAM 30. Get from In the case of this configuration, the OSD image data DMA processing unit 173 displays a display image according to the display image data on which the display device 70 superimposes the OSD image according to the OSD image data, like the display image data DMA processing unit 172 At the same time, the OSD color image data temporarily stored in the line buffer is output to the data superimposing unit 174.
  • the OSD image data DMA processing unit 173 acquires from the DRAM 30 only the OSD color image data in which the OSD cancellation flag indicates that the OSD color image data is to be acquired. That is, the OSD color image data acquired from the DRAM 30 by the DMA transfer by the OSD image data DMA processing unit 173 is only data corresponding to the area for displaying the OSD information, and is nontransparent or semitransparent in the OSD transparency image data. Only the OSD color image data corresponding to the pixel of the transparency information representing. Therefore, the OSD color image data acquired from the DRAM 30 by the DMA transfer by the OSD image data DMA processing unit 173 may be less than the data for one line in the image displayed on the display device 70.
  • the OSD image data DMA processing unit 173 when the OSD image data DMA processing unit 173 outputs the OSD color image data to the data superimposing unit 174, the OSD color image data not acquired from the DRAM 30 by the DMA transfer, that is, the OSD transparency image data is transparent. Instead of the OSD color image data corresponding to the pixel of the transparency information indicating that, data of a pseudo pixel (hereinafter referred to as "pseudo pixel”) is output. In other words, the OSD image data DMA processing unit 173 also compensates for data of transparent pixels which do not display OSD information as data acquired from the DRAM 30 by DMA transfer, and transmits data of all pixels of the OSD image to the data superimposing unit 174. Output.
  • the pseudo pixel data complemented by the OSD image data DMA processing unit 173 and output to the data superimposing unit 174 is pixel data (color information) that is not displayed (not reflected) as OSD information even when superimposed on the display image. It is. Therefore, the pseudo pixel data may be data representing any color (color information).
  • the pseudo pixel data may be data of a predetermined specific fixed value such as “0” or “1”, or may be data of color information representing a predetermined specific single color such as black or white. Good.
  • the data superimposing unit 174 performs predetermined image processing on the display image data output from the display image data DMA processing unit 172, and causes the display device 70 to display a display image according to the display image data. Generate a signal.
  • the data superimposing unit 174 changes the display image according to the display image data.
  • Image processing is performed to superimpose an OSD image according to the OSD image data represented by the OSD color image data and the OSD transparency image data, and an image signal is generated.
  • the data superimposing unit 174 outputs the generated image signal to the display device 70. Thereby, the display device 70 displays a display image according to the display image data or a display image according to the display image data on which the OSD image according to the OSD image data is superimposed.
  • the delay adjustment unit 175 processes each synchronization signal output from the synchronization signal generation unit 171 by the display image data DMA processing unit 172, the OSD image data DMA processing unit 173, the data superposition unit 174, and the DMA cancellation determination unit 176. , And the output to the display device 70. That is, the delay adjustment unit 175 delays each synchronization signal output from the synchronization signal generation unit 171 according to the timing of the image signal output from the data superimposition unit 174 to the display device 70, and causes the display device 70 to delay. Output.
  • the DMA cancellation determination unit 176 acquires the OSD transparency image data before the OSD image data DMA processing unit 173 acquires the OSD color image data from the DRAM 30 by DMA transfer, It is determined whether data of each pixel included in the OSD image is data of a pixel for displaying OSD information. Then, in the display processing unit 17, the data of the pixel included in the OSD color image data determined as the data of the pixel for displaying the OSD information by the DMA cancellation determination unit 176 by the OSD image data DMA processing unit 173 ( Only color information is acquired from the DRAM 30 by DMA transfer.
  • the display processing unit 17 acquires OSD color image data including color information in the OSD image data, rather than the amount of data when acquiring data of all pixels of the OSD image in the conventional display processing device. It is possible to reduce the amount of data at the time of data transfer and to reduce the pressure on the bus band of the DRAM bus 11. By this, in the display processing unit 17, it is easier to correspond to the display of the image on the high definition display device than in the case where the conventional display processing device corresponds to the display of the image on the high definition display device. Can.
  • DMA transfer occurs which requires projecting a large number of bus bands, which may occur when acquiring run length compressed OSD image data by DMA transfer in a conventional display processing device. It is possible to acquire data of all pixels of the OSD image within the same bandwidth as the bus bandwidth required for DMA transfer of the conventional OSD image data without run length compression. That is, the display processing unit 17 can prevent the bus bandwidth of the DRAM bus 11 from becoming higher than necessary when obtaining OSD image data from the DRAM 30 by DMA transfer. As a result, in the display processing unit 17, the DMA transfer of the same period (timing) by the other components (for example, the imaging processing unit 14 and the like) included in the image processing apparatus 10 is not inhibited. It is possible to reduce the factors that cause the operation to break down.
  • the timing at which the OSD data generation unit 16 generates OSD image data (OSD color image data and OSD transparency image data) will be described.
  • the OSD data generation unit 16 generates OSD image data according to the operation mode or setting of the imaging device 1. Therefore, the timing at which the OSD data generation unit 16 generates the OSD image data is when the operation mode or setting of the imaging device 1 is changed.
  • the OSD data generation unit 16 starts DMA transfer for the display processing unit 17 to acquire OSD image data for one frame that has already been generated and stored (written) in the DRAM 30, When the acquisition of the OSD image data for the frame is not completed, the new OSD image data is not generated.
  • the OSD data generation unit 16 starts a new OSD color image until the DMA cancellation determination unit 176 starts acquiring the OSD transparency image data and the OSD image data DMA processing unit 173 completes the acquisition of the OSD color image data. Does not generate data and OSD transparency image data.
  • the OSD data generation unit 16 generates a new OSD. Does not generate color image data and OSD transparency image data.
  • the OSD data generation unit 16 adds a new one.
  • the current OSD information displayed on the display device 70 is changed halfway. That is, when the DMA cancellation determination unit 176 does not complete acquisition of the OSD transparency image data, the transparency information of each pixel in the current OSD image displayed on the display device 70 is changed, and the OSD image data DMA processing unit 173 If the acquisition of the OSD color image data is not completed, the color information of each pixel in the current OSD image displayed on the display device 70 is changed.
  • the OSD data generation unit 16 generates new OSD image data while the display processing unit 17 is not acquiring the OSD image data by DMA transfer. That is, the OSD data generation unit 16 does not acquire the OSD transparency image data by the DMA cancellation determination unit 176, and further, during a period when the OSD image data DMA processing unit 173 does not acquire the OSD color image data. New OSD transparency image data and OSD color image data are generated respectively.
  • a period during which the display processing unit 17 is not performing DMA transfer for example, a period during which a display image according to display image data or an OSD image according to OSD image data is not displayed on the display device 70. A blanking period can be considered.
  • the display processing unit 17 can also obtain OSD image data from the DRAM 30 by DMA transfer in the horizontal blanking period, it is conceivable that the blanking period in which the OSD data generation unit 16 generates OSD image data Is the vertical blanking period.
  • the vertical blanking period can be determined by the vertical synchronization signal VD generated by the synchronization signal generation unit 171 provided in the display processing unit 17. Therefore, the OSD data generation unit 16 sets the vertical blanking period on the basis of the vertical synchronization signal VD output from the synchronization signal generation unit 171 provided in the display processing unit 17 of the display processing apparatus according to the embodiment of the present invention. In the determined and determined vertical blanking period, OSD image data (OSD color image data and OSD transparency image data) is generated. In this case, the OSD data generation unit 16 is configured to receive the vertical synchronization signal VD output from the synchronization signal generation unit 171.
  • FIG. 5 is a timing chart showing an example of the timing at which the OSD data generation unit 16 constituting the display processing apparatus according to the embodiment of the present invention generates OSD image data.
  • FIG. 5 shows an example of timing when the OSD data generation unit 16 starts generation of OSD image data from the timing at the beginning of the vertical blanking period. More specifically, in FIG. 5, the OSD data generation unit 16 generates OSD image data from the timing of the OSD generation start trigger signal representing the timing of the beginning of the vertical blanking period determined based on the vertical synchronization signal VD. Shows an example of the timing to start the The timing chart shown in FIG. 5 is an example of the case where the OSD data generation unit 16 generates OSD image data every frame.
  • the OSD data generation unit 16 generates an OSD generation start trigger that is output at timing t1 at the beginning of the first vertical blanking period that starts when the display processing unit 17 completes acquisition of the OSD image data from the DRAM 30 by DMA transfer. In response to the signal, generation of OSD color image data and OSD transparency image data corresponding to the N-th frame OSD image is started. Then, the OSD data generation unit 16 completes (ends) generation of the OSD color image data and the OSD transparency image data corresponding to the OSD image of the Nth frame until the timing t3 when the vertical blanking period ends.
  • the OSD data generation unit 16 starts timing t3 at which the display processing unit 17 starts acquisition from the DRAM 30 by DMA transfer of the OSD color image data and OSD transparency image data corresponding to the Nth frame OSD image by DMA transfer. In the meantime, the generation of the OSD color image data and the OSD transparency image data corresponding to the OSD image of the Nth frame is completed (ended). In the timing chart shown in FIG. 5, at timing t2 which is earlier than timing t3 at which the vertical blanking period ends, the generation of the OSD color image data and the OSD transparency image data corresponding to the OSD image of the Nth frame is completed. An example of the (end) case is shown. As described above, the OSD data generation unit 16 associates each of the generated OSD color image data and the OSD transparency image data with each other, and records it in the storage area of another space (address space) in the DRAM 30 by DMA transfer ( To write).
  • the OSD data generation unit 16 generates OSD color image data and OSD transparency image data corresponding to the OSD image of the next frame during each vertical blanking period. More specifically, the OSD data generation unit 16 generates the OSD color image data and the OSD transparency corresponding to the (N + 1) th frame OSD image during the second vertical blanking period starting from timing t4 and ending at timing t5. Image data is generated, each of the generated OSD color image data and OSD transparency image data is linked, and recorded (written) in a storage area of another space (address space) in the DRAM 30.
  • the OSD data generation unit 16 generates the OSD color image data and the OSD transparency image data corresponding to the OSD image of the (N + 2) th frame during the third vertical blanking period starting from the timing t6 and ending at the timing t7.
  • the generated OSD color image data and the generated OSD color image data are associated with each other and recorded (written) in the storage area of another space (address space) in the DRAM 30.
  • the OSD data generation unit 16 causes the display processing unit 17 (more specifically, the DMA cancellation determination unit 176 and the OSD image data DMA processing unit 173) to transfer the OSD transparency image data and the OSD color by DMA transfer.
  • the OSD color image data and the OSD transparency image data are generated during the vertical blanking period in which the image data is not acquired.
  • the timing at the beginning of the vertical blanking period may be considered as the timing at which the other components provided in the image processing apparatus 10 also start DMA transfer.
  • the OSD data generation unit 16 may start generation of the OSD color image data and the OSD transparency image data at timing when a predetermined time has elapsed from the beginning of the vertical blanking period.
  • the predetermined time is, for example, a time when it is considered that the DMA transfer by the other components included in the image processing apparatus 10 is completed.
  • the timing at which the OSD data generation unit 16 generates the OSD color image data and the OSD transparency image data is not limited to the above-described vertical blanking period. That is, the OSD data generation unit 16 may be performed at any timing as long as the DMA cancellation determination unit 176 and the OSD image data DMA processing unit 173 do not acquire the OSD transparency image data and the OSD color image data by DMA transfer. OSD color image data and OSD transparency image data may be generated.
  • the image processing apparatus 10 includes a DRAM bus arbitration unit 13.
  • the DRAM bus arbitration unit 13 arbitrates DMA requests to the DRAM 30 from respective components in the image processing apparatus 10 connected to the DRAM bus 11. Therefore, the DRAM bus arbitration unit 13 can also determine a period during which the DMA cancel determination unit 176 and the OSD image data DMA processing unit 173 do not perform DMA transfer.
  • the general DRAM bus arbitration unit has a function other than arbitrating requests for access to DRAM (DMA request) from components connected to the data bus based on preset rules. This is because it has a function of measuring (monitoring) the transfer amount of data in each period, that is, a so-called bus bandwidth monitoring function.
  • the DRAM bus arbitration unit 13 can also determine a period in which data transfer in DMA transfer via the DRAM bus 11 is small.
  • the OSD data generation unit 16 detects the OSD color image data and the OSD transparency during a period in which data transfer by DMA transfer via the DRAM bus 11 is small based on the measurement (monitoring) by the DRAM bus arbitration unit 13. Image data can be generated.
  • FIG. 6 is a timing chart showing another example of the timing at which the OSD data generation unit 16 constituting the display processing apparatus according to the embodiment of the present invention generates OSD image data.
  • the DRAM bus arbitration unit 13 measures (monitors) the transfer amount of data (DMA transfer amount) by dividing the period (division period) obtained by dividing the period of one frame for displaying the image on the display device 70 into 23 parts.
  • the timing chart shows one example of the timing when the OSD data generation unit 16 generates OSD image data in the division period in which the DMA transfer amount is the smallest. More specifically, referring to FIG.
  • the division timing with the smallest DMA transfer amount measured (monitored) by the DRAM bus arbitration unit 13 with the fall timing of the vertical synchronization signal VD as the reference timing is set to the next frame.
  • 8 shows an example of the timing in the case where the OSD data generation unit 16 starts the generation of the OSD image data in the divided period.
  • the timing chart shown in FIG. 6 is also an example of the case where the OSD data generation unit 16 generates OSD image data every frame.
  • the display processing apparatus which operates the timing chart shown in FIG. 6 records the OSD image data of two frames in the DRAM 30 and acquires the OSD image data when acquiring it from the DRAM 30 by DMA transfer. Image data is alternately switched.
  • the OSD data generation unit 16 generates new OSD image data even during a period in which the DMA cancellation determination unit 176 and the OSD image data DMA processing unit 173 perform DMA transfer and acquire OSD image data from the DRAM 30. Then, the data can be recorded in the DRAM 30.
  • the OSD data generation unit 16 counts divided periods from the fall timing t1 of the first vertical synchronization signal VD corresponding to the display on the display device 70 of the OSD image according to the OSD image data of the Nth frame ( Start counting).
  • the DRAM bus arbitration unit 13 starts measurement (monitoring) of the DMA transfer amount in the period of the current frame in which the OSD image corresponding to the OSD image data of the Nth frame is displayed on the display device 70.
  • the DRAM bus arbitration unit 13 sequentially outputs information of the DMA transfer amount measured (monitored) in each divided period to the OSD data generation unit 16.
  • the OSD data generation unit 16 completes generation of the OSD color image data and the OSD transparency image data corresponding to the OSD image of the (N + 1) th frame
  • the OSD data generation unit 16 generates the OSD image of the generated (N + 1) th frame.
  • the corresponding OSD color image data and the OSD transparency image data are associated with each other, and recorded (written) in a storage area of another space (address space) in the DRAM 30 by DMA transfer.
  • the OSD data generation unit 16 determines the division period with the smallest DMA transfer amount based on the information of the DMA transfer amount in each division period sequentially output from the DRAM bus arbitration unit 13.
  • the OSD data generation unit 16 is the DMA at the timing t2 of the falling edge of the second vertical synchronization signal VD corresponding to the display on the display device 70 of the OSD image according to the OSD image data of the (N + 1) th frame.
  • the count value "22" corresponding to the division period TM determined that the transfer amount is small, generation of OSD color image data and OSD transparency image data corresponding to the OSD image of the (N + 2) th frame in the next frame period Is set as an OSD generation timing setting representing the timing of starting the.
  • the OSD generation start trigger signal is not output at timing t2 based on the OSD generation timing setting, and corresponds to the display of the OSD image on the display device 70 according to the (N + 1) th frame of the OSD image data.
  • OSD color image data and OSD transparency image data corresponding to the (N + 2) -th frame OSD image to be displayed on the display device 70 in a period is started. Then, when the generation of the OSD color image data and the OSD transparency image data corresponding to the OSD image of the (N + 2) th frame is completed (ended), the OSD data generation unit 16 generates the OSD image of the generated (N + 2) th frame.
  • the corresponding OSD color image data and the OSD transparency image data are associated with each other, and recorded (written) in a storage area of another space (address space) in the DRAM 30 by DMA transfer.
  • the OSD data generation unit 16 causes the display device 70 to display an OSD image during the next frame period from the division period in which the DMA transfer amount measured (monitored) by the DRAM bus arbitration unit 13 is the smallest. To generate OSD color image data and OSD transparency image data corresponding to. Then, the OSD data generation unit 16 associates each of the generated OSD color image data with the OSD transparency image data, and records (writes) in a storage area of another space (address space) in the DRAM 30.
  • the display processing unit 17 acquires it by DMA transfer and sends it to the display device 70.
  • the OSD color image data and the OSD transparency image data corresponding to the OSD image to be displayed are generated.
  • the display processing unit 17 suppresses the transfer amount of data when obtaining the OSD color image data from the DRAM 30 by DMA transfer based on the OSD transparency image data generated by the OSD data generation unit 16 in this manner. That is, the display processing unit 17 acquires only the OSD color image data of the non-transparent or semi-transparent area represented by the OSD transparency image data based on the OSD transparency image data acquired earlier, thereby making it possible to Reduce bus band pressure. More specifically, the OSD image data DMA processing unit 173 is included in the OSD color image data according to the OSD cancel flag output from the DMA cancel determination unit 176 based on the OSD transparency image data acquired earlier (in advance). Do not acquire (cancel) transparent pixel data (color information). As a result, the OSD image data DMA processing unit 173 suppresses the transfer amount of unnecessary OSD color image data, and reduces the compression of the bus band of the DRAM bus 11 when acquiring the OSD image data from the DRAM 30 by DMA transfer.
  • FIG. 7 is a diagram for explaining the operation of the display processing unit 17 that constitutes the display processing device according to the embodiment of the present invention.
  • FIG. 7 shows an example of DMA transfer in the OSD image data DMA processing unit 173 when obtaining OSD color image data for the first line of the first frame of the OSD image shown in (b) of FIG. 3 from the DRAM 30. It shows.
  • the OSD image shown in (b) of FIG. 3 the OSD information is displayed in the upper left and lower right regions of the display image shown in (a) of FIG. Therefore, as shown in FIG.
  • the OSD color image data for the first one line generated by the OSD data generation unit 16 is a non-transparent (or semi-transparent) pixel for displaying OSD information in the upper left area
  • Data of color information (hereinafter referred to as “non-transparent OSD pixel”) is disposed first (left side), and then transparent for transmitting data of a pixel of an object contained in a display image without displaying OSD information. It becomes bitmap data in which data of color information of a pixel (hereinafter referred to as “transparent OSD pixel”) is arranged.
  • the total number of bits for one line of the OSD color image data generated by the OSD data generation unit 16 is the number of bits of color information of each pixel representing the OSD information in the OSD image and one line displayed by the display device 70. It is represented by the number of bits multiplied by the number of pixels in minutes.
  • the display device 70 displays an image of VGA size, that is, an image of 640 pixels x 480 lines
  • the OSD color image data The total number of bits for one line is expressed by the following equation (1).
  • the OSD image data DMA processing unit 173 acquires the OSD color image data from the DRAM 30 in a predetermined DMA transfer unit, that is, a burst transfer unit in the DMA. Therefore, when the OSD image data DMA processing unit 173 acquires data of color information of all pixels of one line of the OSD color image data represented by the above equation (1) from the DRAM 30, the OSD color image data DMA transfer is performed the number of times obtained by dividing the total number of bits for one line by the burst length (DMA burst length) in DMA transfer when acquiring data from the DRAM 30.
  • a predetermined DMA transfer unit that is, a burst transfer unit in the DMA. Therefore, when the OSD image data DMA processing unit 173 acquires data of color information of all pixels of one line of the OSD color image data represented by the above equation (1) from the DRAM 30, the OSD color image data DMA transfer is performed the number of times obtained by dividing the total number of bits for one line by the burst length (DMA bur
  • the OSD image data DMA processing unit 173 acquires the OSD color image data for one line represented by the above equation (1) from the DRAM 30, the burst length is 512 bits, that is, 512 bits of data are grouped.
  • the OSD image data DMA processing unit 173 performs DMA transfer for the number of times represented by the following equation (2).
  • the OSD image data DMA processing unit 173 performs the DMA transfer T1 to DMA transfer T10 10 times DMA transfer based on the above equation (2).
  • a state in which OSD color image data of the first one line of one frame is acquired is shown.
  • the DMA cancellation determination unit 176 has already acquired the OSD transparency image data for the first line from the DRAM 30, and whether or not the OSD color image data is acquired based on the acquired OSD transparency image data.
  • the OSD cancel flag is also displayed as a result of determining the.
  • the OSD cancel flag output by the DMA cancel determination unit 176 will be described.
  • the DMA cancellation determination unit 176 divides the acquired OSD transparency image data into data amounts each corresponding to 512 bits, which is a DMA burst length for DMA transfer by the OSD image data DMA processing unit 173.
  • the OSD cancel flag determined by confirming the transparency information for each section is output.
  • the DMA cancellation determination unit 176 does not acquire (cancel) the OSD color image data only when the transparency information representing that all of the transparency information included in the confirmed delimitation is transparency information. Output the OSD cancel flag that represents.
  • the DMA cancellation determination unit 176 acquires the OSD color image data if at least one piece of transparency information representing non-transparent (or semi-transparent) is included in the confirmed division (cancellation (cancellation) Output an OSD cancel flag indicating that the FIG. 7 shows an example of the OSD cancel flag indicating that acquisition of the OSD color image data is at the “Low” level, and that acquisition of the OSD color image data is not performed (canceled) is represented at the “High” level. It shows.
  • the OSD image data DMA processing unit 173 determines that the DMA burst length when the OSD cancellation flag output from the DMA cancellation determination unit 176 is at “Low” level, which indicates that the acquisition of the OSD color image data is performed.
  • the DMA transfer is performed every 512 bits, and the OSD color image data is acquired from the DRAM 30.
  • the OSD image data DMA processing unit 173 performs OSD transfer by DMA transfer of DMA transfer T1 to DMA transfer T3 when the OSD cancel flag is “Low” level. Color image data is acquired from the DRAM 30.
  • the OSD image data DMA processing unit 173 performs the OSD color by the DMA transfer of the DMA transfer T4 to DMA transfer T10 when the OSD cancel flag is the “High” level indicating that the acquisition of the OSD color image data is not performed. The acquisition of image data from the DRAM 30 is canceled.
  • the OSD image data DMA processing unit 173 performs only three DMA transfers from DMA transfer T1 to DMA transfer T3 and The OSD image data for a line, that is, data (color information) of each pixel included in the OSD image data acquired by DMA transfer for 10 times is acquired. Then, the OSD image data DMA processing unit 173 sequentially outputs the acquired OSD image data for one line to the data superimposing unit 174.
  • the data (color information) of the transparent OSD pixel is included in the OSD color image data acquired by the DMA transfer of the DMA transfer T3 by the OSD image data DMA processing unit 173.
  • the DMA cancellation determination unit 176 outputs the OSD cancellation flag in units of DMA transfer when the OSD image data DMA processing unit 173 acquires the OSD color image data from the DRAM 30.
  • the OSD image data DMA processing unit 173 discards the data (color information) of the transparent OSD pixel in the acquired OSD color image data as invalid OSD color image data.
  • the OSD image data DMA processing unit 173 converts the OSD color image data after the DMA transfer T 4, that is, the OSD color image data not acquired by the DMA transfer, instead of the discarded data (color information) of the transparent OSD pixel.
  • the same color information as the data (color information) of the pseudo pixel to be output as the included transparent OSD pixel is output to the data superimposing unit 174.
  • the OSD image data DMA processing unit 173 outputs the transparent OSD pixel data (color information) included in the OSD color image data acquired by the DMA transfer of the DMA transfer T3 to the data superposition unit 174 without discarding it.
  • the pseudo pixel data to be output as the transparent OSD pixel included in the OSD color image data after the DMA transfer T4 may also be data (color information) of the transparent OSD pixel acquired by the DMA transfer of the DMA transfer T3. That is, the OSD image data DMA processing unit 173 converts the data (color information) of the transparent OSD pixel included in the unit of DMA transfer into the data (color information) of all pixels in the OSD color image data for one line. The data may be output to the data superimposing unit 174 as data (color information) of a pseudo pixel at the time of outputting as obtained from the DRAM 30.
  • FIG. 8 is a diagram schematically showing a state of DMA transfer by the display processing unit 17 configuring the display processing device according to the embodiment of the present invention.
  • FIG. 8 shows an example of DMA transfer for acquiring, from the DRAM 30, the OSD image data of each line of the line including the OSD information and the line not including the OSD information in the OSD image.
  • FIG. 8A shows an example of each of the line L1 in which the OSD information is included in the OSD image shown in FIG. 3B and the line L2 in which the OSD information is not included.
  • FIG. 8B shows an example of DMA transfer when acquiring OSD image data for one line in line L1 including the OSD information shown in FIG. 8A
  • FIG. 8C shows an example of DMA transfer when acquiring OSD image data for one line in the line L2 not including the OSD information shown in FIG. 8A.
  • each of the DMA cancellation determination unit 176 and the OSD image data DMA processing unit 173 provided in the display processing unit 17 performs one DMA transfer (DMA transfer T1 to DMA transfer T10) for 10 times. Description will be made on the assumption that the OSD image data of a minute is acquired from the DRAM 30. Further, in the following description, in order to explain the operation of the display processing unit 17 more easily, the DMA cancellation determination unit 176 performs OSD for each unit of DMA burst length for which the OSD image data DMA processing unit 173 performs DMA transfer. Description will be made assuming that DMA transfer for acquiring transparency image data is performed.
  • the DMA cancellation determination unit 176 sets the OSD transparency image data paired with the OSD color image data acquired by the OSD image data DMA processing unit 173 from the DRAM 30 in units of DMA transfer. It explains as what is acquired.
  • the DMA cancellation determination unit 176 records the OSD color image data recorded in the DRAM 30 by the OSD image data DMA processing unit 173 in the DRAM 30 by DMA transfer.
  • the OSD transparency image data being acquired is acquired by DMA transfer. Therefore, as in the example of DMA transfer shown in (b) of FIG. 8 and (c) of FIG. 8, DMA transfer for the DMA cancellation determination unit 176 to obtain OSD transparency image data is DMA transfer for each It takes place on a per unit basis. That is, the DMA transfer of the OSD transparency image data by the DMA cancellation determination unit 176 is performed ten times each for the line L1 including the OSD information and the line L2 including no OSD information.
  • the DMA cancellation determination unit 176 determines whether the OSD image data DMA processing unit 173 acquires the OSD color image data from the DRAM 30 by DMA transfer.
  • the OSD cancel flag representing the determined result is output to the OSD image data DMA processing unit 173. That is, each time the DMA cancellation determination unit 176 acquires OSD transparency image data in each DMA transfer unit, the OSD cancellation flag indicating whether the OSD image data DMA processing unit 173 acquires the OSD color image data or not Output
  • the OSD color image data are obtained from the DRAM 30 by DMA transfer.
  • the DMA in which the OSD image data DMA processing unit 173 indicates that the OSD cancel flag is to acquire the OSD color image data is obtained from the DRAM 30. That is, in the example of DMA transfer of line L1 including the OSD information shown in (b) of FIG.
  • the OSD image data DMA processing unit 173 performs only three DMA transfers of DMA transfer T1 to DMA transfer T3. And no other DMA transfer (DMA transfer T4 to DMA transfer T10) is performed (canceled).
  • the OSD cancel flag does not acquire the OSD color image data in all of the DMA transfer T1 to DMA transfer T10. Therefore, the OSD image data DMA processing unit 173 does not perform DMA transfer for acquiring the OSD color image data from the DRAM 30 (cancelling).
  • the OSD image data DMA processing unit 173 performs the OSD color image data of the area where the OSD information is not displayed on the display image.
  • the data transfer amount (DMA transfer amount) at the time of acquiring the OSD image data is suppressed. That is, the display processing unit 17 reduces the overall DMA transfer amount when DMA transferring data (color information) of the transparent OSD pixel included in the OSD image data of the line L1 including the OSD information.
  • the display processing unit 17 acquires OSD image data of the line L2 not including the OSD information, that is, data (color information) of transparent OSD pixels in which one line does not display the OSD information in the display image.
  • the OSD image data DMA processing unit 173 does not perform (cancels) all DMA transfers for acquiring the OSD color image data, thereby suppressing the DMA transfer amount when acquiring the OSD image data.
  • the DMA transfer amount when DMA transferring the OSD image data of the line L2 not including the OSD information the DMA transfer amount required when the DMA cancellation determination unit 176 acquires the OSD transparency image data I'm alone.
  • the display processing unit 17 reduces the DMA transfer amount of the OSD image data when the entire OSD image for one frame is considered in average, that is, the average required for DMA transfer of the OSD image data Bus bandwidth of the dynamic DRAM bus 11 can be lowered.
  • the DMA transfer amount in each DMA transfer is the same as the data transfer amount (DMA transfer amount) when the conventional display processing device DMA transfers data of a conventional OSD image that is not run-length compressed. .
  • a specific line for example, In the example shown in FIG.
  • the DMA cancellation determination unit 176 outputs the OSD transparency image data acquired by DMA transfer to the data superposition unit 174, and the OSD image data DMA processing unit 173 is output from the DMA cancellation determination unit 176
  • the OSD color image data (which may be pseudo pixel data) acquired by the DMA transfer performed according to the OSD cancel flag is sequentially output to the data superimposing unit 174.
  • the OSD transparency image acquired by each of the DMA transfer T1 to DMA transfer T10 for 10 times of DMA transfer is determined by the DMA cancellation determination unit 176.
  • the data is sequentially output to the data superposition unit 174.
  • the OSD image data DMA processing unit 173 performs DMA transfer T1 to DMA transfer T3 three times each of DMA transfer. Subsequent to the acquired OSD color image data, pseudo pixel data (color information) is sequentially output to the data superimposing unit 174 as the OSD color image data acquired by the DMA transfer T4 to DMA transfer T10. Further, in the example of DMA transfer of the line L2 not including the OSD information shown in (c) of FIG. 8, the OSD image data DMA processing unit 173 is used as OSD color image data acquired by DMA transfer T4 to DMA transfer T10. The pseudo pixel data (color information) is sequentially output to the data superimposing unit 174.
  • the data superimposing unit 174 causes the DMA cancellation determination unit 176 to convert the color information of the OSD color image data corresponding to each pixel output from the OSD image data DMA processing unit 173 into the display image corresponding to the display image data.
  • a superimposed image signal is generated based on the transparency information of the OSD transparency image data corresponding to each of the pixels output from each of the pixels, and is output to the display device 70.
  • the data superimposing unit 174 first performs the OSD transparency image data output from the DMA cancellation determination unit 176 and the OSD color image data output from the OSD image data DMA processing unit 173. And generate an OSD image of one frame corresponding to the display image. That is, the data superimposing unit 174, like the data of the conventional OSD image, performs OSD of one bitmap image in the bitmap data format in which color information and transparency information corresponding to each pixel in the display image are combined. Generate as an image. More specifically, in the example of DMA transfer shown in (b) of FIG. 8 and (c) of FIG. 8, an example of the OSD image shown in (a) of FIG. 8, that is, (b) in FIG. The OSD image is generated (reproduced) as an example of the OSD image shown in FIG.
  • the OSD color is generated based on the color information of each pixel included in the OSD color image data output from the OSD image data DMA processing unit 173.
  • the color information of each pixel included in the image is reproduced as color information represented by RGB or color information represented by YC422 point sequential format of YCbCr using table information such as a lookup table May be
  • the data superimposing unit 174 generates an image signal of an image obtained by superimposing the generated (reproduced) OSD image on the display image according to the display image data output from the display image data DMA processing unit 172, and displays the image signal. Output to the device 70. Thereby, the display device 70 causes the display device 70 to display an image in which the OSD image is superimposed on the display image.
  • the image processing in which the data superimposing unit 174 superimposes the OSD image on the display image can be considered in the same manner as the existing image processing technology. Therefore, detailed description of image processing in which the data superimposing unit 174 superimposes the OSD image on the display image is omitted.
  • the method of superimposing the OSD information on the display image in the data superimposing unit 174 generates (reproduces) an OSD image of the same format as the conventional one based on the OSD transparency image data and the OSD color image data. It is not limited to the method of superimposing on a display image after that.
  • the data superimposing unit 174 converts the OSD color image data (color information) output from the OSD image data DMA processing unit 173 into It may be superimposed on the display image according to the display image data output from the display image data DMA processing unit 172.
  • the data superimposing unit 174 sets the non-transparent (or semi-transparent) pixel in the OSD transparency image data to the non-transparent OSD pixel in the pixel corresponding to the pixel (non-transparent OSD pixel) among the pixels included in the display image.
  • the OSD color image data (color information) corresponding to the transparent OSD pixel may be directly superimposed.
  • the data superimposing unit 174 performs the OSD image on the display image. Detailed description of the image processing to be superimposed will be omitted.
  • the display processing apparatus displays the superimposed image (OSD image) for displaying the additional information on the display image, and the respective pixels for displaying the additional information on the display image
  • a color image (OSD color image) composed of color information representing the color of the image
  • a transparency image (OSD transparency image) composed of transparency information representing the transparency of each pixel for displaying the additional information on the display image
  • OSD data generation unit 16 On the basis of the transparency information of each pixel constituting the OSD transparency image acquired from 30, it is determined whether or not the color information of each pixel constituting the corresponding OSD color image is to be acquired from the DRAM 30, and the OSD image is displayed
  • display processing unit 17 Display processing for compensating for color information of pixels (transparent OSD pixels) not acquired in the OSD color image with pseudo color information (color information of pseudo pixels) and superimposing on a display image when superimposing on an image
  • display processing unit 17 display processing unit
  • the display processing unit 17 acquires the display image from the DRAM 30, and outputs the acquired display image (display image data) (display image data DMA processing unit 172).
  • the OSD transparency image is acquired from the DRAM 30, and the acquired OSD transparency image (OSD transparency image data) is output, and the corresponding OSD color image is configured based on the transparency information of each pixel constituting the acquired OSD transparency image It is determined in a predetermined transfer unit (a unit of DMA transfer) whether or not acquisition of color information of each pixel to be performed is to be performed, and a transparency image acquisition unit (a OSD signal outputting flag) representing the determined result
  • a predetermined transfer unit a unit of DMA transfer
  • a transparency image acquisition unit a OSD signal outputting flag
  • the color image acquisition unit (OSD image data DMA processing unit 173) that outputs the acquired image as the acquired OSD color image (OSD color image data), and each constituting the OSD transparency image output from the DMA cancellation determination unit 176
  • the corresponding pixels included in the display image output from the display image data DMA processing unit 172 on the basis of the transparency information of the pixels, of the respective pixels constituting the OSD color image output from the OSD image data DMA processing unit 173 Image superposition that generates an image signal on which color information is superimposed, and outputs the generated image signal to a display device (display device 70) Comprises a (data superimposing unit 174), the display processing device is formed.
  • the DMA cancellation determination unit 176 does not acquire the OSD transparency image
  • the OSD image data DMA processing unit 173 does not acquire the OSD color image.
  • a display processing device is configured to generate each of the OSD color image and the OSD transparency image in a period.
  • the display processing unit 17 generates a synchronization signal (a vertical synchronization signal VD, a horizontal synchronization signal HD, and the like) that is a timing signal that causes the display device 70 to express an image signal.
  • a synchronization signal (a vertical synchronization signal VD, a horizontal synchronization signal HD, and the like) that is a timing signal that causes the display device 70 to express an image signal.
  • Vertical synchronization signal during a period when the DMA cancellation determination unit 176 does not acquire the OSD transparency image and the OSD image data DMA processing unit 173 does not acquire the OSD color image.
  • a display processing apparatus is configured, which is a blanking period (vertical blanking period) represented by VD.
  • the display data processing unit is configured such that the OSD data generation unit 16 starts generation of each of the OSD color image and the OSD transparency image from the leading timing of the vertical blanking period.
  • the OSD data generation unit 16 determines that the DMA transfer by the other components included in the image processing apparatus 10 is completed for a predetermined time from the beginning of the vertical blanking period.
  • the display processing device is configured to start generation of each of the OSD color image and the OSD transparency image from the timing when the time has elapsed.
  • the OSD data generation unit 16 causes the display device 70 to display an image signal (a period of one frame) by the bus bandwidth monitor (DRAM bus arbitration unit 13) connected to the DRAM bus 11. And the OSD color image during the divided period (in the example shown in FIG. 6, divided period TM) in which the transfer amount of data on the DRAM bus 11 is small, which is measured for each divided period divided into predetermined equal intervals.
  • a display processor is configured to generate each of the OSD transparency images.
  • the display processing device is configured to display the superimposed image (OSD image) for displaying the additional information on the display image, and the display processing device displays the additional information on the display image.
  • Transparency image composed of a color image (OSD color image) composed of color information representing the color of the pixel and transparency information representing the transparency of each pixel for displaying the additional information on the display image
  • OSD color image OSD color image data
  • OSD transparency image data OSD transparency image data
  • the on-screen display data generation unit constituting the display processing device of the present invention displays the on-screen display image for displaying information on the display device as the on-screen display image.
  • the two images of the color information image (in the embodiment, the OSD color image in the embodiment) and the transparency information image (in the embodiment, the OSD transparency image) in each pixel included in are generated in a set format.
  • the on-screen display data generation unit constituting the display processing device of the present invention ties the generated two image data (in the embodiment, the OSD color image data and the OSD transparency image data) Then, it is recorded (written) in the storage area of another space (address space) in the storage device.
  • the display processing unit configuring the display processing device of the present invention first acquires the image of the transparency information generated by the on-screen display data generation unit from the storage device by DMA transfer (read ), Based on the acquired image of transparency information, it is determined whether to acquire (read out) an image of color information from the storage device by DMA transfer. That is, in the embodiment of the present invention, the display processing unit constituting the display processing device of the present invention generates the on-screen display data generation unit based on the data of the transparency information of each pixel included in the image of transparency information. It is determined whether or not to perform DMA transfer when acquiring (reading out) data of color information of each pixel included in the image of the acquired color information from the storage device.
  • the display processing unit constituting the display processing device of the present invention stores by DMA transfer only the image data of the color information determined to be acquired (read) from the storage device by DMA transfer. Obtained from the device (read out).
  • the display processing unit constituting the display processing device of the present invention suppresses the transfer amount of data when acquiring (reading) the data of the on-screen display image from the storage device by DMA transfer.
  • DMA transfer a transfer amount of data when acquiring (reading) the data of the on-screen display image from the storage device by DMA transfer.
  • the display processing unit constituting the display processing apparatus of the present invention stores the data of the color information of each pixel included in the image of the color information generated by the on-screen display data generation unit.
  • the data of transparency information of each pixel included in the image of transparency information that determines whether to perform (read) DMA transfer to be acquired from the data is data of transparency information of each pixel originally included in the on-screen display image is there.
  • the display processing unit constituting the display processing device of the present invention comprises both the image data of the transparency information generated by the on-screen display data generation unit and the image data of the color information.
  • the transfer amount of data obtained (read) from the storage device by this DMA transfer is the sum of the transfer amounts of the respective data, at the maximum.
  • the display processing unit constituting the display processing apparatus of the present invention can acquire (read out) all the data of the on-screen display image from the storage device without an increase in the transfer amount of data in the DMA transfer.
  • the display processing unit constituting the display processing apparatus of the present invention acquires (reads) the data of the on-screen display image from the storage device by DMA transfer
  • the transfer amount of data is Without the occurrence of an excessively long period, the maximum bus bandwidth of a data bus connected and shared by a plurality of processing devices including the display processing device of the present invention is not significantly increased.
  • the DMA transfer in which the processing device other than the display processing device of the present invention sharing the data bus exchanges data with the storage device in the same period (time). Even when this is done, it is possible to inhibit the DMA transfer and reduce factors that cause the operation of another processing device sharing the data bus with the display processing device of the present invention to be broken.
  • the case where the OSD image according to the OSD image data of one frame generated by the OSD data generation unit 16 is superimposed on the display image according to the display image data has been described.
  • the number of OSD images (the number of frames) according to the OSD image data to be superimposed on the display image according to the display image data is not limited to the number of frames (one frame) shown in the embodiment of the present invention . That is, an OSD image according to OSD image data of a plurality of frames (for example, 2 frames) may be superimposed on a display image according to display image data.
  • the way of thinking in this case is the same as the way of thinking presented in the embodiment of the present invention. Therefore, the detailed description about the case where the OSD image according to the OSD image data for a plurality of frames is superimposed on the display image according to the display image data is omitted.
  • the OSD data generation unit 16 generates OSD image data (that is, OSD color image data and OSD transparency image data).
  • the OSD image also includes, for example, an OSD image for superimposing predetermined OSD information on the display image.
  • the OSD image in this case may be generated by, for example, the CPU 12 provided in the image processing apparatus 10 or a component provided outside the image processing apparatus 10 in the imaging apparatus 1. Therefore, the OSD image is not limited to the image generated by the OSD data generation unit 16. Two images of an image of color information (OSD color image) and an image of transparency information (OSD transparency image) are combined into a set. It may be an image generated by any component as long as it has a format that does not fit. Also in this case, the same effect as that of the display processing device of the present invention described above can be obtained.
  • Imaging device (display processing device, imaging device) 10 Image processing device (display processing device) 11 DRAM bus (common bus) 12 CPU 13 DRAM bus arbitration unit (bus bandwidth monitor) 14 imaging processing unit 15 image processing unit 16 OSD data generation unit (superimposed image generation unit, display processing device) 17 Display Processing Unit (Display Processing Unit, Display Processing Device) 171 Synchronization signal generator (synchronization signal generator, display processor, display processor) 172 Display image data DMA processing unit (display image acquisition unit, display processing unit, display processing device) 173 OSD image data DMA processing unit (color image acquisition unit, display processing unit, display processing device) 174 Data superposition unit (image superposition unit, display processing unit, display processing device) 175 Delay adjustment unit (synchronization signal generator, display processor, display processor) 176 DMA cancellation judgment unit (Transparent image acquisition unit, display processing unit, display processing device) 18 media interface unit 30 DRAM (storage unit) 40 Image Sensor (Imaging Device) 70 Display Device (Display Device)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

付加情報を表示させるための重畳画像を、表示画像に重畳して表示させる表示処理装置であって、付加情報を表示画像に表示させるためのそれぞれの画素の色を表す色情報で構成された色画像と、付加情報を表示画像に表示させるためのそれぞれの画素の透明度を表す透明度情報で構成された透明度画像との2つの画像が組になった重畳画像を生成し、生成した重畳画像を構成する色画像と透明度画像とを紐付けて、共通バスに接続された記憶部の別の空間に記憶させる重畳画像生成部と、事前に記憶部から取得した透明度画像を構成するそれぞれの画素の透明度情報に基づいて、対応する色画像を構成するそれぞれの画素の色情報を記憶部から取得するか否かを決定し、重畳画像を表示画像に重畳する際に、色画像において取得を行わなかった画素の色情報を、疑似的な色情報で補填して表示画像に重畳する表示処理部と、を備える。

Description

表示処理装置および撮像装置
 本発明は、表示処理装置および撮像装置に関する。
 静止画用カメラや動画用カメラなどの撮像装置では、撮影した画像(撮影画像)を表示装置に表示させる機能を備えている。撮像装置が撮影画像を表示させる表示装置としては、例えば、TFT(薄膜トランジスター:Thin Film Transistor)液晶ディスプレイ(LCD:Liquid Crystal Display)や、EVF(Electronic View Finder:電子ビューファインダ)など、撮像装置に搭載されている表示装置がある。また、他の表示装置として、例えば、テレビ(TV:TeleVision)、TFTモニタ、有機EL(Electro Luminescence)ディスプレイなど、撮像装置に接続される外部の表示装置(外部ディスプレイ)もある。このように、撮像装置が撮影した撮影画像を表示させる表示装置には、フレームレートや解像度が異なる様々な形式のものがある。
 このため、撮像画像を表示装置に表示させるための画像(表示画像)を生成するために撮像装置に備えられる表示処理装置には、様々な形式の表示装置に対応した表示画像を生成する機能をもつことが求められている。また、近年の撮像装置には、同時に複数の表示装置に撮像画像を表示させる機能も求められているため、表示処理装置にも、同時に複数の表示画像を生成する機能が求められている。
 また、近年では、表示装置の高精細化が進み、例えば、テレビでは、従来のVGA(640×480)サイズのテレビに対して高精細化したフルHD(1920×1080)サイズのテレビ(HDTV:High Definition TeleVision)が主流になっている。また、最近では、さらに高精細化した4K2K(3840×2160)サイズのテレビ(UHDTV:Ultra High Definition TeleVision)も実用化されてきている。このため、撮像装置に備えられる表示処理装置には、さらなる高性能化が求められている。
 ところで、一般的な撮像装置では、上述した表示処理装置など、撮像装置における様々な機能を実現するための複数の処理装置が共通のデータバスに接続されたシステムLSIとして構成された画像処理装置が搭載されている。そして、撮像装置では、画像処理装置に構成されたデータバスに、撮像画像のデータなどを一時的に記憶する、例えば、DRAM(Dynamic Random Access Memory)などの記憶装置が接続された構成となっている。この構成の画像処理装置において、データバスに接続された複数の処理装置のそれぞれは、処理を行う対象のデータを、データバスを介したDMA(Direct Memory Access)転送によって、DRAMとの間でやり取りする。
 従って、表示処理装置も、表示画像を生成する表示処理を行う際に、表示処理の対象となる撮像画像のデータを、データバスを介したDMA転送によって、DRAMから取得する。このとき、表示処理装置がデータバスを介したDMA転送によってDRAMから取得する撮像画像のデータ量は、表示画像を表示する表示装置の高精細化に伴って増大する。このDMA転送によってDRAMから取得する撮像画像のデータ量の増大は、画像処理装置に構成されたデータバスにおけるDMA転送のバス帯域を圧迫する要因となる。
 また、撮像装置では、例えば、撮像装置に備えた電池の残量などの撮像装置に関する情報や、撮影日時などの撮影画像に関する情報などの様々な情報を示すための画像を、オンスクリーンディスプレイ(On Screen Display:OSD)画像として、表示画像に重畳して表示装置に表させることも行われている。このOSD画像を表示画像に重畳する処理も、表示処理装置が行っている。このため、表示処理装置は、表示処理の対象となる撮像画像のデータと共に、重畳するOSD画像のデータも、データバスを介したDMA転送によってDRAMから取得する。
 一般的に、OSD画像のデータは、表示画像におけるそれぞれの画素ごとに、情報を表示する際の色を表す色情報と透明(場合によっては半透明)を表す透明度情報とを合わせた形式で、表示画像の1面(1フレーム)分のデータがDRAMに記憶されている。このため、表示画像を表示する表示装置の高精細化に伴って生成する表示画像の大きさ(画素数)が多くなると、OSD画像のデータ量も多くなり、画像処理装置に構成されたデータバスにおけるDMA転送のバス帯域をさらに圧迫する要因となる。これは、表示処理装置は、撮像画像に基づいて生成した表示画像に含まれる画素そのものを表示装置に表示させる領域、つまり、情報を表示するための色情報がなく、その画素が透明であることを表す透明度情報のみで構成されている領域であっても、表示画像の1フレーム分のOSD画像のデータをDRAMから取得する必要があるからである。
 また、最近では、表示装置の高精細化などに伴って、情報を表示装置に表させる際の色数や階調、つまり、OSD画像の色数や階調も多くなっている。このため、OSD画像における1画素あたりのデータ量が増加して、データバスにおけるDMA転送のバス帯域をよりいっそう圧迫することになる。
 そこで、例えば、特許文献1のように、OSD画像のデータ量を少なくする表示処理装置の技術が開示されている。特許文献1で開示された技術では、OSD画像のデータを走査方向の1ラインごとにランレングス圧縮することによって、1フレーム分のOSD画像の全体で見たときに、表示処理装置がOSD画像のデータをDRAMから取得する際のデータ量を少なくしている。これにより、特許文献1に開示された技術では、1フレーム分のOSD画像の全体を平均して考えた場合に、OSD画像のデータをDMA転送する際に要するデータバスの帯域を低減することができる。この特許文献1で開示された技術の考え方を利用することによって、表示装置が高精細化された場合でも、DMA転送を行う際のデータバスのバス帯域の圧迫を抑えることができる。
日本国特開2008-181017号公報
 しかしながら、特許文献1に開示された技術では、必ずしも、1フレーム分のOSD画像のデータをDMA転送する全ての期間で、データバスのバス帯域の圧迫を抑えることができるとは限らない。これは、特許文献1に開示された技術において用いているランレングス圧縮は、連続した同じ値のデータを、1つデータの値と、この値が連続している数を表すレングス情報との組み合わせで表すことによってデータ量を削減するデータの圧縮方式であるためである。つまり、ランレングス圧縮は、連続している同じ値のデータの数が多ければ圧縮率が高くなるが、同じ値が連続したデータの数が少ないと、逆に、データを圧縮しない場合よりもデータ量が増加してしまうことがある圧縮方式であるからである。例えば、情報を表示装置に表示させるためのOSD画像には、画素ごとに色や透明度が変化する画像もある。このようなOSD画像に対してランレングス圧縮を行うと、それぞれの画素のデータに対してレングス情報が追加されることになるため、ランレングス圧縮をしていないOSD画像よりもデータ量が増加してしまう。
 ここで、表示処理装置が表示装置に表示させる1フレーム分のOSD画像において、特定のライン(1つのラインであっても複数のラインであってもよい)が、画素ごとに色や透明度が変化し、その他のラインでは、同じ色や透明度で変化しない場合を考える。このようなOSD画像に対して1ラインごとにランレングス圧縮を行うと、他のラインのデータ量は減少するが、特定のラインでは、レングス情報に相当するデータ量が増加することになる。このため、表示処理装置では、データ量が増加した特定のラインのOSD画像のデータをDMA転送する際に要する最大のバス帯域が、データ量が増加していない他のラインのOSD画像のデータをDMA転送する際に要する最大のバス帯域よりも突出して多くなる。より具体的には、表示処理装置が、データ量が増加していない他のラインのOSD画像を重畳する処理を行うタイミングのときには、ランレングス圧縮をしていないOSD画像を重畳する処理を行うタイミングのときよりも少ないバス帯域で、OSD画像のデータをDMA転送によってDRAMから取得することができる。一方、表示処理装置が、データ量が増加した特定のラインのOSD画像を重畳する処理を行うタイミングのときには、OSD画像のデータをDMA転送によってDRAMから取得するために、ランレングス圧縮をしていないOSD画像を重畳する処理を行うタイミングのときよりも多くのバス帯域が必要になる。このため、表示処理装置がOSD画像を表示画像に重畳する処理では、データ量が増加した特定のラインのOSD画像のデータをDMA転送する際に必要なバス帯域と、データ量が増加していない他のラインのOSD画像のデータをDMA転送する際に必要なバス帯域との差が大きくなり、データ量が増加したラインのデータを重畳する処理を行うタイミングのときに必要なバス帯域が突出して多くなってしまう。これは、表示処理装置が1フレーム分のOSD画像を表示画像に重畳する処理において、OSD画像のデータをDMA転送するために必要とするバス帯域が全ての期間で一定ではなく、(瞬間的に)突出して多くのバス帯域を必要とするピークの期間が発生してしまうということを表している。
 なお、上述したように、画像処理装置に構成されたデータバスには、表示処理装置以外にも複数の処理装置が接続されている。このため、表示処理装置がOSD画像のデータをDMA転送する際に必要とする最大のバス帯域が多くなると、画像処理装置に備えた他の処理装置によるDMA転送を阻害してしまうということも考えられる。特に、表示処理装置が突出して多くのバス帯域を必要とするピークの期間では、データバスにおけるDMA転送のバス帯域を圧迫して、画像処理装置に備えた他の処理装置によるDMA転送を阻害してしまう確率が高くなり、画像処理装置を搭載した撮像装置のシステムの動作に破綻をきたす要因となってしまうことが考えられる。
 本発明は、上記の課題認識に基づいてなされたものであり、表示装置に表示させる画像に重畳するオンスクリーンディスプレイ画像を記憶装置から取得する際のデータの転送量を抑えると共に、突出して多くのデータの転送を必要とする期間の発生を抑えることができる表示処理装置および撮像装置を提供することを目的としている。
 本発明の第1の態様によれば、表示処理装置は、付加情報を表示させるための重畳画像を、表示画像に重畳して表示させる表示処理装置であって、前記付加情報を前記表示画像に表示させるためのそれぞれの画素の色を表す色情報で構成された色画像と、前記付加情報を前記表示画像に表示させるためのそれぞれの画素の透明度を表す透明度情報で構成された透明度画像との2つの画像が組になった重畳画像を生成し、生成した前記重畳画像を構成する前記色画像と前記透明度画像とを紐付けて、共通バスに接続された記憶部の別の空間に記憶させる重畳画像生成部と、事前に前記記憶部から取得した前記透明度画像を構成するそれぞれの画素の前記透明度情報に基づいて、対応する前記色画像を構成するそれぞれの画素の前記色情報を前記記憶部から取得するか否かを決定し、前記重畳画像を前記表示画像に重畳する際に、前記色画像において取得を行わなかった前記画素の前記色情報を、疑似的な色情報で補填して前記表示画像に重畳する表示処理部と、を備える。
 本発明の第2の態様によれば、上記第1の態様の表示処理装置において、前記表示処理部は、前記記憶部から前記表示画像を取得し、取得した前記表示画像を出力する表示画像取得部と、前記記憶部から前記透明度画像を取得し、取得した前記透明度画像を出力すると共に、取得した前記透明度画像を構成するそれぞれの画素の前記透明度情報に基づいて、対応する前記色画像を構成するそれぞれの画素の前記色情報の取得を行うか否かを予め定めた転送単位で決定し、決定した結果を表すフラグ信号を出力する透明度画像取得部と、前記色画像を前記転送単位で前記記憶部から取得する際に、前記フラグ信号が取得を行うことを表している画素の前記色情報のみを前記転送単位で取得し、取得を行わなかった画素の前記色情報の代わりに前記疑似的な色情報とした画像を、取得した前記色画像として出力する色画像取得部と、前記透明度画像取得部から出力された前記透明度画像を構成するそれぞれの画素の前記透明度情報に基づいて、前記表示画像取得部から出力された前記表示画像に含まれる対応する画素に、前記色画像取得部から出力された前記色画像を構成するそれぞれの画素の前記色情報を重畳した画像信号を生成し、生成した前記画像信号を表示装置に出力する画像重畳部と、を備えてもよい。
 本発明の第3の態様によれば、上記第2の態様の表示処理装置において、前記重畳画像生成部は、前記透明度画像取得部が前記透明度画像の取得を行っておらず、前記色画像取得部が前記色画像の取得を行っていない期間に、前記色画像と前記透明度画像とのそれぞれを生成してもよい。
 本発明の第4の態様によれば、上記第3の態様の表示処理装置において、前記表示処理部は、前記表示装置に前記画像信号を表させるタイミング信号である同期信号を生成する同期信号生成部、を備え、前記透明度画像取得部が前記透明度画像の取得を行っておらず、前記色画像取得部が前記色画像の取得を行っていない期間は、前記同期信号が表すブランキング期間であってもよい。
 本発明の第5の態様によれば、上記第4の態様の表示処理装置において、前記重畳画像生成部は、前記ブランキング期間の先頭のタイミングから、前記色画像と前記透明度画像とのそれぞれの生成を開始してもよい。
 本発明の第6の態様によれば、上記第4の態様の表示処理装置において、前記重畳画像生成部は、前記ブランキング期間の先頭から予め定めた時間が経過したタイミングから、前記色画像と前記透明度画像とのそれぞれの生成を開始してもよい。
 本発明の第7の態様によれば、上記第2の態様の表示処理装置において、前記重畳画像生成部は、前記共通バスに接続されたバス帯域モニタが、前記表示装置に前記画像信号を表させる期間を予め定めた等間隔に分割したそれぞれの分割期間ごとに測定した、前記共通バスにおけるデータの転送量が少ない前記分割期間に、前記色画像と前記透明度画像とのそれぞれを生成してもよい。
 本発明の第8の態様によれば、撮像装置は、付加情報を表示させるための重畳画像を、表示画像に重畳して表示させる表示処理装置であって、前記付加情報を前記表示画像に表示させるためのそれぞれの画素の色を表す色情報で構成された色画像と、前記付加情報を前記表示画像に表示させるためのそれぞれの画素の透明度を表す透明度情報で構成された透明度画像との2つの画像が組になった重畳画像を生成し、生成した前記重畳画像を構成する前記色画像と前記透明度画像とを紐付けて、共通バスに接続された記憶部の別の空間に記憶させる重畳画像生成部と、事前に前記記憶部から取得した前記透明度画像を構成するそれぞれの画素の前記透明度情報に基づいて、対応する前記色画像を構成するそれぞれの画素の前記色情報を前記記憶部から取得するか否かを決定し、前記重畳画像を前記表示画像に重畳する際に、前記色画像において取得を行わなかった前記画素の前記色情報を、疑似的な色情報で補填して前記表示画像に重畳する表示処理部と、を具備した表示処理装置、を備える。
 上記各態様によれば、表示装置に表示させる画像に重畳するオンスクリーンディスプレイ画像を記憶装置から取得する際のデータの転送量を抑えると共に、突出して多くのデータの転送を必要とする期間の発生を抑えることができる表示処理装置および撮像装置を提供することができるという効果が得られる。
本発明の実施形態における表示処理装置を備えた画像処理装置を搭載した撮像装置の概略構成を示したブロック図である。 本発明の実施形態における表示処理装置を構成するOSDデータ生成部が生成するOSD画像の一例を模式的に示した図である。 本発明の実施形態における表示処理装置を構成する表示処理部が画像を表させる際の処理を模式的に示した図である。 本発明の実施形態における表示処理装置を構成する表示処理部の概略構成を示したブロック図である。 本発明の実施形態における表示処理装置を構成するOSDデータ生成部がOSD画像データを生成するタイミングの一例を示したタイミングチャートである。 本発明の実施形態における表示処理装置を構成するOSDデータ生成部がOSD画像データを生成するタイミングの別の一例を示したタイミングチャートである。 本発明の実施形態における表示処理装置を構成する表示処理部の動作を説明する図である。 本発明の実施形態における表示処理装置を構成する表示処理部によるDMA転送の様子を模式的に示した図である。
 以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、本発明の実施形態の表示処理装置が、例えば、静止画用カメラなどの撮像装置に搭載されている画像処理装置に備えられている場合について説明する。図1は、本発明の実施形態における表示処理装置を備えた画像処理装置を搭載した撮像装置の概略構成を示したブロック図である。
 図1に示した撮像装置1は、画像処理装置10と、DRAM(Dynamic Random Access Memory)30と、イメージセンサ40と、表示デバイス70と、を備えている。また、画像処理装置10は、CPU(Central Processing Unit)12と、DRAMバス調停部13と、撮像処理部14と、画像処理部15と、OSD(On Screen Display:オンスクリーンディスプレイ)データ生成部16と、表示処理部17と、メディアインターフェース(I/F)部18と、を備えている。画像処理装置10では、CPU12と、DRAMバス調停部13と、撮像処理部14と、画像処理部15と、OSDデータ生成部16と、表示処理部17と、メディアインターフェース部18とのそれぞれが、共通のデータバスであるDRAMバス11に接続されている。なお、図1に示した撮像装置1では、画像処理装置10に備えたOSDデータ生成部16と表示処理部17との構成が、本発明の表示処理装置に相当する。
 撮像装置1は、イメージセンサ40によって被写体の画像を撮影し、撮影した画像(撮影画像)に応じた画像(表示画像)を表示デバイス70に表示させる。このとき、撮像装置1では、例えば、電池の残量などの撮像装置に関する情報や、例えば、撮影日時などの撮影画像に関する情報などの様々な情報を付加情報として示すためのOSD画像を、表示画像に重畳して表示デバイス70に表示させる。
 イメージセンサ40は、撮像装置1に備えた不図示のレンズによって結像された被写体の光学像を光電変換するCCD(Charge Copled Device:電荷結合素子)イメージセンサや、CMOS(Complementary Metal-Oxide Semiconductor:相補型金属酸化膜半導体)イメージセンサに代表される固体撮像装置である。イメージセンサ40は、画像処理装置10に備えた撮像処理部14からの制御に応じて、撮像した被写体の光学像に応じた画素信号を、撮像処理部14に出力する。
 DRAM30は、撮像装置1において処理される様々なデータを記憶するデータ記憶部である。DRAM30は、画像処理装置10に備えたDRAMバス調停部13を介してDRAMバス11に接続されている。DRAM30は、撮像装置1におけるそれぞれの処理段階の画像のデータを記憶する。例えば、DRAM30は、イメージセンサ40から出力された画素信号に基づいて撮像処理部14が出力した画素のデータを記憶する。また、例えば、DRAM30は、画像処理装置10に備えた画像処理部15が生成した画像(撮像画像や表示画像)のデータや、OSDデータ生成部16が生成したOSD画像のデータを記憶する。
 表示デバイス70は、画像処理装置10に備えた表示処理部17から出力された表示画像やOSD画像を表示する表示装置である。表示デバイス70には、表示する表示画像やOSD画像の大きさ、つまり、画素数が異なる様々な表示装置がある。例えば、表示デバイス70には、VGA(640×480)サイズの画像を表示するTFT(薄膜トランジスター:Thin Film Transistor)液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなど、撮像装置1に搭載され、撮影する被写体を確認するためのビューファインダとして動作する小型の表示装置がある。また、例えば、表示デバイス70には、フルHD(1920×1080)サイズの画像を表示するHDTV(High Definition TeleVision)など、撮像装置1に着脱できる構成であり、撮像画像を確認するための大型の表示装置もある。また、例えば、表示デバイス70は、4K2K(3840×2160)サイズの画像を表示するUHDTV(Ultra High Definition TeleVision)など、撮像装置1に着脱できる構成であり、撮像画像を確認するための大型の表示装置であってもよい。
 画像処理装置10は、イメージセンサ40から出力された画素信号に対して予め定めた画像処理を行って、撮像画像や表示画像を生成する。そして、画像処理装置10は、生成した表示画像を表示デバイス70に表示させる。また、画像処理装置10は、生成した撮像画像を不図示の記録媒体に記録させる。
 CPU12は、DRAMバス11に接続され、画像処理装置10に備えたそれぞれの構成要素を制御する制御部である。CPU12は、それぞれの構成要素を制御するためのプログラムやデータに応じて、画像処理装置10の全体を制御する。なお、CPU12は、撮像装置1に備えた構成要素を制御してもよい。CPU12が画像処理装置10に備えたそれぞれの構成要素を制御するためのプログラムやデータは、DRAMバス調停部13を介してDRAMバス11に接続されたDRAM30に記憶されているものであってもよい。この場合、CPU12は、DRAM30に記憶されているプログラムやデータをDRAMバス調停部13を介して読み出して実行することによって、画像処理装置10の全体を制御する。
 DRAMバス調停部13は、DRAMバス11に接続されている画像処理装置10内のそれぞれの構成要素からのDRAM30へのDMA(Direct Memory Access)によるアクセス要求(DMA要求)を調停する。また、DRAMバス調停部13は、それぞれの構成要素からのDRAM30へのDMA要求を調停した結果、DMA要求を受け付けた構成要素とDRAM30との間のDRAMバス11を介したデータの受け渡し、つまり、DMA転送を制御する。より具体的には、DRAMバス調停部13は、DMA要求を受け付けた構成要素がDRAMバス11に出力したデータのDRAM30への転送(書き込み)、およびDRAM30から取得(読み出し)したデータのDMA要求を受け付けた構成要素への出力を制御する。
 撮像処理部14は、イメージセンサ40から出力された画素信号に対して予め定めた撮像処理を施すことによって、画素信号に基づいた画像のデータを生成する。撮像処理部14がイメージセンサ40から出力された画素信号に対して施す撮像処理は、キズ補正やシェーディング補正などの、いわゆる、前処理である。撮像処理部14は、前処理によって生成した画像(以下、「前処理画像」という)のデータを、DMA転送によってDRAM30に記録させる(書き込ませる)。
 画像処理部15は、DRAM30に記録された前処理画像のデータをDMA転送によって取得し(読み出し)、取得した前処理画像のデータに対して予め定めた画像処理を施すことによって、前処理画像に基づいた画像を生成する。画像処理部15が前処理画像のデータに対して施す画像処理には、ノイズ除去処理、YC変換処理、リサイズ処理、JPEG圧縮処理、MPEG圧縮処理、H.264圧縮処理などの動画圧縮処理など、各種の表示用の画像処理や記録用の画像処理がある。画像処理装置10は、前処理画像のデータに対して表示用の画像処理を行って生成した表示画像のデータ(以下、「表示画像データ」という)を、DMA転送によってDRAM30に記録させる(書き込ませる)。また、画像処理装置10は、前処理画像のデータに対して記録用の画像処理を行って生成した撮像画像のデータを、DMA転送によってDRAM30に記録させる(書き込ませる)。
 OSDデータ生成部16は、撮像装置1の動作モードや設定に応じて、表示画像に重畳する様々な情報を付加情報(以下、「OSD情報」という)として示した、表示画像の1フレーム分のOSD画像を生成する。OSD画像は、表示画像に含まれるそれぞれの画素の位置においてOSD情報を表示する際の色を表す色情報と、透明または非透明(場合によっては半透明)を表す透明度情報とが組となった画像である。ただし、OSDデータ生成部16が生成するOSD画像は、表示画像におけるそれぞれの画素ごとに対応する色情報と透明度情報とを合わせた形式の1つの画像ではなく、それぞれの画素の色情報で構成された画像と、それぞれの画素の透明度情報で構成された画像との2つの画像が組になった形式の画像である。より具体的には、OSD画像は、OSD情報を表示画像に重畳する際の色情報が、表示画像に含まれるそれぞれの画素の位置に対応して示された画像(以下「OSD色画像」という)と、OSD情報を表示画像に重畳する際の透明度情報が、表示画像に含まれるそれぞれの画素の位置に対応して示された画像(以下「OSD透明度画像」という)との2つの画像が組になって構成されている。OSD色画像とOSD透明度画像とのそれぞれの画像は、いわゆる、ビットマップ画像である。従って、OSD画像を構成するOSD色画像に含まれる色情報と、OSD画像を構成するOSD透明度画像に含まれる透明度情報とは、それぞれの画像内の同じ画素の位置において、1対1に対応している。つまり、OSD色画像に含まれるそれぞれの色情報と、OSD透明度画像に含まれるそれぞれの透明度情報とは、表示画像に含まれるそれぞれの画素の位置に対応している。なお、OSDデータ生成部16が生成するOSD画像に関する詳細な説明は、後述する。
 OSDデータ生成部16は、生成したOSD画像のデータ(以下、「OSD画像データ」という)を、DMA転送によってDRAM30に記録させる(書き込ませる)。より具体的には、OSDデータ生成部16は、生成したOSD色画像のデータ(以下、「OSD色画像データ」という)と、生成したOSD透明度画像のデータ(以下、「OSD透明度画像データ」という)とのそれぞれを、DMA転送によってDRAM30に記録させる(書き込ませる)。このとき、OSDデータ生成部16は、OSD色画像データとOSD透明度画像データとを紐付けてDRAM30に記録させる(書き込ませる)。ただし、OSDデータ生成部16は、表示処理部17が、OSD色画像データとOSD透明度画像データとのそれぞれを別々に取得する(読み出す)ことができるように、OSD色画像データとOSD透明度画像データとのそれぞれを、DRAM30における別の空間(アドレス空間)の記憶領域に記録させる(書き込ませる)。なお、OSDデータ生成部16が、OSD色画像データとOSD透明度画像データとのそれぞれを記録させる(書き込ませる)DRAM30の記憶領域の空間は、離れた空間(例えば、異なるバンクの記憶領域など)であってもよいし、連続している空間(例えば、同じバンクにおいて離れた別のアドレスから始まる記憶領域など)であってもよい。
 なお、OSDデータ生成部16がOSD画像を生成するための撮像装置1の動作モードや設定の情報は、例えば、撮像装置1に備えた不図示のユーザーインターフェース部に対して撮像装置1の使用者(ユーザー)が行った操作の情報や、例えば、CPU12が不図示のユーザーインターフェース部から取得したユーザーが行った操作の情報に基づいて生成した情報などである。しかし、本発明においては、OSDデータ生成部16がOSD画像を生成するための情報に関しては、特に制限はしない。
 表示処理部17は、DRAM30に記録された表示画像データをDMA転送によって取得し(読み出し)、取得した表示画像データに応じた表示画像を表示デバイス70に表示させる。また、表示処理部17は、DRAM30に記録されたOSD画像データもDMA転送によって取得し(読み出し)、取得したOSD画像データに応じた画像、つまり、表示画像データに応じた表示画像に重畳して表示させるOSD画像を表示デバイス70に表示させる。このとき、表示処理部17は、まず、DRAM30に記録されたOSD透明度画像データをDMA転送によって取得する(読み出す)。そして、表示処理部17は、取得したOSD透明度画像データに基づいて、DRAM30からOSD色画像データを取得する(読み出す)か否かを判定(決定)する。その後、表示処理部17は、取得する(読み出す)と判定したOSD色画像データをDMA転送によってDRAM30から取得する(読み出す)。そして、表示処理部17は、取得した(読み出した)OSD透明度画像データとOSD色画像データとに基づいた画像、つまり、OSD画像を、表示デバイス70に表示させる画像に重畳して表示させる。なお、表示処理部17の構成、および表示処理部17がDRAM30からOSD透明度画像データやOSD色画像データを取得する(読み出す)DMA転送の方法に関する詳細な説明は、後述する。
 メディアインターフェース部18は、DRAM30に記録された撮像画像のデータをDMA転送によって取得し(読み出し)、取得した撮像画像のデータを、不図示の記録媒体に記録させる。メディアインターフェース部18が撮像画像のデータを記録させる記録媒体としては、例えば、SDメモリカード(SD Memory Card)や、コンパクトフラッシュ(CompactFlash:CF(登録商標))など、様々な構成の記録媒体がある。
 このような構成によって、撮像装置1は、イメージセンサ40によって撮影した被写体の画像(撮影画像)に応じた画像(表示画像)に、様々なOSD情報を示すためのOSD画像を重畳して表示デバイス70に表示させることができる。また、撮像装置1は、イメージセンサ40によって撮影した被写体の画像(撮影画像)に応じた画像を記録媒体に記録させることができる。
 次に、本発明の実施形態の表示処理装置の構成および動作について説明する。まず、OSDデータ生成部16が生成するOSD画像について説明する。図2は、本発明の実施形態における表示処理装置を構成するOSDデータ生成部16が生成するOSD画像の一例を模式的に示した図である。図2の(a)には、表示画像に重畳する1フレーム分のOSD情報(OSD画像であるともいえる)の一例を示している。また、図2の(b)には、OSDデータ生成部16がOSD情報に基づいて生成するOSD色画像(OSD色画像データ)の一例を示し、図2の(c)には、OSDデータ生成部16がOSD情報に基づいて生成するOSD透明度画像(OSD透明度画像データ)の一例を示している。
 なお、一般的なOSD画像は、表示画像に撮像されている被写体に重複しないような位置にOSD情報を表示させる。このため、一般的なOSD画像では、1フレーム分の領域の内、大部分の領域が透明であることを表す領域である。しかし、図2においては、説明を容易にするため、図2の(a)に示したOSD情報のように、表示画像の中心部に情報を表示させる場合について説明する。
 図2の(a)に示したOSD情報は、表示画像の中心部に、数字の「1」を表示させる情報である。このため、OSDデータ生成部16は、数字の「1」を表示させる部分(領域)の画素が、色づけされた非透明あるいは半透明であり、その他の領域の画素が、色づけされていない透明であるOSD画像を生成する。ここで、OSDデータ生成部16は、上述したように、OSD画像を、OSD色画像とOSD透明度画像との2つの画像が組になった形式でOSD画像を生成する。このため、OSDデータ生成部16は、図2の(a)に示したようなOSD情報を色情報と透明度情報とに分離し、図2の(b)に示したようなOSD色画像と、図2の(c)に示したようなOSD透明度画像との2つの画像が組になった形式のOSD画像を生成する。
 より具体的には、OSDデータ生成部16は、図2の(b)に示したように、数字の「1」を表示させる領域の画素が、色があることを表す色情報=「色あり」の画素であり、その他の領域の画素が、色がないことを表す色情報=「色なし」の画素であるOSD色画像を生成する。なお、OSD色画像に含まれるそれぞれの画素の色情報は、上述したような色の有無(「色あり」や「色なし」)を表す情報に限定されるものではない。例えば、OSD色画像に含まれるそれぞれの画素の色情報は、R(赤色)、G(緑色)、B(青色)で表される色の情報や、Y(輝度)、Cb(色差:青)、Cr(色差:赤)のYC422点順次フォーマットで表される色の情報であってもよい。この場合、OSD色画像に含まれるそれぞれの画素の色情報は、上述した色の情報(RGBやYCbCr)を、ルックアップテーブル(LUT)などのテーブル情報を用いて再現する構成であってもよい。
 また、OSDデータ生成部16は、図2の(c)に示したように、数字の「1」を表示させる領域の画素が非透明(あるいは半透明)であることを表す透明度情報の画素であり、その他の領域の画素が透明であることを表す透明度情報の画素であるOSD透明度画像を生成する。例えば、OSDデータ生成部16は、非透明(あるいは半透明)である画素を透明度情報=“1”とし、透明である画素を透明度情報=“0”としたOSD透明度画像を生成する。また、例えば、OSDデータ生成部16は、非透明である画素を透明度情報=“2”とし、半透明である画素を透明度情報=“1”とし、透明である画素を透明度情報=“0”としたOSD透明度画像を生成してもよい。
 OSDデータ生成部16は、生成したOSD色画像のデータ(OSD色画像データ)と、生成したOSD透明度画像のデータ(OSD透明度画像データ)とのそれぞれを紐付けて、DMA転送によってDRAM30における別の空間(アドレス空間)の記憶領域に記録させる(書き込ませる)。これにより、表示処理部17は、OSDデータ生成部16によってDRAM30に記憶された(書き込まれた)OSD画像データに応じたOSD画像を、表示画像データに応じた表示画像に重畳した画像を、表示デバイス70に表示させる。
 次に、表示処理部17が表示画像にOSD画像を重畳して表示デバイス70に表示させる処理の概要について説明する。図3は、本発明の実施形態における表示処理装置を構成する表示処理部17が表示デバイス70に画像(OSD画像を重畳した表示画像)を表させる際の処理を模式的に示した図である。図3の(a)には、表示画像データに応じた表示画像の一例を示し、図3の(b)には、OSD画像データに応じたOSD画像の一例を示し、図3の(c)には、表示デバイス70に表示させる画像の一例を示している。
 上述したように、表示処理部17は、DRAM30に記録された表示画像データとOSD画像データとをDMA転送によって取得し、取得した表示画像データに応じた表示画像に、取得したOSD画像データに応じたOSD画像を重畳して表示デバイス70に表示させる。より具体的には、図3の(a)に示したような表示画像データに応じた表示画像に、図3の(b)に示したようなOSD画像データに応じたOSD画像を重畳することによって、図3の(c)に示したような画像を生成し、生成した画像を表示デバイス70に表示させる。
 上述したように、一般的なOSD画像は、図3の(b)に示したOSD画像の一例のように、表示画像に撮像されている被写体に重複しないような位置に、OSD情報が示される。図3の(b)には、図3の(a)に示した表示画像の左上および右下にOSD情報を示すOSD画像の一例を示している。図3の(b)に示したOSD画像は、例えば、表示画像の左上の領域に撮像装置1に備えた電池の残量の情報を示し、表示画像の右下の領域に撮像画像を撮影した撮影日時の情報を示す場合の一例である。ここで、OSD画像に含まれる透明度情報は、OSD情報を表示する領域(図3の(b)に示したOSD画像の一例では、左上および右下にOSD情報を示す領域)以外は、透明な画素を表す情報である。これにより、撮像装置1では、表示処理部17において表示画像にOSD画像を重畳した場合でも、表示画像に撮像された被写体がOSD画像を透過して、図3の(c)に示した一例のような画像が表示デバイス70に表示されることになる。
 ところで、従来のOSD画像のデータは、それぞれの画素における色情報と透明度情報とを合わせた形式の画像データとなっている。そして、従来の表示処理装置では、OSD画像に含まれる透明度情報が透明であることを表している画素も全て取得して、表示画像にOSD画像を重畳していた。つまり、従来の表示処理装置では、表示画像とOSD画像との2枚(2フレーム)の画像データを取得していた。このため、従来の表示処理装置では、OSD画像データをDRAMから取得するDMA転送によってデータバスのバス帯域を圧迫していた。
 これに対して、本発明の実施形態の表示処理装置では、上述したように、OSDデータ生成部16が、OSD情報を色情報と透明度情報とに分離して、OSD色画像とOSD透明度画像との2つの画像が組になった形式で、OSD画像を生成する。そして、表示処理部17は、上述したように、表示画像にOSD画像を重畳する際に、まず、OSD透明度画像データをDMA転送によって取得して(読み出して)、OSD色画像データを取得するか否かを判定(決定)し、取得すると決定したOSD色画像データのみを、DMA転送によってDRAM30から取得する(読み出す)。つまり、表示処理部17では、1枚(1フレーム)分の表示画像の全ての表示画像データをDMA転送によってDRAM30から取得するが、OSD画像データとしては、1フレーム分のOSD画像の全てのデータよりも少ない量のデータをDMA転送によってDRAM30から取得する。これにより、表示処理部17では、表示画像とOSD画像との2フレーム分の画像データをDRAM30から取得しているにもかかわらず、データの転送量を抑え、DRAMバス11のバス帯域の圧迫を低減させることができる。
 また、従来のOSD画像のデータには、1ラインごとにランレングス圧縮することによって、データ量を少なくした形式のものもあった。この場合、従来の表示処理装置でも、OSD画像のデータをDMA転送によって取得する際のデータの転送量を抑えて、データバスのバス帯域の圧迫を低減させることができた。しかし、OSD画像に含まれる特定のライン(1つのラインであっても複数のラインであってもよい)が、画素ごとに色や透明度が変化する場合には、ランレングス圧縮によって、特定のラインのデータ量が、レングス情報の分だけ増加する。このため、従来の表示処理装置では、特定のラインのデータをDMA転送によって取得する際のデータの転送量が増加し、このときのDMA転送に要する最大のバス帯域が、ランレングス圧縮をしていない従来のOSD画像データをDMA転送する際に要する最大のバス帯域よりも突出して多くなっていた。このため、従来の表示処理装置では、OSD画像データをランレングス圧縮した場合でも、データ量が増加した特定のラインのOSD画像データをDMA転送するタイミングのときに、データバスのバス帯域の圧迫が発生していた。
 これに対して、本発明の実施形態の表示処理装置では、OSDデータ生成部16が生成するOSD透明度画像は、OSD画像に本来含まれるそれぞれの画素の透明度情報の画像である。そして、本発明の実施形態の表示処理装置では、OSDデータ生成部16が生成するOSD色画像データとOSD透明度画像データとのデータ量の合計は、従来のOSD画像データのデータ量と同じである。つまり、本発明の実施形態の表示処理装置では、OSD画像に含まれる特定のライン(1つのラインであっても複数のラインであってもよい)が画素ごとに色や透明度が変化する場合でも、OSDデータ生成部16が生成する特定のラインに対応したOSD色画像データとOSD透明度画像データとのそれぞれのデータ量は、ランレングス圧縮をしていないOSD画像データのデータ量と同じである。このため、表示処理部17が、OSD色画像データとOSD透明度画像データとの両方を、DMA転送によって別々にDRAM30から取得しても、必要とするDRAMバス11のバス帯域は、最大でも、従来の表示処理装置がランレングス圧縮をしていない従来のOSD画像データをDRAMから取得する際のバス帯域と同じである。つまり、本発明の実施形態の表示処理装置では、OSD画像データをDMA転送によってDRAM30から取得する際に必要なDRAMバス11のバス帯域は、従来の表示処理装置がランレングス圧縮をしていない従来のOSD画像データをDRAMから取得する際のバス帯域よりも突出して多くなることはない。むしろ、本発明の実施形態の表示処理装置では、表示処理部17が最初に取得したOSD透明度画像データに基づいて、取得すると決定したOSD色画像データのみをDRAM30から取得するため、OSD画像データをDMA転送によってDRAM30から取得する際に必要なDRAMバス11のバス帯域は少なくなる。
 次に、表示処理部17の構成および動作について説明する。図4は、本発明の実施形態における表示処理装置を構成する表示処理部17の概略構成を示したブロック図である。表示処理部17は、同期信号生成部171と、表示画像データDMA処理部172と、OSD画像データDMA処理部173と、データ重畳部174と、遅延調整部175と、DMAキャンセル判定部176と、を備えている。
 同期信号生成部171は、不図示のクロック信号に基づいて、表示処理部17が表示デバイス70に表示画像データに応じた表示画像や、表示画像データに応じた表示画像にOSD画像データに応じたOSD画像を重畳した画像を表示させるタイミングを表す同期信号を生成する。ここで、同期信号生成部171が生成する同期信号は、表示デバイス70に対応する垂直同期信号VD、水平同期信号HDなどである。同期信号生成部171は、生成した同期信号を、表示画像データDMA処理部172、OSD画像データDMA処理部173、および遅延調整部175のそれぞれに出力する。
 表示画像データDMA処理部172は、同期信号生成部171から出力された同期信号に基づいて、DRAM30に記録されている表示画像データをDMA転送によって取得するDMA処理部である。より具体的には、表示画像データDMA処理部172は、例えば、同期信号生成部171から出力された水平同期信号HDが表示画像データに応じた表示画像を表示することを表している期間に、予め定めたDMA転送の単位で、表示画像データをDRAM30から取得する。ここで、表示画像データDMA処理部172におけるDMA転送の単位は、表示画像データに含まれる画素の単位や、連続した複数の画素をまとめた単位、いわゆる、DMAにおけるバースト転送の単位である。そして、表示画像データDMA処理部172は、取得した表示画像データをデータ重畳部174に出力する。
 なお、表示画像データDMA処理部172が表示画像データをDMA転送によってDRAM30から取得するタイミングは、表示デバイス70が表示画像データに応じた表示画像を表示するまでに表示デバイス70に表示する画像の信号(以下、「画像信号」という)を準備することができれば、いかなるタイミングであってもよい。このため、例えば、表示画像データDMA処理部172が、表示デバイス70に表示する画像における予め定めたライン数分のデータを一時的に保存することができるラインバッファを備えた構成である場合には、ラインバッファに一時的に保存することができるライン数分の表示画像データをDMA転送によって事前にDRAM30から取得しておいてもよい。この構成の場合、表示画像データDMA処理部172は、表示デバイス70が表示画像データに応じた表示画像を表示するタイミングに合わせて、ラインバッファに一時的に保存しておいた表示画像データをデータ重畳部174に出力する。
 DMAキャンセル判定部176は、同期信号生成部171から出力された同期信号に基づいて、DRAM30に記録されているOSD画像データの内、OSD透明度画像データをDMA転送によって取得するDMA処理部である。ただし、DMAキャンセル判定部176は、OSD画像データDMA処理部173がDRAM30に記録されているOSD色画像データをDMA転送によって取得する前に、DRAM30に記録されているOSD透明度画像データをDMA転送によって取得する。より具体的には、DMAキャンセル判定部176は、例えば、同期信号生成部171から出力された水平同期信号HDが表示画像データに応じた表示画像を表示することを表している期間において、OSD画像データDMA処理部173がOSD色画像データを取得する前に、予め定めたDMA転送の単位で、OSD透明度画像データをDRAM30から取得する。ここで、DMAキャンセル判定部176におけるDMA転送の単位も、表示画像データDMA処理部172におけるDMA転送の単位と同様に、OSD透明度画像データに含まれる画素の単位や、連続した複数の画素をまとめたDMAにおけるバースト転送の単位である。なお、DMAキャンセル判定部176におけるDMA転送の単位は、表示画像データDMA処理部172におけるDMA転送の単位と同じ単位でなくてもよい。
 そして、DMAキャンセル判定部176は、取得したOSD透明度画像データに基づいて、OSD画像データDMA処理部173がDMA転送によってOSD画像データ(より具体的には、OSD色画像データ)をDRAM30から取得するか否かを決定する。このとき、DMAキャンセル判定部176は、取得したOSD透明度画像データに含まれるそれぞれの画素のデータが、OSD情報を表示するための画素のデータであるか否かを判定することによって、OSD画像データDMA処理部173がOSD色画像データをDRAM30から取得するか否かを決定する。より具体的には、DMAキャンセル判定部176は、取得したOSD透明度画像データに含まれるそれぞれの画素のデータ、つまり、透明度情報が、非透明(あるいは半透明)であることを表す透明度情報であるか、透明であることを表す透明度情報であるかを確認する。そして、DMAキャンセル判定部176は、確認した透明度情報が非透明(あるいは半透明)であることを表す透明度情報である場合に、OSD色画像データに含まれる対応する画素のデータが、OSD情報を表示するための画素の色を表す色情報であると判定する。一方、DMAキャンセル判定部176は、確認した透明度情報が透明であることを表す透明度情報である場合に、OSD色画像データに含まれる対応する画素のデータ(色情報)が、OSD情報を表示するための画素の色を表す色情報ではないと判定する。
 DMAキャンセル判定部176は、この判定の結果に基づいて、OSD画像データDMA処理部173によってOSD情報を表示するための画素のデータ、つまり、OSD色画像データをDMA転送によってDRAM30から取得するか否かを決定する。そして、DMAキャンセル判定部176は、決定した結果を表すOSDキャンセルフラグを、OSD画像データDMA処理部173に出力する。DMAキャンセル判定部176が出力するOSDキャンセルフラグは、OSD画像データDMA処理部173がDMA転送によってOSD色画像データの取得を行うか、OSD色画像データの取得を行わないか(キャンセルするか)の情報を表す信号である。
 また、DMAキャンセル判定部176は、取得したOSD透明度画像データ、つまり、OSD画像データDMA処理部173が取得するOSD色画像データに含まれるそれぞれの画素に対応する透明度情報を、データ重畳部174に出力する。
 なお、DMAキャンセル判定部176がOSD透明度画像データをDMA転送によってDRAM30から取得するタイミングは、OSD画像データDMA処理部173がOSD色画像データをDMA転送によってDRAM30から取得する前であれば、いかなるタイミングであってもよい。このため、例えば、DMAキャンセル判定部176が、表示画像データDMA処理部172と同様に、表示デバイス70に表示する画像における予め定めたライン数分のデータを一時的に保存することができるラインバッファを備えた構成である場合には、ラインバッファに一時的に保存することができるライン数分のOSD透明度画像データをDMA転送によって事前にDRAM30から取得しておいてもよい。例えば、DMAキャンセル判定部176は、同期信号生成部171から出力された水平同期信号HDが表示画像データに応じた表示画像を表示しないことを表している期間、いわゆる、水平ブランキング期間に、予め定めたDMA転送の単位で、OSD透明度画像データを事前にDRAM30から取得しておいてもよい。この場合、DMAキャンセル判定部176は、例えば、水平ブランキング期間の先頭、または先頭から予め定めた時間が経過したタイミングで、OSD透明度画像データを事前にDRAM30から取得しておくことが考えられる。この構成の場合、DMAキャンセル判定部176は、ラインバッファに一時的に保存しておいた、OSD画像データDMA処理部173がDMA転送によってDRAM30から取得するOSD色画像データに対応するOSD透明度画像データに基づいて、OSD画像データDMA処理部173がDMA転送によってDRAM30からOSD色画像データを取得するか否かを決定する。そして、DMAキャンセル判定部176は、OSD画像データDMA処理部173がDMA転送によってOSD色画像データをDRAM30から取得するタイミングに合わせて、決定した結果を表すOSDキャンセルフラグをOSD画像データDMA処理部173に出力する。
 OSD画像データDMA処理部173は、同期信号生成部171から出力された同期信号に基づいて、DRAM30に記録されたOSD画像データの内、OSD色画像データをDMA転送によって取得するDMA処理部である。ただし、OSD画像データDMA処理部173は、DMAキャンセル判定部176から出力されたOSDキャンセルフラグが、OSD色画像データの取得を行うことを表しているOSD色画像データをDMA転送によってDRAM30から取得する。より具体的には、OSD画像データDMA処理部173は、例えば、同期信号生成部171から出力された水平同期信号HDが表示画像データに応じた表示画像を表示することを表している期間に、OSDキャンセルフラグが取得することを表しているOSD色画像データを、予め定めたDMA転送の単位でDRAM30から取得する。ここで、OSD画像データDMA処理部173におけるDMA転送の単位も、表示画像データDMA処理部172やDMAキャンセル判定部176におけるDMA転送の単位と同様に、OSD色画像データに含まれる画素の単位や、連続した複数の画素をまとめたDMAにおけるバースト転送の単位である。なお、OSD画像データDMA処理部173におけるDMA転送の単位は、表示画像データDMA処理部172やDMAキャンセル判定部176におけるDMA転送の単位と同じ単位でなくてもよい。そして、OSD画像データDMA処理部173は、取得したOSD色画像データをデータ重畳部174に出力する。
 なお、OSD画像データDMA処理部173がOSD色画像データをDMA転送によってDRAM30から取得するタイミングは、表示画像データDMA処理部172と同様に、表示デバイス70がOSD画像データに応じたOSD画像を重畳した表示画像データに応じた表示画像を表示するまでに表示デバイス70に表示する画像信号を準備することができれば、いかなるタイミングであってもよい。このため、例えば、OSD画像データDMA処理部173が、表示画像データDMA処理部172と同様に、表示デバイス70に表示する画像における予め定めたライン数分のデータを一時的に保存することができるラインバッファを備えた構成である場合には、ラインバッファに一時的に保存することができるライン数分のOSD色画像データをDMA転送によって事前にDRAM30から取得しておいてもよい。例えば、OSD画像データDMA処理部173は、同期信号生成部171から出力された水平同期信号HDが表示画像データに応じた表示画像を表示しないことを表している水平ブランキング期間に、予め定めたDMA転送の単位で、OSD色画像データを事前にDRAM30から取得しておいてもよい。この場合、OSD画像データDMA処理部173は、例えば、水平ブランキング期間の先頭、または先頭から予め定めた時間が経過したタイミングで、OSD色画像データを事前にDRAM30から取得しておくことが考えられる。ただし、OSD画像データDMA処理部173は、DMAキャンセル判定部176から出力されたOSDキャンセルフラグが、OSD色画像データの取得を行うことを表しているOSD色画像データを、DMA転送によって事前にDRAM30から取得する。この構成の場合、OSD画像データDMA処理部173は、表示画像データDMA処理部172と同様に、表示デバイス70がOSD画像データに応じたOSD画像を重畳した表示画像データに応じた表示画像を表示するタイミングに合わせて、ラインバッファに一時的に保存しておいたOSD色画像データをデータ重畳部174に出力する。
 なお、上述したように、表示処理部17では、OSD画像データDMA処理部173が、OSDキャンセルフラグがOSD色画像データを取得することを表しているOSD色画像データのみをDRAM30から取得する。つまり、OSD画像データDMA処理部173がDMA転送によってDRAM30から取得するOSD色画像データは、OSD情報を表示する領域に対応するデータのみであり、OSD透明度画像データにおいて非透明あるいは半透明であることを表している透明度情報の画素に対応するOSD色画像データのみである。このため、OSD画像データDMA処理部173がDMA転送によってDRAM30から取得したOSD色画像データは、表示デバイス70に表示する画像における1ライン分のデータに満たないこともある。そこで、OSD画像データDMA処理部173は、OSD色画像データをデータ重畳部174に出力する際に、DMA転送によってDRAM30から取得していないOSD色画像データ、つまり、OSD透明度画像データにおいて透明であることを表している透明度情報の画素に対応するOSD色画像データの代わりに、疑似的な画素(以下、「疑似画素」という)のデータを出力する。言い換えれば、OSD画像データDMA処理部173は、OSD情報を表示しない透明な画素のデータもDMA転送によってDRAM30から取得したものとして補填して、OSD画像の全ての画素のデータをデータ重畳部174に出力する。ここで、OSD画像データDMA処理部173が補填してデータ重畳部174に出力する疑似画素のデータは、表示画像に重畳してもOSD情報として表示されない(反映されない)画素のデータ(色情報)である。このため、疑似画素のデータは、いかなる色を表すデータ(色情報)であってもよい。例えば、疑似画素のデータを、“0”や“1”などの予め定めた特定の固定値のデータとしてもよいし、黒や白などの予め定めた特定の単色を表す色情報のデータとしてもよい。また、例えば、疑似画素のデータを、OSD色画像データやOSD色画像データを重畳した表示画像データに対して、表示処理部17や画像処理装置10に備えた他の構成要素が行う以降の処理を考慮した色を表す色情報のデータとしてもよい。例えば、OSD色画像データやOSD色画像データを重畳した表示画像データに対する以降の処理として、それぞれの画素の色のデータに基づいたフィルタの処理を行うことを考慮した場合、OSD情報を表示するための非透明あるいは半透明の画素と、OSD情報を表示しない透明の画素との境界部分、いわゆるエッジ部分に、フィルタの処理による偽色が現れないように、グレー(灰色)の色を表す色情報のデータとしてもよい。
 データ重畳部174は、表示画像データDMA処理部172から出力された表示画像データに対して予め定めた画像処理を行って、表示デバイス70に表示画像データに応じた表示画像を表示させるための画像信号を生成する。また、データ重畳部174は、OSD画像データDMA処理部173からOSD色画像データが、DMAキャンセル判定部176からOSD透明度画像データが、それぞれ出力されている場合、表示画像データに応じた表示画像に、OSD色画像データとOSD透明度画像データとによって表されるOSD画像データに応じたOSD画像を重畳する画像処理を行って、画像信号を生成する。データ重畳部174は、生成した画像信号を、表示デバイス70に出力する。これにより、表示デバイス70は、表示画像データに応じた表示画像、または、OSD画像データに応じたOSD画像が重畳された表示画像データに応じた表示画像を表示する。
 遅延調整部175は、同期信号生成部171から出力されたそれぞれの同期信号を、表示画像データDMA処理部172、OSD画像データDMA処理部173、データ重畳部174、およびDMAキャンセル判定部176による処理の遅延に対応する分だけ遅延させて、表示デバイス70に出力する。つまり、遅延調整部175は、データ重畳部174から表示デバイス70に出力される画像信号のタイミングに合わせて、同期信号生成部171から出力されたそれぞれの同期信号を遅延させて、表示デバイス70に出力する。
 このような構成によって、表示処理部17では、DMAキャンセル判定部176が、OSD画像データDMA処理部173がDMA転送によってDRAM30からOSD色画像データを取得する前にOSD透明度画像データを取得して、OSD画像に含まれるそれぞれの画素のデータが、OSD情報を表示するための画素のデータであるか否かを判定する。そして、表示処理部17では、OSD画像データDMA処理部173が、DMAキャンセル判定部176によってOSD情報を表示するための画素のデータであると判定されたOSD色画像データに含まれる画素のデータ(色情報)のみを、DMA転送によってDRAM30から取得する。
 これにより、表示処理部17では、従来の表示処理装置においてOSD画像の全ての画素のデータを取得する際のデータ量よりも、OSD画像データの内、色情報が含まれるOSD色画像データを取得する際のデータ量を抑え、DRAMバス11のバス帯域の圧迫を低減させることができる。このことにより、表示処理部17では、従来の表示処理装置がより高精細な表示装置への画像の表示に対応する場合よりも容易に、高精細な表示装置への画像の表示に対応することができる。
 また、表示処理部17では、従来の表示処理装置においてランレングス圧縮したOSD画像データをDMA転送によって取得する際に発生することが考えられる、突出して多くのバス帯域を必要とするDMA転送が発生することなく、ランレングス圧縮をしていない従来のOSD画像データをDMA転送する際に要するバス帯域と同様の帯域内で、OSD画像の全ての画素のデータを取得することができる。つまり、表示処理部17では、OSD画像データをDMA転送によってDRAM30から取得する際に、DRAMバス11のバス帯域が必要以上に高くなってしまうのを回避することができる。このことにより、表示処理部17では、画像処理装置10に備えた他の構成要素(例えば、撮像処理部14など)による同じ期間(時期)のDMA転送を阻害することなく、画像処理装置10の動作に破綻をきたしてしまうような要因を少なくすることができる。
 次に、OSDデータ生成部16がOSD画像データ(OSD色画像データおよびOSD透明度画像データ)を生成するタイミングについて説明する。上述したように、OSDデータ生成部16は、撮像装置1の動作モードや設定に応じたOSD画像データを生成する。このため、OSDデータ生成部16がOSD画像データを生成するタイミングは、撮像装置1の動作モードや設定が変更されたときとなる。ただし、OSDデータ生成部16は、表示処理部17が、すでに生成されてDRAM30に記憶されている(書き込まれている)1フレーム分のOSD画像データを取得するためのDMA転送を開始し、1フレーム分のOSD画像データの取得が完了していないときには、新たなOSD画像データを生成しない。つまり、OSDデータ生成部16は、DMAキャンセル判定部176がOSD透明度画像データの取得を開始し、OSD画像データDMA処理部173がOSD色画像データの取得を完了するまでは、新たなOSD色画像データおよびOSD透明度画像データを生成しない。言い換えれば、OSDデータ生成部16は、DMAキャンセル判定部176によるOSD透明度画像データの取得と、OSD画像データDMA処理部173によるOSD色画像データの取得とがそれぞれ完了していないときには、新たなOSD色画像データおよびOSD透明度画像データを生成しない。これは、表示処理部17が、すでに生成されてDRAM30に記憶されている(書き込まれている)1フレーム分のOSD画像データの取得が完了していないときに、OSDデータ生成部16が新たなOSD画像データの生成を行ってしまうと、表示デバイス70に表示している現在のOSD情報が途中から変わってしまうことになるからである。つまり、DMAキャンセル判定部176がOSD透明度画像データの取得を完了しないと、表示デバイス70に表示している現在のOSD画像におけるそれぞれの画素の透明度情報が変わってしまい、OSD画像データDMA処理部173がOSD色画像データの取得を完了しないと、表示デバイス70に表示している現在のOSD画像におけるそれぞれの画素の色情報が変わってしまうことになるからである。
 このため、OSDデータ生成部16は、表示処理部17が、DMA転送によってOSD画像データの取得を行っていない期間に、新たなOSD画像データを生成する。つまり、OSDデータ生成部16は、DMAキャンセル判定部176がOSD透明度画像データの取得を行っておらず、さらに、OSD画像データDMA処理部173がOSD色画像データの取得を行っていない期間に、新たなOSD透明度画像データとOSD色画像データとのそれぞれを生成する。ここで、表示処理部17がDMA転送を行っていない期間としては、例えば、表示デバイス70に表示画像データに応じた表示画像やOSD画像データに応じたOSD画像を表示していない期間、いわゆる、ブランキング期間が考えられる。ただし、上述したように、表示処理部17は、水平ブランキング期間にOSD画像データをDMA転送によってDRAM30から取得することも考えられるため、OSDデータ生成部16がOSD画像データを生成するブランキング期間は、垂直ブランキング期間となる。
 この垂直ブランキング期間は、表示処理部17に備えた同期信号生成部171が生成した垂直同期信号VDによって判定することができる。このため、OSDデータ生成部16は、共に本発明の実施形態における表示処理装置を構成する表示処理部17に備えた同期信号生成部171が出力する垂直同期信号VDに基づいて垂直ブランキング期間を判定し、判定した垂直ブランキング期間に、OSD画像データ(OSD色画像データおよびOSD透明度画像データ)を生成する。この場合、OSDデータ生成部16は、同期信号生成部171が出力する垂直同期信号VDが入力される構成となる。
 図5は、本発明の実施形態における表示処理装置を構成するOSDデータ生成部16がOSD画像データを生成するタイミングの一例を示したタイミングチャートである。図5には、OSDデータ生成部16が、垂直ブランキング期間の先頭のタイミングから、OSD画像データの生成を開始する場合のタイミングの一例を示している。より具体的には、図5には、垂直同期信号VDに基づいて判定した垂直ブランキング期間の先頭のタイミングを表すOSD生成開始トリガ信号のタイミングから、OSDデータ生成部16がOSD画像データの生成を開始するタイミングの一例を示している。なお、図5に示したタイミングチャートは、OSDデータ生成部16が、OSD画像データの生成を毎フレーム行う場合の一例である。
 OSDデータ生成部16は、表示処理部17がDMA転送によるDRAM30からのOSD画像データの取得が完了したことによって始まる最初の垂直ブランキング期間の先頭のタイミングt1のときに出力されたOSD生成開始トリガ信号に応じて、Nフレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成を開始する。そして、OSDデータ生成部16は、垂直ブランキング期間が終了するタイミングt3までの間にNフレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成を完了(終了)する。つまり、OSDデータ生成部16は、表示処理部17がDMA転送によってNフレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとのDMA転送によるDRAM30からの取得が開始されるタイミングt3までの間にNフレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成を完了(終了)する。図5に示したタイミングチャートでは、垂直ブランキング期間が終了するタイミングt3よりも早いタイミングt2のときに、Nフレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成を完了(終了)する場合の一例を示している。OSDデータ生成部16は、上述したように、生成したOSD色画像データとOSD透明度画像データとのそれぞれを紐付けて、DMA転送によってDRAM30における別の空間(アドレス空間)の記憶領域に記録させる(書き込ませる)。
 以降、OSDデータ生成部16は、それぞれの垂直ブランキング期間中に、次のフレームのOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成を行う。より具体的には、OSDデータ生成部16は、タイミングt4から始まりタイミングt5で終了する2回目の垂直ブランキング期間中に、(N+1)フレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとを生成し、生成したOSD色画像データとOSD透明度画像データとのそれぞれを紐付けて、DRAM30における別の空間(アドレス空間)の記憶領域に記録させる(書き込ませる)。また、OSDデータ生成部16は、タイミングt6から始まりタイミングt7で終了する3回目の垂直ブランキング期間中に、(N+2)フレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとを生成し、生成したOSD色画像データとOSD透明度画像データとのそれぞれを紐付けて、DRAM30における別の空間(アドレス空間)の記憶領域に記録させる(書き込ませる)。
 このようなタイミングで、OSDデータ生成部16は、表示処理部17(より具体的には、DMAキャンセル判定部176およびOSD画像データDMA処理部173)が、DMA転送によってOSD透明度画像データおよびOSD色画像データの取得を行っていない垂直ブランキング期間中に、OSD色画像データとOSD透明度画像データとを生成する。
 なお、垂直ブランキング期間の先頭のタイミングは、画像処理装置10に備えたその他の構成要素も、DMA転送を開始するタイミングであることも考えられる。この場合、OSDデータ生成部16は、垂直ブランキング期間の先頭から予め定めた時間が経過したタイミングから、OSD色画像データおよびOSD透明度画像データの生成を開始してもよい。ここで、予め定めた時間とは、例えば、画像処理装置10に備えたその他の構成要素によるDMA転送が完了したと考えられる時間である。
 なお、OSDデータ生成部16がOSD色画像データおよびOSD透明度画像データを生成するタイミングは、上述したような垂直ブランキング期間中に限定されるものではない。つまり、OSDデータ生成部16は、DMAキャンセル判定部176およびOSD画像データDMA処理部173が、DMA転送によってOSD透明度画像データおよびOSD色画像データの取得を行っていない期間であれば、いかなるタイミングでOSD色画像データおよびOSD透明度画像データを生成してもよい。
 例えば、画像処理装置10には、DRAMバス調停部13を備えている。このDRAMバス調停部13は、上述したように、DRAMバス11に接続されている画像処理装置10内のそれぞれの構成要素からのDRAM30に対するDMA要求を調停している。このため、DRAMバス調停部13でも、DMAキャンセル判定部176およびOSD画像データDMA処理部173がDMA転送を行っていない期間を判定することができる。これは、一般的なDRAMバス調停部には、予め設定されたルールに基づいてデータバスに接続されている構成要素からのDRAMへのアクセス要求(DMA要求)を調停する機能以外にも、所定期間ごとにデータの転送量を測定(モニタ)する機能、いわゆる、バス帯域モニタ機能を備えているからである。このため、DRAMバス調停部13でも、表示デバイス70に画像を表示させる1フレームの期間を等間隔の期間に分割し、バス帯域モニタ機能を用いて分割したそれぞれの期間におけるDRAMバス11のデータの転送量を測定(モニタ)することによって、画像処理装置10内のそれぞれの構成要素とDRAM30との間のデータの転送量が少ない期間を判定することができる。つまり、DRAMバス調停部13でも、DRAMバス11を介したDMA転送におけるデータの受け渡しが少ない期間を判定することができる。
 そして、OSDデータ生成部16は、DRAMバス調停部13が測定(モニタ)した結果に基づいて、DRAMバス11を介したDMA転送によるデータの受け渡しが少ない期間中に、OSD色画像データおよびOSD透明度画像データを生成することができる。
 図6は、本発明の実施形態における表示処理装置を構成するOSDデータ生成部16がOSD画像データを生成するタイミングの別の一例を示したタイミングチャートである。図6には、表示デバイス70に画像を表示させる1フレームの期間を23分割した期間(分割期間)を、DRAMバス調停部13がデータの転送量(DMA転送量)を測定(モニタ)するそれぞれの期間とし、DMA転送量が最も少ない分割期間のときに、OSDデータ生成部16がOSD画像データを生成する場合のタイミングの一例を示している。より具体的には、図6には、垂直同期信号VDの立ち下がりのタイミングを基準のタイミングとし、DRAMバス調停部13が測定(モニタ)したDMA転送量が最も少ない分割期間を、次のフレームの期間においてOSDデータ生成部16がOSD画像データの生成を開始する分割期間とする場合のタイミングの一例を示している。なお、図6に示したタイミングチャートも、OSDデータ生成部16が、OSD画像データの生成を毎フレーム行う場合の一例である。
 なお、図6に示したタイミングチャートの動作をする本発明の実施形態における表示処理装置は、2フレーム分のOSD画像データをDRAM30に記録させ、DMA転送によってDRAM30から取得する際に、取得するOSD画像データを交互に切り替える構成である。この構成によって、OSDデータ生成部16は、DMAキャンセル判定部176およびOSD画像データDMA処理部173がDMA転送を行ってOSD画像データをDRAM30から取得している期間でも、新たなOSD画像データを生成してDRAM30に記録させることができる。
 まず、OSDデータ生成部16は、Nフレーム目のOSD画像データに応じたOSD画像の表示デバイス70への表示に対応する最初の垂直同期信号VDの立ち下がりのタイミングt1から、分割期間の計数(カウント)を開始する。同時に、DRAMバス調停部13は、Nフレーム目のOSD画像データに応じたOSD画像を表示デバイス70に表示させる現在のフレームの期間におけるDMA転送量の測定(モニタ)を開始する。DRAMバス調停部13は、それぞれの分割期間において測定(モニタ)したDMA転送量の情報を、OSDデータ生成部16に順次出力する。
 また、OSDデータ生成部16は、OSD生成タイミング設定の初期値(=“0”)に基づいて出力されたOSD生成開始トリガ信号に応じて、今回のフレーム(Nフレーム目)の期間の次のフレームの期間において表示デバイス70に表示させるための(N+1)フレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成を開始する。そして、OSDデータ生成部16は、(N+1)フレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成が完了(終了)すると、生成した(N+1)フレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとのそれぞれを紐付けて、DMA転送によって、DRAM30における別の空間(アドレス空間)の記憶領域に記録させる(書き込ませる)。
 その後、OSDデータ生成部16は、DRAMバス調停部13から順次出力されたそれぞれの分割期間におけるDMA転送量の情報に基づいて、DMA転送量が最も少ない分割期間を判定する。図6に示した一例では、OSDデータ生成部16が、分割期間カウンタのカウント値=“22”に対応する分割期間TMが、最もDMA転送量が少ない分割期間であると判定した場合を示している。OSDデータ生成部16は、(N+1)フレーム目のOSD画像データに応じたOSD画像の表示デバイス70への表示に対応する2番目の垂直同期信号VDの立ち下がりのタイミングt2のときに、最もDMA転送量が少ないと判定した分割期間TMに対応するカウント値=“22”を、次のフレームの期間において(N+2)フレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成を開始するタイミングを表すOSD生成タイミング設定として設定する。
 これにより、OSD生成開始トリガ信号は、OSD生成タイミング設定に基づいて、タイミングt2のときには出力されず、(N+1)フレーム目のOSD画像データに応じたOSD画像の表示デバイス70への表示に対応する2番目の垂直同期信号VDの立ち下がりのタイミングt2から開始した分割期間のカウント値が、OSD生成タイミング設定=“22”となったときに出力される。これにより、OSDデータ生成部16は、OSD生成タイミング設定=“22”に基づいて出力されたOSD生成開始トリガ信号に応じて、今回のフレーム((N+1)フレーム目)の期間の次のフレームの期間において表示デバイス70に表示させるための(N+2)フレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成を開始する。そして、OSDデータ生成部16は、(N+2)フレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとの生成が完了(終了)すると、生成した(N+2)フレーム目のOSD画像に対応するOSD色画像データとOSD透明度画像データとのそれぞれを紐付けて、DMA転送によって、DRAM30における別の空間(アドレス空間)の記憶領域に記録させる(書き込ませる)。
 以降、同様にして、OSDデータ生成部16は、DRAMバス調停部13が測定(モニタ)したDMA転送量が最も少ない分割期間から、次のフレームの期間において表示デバイス70に表示させるためのOSD画像に対応するOSD色画像データとOSD透明度画像データとを生成する。そして、OSDデータ生成部16は、生成したOSD色画像データとOSD透明度画像データとのそれぞれを紐付けて、DRAM30における別の空間(アドレス空間)の記憶領域に記録させる(書き込ませる)。
 このようなタイミングで、OSDデータ生成部16は、表示処理部17(より具体的には、DMAキャンセル判定部176およびOSD画像データDMA処理部173)が、DMA転送によって取得して表示デバイス70に表示させるためのOSD画像に対応するOSD色画像データとOSD透明度画像データとを生成する。
 表示処理部17では、このようにしてOSDデータ生成部16が生成されたOSD透明度画像データに基づいて、OSD色画像データをDMA転送によってDRAM30から取得する際のデータの転送量を抑える。つまり、表示処理部17では、先に取得したOSD透明度画像データに基づいて、OSD透明度画像データが表す非透明あるいは半透明である領域のOSD色画像データのみを取得することによって、DRAMバス11のバス帯域の圧迫を低減させる。より具体的には、OSD画像データDMA処理部173が、先(事前)に取得したOSD透明度画像データに基づいてDMAキャンセル判定部176から出力されたOSDキャンセルフラグに従って、OSD色画像データに含まれる透明な画素のデータ(色情報)の取得を行わない(キャンセルする)。これにより、OSD画像データDMA処理部173は、不要なOSD色画像データの転送量を抑えて、OSD画像データをDMA転送によってDRAM30から取得する際のDRAMバス11のバス帯域の圧迫を低減させる。
 次に、表示処理部17の動作について説明する。図7は、本発明の実施形態における表示処理装置を構成する表示処理部17の動作を説明する図である。図7には、図3の(b)に示したOSD画像の1フレームの最初の1ライン分のOSD色画像データをDRAM30から取得する際のOSD画像データDMA処理部173におけるDMA転送の一例を示している。図3の(b)に示したOSD画像では、図3の(a)に示した表示画像の左上および右下の領域にOSD情報を表示させる。従って、OSDデータ生成部16が生成する最初の1ライン分のOSD色画像データは、図7に示したように、左上の領域にOSD情報を表示するための非透明(あるいは半透明)の画素(以下「非透明OSD画素」という)の色情報のデータが最初(左側)に配置され、その後、OSD情報を表示せずに表示画像に含まれる被写体の画素のデータを透過するための透明の画素(以下、「透明OSD画素」という)の色情報のデータが配置されたビットマップデータとなる。
 ところで、OSDデータ生成部16が生成するOSD色画像データの1ライン分の総ビット数は、OSD画像においてOSD情報を表すそれぞれの画素の色情報のビット数と、表示デバイス70が表示する1ライン分の画素数とを乗算したビット数とで表される。例えば、OSD色画像データに含まれるそれぞれの画素の色情報が8ビットのデータであり、表示デバイス70がVGAサイズの画像、つまり、640画素×480ラインの画像を表示する場合、OSD色画像データの1ライン分の総ビット数は、下式(1)で表される。
 (画素の色情報のビット数)×(1ライン分の画素数)
 =8(bit)×640(画素)
 =5120(bit)              ・・・(1)
 そして、OSD画像データDMA処理部173は、上述したように、予め定めたDMA転送の単位、つまり、DMAにおけるバースト転送の単位で、OSD色画像データをDRAM30から取得する。このため、OSD画像データDMA処理部173は、上式(1)で表されるOSD色画像データの1ライン分の全ての画素の色情報のデータをDRAM30から取得する場合、OSD色画像データの1ライン分の総ビット数を、DRAM30からデータを取得する際のDMA転送におけるバースト長(DMAバースト長)で除算した回数分のDMA転送を行うことになる。例えば、OSD画像データDMA処理部173が上式(1)で表される1ライン分のOSD色画像データをDRAM30から取得する際のバースト長が512ビットである、つまり、512ビットのデータをまとめて連続してDMA転送(バースト転送)する場合を考える。この場合、OSD画像データDMA処理部173は、下式(2)で表される回数分のDMA転送を行う。
 (総ビット数)/(DMAバースト長)
 =5120(bit)/512(bit)
 =10(回)              ・・・(2)
 図7には、上式(2)に基づいて、OSD画像データDMA処理部173が、DMA転送T1~DMA転送T10の10回のDMA転送で、図3の(b)に示したOSD画像の1フレームの最初の1ライン分のOSD色画像データを取得する状態を示している。また、図7には、DMAキャンセル判定部176が、すでに最初の1ライン分のOSD透明度画像データをDRAM30から取得し、取得したOSD透明度画像データに基づいてOSD色画像データを取得するか否かを決定した結果のOSDキャンセルフラグも同時に示している。
 ここで、DMAキャンセル判定部176が出力するOSDキャンセルフラグについて説明する。OSD画像データDMA処理部173が、上式(2)に基づいて、OSD色画像データをDRAM30から取得する場合、OSD画像データDMA処理部173のDMA転送の単位は、DMAバースト長=512ビットのバースト転送の単位であり、1ライン分のOSD色画像データの全ての画素のデータ(色情報)を取得するために10回のDMA転送を行う設定である。このため、DMAキャンセル判定部176は、OSD画像データDMA処理部173のDMA転送の単位ごとにOSD色画像データの取得を行うか否かが変化するOSDキャンセルフラグを出力する。より具体的には、DMAキャンセル判定部176は、取得したOSD透明度画像データを、OSD画像データDMA処理部173がDMA転送を行うDMAバースト長である512ビットに相当するデータ量ずつに区切り、この区切りごとに透明度情報を確認することによって決定したOSDキャンセルフラグを出力する。このとき、DMAキャンセル判定部176は、確認した区切りに含まれる透明度情報の全てが透明であることを表す透明度情報である場合にのみ、OSD色画像データの取得を行わない(キャンセルする)ことを表すOSDキャンセルフラグを出力する。言い換えれば、DMAキャンセル判定部176は、確認した区切りに非透明(あるいは半透明)であることを表す透明度情報が1つでも含まれている場合には、OSD色画像データの取得を行う(キャンセルしない)ことを表すOSDキャンセルフラグを出力する。図7には、OSD色画像データの取得を行うことを“Low”レベルで表し、OSD色画像データの取得を行わない(キャンセルする)ことを“High”レベルで表したOSDキャンセルフラグの一例を示している。
 これにより、OSD画像データDMA処理部173は、DMAキャンセル判定部176から出力されたOSDキャンセルフラグが、OSD色画像データの取得を行うことを表している“Low”レベルのときに、DMAバースト長=512ビットごとにDMA転送を行って、OSD色画像データをDRAM30から取得する。図7に示した表示処理部17におけるDMA転送の一例では、OSD画像データDMA処理部173は、OSDキャンセルフラグが“Low”レベルであるときのDMA転送T1~DMA転送T3のDMA転送によって、OSD色画像データをDRAM30から取得する。また、OSD画像データDMA処理部173は、OSDキャンセルフラグがOSD色画像データの取得を行わないことを表している“High”レベルであるときのDMA転送T4~DMA転送T10のDMA転送によるOSD色画像データのDRAM30からの取得をキャンセルする。
 このようにして、OSD画像データDMA処理部173は、OSD画像データDMA処理部173から出力されたOSDキャンセルフラグに従って、DMA転送T1~DMA転送T3までの3回分のDMA転送のみを行って、1ライン分のOSD画像データ、つまり、10回分のDMA転送によって取得するOSD画像データに含まれるそれぞれの画素のデータ(色情報)を取得する。そして、OSD画像データDMA処理部173は、取得した1ライン分のOSD画像データを、データ重畳部174に順次出力する。
 なお、図7においては、OSD画像データDMA処理部173がDMA転送T3のDMA転送によって取得したOSD色画像データの中に、透明OSD画素のデータ(色情報)も含まれている。これは、上述したように、DMAキャンセル判定部176が、OSD画像データDMA処理部173がOSD色画像データをDRAM30から取得する際のDMA転送の単位でOSDキャンセルフラグを出力するためである。この場合、OSD画像データDMA処理部173は、取得したOSD色画像データの内、透明OSD画素のデータ(色情報)を、無効なOSD色画像データとして破棄する。そして、OSD画像データDMA処理部173は、破棄した透明OSD画素のデータ(色情報)の代わりに、DMA転送T4以降のOSD色画像データ、つまり、DMA転送によって取得していないOSD色画像データに含まれる透明OSD画素として出力する疑似画素のデータ(色情報)と同じ色情報を、データ重畳部174に出力する。なお、OSD画像データDMA処理部173は、DMA転送T3のDMA転送によって取得したOSD色画像データの中に含まれる透明OSD画素のデータ(色情報)を破棄せずにそのままデータ重畳部174に出力し、DMA転送T4以降のOSD色画像データに含まれる透明OSD画素として出力する疑似画素のデータも引き続き、DMA転送T3のDMA転送によって取得した透明OSD画素のデータ(色情報)としてもよい。つまり、OSD画像データDMA処理部173は、DMA転送の単位に含まれていた透明OSD画素のデータ(色情報)を、1ライン分のOSD色画像データにおける全ての画素のデータ(色情報)をDRAM30から取得したものとして出力する際の疑似画素のデータ(色情報)として、データ重畳部174に出力してもよい。
 ここで、表示処理部17が、1フレームのOSD画像を取得してデータ重畳部174に出力する動作について説明する。図8は、本発明の実施形態における表示処理装置を構成する表示処理部17によるDMA転送の様子を模式的に示した図である。図8には、OSD画像において、OSD情報が含まれるラインと、OSD情報が含まれないラインとのそれぞれのラインのOSD画像データをDRAM30から取得するDMA転送の一例を示している。図8の(a)には、図3の(b)に示したOSD画像においてOSD情報が含まれるラインL1と、OSD情報が含まれないラインL2とのそれぞれのラインの一例を示している。また、図8の(b)には、図8の(a)に示したOSD情報が含まれるラインL1における1ライン分のOSD画像データを取得する際のDMA転送の一例を示し、図8の(c)には、図8の(a)に示したOSD情報が含まれないラインL2における1ライン分のOSD画像データを取得する際のDMA転送の一例を示している。
 なお、以下の説明においては、表示処理部17に備えたDMAキャンセル判定部176とOSD画像データDMA処理部173とのそれぞれが、10回のDMA転送(DMA転送T1~DMA転送T10)によって1ライン分のOSD画像データをDRAM30から取得するものとして説明する。そして、以下の説明においては、より容易に表示処理部17の動作を説明するため、DMAキャンセル判定部176が、OSD画像データDMA処理部173がDMA転送を行うDMAバースト長の単位ごとに、OSD透明度画像データを取得するDMA転送を行うものとして説明する。つまり、以下の説明においては、DMAキャンセル判定部176が、OSD画像データDMA処理部173が取得するOSD色画像データと組になっているOSD透明度画像データを、それぞれのDMA転送の単位においてDRAM30から取得するものとして説明する。
 上述したように、表示処理部17では、まず、DMAキャンセル判定部176が、OSD画像データDMA処理部173がDRAM30に記録されているOSD色画像データをDMA転送によって取得する前に、DRAM30に記録されているOSD透明度画像データをDMA転送によって取得する。このため、図8の(b)および図8の(c)に示したDMA転送の一例のように、DMAキャンセル判定部176がOSD透明度画像データを取得するためのDMA転送は、それぞれのDMA転送の単位ごとに行われる。つまり、DMAキャンセル判定部176によるOSD透明度画像データのDMA転送は、OSD情報が含まれるラインL1であっても、OSD情報が含まれないラインL2であっても、それぞれ10回ずつ行われる。そして、DMAキャンセル判定部176は、それぞれのDMA転送において取得したOSD透明度画像データに基づいて、OSD画像データDMA処理部173がDMA転送によってOSD色画像データをDRAM30から取得するか否かを決定し、決定した結果を表すOSDキャンセルフラグを、OSD画像データDMA処理部173に出力する。つまり、DMAキャンセル判定部176は、それぞれのDMA転送の単位においてOSD透明度画像データを取得するごとに、OSD画像データDMA処理部173がOSD色画像データの取得を行うか否かを表すOSDキャンセルフラグを出力する。
 その後、表示処理部17では、OSD画像データDMA処理部173が、DMAキャンセル判定部176から出力されたOSDキャンセルフラグがOSD色画像データの取得を行うことを表している場合に、OSD色画像データをDMA転送によってDRAM30から取得する。図8の(b)に示したOSD情報が含まれるラインL1のDMA転送の一例では、OSD画像データDMA処理部173が、OSDキャンセルフラグがOSD色画像データの取得を行うことを表しているDMA転送T1~DMA転送T3において、OSD色画像データをDRAM30から取得している。つまり、図8の(b)に示したOSD情報が含まれるラインL1のDMA転送の一例では、OSD画像データDMA処理部173が、DMA転送T1~DMA転送T3の3回のDMA転送のみを行って、その他のDMA転送(DMA転送T4~DMA転送T10)を行っていない(キャンセルしている)。一方、図8の(c)に示したOSD情報が含まれないラインL2のDMA転送の一例では、OSDキャンセルフラグがDMA転送T1~DMA転送T10の全てにおいてOSD色画像データの取得を行わないことを表しているため、OSD画像データDMA処理部173は、OSD色画像データをDRAM30から取得するDMA転送を行っていない(キャンセルしている)。
 このように、表示処理部17では、OSD情報が含まれるラインL1のOSD画像データを取得する場合に、OSD画像データDMA処理部173が、OSD情報を表示画像に表示しない領域のOSD色画像データを取得するためのDMA転送を行わない(キャンセルする)ことによって、OSD画像データを取得する際のデータの転送量(DMA転送量)を抑えている。すなわち、表示処理部17では、OSD情報が含まれるラインL1のOSD画像データに含まれる透明OSD画素のデータ(色情報)をDMA転送する際の全体的なDMA転送量を少なくしている。また、表示処理部17では、OSD情報が含まれないラインL2のOSD画像データを取得する場合、つまり、1ライン分の全てがOSD情報を表示画像に表示しない透明OSD画素のデータ(色情報)である場合に、OSD画像データDMA処理部173が、OSD色画像データを取得するためのDMA転送を全て行わない(キャンセルする)ことによって、OSD画像データを取得する際のDMA転送量を抑えている。すなわち、表示処理部17では、OSD情報が含まれないラインL2のOSD画像データをDMA転送する際のDMA転送量を、DMAキャンセル判定部176がOSD透明度画像データを取得する際に要するDMA転送量のみにしている。これにより、表示処理部17では、1フレーム分のOSD画像の全体を平均して考えた場合に、OSD画像データのDMA転送量を低減する、つまり、OSD画像データをDMA転送する際に要する平均的なDRAMバス11のバス帯域を下げることができる。
 しかも、表示処理部17では、図8の(b)に示したDMA転送の一例のように、OSDキャンセルフラグがOSD色画像データの取得を行うことを表しているDMA転送T1~DMA転送T3においても、それぞれのDMA転送におけるDMA転送量は、従来の表示処理装置がランレングス圧縮をしていない従来のOSD画像のデータをDMA転送する際のデータの転送量(DMA転送量)と同じである。このため、表示処理部17では、1ラインごとにランレングス圧縮したことによってデータ量を少なくした形式のOSD画像データをDMA転送する場合のように、OSD情報が含まれる特定のライン(例えば、図8に示した一例では、OSD情報が含まれるラインL1)において、DMA転送に要する最大のバス帯域が突出して多くなるような期間が発生しない。これにより、表示処理部17では、画像処理装置10に備えた他の構成要素(例えば、撮像処理部14など)による同じ期間(時期)のDMA転送を阻害して、画像処理装置10の動作に破綻をきたしてしまうような要因を少なくすることができる。
 そして、表示処理部17では、DMAキャンセル判定部176が、DMA転送によって取得したOSD透明度画像データをデータ重畳部174に出力し、OSD画像データDMA処理部173が、DMAキャンセル判定部176から出力されたOSDキャンセルフラグに従って行ったDMA転送によって取得したOSD色画像データ(疑似画素のデータである場合もある)をデータ重畳部174に順次出力する。図8の(b)および図8の(c)に示したDMA転送の一例では、DMAキャンセル判定部176が、DMA転送T1~DMA転送T10の10回のDMA転送のそれぞれで取得したOSD透明度画像データをデータ重畳部174に順次出力する。また、図8の(b)に示したOSD情報が含まれるラインL1のDMA転送の一例では、OSD画像データDMA処理部173が、DMA転送T1~DMA転送T3の3回のDMA転送のそれぞれで取得したOSD色画像データに引き続き、DMA転送T4~DMA転送T10で取得するOSD色画像データとして、疑似画素のデータ(色情報)をデータ重畳部174に順次出力する。また、図8の(c)に示したOSD情報が含まれないラインL2のDMA転送の一例では、OSD画像データDMA処理部173が、DMA転送T4~DMA転送T10で取得するOSD色画像データとして、疑似画素のデータ(色情報)をデータ重畳部174に順次出力する。
 これにより、データ重畳部174は、表示画像データに応じた表示画像に、OSD画像データDMA処理部173から出力されたそれぞれの画素に対応するOSD色画像データの色情報を、DMAキャンセル判定部176から出力されたそれぞれの画素に対応するOSD透明度画像データの透明度情報に基づいて重畳した画像信号を生成して、表示デバイス70に出力する。
 ここで、データ重畳部174が表示画像にOSD情報を重畳する処理の一例について説明する。表示画像にOSD情報を重畳する処理では、まず、データ重畳部174が、DMAキャンセル判定部176から出力されたOSD透明度画像データと、OSD画像データDMA処理部173から出力されたOSD色画像データとに基づいて、表示画像に対応する1フレーム分のOSD画像を生成する。つまり、データ重畳部174は、従来のOSD画像のデータと同様に、表示画像におけるそれぞれの画素ごとに対応する色情報と透明度情報とを合わせたビットマップデータ形式の1つのビットマップ画像を、OSD画像として生成する。より具体的には、図8の(b)および図8の(c)に示したDMA転送の一例では、図8の(a)に示したOSD画像の一例、つまり、図3の(b)に示したOSD画像の一例のような、OSD画像を生成する(再現する)。
 なお、データ重畳部174は、OSD画像を生成する(再現する)際に、OSD画像データDMA処理部173から出力されたOSD色画像データに含まれるそれぞれの画素の色情報に基づいて、OSD色画像に含まれるそれぞれの画素の色の情報を、ルックアップテーブルなどのテーブル情報を用いて、RGBで表される色の情報や、YCbCrのYC422点順次フォーマットで表される色の情報に再現してもよい。
 その後、データ重畳部174は、生成した(再現した)OSD画像を、表示画像データDMA処理部172から出力された表示画像データに応じた表示画像に重畳した画像の画像信号を生成して、表示デバイス70に出力する。これにより、表示デバイス70は、表示画像にOSD画像を重畳した画像を、表示デバイス70に表示させる。なお、データ重畳部174が表示画像にOSD画像を重畳する画像処理は、既存の画像処理の技術と同様に考えることができる。従って、データ重畳部174が表示画像にOSD画像を重畳する画像処理に関する詳細な説明は省略する。
 なお、データ重畳部174においてOSD情報を表示画像に重畳する方法は、上述したように、OSD透明度画像データとOSD色画像データとに基づいて従来と同様の形式のOSD画像を生成(再現)してから表示画像に重畳する方法に限定されるものではない。例えば、データ重畳部174は、DMAキャンセル判定部176から出力されたOSD透明度画像データ(透明度情報)に基づいて、OSD画像データDMA処理部173から出力されたOSD色画像データ(色情報)を、表示画像データDMA処理部172から出力された表示画像データに応じた表示画像に重畳してもよい。つまり、データ重畳部174は、表示画像に含まれる画素の内、OSD透明度画像データにおいて非透明(あるいは半透明)の透明度情報である画素(非透明OSD画素)に対応する位置の画素に、非透明OSD画素に対応するOSD色画像データ(色情報)を、直接重畳してもよい。なお、この場合においても、データ重畳部174が表示画像にOSD画像を重畳する画像処理は、既存の画像処理の技術と同様に考えることができるため、データ重畳部174が表示画像にOSD画像を重畳する画像処理に関する詳細な説明は省略する。
 本実施形態によれば、付加情報を表示させるための重畳画像(OSD画像)を、表示画像に重畳して表示させる表示処理装置であって、付加情報を表示画像に表示させるためのそれぞれの画素の色を表す色情報で構成された色画像(OSD色画像)と、付加情報を表示画像に表示させるためのそれぞれの画素の透明度を表す透明度情報で構成された透明度画像(OSD透明度画像)との2つの画像が組になったOSD画像を生成し、生成したOSD画像を構成するOSD色画像(OSD色画像データ)とOSD透明度画像(OSD透明度画像データ)とを紐付けて、共通バス(DRAMバス11)に接続された記憶部(DRAM30)の別の空間(アドレス空間)に記憶させる重畳画像生成部(OSDデータ生成部16)と、事前にDRAM30から取得したOSD透明度画像を構成するそれぞれの画素の透明度情報に基づいて、対応するOSD色画像を構成するそれぞれの画素の色情報をDRAM30から取得するか否かを決定し、OSD画像を表示画像に重畳する際に、OSD色画像において取得を行わなかった画素(透明OSD画素)の色情報を、疑似的な色情報(疑似画素の色情報)で補填して表示画像に重畳する表示処理部(表示処理部17)と、を備える表示処理装置が構成される。
 また、本実施形態によれば、表示処理部17は、DRAM30から表示画像を取得し、取得した表示画像(表示画像データ)を出力する表示画像取得部(表示画像データDMA処理部172)と、DRAM30からOSD透明度画像を取得し、取得したOSD透明度画像(OSD透明度画像データ)を出力すると共に、取得したOSD透明度画像を構成するそれぞれの画素の透明度情報に基づいて、対応するOSD色画像を構成するそれぞれの画素の色情報の取得を行うか否かを予め定めた転送単位(DMA転送の単位)で決定し、決定した結果を表すフラグ信号(OSDキャンセルフラグ)を出力する透明度画像取得部(DMAキャンセル判定部176)と、OSD色画像をDMA転送の単位でDRAM30から取得する際に、OSDキャンセルフラグが取得を行うことを表している画素(非透明OSD画素)の色情報のみをDMA転送の単位で取得し、取得を行わなかった透明OSD画素の色情報の代わりに疑似画素の色情報とした画像を、取得したOSD色画像(OSD色画像データ)として出力する色画像取得部(OSD画像データDMA処理部173)と、DMAキャンセル判定部176から出力されたOSD透明度画像を構成するそれぞれの画素の透明度情報に基づいて、表示画像データDMA処理部172から出力された表示画像に含まれる対応する画素に、OSD画像データDMA処理部173から出力されたOSD色画像を構成するそれぞれの画素の色情報を重畳した画像信号を生成し、生成した画像信号を表示装置(表示デバイス70)に出力する画像重畳部(データ重畳部174)と、を備える、表示処理装置が構成される。
 また、本実施形態によれば、OSDデータ生成部16は、DMAキャンセル判定部176がOSD透明度画像の取得を行っておらず、OSD画像データDMA処理部173がOSD色画像の取得を行っていない期間に、OSD色画像とOSD透明度画像とのそれぞれを生成する、表示処理装置が構成される。
 また、本実施形態によれば、表示処理部17は、表示デバイス70に画像信号を表させるタイミング信号である同期信号(垂直同期信号VD、水平同期信号HDなど)を生成する同期信号生成部(同期信号生成部171)、を備え、DMAキャンセル判定部176がOSD透明度画像の取得を行っておらず、OSD画像データDMA処理部173がOSD色画像の取得を行っていない期間は、垂直同期信号VDが表すブランキング期間(垂直ブランキング期間)である、表示処理装置が構成される。
 また、本実施形態によれば、OSDデータ生成部16は、垂直ブランキング期間の先頭のタイミングから、OSD色画像とOSD透明度画像とのそれぞれの生成を開始する、表示処理装置が構成される。
 また、本実施形態によれば、OSDデータ生成部16は、垂直ブランキング期間の先頭から予め定めた時間(例えば、画像処理装置10に備えたその他の構成要素によるDMA転送が完了したと考えられる時間)が経過したタイミングから、OSD色画像とOSD透明度画像とのそれぞれの生成を開始する、表示処理装置が構成される。
 また、本実施形態によれば、OSDデータ生成部16は、DRAMバス11に接続されたバス帯域モニタ(DRAMバス調停部13)が、表示デバイス70に画像信号を表させる期間(1フレームの期間)を予め定めた等間隔に分割したそれぞれの分割期間ごとに測定した、DRAMバス11におけるデータの転送量が少ない分割期間(図6に示した一例では、分割期間TM)に、OSD色画像とOSD透明度画像とのそれぞれを生成する、表示処理装置が構成される。
 また、本実施形態によれば、付加情報を表示させるための重畳画像(OSD画像)を、表示画像に重畳して表示させる表示処理装置であって、付加情報を表示画像に表示させるためのそれぞれの画素の色を表す色情報で構成された色画像(OSD色画像)と、付加情報を表示画像に表示させるためのそれぞれの画素の透明度を表す透明度情報で構成された透明度画像(OSD透明度画像)との2つの画像が組になったOSD画像を生成し、生成したOSD画像を構成するOSD色画像(OSD色画像データ)とOSD透明度画像(OSD透明度画像データ)とを紐付けて、共通バス(DRAMバス11)に接続された記憶部(DRAM30)の別の空間(アドレス空間)に記憶させる重畳画像生成部(OSDデータ生成部16)と、事前にDRAM30から取得したOSD透明度画像を構成するそれぞれの画素の透明度情報に基づいて、対応するOSD色画像を構成するそれぞれの画素の色情報をDRAM30から取得するか否かを決定し、OSD画像を表示画像に重畳する際に、OSD色画像において取得を行わなかった画素(透明OSD画素)の色情報を、疑似的な色情報(疑似画素の色情報)で補填して表示画像に重畳する表示処理部(表示処理部17)と、を具備した表示処理装置(本発明の表示処理装置)、を備える、撮像装置(撮像装置1)が構成される。
 上記に述べたように、本発明の実施形態によれば、本発明の表示処理装置を構成するオンスクリーンディスプレイデータ生成部が、表示デバイスに情報を表示させるオンスクリーンディスプレイ画像を、オンスクリーンディスプレイ画像に含まれるそれぞれの画素における色情報の画像(実施形態では、OSD色画像)と透明度情報の画像(実施形態では、OSD透明度画像)との2つの画像が組になった形式で生成する。また、本発明の実施形態では、本発明の表示処理装置を構成するオンスクリーンディスプレイデータ生成部が、生成した2つの画像のデータ(実施形態では、OSD色画像データおよびOSD透明度画像データ)を紐付けて、記憶装置における別の空間(アドレス空間)の記憶領域に記録させる(書き込ませる)。
 そして、本発明の実施形態では、本発明の表示処理装置を構成する表示処理部が、まず、DMA転送によって記憶装置から、オンスクリーンディスプレイデータ生成部が生成した透明度情報の画像を取得し(読み出し)、取得した透明度情報の画像に基づいて、DMA転送によって記憶装置から色情報の画像を取得する(読み出す)か否かを決定する。つまり、本発明の実施形態では、本発明の表示処理装置を構成する表示処理部が、透明度情報の画像に含まれるそれぞれの画素の透明度情報のデータに基づいて、オンスクリーンディスプレイデータ生成部が生成した色情報の画像に含まれるそれぞれの画素の色情報のデータを記憶装置から取得(読む出す)際のDMA転送を行うか否かを決定する。そして、本発明の実施形態では、本発明の表示処理装置を構成する表示処理部が、DMA転送によって記憶装置から取得する(読み出す)と決定した色情報の画像のデータのみを、DMA転送によって記憶装置から取得(読む出す)。これにより、本発明の実施形態では、表示デバイスに表示させる表示画像に重畳してもオンスクリーンディスプレイ情報として表示されない(反映されない)領域に位置するオンスクリーンディスプレイ画像内の透明な画素の色情報のデータをDMA転送によって取得しない、つまり、オンスクリーンディスプレイ画像において不要な色情報のデータの伝送を行わないようにすることができる。このことにより、本発明の実施形態では、本発明の表示処理装置を構成する表示処理部がDMA転送によって記憶装置からオンスクリーンディスプレイ画像のデータを取得する(読み出す)際のデータの転送量を抑えて、本発明の表示処理装置を含む複数の処理装置が接続されて共有するデータバスのバス帯域の圧迫を低減させることができる。
 しかも、本発明の実施形態では、本発明の表示処理装置を構成する表示処理部が、オンスクリーンディスプレイデータ生成部が生成した色情報の画像に含まれるそれぞれの画素の色情報のデータを記憶装置から取得する(読み出す)DMA転送を行うか否かを決定する透明度情報の画像に含まれるそれぞれの画素の透明度情報のデータは、オンスクリーンディスプレイ画像において本来含まれるそれぞれの画素の透明度情報のデータである。このため、本発明の実施形態では、本発明の表示処理装置を構成する表示処理部が、オンスクリーンディスプレイデータ生成部が生成した透明度情報の画像のデータと色情報の画像のデータとの両方のデータを記憶装置から取得する(読み出す)DMA転送を行った場合でも、このDMA転送によって記憶装置から取得する(読み出す)データの転送量は、最大でも、それぞれのデータの転送量の合計である。これにより、本発明の実施形態では、従来の表示処理装置においてランレングス圧縮をしたことによって考えられる、レングス情報の分だけデータ量が増加したオンスクリーンディスプレイ画像のデータを取得する(読み出す)際のDMA転送におけるデータの転送量の増加が発生することなく、本発明の表示処理装置を構成する表示処理部が、オンスクリーンディスプレイ画像の全てのデータを記憶装置から取得する(読み出す)ことができる。このことにより、本発明の実施形態では、本発明の表示処理装置を構成する表示処理部がDMA転送によって記憶装置からオンスクリーンディスプレイ画像のデータを取得する(読み出す)際に、データの転送量が突出して多くなる期間が発生することなく、本発明の表示処理装置を含む複数の処理装置が接続されて共有するデータバスの最大のバス帯域が突出して多くなることはない。このことにより、本発明の実施形態では、データバスを共有している本発明の表示処理装置以外の処理装置が、同じ期間(時期)に記憶装置との間でデータのやり取りをするDMA転送を行った場合でも、そのDMA転送を阻害して、本発明の表示処理装置とデータバスを共有している他の処理装置の動作に破綻をきたしてしまうような要因を少なくすることができる。
 なお、本発明の実施形態では、OSDデータ生成部16が生成した1フレームのOSD画像データに応じたOSD画像を表示画像データに応じた表示画像に重畳する場合について説明した。しかし、表示画像データに応じた表示画像に重畳するOSD画像データに応じたOSD画像の数(フレーム数)は、本発明の実施形態で示したフレーム数(1フレーム)に限定されるものではない。つまり、表示画像データに応じた表示画像に、複数フレーム分(例えば、2フレーム分)のOSD画像データに応じたOSD画像を重畳してもよい。この場合の考え方は、本発明の実施形態で示した考え方と同様である。従って、表示画像データに応じた表示画像に複数フレーム分のOSD画像データに応じたOSD画像を重畳する場合に関する詳細な説明は省略する。
 また、本発明の実施形態では、OSD画像データ(つまり、OSD色画像データおよびOSD透明度画像データ)を、OSDデータ生成部16が生成する場合について説明した。しかし、OSD画像には、例えば、予め定めたOSD情報を表示画像に重畳するためのOSD画像もある。そして、この場合のOSD画像は、例えば、画像処理装置10に備えたCPU12や、撮像装置1において画像処理装置10の外部に備えた構成要素が生成する場合も考えられる。従って、OSD画像は、OSDデータ生成部16が生成する画像に限定されるものではなく、色情報の画像(OSD色画像)と透明度情報の画像(OSD透明度画像)との2つの画像が組になった形式であれば、いかなる構成要素が生成した画像であってもよい。そして、この場合でも、上述した本発明の表示処理装置と同様の効果を得ることができる。
 以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更をすることができる。
 また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
 上記各実施形態によれば、表示装置に表示させる画像に重畳するオンスクリーンディスプレイ画像を記憶装置から取得する際のデータの転送量を抑えると共に、突出して多くのデータの転送を必要とする期間の発生を抑えることができる。
 1 撮像装置(表示処理装置,撮像装置)
 10 画像処理装置(表示処理装置)
 11 DRAMバス(共通バス)
 12 CPU
 13 DRAMバス調停部(バス帯域モニタ)
 14 撮像処理部
 15 画像処理部
 16 OSDデータ生成部(重畳画像生成部,表示処理装置)
 17 表示処理部(表示処理部,表示処理装置)
 171 同期信号生成部(同期信号生成部,表示処理部,表示処理装置)
 172 表示画像データDMA処理部(表示画像取得部,表示処理部,表示処理装置)
 173 OSD画像データDMA処理部(色画像取得部,表示処理部,表示処理装置)
 174 データ重畳部(画像重畳部,表示処理部,表示処理装置)
 175 遅延調整部(同期信号生成部,表示処理部,表示処理装置)
 176 DMAキャンセル判定部(透明度画像取得部,表示処理部,表示処理装置)
 18 メディアインターフェース部
 30 DRAM(記憶部)
 40 イメージセンサ(撮像装置)
 70 表示デバイス(表示装置)

Claims (8)

  1.  付加情報を表示させるための重畳画像を、表示画像に重畳して表示させる表示処理装置であって、
     前記付加情報を前記表示画像に表示させるためのそれぞれの画素の色を表す色情報で構成された色画像と、前記付加情報を前記表示画像に表示させるためのそれぞれの画素の透明度を表す透明度情報で構成された透明度画像との2つの画像が組になった重畳画像を生成し、生成した前記重畳画像を構成する前記色画像と前記透明度画像とを紐付けて、共通バスに接続された記憶部の別の空間に記憶させる重畳画像生成部と、
     事前に前記記憶部から取得した前記透明度画像を構成するそれぞれの画素の前記透明度情報に基づいて、対応する前記色画像を構成するそれぞれの画素の前記色情報を前記記憶部から取得するか否かを決定し、前記重畳画像を前記表示画像に重畳する際に、前記色画像において取得を行わなかった前記画素の前記色情報を、疑似的な色情報で補填して前記表示画像に重畳する表示処理部と、
     を備える表示処理装置。
  2.  前記表示処理部は、
     前記記憶部から前記表示画像を取得し、取得した前記表示画像を出力する表示画像取得部と、
     前記記憶部から前記透明度画像を取得し、取得した前記透明度画像を出力すると共に、取得した前記透明度画像を構成するそれぞれの画素の前記透明度情報に基づいて、対応する前記色画像を構成するそれぞれの画素の前記色情報の取得を行うか否かを予め定めた転送単位で決定し、決定した結果を表すフラグ信号を出力する透明度画像取得部と、
     前記色画像を前記転送単位で前記記憶部から取得する際に、前記フラグ信号が取得を行うことを表している画素の前記色情報のみを前記転送単位で取得し、取得を行わなかった画素の前記色情報の代わりに前記疑似的な色情報とした画像を、取得した前記色画像として出力する色画像取得部と、
     前記透明度画像取得部から出力された前記透明度画像を構成するそれぞれの画素の前記透明度情報に基づいて、前記表示画像取得部から出力された前記表示画像に含まれる対応する画素に、前記色画像取得部から出力された前記色画像を構成するそれぞれの画素の前記色情報を重畳した画像信号を生成し、生成した前記画像信号を表示装置に出力する画像重畳部と、
     を備える、
     請求項1に記載の表示処理装置。
  3.  前記重畳画像生成部は、
     前記透明度画像取得部が前記透明度画像の取得を行っておらず、前記色画像取得部が前記色画像の取得を行っていない期間に、前記色画像と前記透明度画像とのそれぞれを生成する、
     請求項2に記載の表示処理装置。
  4.  前記表示処理部は、
     前記表示装置に前記画像信号を表させるタイミング信号である同期信号を生成する同期信号生成部、
     を備え、
     前記透明度画像取得部が前記透明度画像の取得を行っておらず、前記色画像取得部が前記色画像の取得を行っていない期間は、
     前記同期信号が表すブランキング期間である、
     請求項3に記載の表示処理装置。
  5.  前記重畳画像生成部は、
     前記ブランキング期間の先頭のタイミングから、前記色画像と前記透明度画像とのそれぞれの生成を開始する、
     請求項4に記載の表示処理装置。
  6.  前記重畳画像生成部は、
     前記ブランキング期間の先頭から予め定めた時間が経過したタイミングから、前記色画像と前記透明度画像とのそれぞれの生成を開始する、
     請求項4に記載の表示処理装置。
  7.  前記重畳画像生成部は、
     前記共通バスに接続されたバス帯域モニタが、前記表示装置に前記画像信号を表させる期間を予め定めた等間隔に分割したそれぞれの分割期間ごとに測定した、前記共通バスにおけるデータの転送量が少ない前記分割期間に、前記色画像と前記透明度画像とのそれぞれを生成する、
     請求項2に記載の表示処理装置。
  8.  付加情報を表示させるための重畳画像を、表示画像に重畳して表示させる表示処理装置であって、前記付加情報を前記表示画像に表示させるためのそれぞれの画素の色を表す色情報で構成された色画像と、前記付加情報を前記表示画像に表示させるためのそれぞれの画素の透明度を表す透明度情報で構成された透明度画像との2つの画像が組になった重畳画像を生成し、生成した前記重畳画像を構成する前記色画像と前記透明度画像とを紐付けて、共通バスに接続された記憶部の別の空間に記憶させる重畳画像生成部と、事前に前記記憶部から取得した前記透明度画像を構成するそれぞれの画素の前記透明度情報に基づいて、対応する前記色画像を構成するそれぞれの画素の前記色情報を前記記憶部から取得するか否かを決定し、前記重畳画像を前記表示画像に重畳する際に、前記色画像において取得を行わなかった前記画素の前記色情報を、疑似的な色情報で補填して前記表示画像に重畳する表示処理部と、を具備した表示処理装置、
     を備える、
     撮像装置。
PCT/JP2017/027553 2017-07-28 2017-07-28 表示処理装置および撮像装置 WO2019021484A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027553 WO2019021484A1 (ja) 2017-07-28 2017-07-28 表示処理装置および撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027553 WO2019021484A1 (ja) 2017-07-28 2017-07-28 表示処理装置および撮像装置

Publications (1)

Publication Number Publication Date
WO2019021484A1 true WO2019021484A1 (ja) 2019-01-31

Family

ID=65040481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027553 WO2019021484A1 (ja) 2017-07-28 2017-07-28 表示処理装置および撮像装置

Country Status (1)

Country Link
WO (1) WO2019021484A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728986A (ja) * 1993-07-09 1995-01-31 Fuji Xerox Co Ltd 画像合成処理装置
JP2007170834A (ja) * 2005-12-19 2007-07-05 Denso Corp ナビゲーション装置及びナビゲーション装置の画像表示方法
JP2008305030A (ja) * 2007-06-05 2008-12-18 Denso Corp 合成画像生成装置
WO2009037818A1 (ja) * 2007-09-19 2009-03-26 Panasonic Corporation デジタル画像処理装置
JP2009540371A (ja) * 2006-06-08 2009-11-19 クゥアルコム・インコーポレイテッド 複数の表示層の調合
US20100275143A1 (en) * 2009-04-24 2010-10-28 Shenzhen Tcl New Technology Ltd. On-screen display system and method
JP2012133178A (ja) * 2010-12-22 2012-07-12 Clarion Co Ltd 表示制御装置、表示レイヤ合成プログラム
JP2013015764A (ja) * 2011-07-06 2013-01-24 Panasonic Corp マルチレイヤ表示処理装置
JP2013016117A (ja) * 2011-07-06 2013-01-24 Olympus Corp バスモニタ装置、バスモニタ方法、およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728986A (ja) * 1993-07-09 1995-01-31 Fuji Xerox Co Ltd 画像合成処理装置
JP2007170834A (ja) * 2005-12-19 2007-07-05 Denso Corp ナビゲーション装置及びナビゲーション装置の画像表示方法
JP2009540371A (ja) * 2006-06-08 2009-11-19 クゥアルコム・インコーポレイテッド 複数の表示層の調合
JP2008305030A (ja) * 2007-06-05 2008-12-18 Denso Corp 合成画像生成装置
WO2009037818A1 (ja) * 2007-09-19 2009-03-26 Panasonic Corporation デジタル画像処理装置
US20100275143A1 (en) * 2009-04-24 2010-10-28 Shenzhen Tcl New Technology Ltd. On-screen display system and method
JP2012133178A (ja) * 2010-12-22 2012-07-12 Clarion Co Ltd 表示制御装置、表示レイヤ合成プログラム
JP2013015764A (ja) * 2011-07-06 2013-01-24 Panasonic Corp マルチレイヤ表示処理装置
JP2013016117A (ja) * 2011-07-06 2013-01-24 Olympus Corp バスモニタ装置、バスモニタ方法、およびプログラム

Similar Documents

Publication Publication Date Title
US20160065865A1 (en) Imaging device and imaging system
US11431941B2 (en) Method, apparatus, and system for processing digital images
US20190051270A1 (en) Display processing device and imaging device
US20180270448A1 (en) Image processing system
US9658815B2 (en) Display processing device and imaging apparatus
US10681266B2 (en) Method, apparatus, and system for processing digital images
US9253401B2 (en) Imaging device and imaging method where shake adjusted image is divided into regions for parallel processing
JP2008219317A (ja) 撮像装置
WO2019021484A1 (ja) 表示処理装置および撮像装置
TW201947925A (zh) 影像傳輸方法及其系統與影像傳送端裝置
US11165956B2 (en) Imaging apparatus
JPH1169226A (ja) 電子カメラ
JP2014099714A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US20220021852A1 (en) Color fringing processing independent of tone mapping
JP6250970B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
US9021162B2 (en) Data packet generation apparatus and data packet generation method
JP2005080143A (ja) 資料提示装置およびその画像処理方法
JP5158165B2 (ja) 撮影装置、表示タイミング制御回路
US9225908B2 (en) Imaging apparatus
JP6280713B2 (ja) 撮像装置
JP6091216B2 (ja) 画像信号処理装置およびその制御方法、並びに撮像装置
JP2014216668A (ja) 撮像装置
JP6021556B2 (ja) 画像処理装置
US20200314349A1 (en) Image processing device, image processing method, and program
JP2003224856A (ja) インタレース転送方式の撮像装置および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17919519

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17919519

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP