WO2018034214A1 - 回路装置、電子機器及びエラー検出方法 - Google Patents
回路装置、電子機器及びエラー検出方法 Download PDFInfo
- Publication number
- WO2018034214A1 WO2018034214A1 PCT/JP2017/028953 JP2017028953W WO2018034214A1 WO 2018034214 A1 WO2018034214 A1 WO 2018034214A1 JP 2017028953 W JP2017028953 W JP 2017028953W WO 2018034214 A1 WO2018034214 A1 WO 2018034214A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display
- index
- error detection
- display image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Definitions
- the present invention relates to a circuit device, an electronic device, an error detection method, and the like.
- a processing device such as a CPU transmits image data and a control signal to a display controller, and the display controller performs image processing and timing signal generation, and the image processing is performed.
- the display driver drives the display panel according to the image data and the timing signal.
- an LVDS Low Voltage Differential Signal
- RGB serial method RGB serial method
- a data error due to a communication error or the like may occur in the image data received by the display controller in such communication.
- Patent Documents 1 to 3 disclose techniques for detecting errors in image data received by a display controller from a processing device using CRC (Cyclic Redundancy Check).
- bit-unit error detection such as CRC
- CRC bit-unit error detection
- a circuit device an electronic device, an error detection method, and the like that can appropriately detect an error that is erroneously recognized by a user.
- One aspect of the present invention includes an image acquisition circuit that acquires a display image, and an error detection circuit that detects an error in the display image, and the error detection circuit obtains a histogram of pixel values of the display image, A correlation calculation using the histogram is performed, and the degree of dissimilarity between a foreground image that is an image of a given region in the display image and a background image that corresponds to the background of the foreground image in the display image is calculated.
- the present invention relates to a circuit device that obtains an index to be expressed based on the result of the correlation calculation and performs the error detection based on the index.
- an index indicating the degree of dissimilarity between the foreground image and the background image is obtained from the result of the correlation calculation based on the histogram of the display image, and error detection of the display image is performed based on the index. .
- the error detection circuit obtains the histogram of each component of a color space component, performs an autocorrelation operation on the histogram of each component, and generates a distance at which an autocorrelation peak occurs. May be obtained for each component, and the index may be obtained based on the maximum distance among the obtained distances.
- the index can be obtained from the component having the largest difference between the foreground image and the background image among the components of the color space.
- the component having the largest difference between the foreground image and the background image is considered to have a large difference visually, and the degree of dissimilarity between the foreground and the background can be appropriately evaluated by obtaining an index from the component.
- the error detection circuit obtains a first histogram of each component of a color space from the display image as the histogram, and calculates each component from a reference image corresponding to the foreground scene image.
- a second histogram may be obtained, a cross-correlation operation between the first histogram and the second histogram may be performed for each component, and the index may be obtained based on a peak value of a cross-correlation peak.
- an image similar to the reference image in at least the color or luminance pattern is included in the display image.
- the degree of dissimilarity between the foreground and the background can be appropriately evaluated by obtaining an index from the peak value.
- the error detection circuit is based on a pixel value of the display image and a pixel value of a reference image serving as a reference of the foreground image, or an edge of the display image and an edge of the reference image.
- a second index representing a degree of coincidence between the foreground image that is an image of the given area in the display image and the reference image is obtained, and the error detection is performed based on the index and the second index. You may go.
- the index indicating the degree of dissimilarity in brightness and color between the foreground image and the reference image is combined with the second index indicating the degree of matching of the shape between the foreground image and the reference image.
- the error detection of the display image can be performed with higher accuracy.
- the image acquisition circuit generates the display image by superimposing a second image on the given region with respect to the first image, and the background image is the display image.
- a second image is the display image.
- an image corresponding to the first image may be used.
- a display image can be generated by overlaying icons, characters, etc. on the input image.
- the overlaid characters and icons correspond to the foreground image
- the other part of the original input image corresponds to the background image.
- Another aspect of the present invention includes an image acquisition circuit that acquires a display image, and an error detection circuit that detects an error in the display image.
- the error detection circuit includes a pixel value of the display image and a foreground image. An image of a given region of the display image based on the pixel value of the reference image serving as the reference of the image, or based on the pixel value of the edge image of the display image and the pixel value of the edge image of the reference image.
- the present invention relates to a circuit device that obtains an index indicating a degree of coincidence between the foreground image and the reference image, and performs error detection of the display image based on the index.
- the index indicating the degree of coincidence between the foreground image and the reference image is based on the pixel value of the display image and the pixel value of the reference image, or the pixel value of the edge image of the display image. It is obtained based on the pixel value of the edge image of the reference image, and error detection is performed based on the index.
- the error detection circuit performs sub-sampling to reduce the number of pixels or resolution of the display image and the reference image, and the sub-sampled pixel value of the display image and the sub-sampling
- the distance information representing the distance in the color space with the pixel value of the reference image thus obtained may be obtained, and the index may be obtained from the distance information.
- the distance in the color space between the pixel value of the subsampled display image and the pixel value of the subsampled reference image should be small (short) when the shapes match. For this reason, by using the distance in the color space, the degree of coincidence of the shapes can be appropriately evaluated. In addition, since pixel values are averaged by performing sub-sampling, it is possible to reduce the influence of minor errors that do not affect the shape.
- the error detection circuit may obtain the index from a value obtained by dividing a given threshold value by the distance information.
- the distance represented by the distance information becomes smaller as the degree of matching of the shape is higher. For this reason, by dividing a given threshold value by distance information, it is possible to obtain an index whose value increases as the degree of matching of the shapes increases.
- the error detection circuit performs a product-sum operation on a pixel value of the edge image of the display image and a pixel value of the edge image of the reference image, and the result of the product-sum operation An indicator may be obtained.
- An edge image is an image in which an edge amount is defined as a pixel value of each pixel.
- the error detection circuit masks a region corresponding to the background image among edge images of the display image, and uses the masked edge image of the display image, A product-sum operation may be performed.
- the image acquisition circuit may generate the display image by superimposing a second image on the given region with respect to the first image.
- a display image can be generated by overlaying icons, characters, etc. on the input image.
- the overlaid characters and icons correspond to the foreground image
- the other part of the original input image corresponds to the background image.
- Still another embodiment of the present invention relates to an electronic device including the circuit device described in any of the above.
- a histogram of pixel values of a display image is obtained, a correlation calculation is performed using the histogram, a foreground image that is an image of a given region of the display image, and the display image
- An error detection method for obtaining an index representing a degree of dissimilarity with a background image corresponding to the background of the foreground image based on the result of the correlation calculation, and detecting an error in the display image based on the index Involved.
- Still another aspect of the present invention is based on the pixel value of the display image and the pixel value of the reference image serving as a reference of the foreground image, or the pixel value of the edge image of the display image and the edge image of the reference image
- An index indicating the degree of coincidence between the reference image and the foreground image that is an image of a given region of the display image is obtained based on the pixel value of the display image, and error detection of the display image is performed based on the index Related to the error detection method.
- FIG. 1 is a configuration example of a circuit device according to the present embodiment.
- the flowchart which shows the processing flow of an error detection process. Histogram of each channel of YCbCr in the region of interest. Autocorrelation value obtained by performing autocorrelation operation on the histogram.
- the 1st example of a display image Example of histogram when foreground is multitone.
- An example of a reference image Averaged image of the reference image.
- the 4th example of a display picture A first example of a reference image, a display image (region of interest), and a mask image.
- standard image and display image of a 1st example A second example of a reference image, a display image (region of interest), and a mask image.
- FIG. 1 is a configuration example of a circuit device according to this embodiment.
- the circuit device 100 includes an interface 110 (first interface), a preprocessing circuit 120 (image processing circuit), an image acquisition circuit 130 (on-screen display circuit), an interface 140 (second interface), an error detection circuit 150, a CRC.
- a circuit 160, a register circuit 170, an icon processing circuit 180 (icon color expansion circuit), an interface 190 (third interface), and a memory 195 (storage circuit) are included.
- the circuit device 100 is, for example, an integrated circuit device (IC).
- the interface 110 receives image data transmitted from the processing device 200 or the like to the circuit device 100, for example, and converts the received image data into a format used inside the circuit device 100.
- the interface 110 is OpenLDI (Open LVDS Display Interface), and converts a serial signal received by LVDS (Low Voltage Differential Signaling) into an RGB parallel signal.
- the processing device 200 is, for example, an MCU (Micro Control Unit) or a CPU (Central Processing Unit).
- the preprocessing circuit 120 performs various image processing on the image data input from the interface 110. For example, the preprocessing circuit 120 performs gamma correction, FRC (Frame Rate Control), white balance processing, and the like. For example, a one-dimensional lookup table for each of the R channel, the G channel, and the B channel is stored in the memory 195 (or the register circuit 170 or a non-volatile memory not shown), and the lookup table is used. Gamma correction is performed for each channel. In FRC, a process of expressing a pseudo gray level is performed by switching gray levels between frames.
- FRC Full Rate Control
- a one-dimensional look-up table for adjusting white balance is stored in the memory 195 (or the register circuit 170 or a non-volatile memory not shown), and the RGB channels are determined using the look-up table. adjust.
- the icon processing circuit 180 generates (or acquires) an icon image.
- a mask image of an icon is stored in the memory 195, and the icon image is generated by converting the mask image into an RGB image.
- the mask image is a k-bit image in which each pixel has k-bit data.
- k is an integer of 1 or more.
- the color table is a lookup table in which two colors are associated with a 1-bit index, and a specific color is associated with “0” representing a background pixel to represent a foreground pixel. “1” is associated with another color (a specific color different from the background).
- the memory 195 is a RAM such as an SRAM.
- the image acquisition circuit 130 synthesizes the icon image with the input image by superimposing the icon image on the image input from the pre-processing circuit 120 (hereinafter, input image), and displays the combined image as a display image (rendered image). ) To the interface 140.
- the image acquisition circuit 130 superimposes the icon image on the input image so that the icon image completely hides the background (input image) (so that the background cannot be seen).
- the icon image and the background may be blended ( ⁇ blend) at a given blend ratio.
- the position where the icon image is superimposed on the input image is set, for example, in the register circuit 170 (or the memory 195 or a non-illustrated non-volatile memory).
- the error detection circuit 150 detects an error in the display image by image analysis. That is, it is checked by image analysis whether or not the icon image is correctly combined with the input image.
- the error detection circuit 150 obtains an index indicating whether the image of the region of interest is appropriately displayed from the region of interest (ROI: Region Of Interest) of the display image, and performs error detection based on the indicator.
- the region of interest is a region including an icon in the display image.
- the index is a visibility index for evaluating icon visibility and a shape index for evaluating the similarity between the icon shape and a reference (for example, a mask image). These indices will be described later.
- the interface 140 outputs the display image to the outside of the circuit device 100 (for example, a display driver that drives the display panel).
- the interface 140 is an LVDS interface, and converts RGB parallel signals from the image acquisition circuit 130 into LVDS serial signals.
- the interface 140 stops outputting the display image when an error is detected by the error detection circuit 150.
- a display image is output together with error information (for example, an error determination flag or an index) detected by the error detection circuit 150, and the display driver that has received the error information performs an operation based on the error information (such as display stop). May be performed.
- the interface 190 communicates setting information, control information, and the like between the circuit device 100 and the processing device 200.
- the interface 190 is a serial communication interface such as an SPI (Serial Peripheral Interface) method or an I2C method.
- SPI Serial Peripheral Interface
- I2C I2C
- the CRC circuit 160 performs error detection by CRC on the image data received by the interface 110. That is, the CRC value (reference) input from the processing device 200 via the interface 190 is compared with the CRC value calculated from the image data received by the interface 110, and it is detected whether or not they match.
- logic circuits for example, the preprocessing circuit 120, the image acquisition circuit 130, the error detection circuit 150, the CRC circuit 160, the icon processing circuit 180, etc.
- the circuit device 100 may be configured as individual circuits, for example. Alternatively, it may be configured as a circuit integrated by automatic placement and routing or the like. Further, some or all of these logic circuits may be realized by a processor such as a DSP (Digital Signal Processor). In this case, a program or instruction set describing the function of each circuit is stored in the memory, and the function of each circuit is realized by the processor executing the program or instruction set.
- DSP Digital Signal Processor
- Detection is done by analyzing a region of interest (ROI) and deriving several key indicators that indicate the extent to which the region is correctly displayed.
- ROI region of interest
- a method and concept for verifying a display image with respect to a reference will be used. This is achieved by calculating the degree of coincidence of the display image with respect to the reference image.
- a region of interest (ROI) in a display image is considered will be described.
- the entire image can be easily extended (by setting the ROI at the boundary of the entire image).
- the method (algorithm) of the present invention is applied to a color image.
- the method of the present invention can also be applied to a grayscale image or a binary image (monochrome image).
- FIG. 2 is a flowchart showing a processing flow of error detection processing.
- a display image is acquired by superimposing an icon image on the input image (S1, S2).
- an error detection process is performed by comparing the reference image (S3) and the display image (S2) (S4), and an index is obtained (S5).
- the reference image is not always acquired. For example, when obtaining the visibility index, the index may be calculated using only the display image without using the reference image.
- the validity of the display image is confirmed by comparing the display image with the reference image.
- color shift, luminance change, scaling, or change due to predetermined intentional image conversion is not detected as an error, but deformation due to unintentional rotation or error due to cropping or noise that makes it impossible for the user to recognize the image Detect other important errors such as
- the visibility index is a numerical value that defines the degree to which the image of the region of interest can be visually recognized without melting into the background. Note that the region of interest may be defined to include the entire image.
- error detection processing is applied to color images (monochrome or grayscale images by using one channel for gray or using only two values in one channel for binary images. (Can be applied to (subset)).
- the pixel of the region of interest in the display image is converted from the RGB format to the YCbCr format.
- the method of the present invention can be applied to other color spaces (for example, Lab or Hsv).
- FIG. 3 is a histogram of each channel of YCbCr in the region of interest.
- FIG. 4 shows autocorrelation values obtained by performing autocorrelation calculation on the histogram.
- a histogram is obtained using n bins for each channel of the YCbCr image. For example, 256 bins can be used to generate a histogram with a different set of bins.
- Histogram counts the number of times a specific value occurs in the region of interest. That is, for each channel of the YCbCr image, the number of pixels having the value indicated by each bin is counted in the region of interest.
- the histogram of each channel is cross-correlated with itself (autocorrelation calculation) and the autocorrelation signal is used for further analysis. As shown in FIG. 4, the autocorrelation signal is normalized so that the peak value at zero delay is 1 (or a preset value).
- the autocorrelation value is obtained by the following equation (1).
- m represents the bin number of the histogram.
- n represents a delay, and in FIG. 4, n is an integer of ⁇ 255 to +255.
- the horizontal axis is 0 to 1. Since the correlation values in FIG. 4 are obtained while changing the delay one bin at a time, the horizontal axis is ⁇ (256-1) to + (256-1).
- a sideband is obtained by autocorrelation calculation.
- the distance of the delay from the center where the peak occurs indicates the contrast between colors. Contrast (brightness contrast and color contrast) allows the human eye to identify image features, so it checks for the peaks of all three channels.
- the Y channel is indicated by a dotted line
- the Cb channel is indicated by a thin solid line
- the Cr channel is indicated by a thick solid line.
- the check is performed by setting a threshold value for peak search (so as not to pick up noise of the autocorrelation signal). For example, the minimum peak threshold is set to 0.05. A peak in the signal (a peak having a peak value greater than the threshold value) is searched to obtain a local maximum value.
- the minimum distance between consecutive peaks can be set to a predetermined value.
- These threshold values are adjustable values and are selected according to the application.
- the peaks are indicated by circles.
- the index value is shown as the Vis parameter. The above calculation is shown for one example.
- FIG. 5 is a first example of a display image (analysis image).
- A1 is a region of interest
- A2 is an icon. Note that the dotted line indicating the region of interest is not actually drawn on the display image. For example, the inside of the icon A2 (the portion shown in black in FIG. 5) is red, and the background (the portion shown in white in FIG. 5) is green.
- the error detection circuit 150 performs error detection based on the visibility index obtained as described above. For example, the visibility index is compared with a given threshold, and an error is determined when the visibility index is smaller than the given threshold. Alternatively, the visibility index may be output to the outside of the circuit device 100 as an error detection result.
- the visibility index is obtained using cross-correlation calculation.
- the reference visibility in the region of interest is checked using autocorrelation calculation.
- the reference image in this case does not include information (color or the like) related to the background image. Therefore, only the composite image (display image) is analyzed to check whether the composite image includes two or more colors.
- the reference image includes the entire information (for example, the source image is changed by display processing).
- the histogram of the reference image can be created by the same method as the histogram of the analysis image (display image), and a cross-correlation operation between the histogram signals of the reference image and the analysis image can be performed instead of the autocorrelation operation.
- the autocorrelation operation is a cross-correlation operation of the signal itself. Therefore, it is possible to perform cross-correlation calculation or autocorrelation calculation by changing only the input signal for the correlation calculation. That is, in the above equation (1), the histogram of the reference image is one of f and g, and the histogram of the display image is the other of f and g.
- the reference image and the analysis image are quite in agreement as long as the pixel distribution is considered. Thereby, the first level error detection can be performed on the analysis image.
- This parameter does not indicate spatial correlation (pixel distribution correlation only).
- the index in this case may be the peak value itself instead of the peak distance from the center in the case of autocorrelation calculation.
- FIG. 6 is an example of a histogram when the foreground such as an icon is multi-tone (two or more colors).
- FIG. 7 is an example of the cross-correlation value of the histogram of FIG.
- description will be given for one channel of a color image, the same processing is performed for a plurality of channels. For example, the maximum peak value among the peaks of the cross-correlation values of a plurality of channels may be adopted.
- FIG. 6 there are three or more peaks (4 in FIG. 6) in the histograms of the display image (composite image) and the reference image. Assume that the histogram peak of the display image and the histogram peak of the reference image are shifted by Bn. In this case, as shown in FIG. 7, a large peak appears at the delay Bn in the cross-correlation value. When the peak value of this peak is larger than the threshold value Thr, for example, the peak value is adopted as the visibility index value.
- the contrast ratio between the foreground and the background is obtained as a visibility index value.
- between bins Ba and Bb in which a peak occurs in the Cr channel histogram is used as the visibility index value.
- / Bb is obtained and used as a visibility index value.
- C1
- in the display image and C2
- a visibility index is obtained by generating a multidimensional histogram.
- a histogram (one-dimensional histogram) of each channel is used for visibility analysis.
- a multidimensional histogram is generated from signals of a plurality of channels, and a multidimensional correlation operation (multidimensional autocorrelation calculation or multidimensional crosscorrelation calculation) is performed on the multidimensional histogram to visually recognize the multidimensional histogram.
- a multidimensional correlation operation multidimensional autocorrelation calculation or multidimensional crosscorrelation calculation
- the circuit device 100 includes the image acquisition circuit 130 that acquires a display image, and the error detection circuit 150 that detects an error in the display image. Then, the error detection circuit 150 obtains a histogram (FIG. 3) of the pixel values (YCbCr channels) of the display image, and performs correlation calculation using the histogram (FIG. 4).
- the error detection circuit 150 includes an index (a visibility index, a degree of dissimilarity) between a foreground image that is an image of a given region in the display image and a background image that corresponds to the background of the foreground image in the display image. The first index) is obtained based on the correlation calculation result, and error detection is performed based on the index.
- error detection of the display image can be performed based on an index representing the degree of dissimilarity between the foreground image and the background image of the display image, not the error detection in bit units such as CRC.
- the foreground image has a high degree of dissimilarity to the background image, it is highly likely that the foreground image is visually distinguished from the background image, and thus the foreground image is considered highly visible. That is, according to the present method, it is possible to determine an error when the foreground image has low visibility.
- an in-vehicle meter panel or the like displays an icon or the like for warning the user. According to the present embodiment, such icons can be displayed as much as possible in the case where visibility is ensured without being stopped due to a 1-bit error or the like, and a warning can be given to the user.
- the image acquisition circuit 130 is an OSD, but is not limited to this, and the image acquisition circuit 130 may be any circuit that acquires an arbitrary display image. Details will be described in “3. Modifications”.
- the display image is an image generated for display on a display (display device).
- the display image is an image rendered by OSD.
- the display image is not limited to this. For example, an image generated by some image processing, an image received by communication, or read from a memory. It may be an image or the like.
- error detection is to output an error detection result based on an index, for example, to determine whether an error exists in a display image based on the index.
- the index may be output as an error detection result.
- the index value increases as the degree of dissimilarity between the foreground image and the background image increases. In this case, when the index is smaller than a given value, it is determined that the display image includes an error.
- the foreground image is an image of an area in the display image where it is desired to determine the degree of dissimilarity with the background image using an index.
- the area is a given area.
- a mask image for specifying the foreground is prepared (stored in a memory or the like), and the pixels (for example, “1” in a 1-bit mask) that define the foreground in the mask image are used.
- a given area More specifically, the position on the display image to which the mask image defining the foreground is applied (for example, the position where the icon is overlaid) is specified, and the foreground is specified from the position and the mask image.
- the background image is a part or the whole of the display image excluding the foreground image. That is, a region of interest (region including a foreground image) is set in a part or the whole of the display image, and an image of a region excluding the foreground image in the region of interest is a background image.
- the pixel of the background image is specified by the pixel defining the background in the mask image (for example, “0” pixel in the 1-bit mask).
- the degree of dissimilarity is the degree of dissimilarity in each component of the color space component (channel). For example, in the YCbCr space, this is a degree representing how much the luminance of the foreground image and the luminance of the background image are different, or how much the colors of the foreground image and the background image are different. Or, in the RGB space, it is a degree representing how much the color of the foreground image differs from the color of the background image.
- the error detection circuit 150 obtains a histogram of each component of the color space component (channel) (FIG. 3), performs an autocorrelation operation on the histogram of each component, and the autocorrelation peak is found. The resulting distance is determined for each component (FIG. 4), and an index (visibility index) is determined based on the maximum distance (
- the index can be obtained from the component having the largest difference between the foreground image and the background image among the components of the color space.
- the component with the largest difference between the foreground image and the background image seems to have a large difference visually, so by obtaining an index from that component, the visibility of the foreground (degree of dissimilarity with the background) can be appropriately adjusted. Can be evaluated.
- the index may be a value obtained based on the maximum distance
- the index is the maximum distance
- the index is a contrast ratio (
- the error detection circuit 150 obtains a first histogram of each component of the color space from the display image as a histogram, and obtains a second histogram of each component from the reference image corresponding to the foreground image. (FIG. 6).
- the error detection circuit 150 performs a cross-correlation operation between the first histogram and the second histogram for each component, and obtains an index based on the peak value of the cross-correlation peak (FIG. 7).
- an index indicating the degree of dissimilarity between the foreground image and the background image can be obtained. That is, two or more peaks occur in the histogram of the reference image. If the same pattern as this histogram is included in the histogram of the display image, an image similar to the reference image in at least the color or luminance pattern is displayed. Will be included. In this case, since a large peak should occur in the result of the cross-correlation calculation, the foreground visibility (degree of dissimilarity with the background) can be appropriately evaluated by obtaining an index from the peak value.
- the reference image is an image corresponding to the foreground image when it is assumed that the foreground image is correctly displayed in the display image. More specifically, at least the peak pattern in the histogram is the same image as the foreground image. At this time, as long as the relative positional relationship between the peaks is the same as shown in FIG. 6, the entire pattern may be shifted.
- the error detection circuit 150 determines whether the foreground image and the reference image are based on the pixel value of the display image and the pixel value of the reference image as a reference of the foreground image, or the edge of the display image and the edge of the reference image.
- a second index (shape index) representing the degree of coincidence of the two is obtained, and error detection is performed based on the index (visibility index) and the second index (shape index).
- the image acquisition circuit 130 generates a display image by superimposing the second image on a given area with respect to the first image.
- the background image is an image corresponding to the first image among the display images.
- a display image can be generated by overlaying, for example, an icon or a character on the input image by the OSD.
- the overlaid characters and icons correspond to the foreground image
- the other part of the original input image corresponds to the background image.
- by performing such an error detection of the display image it is possible to determine an error when an icon or a character is not properly overlaid on the OSD (that is, so that the user can visually recognize it). Become.
- a processing error of about 1 bit occurs in the overlay, it is not determined as an error when visibility can be ensured, so an icon or a character can be presented to the user.
- this embodiment can be implemented as an error detection method as described below. That is, in this method, a histogram of pixel values of a display image is obtained, and a correlation operation is performed using the histogram, and a foreground image that is an image of a given region in the display image and a background of the foreground image in the display image are displayed. An index representing the degree of dissimilarity with the background image corresponding to is obtained based on the result of the correlation calculation, and error detection of the display image is performed based on the index.
- this embodiment can be implemented as an error detection method as described below. That is, in this method, the region of interest of the display image is analyzed, and an index describing the visibility of the foreground with respect to the background is calculated (at this time, the reference image may be used as a mask to identify the foreground). The index is calculated using the following technique (a) or (b). (A) Search foreground / background separation using histogram of display image. (B) The foreground / background contrast ratio is calculated.
- the shape index is an index indicating whether or not the shape of the region of interest in the analysis image (display image) matches the reference image.
- a calculation method of the shape index will be described.
- the ROI pixel blocks of the analysis image are averaged so that the final averaged image has m ⁇ n pixels.
- This sub-sampling process is performed because a small number of pixel errors are not detected as important errors, and these errors (color shift, small distortion, etc.) are ignored, and the entire shapes of the reference image and the analysis image are confirmed. .
- the resolution of the subsampled image can be increased.
- the value of m ⁇ n can be selected according to the application. As described below, when used in connection with a reference image, the value of m ⁇ n is selected based on sample data observation.
- the average block size is u / m ⁇ v / n pixels.
- the analysis image pixel in the portion where the reference pixel does not exist is deleted. This corresponds to reference foreground masking. This is done because it is necessary to baseline the background pixels between the reference image and the analysis image (alignment is made under the same conditions). Therefore, the value of the background pixel is set to the same value in both the analysis image and the reference image.
- the average of the reference image is also performed so as to be m ⁇ n pixels. Averaging is performed separately for each channel.
- FIG. 8 is an example of a reference image.
- the foreground F1 (icon) of the reference image RIA is colored, and the background (area other than the icon) is colorless such as black.
- the size of the reference image RIA is 256 ⁇ 256 pixels.
- FIG. 9 is an averaged image of the reference image.
- the average image (SRef m ⁇ n) of the reference image and the average image (SAnz m ⁇ n) of the region of interest of the analysis image are compared for each pixel using the distance reference, and the following equation (2)
- the distance D three-dimensional distance
- the distance reference is the square of the Cartesian distance, but similar parameters can be obtained even with other distance references.
- R xyc represents the pixel value at the position (x, y) of the averaged image of the reference image in the channel c.
- R ′ c represents the average value of R xy pixels in channel c (R xyc averaged in the averaged image).
- a xyc represents the pixel value at the position (x, y) of the averaged image of the analysis image in channel c.
- a ′ c represents the average value of A xy pixels in channel c (A xyc averaged in the averaged image).
- the reason why the average value is subtracted in each channel is to prevent a small color shift between the reference image and the analysis image from being treated as an error. If a perfect match is desired, the average value can be set to zero. In this case, the coincidence of shape and color is checked based on the distance criterion.
- the analysis image is, for example, FIG.
- the region of interest A1 is extracted around the reference (around the region where the reference image is combined with the input image).
- the region of interest is indicated by a dotted rectangle.
- the shape index S (shape parameter) is derived from the distance parameter by the following equations (3) and (4).
- T is a threshold value, and any value can be adopted.
- Function f is selected so that it can be easily implemented in hardware.
- the function f may be a scaling function K such that the range 0-1 is scaled to 0-k.
- the shape index S indicates the degree of coincidence of the shape between the reference image and the analysis image. If the images do not match, this value tends to decrease and become zero. Examples are described below.
- the icon of the reference image is correctly displayed in the analysis image.
- FIG. 10 is a second example of the display image.
- B1 indicates a region of interest.
- the icon of the reference image is unclear in the analysis image. That is, some of the reference pixels are not present in the analysis image, and the shape index S is less than 1 (when the function f is a unit function). In the case of such an unclear foreground, both the visibility index and the shape index are small values.
- FIG. 11 shows a third example of the display image.
- E1 indicates a region of interest.
- the icon of the reference image is rotated in the analysis image.
- the shape index S is less than 1 (when the function f is a unit function).
- the visibility index is a relatively large value and the shape index is a small value.
- the application target of the present invention is not limited to this.
- the same operation can be easily performed when an image is streamed as a line, pixel or sub-image.
- the above shape index only checks the base signal match.
- an edge detection kernel such as Laplacian or Sobel
- a parameter is obtained by a shape calculation algorithm. It can.
- the erroneous detection obtained by the shape index can be eliminated by the obtained parameter. In this way, a correct error detection result can be obtained even for an image with low visibility.
- FIG. 12 is a fourth example of a display image.
- FIG. 12 shows an example in which the icon ICA is overlaid on the dashboard image DIM.
- the foreground and background of the icon image are separated and alpha blended into the dashboard image.
- the foreground of the icon image is partially blended while the background of the icon image is completely blended.
- the foreground of the icon image is the icon portion of the icon image (the pixel of bit “1” (black portion) of the mask image MSB in FIG. 13).
- the background of the icon image is a portion other than the icon of the icon image (pixel (bit white portion) of bit “0” of the mask image MSB in FIG. 13).
- the icon image is blended at a ratio of 0 and the dashboard image DIM is blended at a ratio of 1.
- the icon image is blended at a ratio of ⁇ and the dashboard image DIM is blended at a ratio of (1 ⁇ ). 0 ⁇ ⁇ 1.
- the icon blended at the ratio ⁇ becomes the foreground in the display image, and the other area becomes the background in the display image.
- the relationship between this icon and the original icon is analyzed to check whether the icon is displayed correctly.
- an edge detection technique eg, Sobel edge detection convolution operator
- Sobel edge detection convolution operator is used to detect edges in the region of interest in the same manner as for the reference.
- FIG. 13 is a first example of a reference image, a display image (region of interest), and a mask image.
- the mask image MSB is a mask indicating the foreground and background of the reference image ICB, and black indicates the foreground pixels and white indicates the background pixels.
- the reference image ICB reference icon
- the reference image ICB reference icon
- the display image CIB display icon
- FIG. 14 is an example of edge values calculated from the reference image and the display image.
- EICB is an edge image of the reference image ICB
- ECIB is an edge image of the display image CIB.
- the edges are indicated by black lines and gray lines for the purpose of illustration, the edge strengths can actually be indicated by gray scale (white: high-strength edges, black: no edges).
- This edge detection is performed on the luminance channel.
- edge detection is performed on the color channel or in a color space such as YCbCr.
- the edges in the foreground area and the background area are calculated for the reference image and the display image, and the shape index is calculated by calculating the similarity amount as shown in the following equations (5) to (16).
- Match of the following formula (16) is a shape index (adapted value). In the following, it is assumed that the reference image has a size of m ⁇ n pixels and the region of interest of the display image is m ⁇ n pixels.
- the following equation (5) is a horizontal Sobel kernel (a Sobel filter operator that detects edges in the horizontal direction).
- the following equation (6) is a vertical Sobel kernel (a Sobel filter operator that detects edges in the vertical direction).
- an edge value is calculated for each pixel position in the region of interest of the reference image and the display image.
- “*” Is a convolution operator.
- IRef is the luminance (Y) channel of the reference image.
- IRef (x, y) is a pixel at positions x and y of the luminance channel of the reference image.
- x is an integer of 0 ⁇ x ⁇ m
- y is an integer of 0 ⁇ y ⁇ n.
- IRen is the luminance channel of the display image in the region of interest.
- IRen (x, y) is 3 ⁇ 3 pixels centered on the positions x and y of the luminance channel of the display image in the region of interest.
- the shape index Match (adapted value) is obtained from the above edge values.
- “ ⁇ ” Represents an inner product operator.
- M (x, y) means a mask pixel that defines which pixel belongs to the background and which pixel belongs to the foreground.
- This mask can be realized by a simple 1-bit mask in which the background is defined as 0 and the foreground is defined as 1. Alternatively, it may be a 1 or more bit mask that supports anti-aliased edges. In the mask, values between 0 and 1 are treated as partial background and partial foreground. For example, a value of 0.25 (01 in 2-bit notation) means 25% foreground and 75% background.
- FIG. 15 is a second example of a reference image, a display image (region of interest), and a mask image.
- the reference image ICC, the display image CIC, and the mask image MSC are the same as the reference image ICB, the display image CIB, and the mask image MSB in FIG.
- FIG. 16 is an example of edge values calculated from the reference image and the display image.
- EICC is an edge image of the reference image ICC
- ECIC is an edge image of the display image CIC.
- the edge component outside (background) of the icon is masked by M (x, y) .
- the shape index Match rises to 0.82 in the above calculation.
- the error detection circuit 150 determines the pixel value (edge amount) of the edge image of the display image based on the pixel value of the display image and the pixel value of the reference image serving as the reference of the foreground image. Based on the pixel value (edge amount) of the edge image of the reference image, an index (shape index) that indicates the degree of coincidence between the foreground image that is an image of a given area in the display image and the reference image is obtained. Error detection of the display image is performed based on the index.
- error detection of the display image can be performed based on an index representing the degree of coincidence between the foreground image of the display image and the reference image, instead of bit unit error detection such as CRC.
- CRC bit unit error detection
- the foreground image has a high degree of coincidence with the reference image, it is highly likely that the foreground image looks visually the same shape with respect to the reference image. That is, according to the present method, it is possible to determine an error when the shape of the foreground image is not correctly displayed.
- an in-vehicle meter panel or the like displays an icon or the like for warning the user. According to this embodiment, such an icon can be displayed as much as possible when the shape can be correctly recognized without stopping display due to a 1-bit error or the like, and a warning can be given to the user.
- the first calculation method (the above formulas (3) to (5)) is used when the index (S) is obtained based on the pixel value of the display image and the pixel value of the reference image serving as the reference of the foreground image.
- the second calculation method (the above formulas (5) to (22)) corresponds to a case where an index (Match) is obtained based on the pixel value of the edge image of the display image and the pixel value of the edge image of the reference image.
- the pixel value of the edge image corresponds to the edge amount of the above expressions (7), (10), (17), and (18).
- the degree of coincidence is the degree of coincidence of the shapes of icons, characters, figures, marks, etc. (hereinafter icons). More specifically, the degree of coincidence between the outline of the icon or the like and the direction. Furthermore, it may include the degree of coincidence of the state inside the outline of the icon or the like (for example, whether or not it is painted). For example, the index indicating the degree of coincidence increases as the degree of coincidence between the foreground image and the background image increases.
- the error detection circuit 150 performs sub-sampling to reduce the number of pixels or the resolution of the display image and the reference image (FIG. 9).
- the error detection circuit 150 obtains distance information representing the distance in the color space between the pixel value of the subsampled display image and the pixel value of the subsampled reference image (the above equation (2)), and from the distance information An index (the above formulas (3) and (4)) is obtained.
- pixel values are averaged by performing sub-sampling, it is possible to reduce the influence of noise such as a 1-bit error (a minor error that does not affect the shape) when obtaining an index.
- noise such as a 1-bit error (a minor error that does not affect the shape)
- the distance in the color space between the pixel value of the display image and the pixel value of the reference image should be small (short) when the shapes match. For this reason, by using the distance in the color space, the degree of coincidence of the shapes can be appropriately evaluated.
- the error detection circuit 150 obtains the index (S) from a value obtained by dividing a given threshold (T in the above equations (3) and (4)) by the distance information (D).
- an index (S) that increases as the shape matching degree increases can be obtained by dividing a given threshold value by the distance information.
- the error detection circuit 150 performs a product-sum operation (the above equation (13)) between the pixel value of the edge image of the display image and the pixel value of the edge image of the reference image, and the result of the product-sum operation An index is obtained from the above (formula (16)).
- An edge image is an image in which an edge amount is defined as a pixel value of each pixel.
- an edge amount is defined as a pixel value of each pixel.
- the “product” of the product sum is an inner product of the vector, but the “product” is not limited to this.
- the edge amount is defined as a scalar
- the “product” is a product of the scalars.
- the error detection circuit 150 masks a region corresponding to the background image among the edge images of the display image (the above equation (18)), and uses the edge image of the masked display image, A product-sum operation is performed (the above equation (19)).
- this embodiment can be implemented as an error detection method as described below. That is, in the method, based on the pixel value of the display image and the pixel value of the reference image serving as the reference of the foreground image, or based on the pixel value of the edge image of the display image and the pixel value of the edge image of the reference image. Then, an index representing the degree of coincidence between the foreground image, which is an image in a given region of the display image, and the reference image is obtained, and error detection of the display image is performed based on the index.
- this embodiment can be implemented as an error detection method as described below. That is, in this method, the region of interest of the display image is analyzed, and an index describing the similarity with the reference image is calculated. The index is calculated using the following technique (a) or (b). (A) The three-dimensional distance error of the subsampled pixels of the display image and the reference image (base signal) is compared. (B) Compare the three-dimensional distance error between the edge of the display image and the reference image (first derivative of the image).
- the error detection method of the present invention is applied to a display controller (TCON: Timing Controller) has been described as an example, but the application target of the present invention is not limited to this. That is, the present invention can be applied at any stage of the path for processing or transferring the display image.
- TCON Timing Controller
- a display driver that drives the display panel may be a circuit device to which the present invention is applied.
- an interface through which image data is input in the display driver corresponds to the image acquisition circuit, and an error detection circuit is provided between the interface and the drive circuit.
- the error detection circuit performs error detection of the present invention for a given region (icon or the like) of an image received by the interface.
- the image acquisition circuit 130 generates a display image by overlaying an icon on an image input to the display controller and preprocessed (hereinafter referred to as an input image) has been described as an example.
- the application target of the present invention is not limited to this. That is, the image acquisition circuit 130 can acquire an arbitrary image as a display image.
- the image acquisition circuit 130 may use the input image itself as a display image.
- an icon is already included in the input image, and a region including the icon or the like is set as a region of interest.
- the image acquisition circuit 130 may use an image obtained by scaling the input image as a display image.
- an icon is included in the input image, the icon is scaled, and a region including the scaled icon is set as a region of interest.
- the image acquisition circuit 130 may use an image obtained by performing a gamma conversion process (gradation conversion process) on the input image as a display image.
- a gamma conversion process gradient conversion process
- an icon is included in the input image, the icon is gamma-converted, and a region including the gamma-converted icon is set as a region of interest.
- the image acquisition circuit 130 may use an image obtained by transforming the input image as a display image.
- an icon is included in the input image, the icon (or the entire input image) is deformed, and a region including the deformed icon is set as a region of interest.
- an image may be deformed for display on a head mounted display or the like.
- the image acquisition circuit 130 may read an image stored in the memory and use the image as a display image.
- the memory controller corresponds to the image acquisition circuit 130.
- the image acquisition circuit 130 may use an image received by the interface as a display image.
- the interface corresponds to the image acquisition circuit 130.
- FIG. 17 is a configuration example of an electronic device including the circuit device of this embodiment.
- the electronic device 300 includes a processing device 310 (for example, MCU), a circuit device 320 (TCON), a display driver 330, a display panel 340, a storage device 350, an operation device 360, and a communication device 370.
- a processing device 310 for example, MCU
- a circuit device 320 TCON
- a display driver 330 for example, a display driver 320, a display panel 340, a storage device 350, an operation device 360, and a communication device 370.
- the processing device 310 transfers the image data stored in the storage device 350 or the image data received by the communication device 370 to the circuit device 320.
- the circuit device 320 performs image processing on image data, display timing control, error detection processing of image data transferred to a display driver (calculation of visibility index and shape index), and the like.
- the display driver 330 drives the display panel 340 based on the image data transferred from the circuit device 320 and display timing control by the circuit device 320 to display an image.
- the display panel 340 is, for example, a liquid crystal display panel or an EL display panel.
- the storage device 350 is, for example, a memory, a hard disk drive, an optical disk drive, or the like.
- the operation device 360 is a device for the user to operate the electronic device 300, and is, for example, a button, a touch panel, a keyboard, or the like.
- the communication device 370 is, for example, a device that performs wired communication (such as LAN or USB) or a device that performs wireless communication (such as WiFi or Bluetooth (registered trademark)).
- Electronic devices including the circuit device of this embodiment include vehicle-mounted electronic devices (such as meter panels), display terminals such as factory equipment, display devices mounted on robots, information processing devices (such as PCs), and portable information.
- Various devices such as a processing terminal (smartphone or the like) can be assumed.
- the configuration of the electronic device is not limited to that illustrated in FIG. 17, and various configurations can be employed depending on the application.
- a circuit device 320, a display driver 330, a display panel 340, and an operation device 360 are incorporated in a meter panel
- a processing device 310, a storage device 350, and a communication device 370 are incorporated in an ECU (Electronic Control Unit).
- the meter panel corresponds to an electronic device including the circuit device of the present embodiment.
- SYMBOLS 100 ... Circuit apparatus, 110 ... Interface, 120 ... Pre-processing circuit, 130: Image acquisition circuit, 140: Interface, 150 ... error detection circuit, 160 ... CRC circuit, 170 ... register circuit, 180 ... icon processing circuit, 190 ... interface, 195 ... Memory, 200 ... Processing device, 300 ... Electronic equipment, 310 ... Processing device, 320 ... Circuit device, 330 ... Display driver, 340 ... Display panel, 350 ... Storage device, 360 ... Operating device, 370 ... communication device, A1 ... region of interest, A2 ... icon (foreground), ECIB ... edge image, MSB: mask image, RIA: reference image, SRef: averaged image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
回路装置100は、表示画像を取得する画像取得回路130と、表示画像のエラー検出を行うエラー検出回路150と、を含む。エラー検出回路150は、表示画像の画素値のヒストグラムを求め、ヒストグラムを用いた相関演算を行い、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を相関演算の結果に基づいて求め、その指標に基づいてエラー検出を行う。
Description
本発明は、回路装置、電子機器及びエラー検出方法等に関する。
表示装置(例えば液晶表示装置)における表示制御では、CPU等の処理装置が表示コントローラーに画像データと制御信号とを送信し、表示コントローラーが画像処理とタイミング信号の生成とを行い、その画像処理された画像データとタイミング信号により表示ドライバーが表示パネルを駆動する。処理装置から表示コントローラーへの画像データの送信には、例えばLVDS(Low Voltage Differential Signal)方式やRGBシリアル方式等が用いられる。このような通信において表示コントローラーが受信した画像データには、通信エラー等によるデータエラーが発生する場合がある。例えば特許文献1~3には、表示コントローラーが処理装置から受信した画像データをCRC(Cyclic Redundancy Check)によりエラー検出する技術が開示されている。
CRCのようなビット単位のエラー検出を用いた場合、例えば画像データに含まれる1ビット分のエラーを検出可能である。しかしながら、1ビット分のエラー等の微小なエラーを画像データが含んでいたとしても、実際の表示では元の画像と大きな差がなく、ユーザーが誤認識する(元の画像と異なる画像と誤って認識する)可能性は低いと考えられる。CRCのようなビット単位のエラー検出では、このような微小なエラーも検出してしまうため、ユーザーが誤認識するようなエラーを適切に検出する目的には不向きである。例えば、表示画像にアイコン等を表示させた場合において、そのアイコン等をユーザーが正しく認識できるか否かといった判定には不向きである。
本発明の幾つかの態様によれば、ユーザーが誤認識するようなエラーを適切に検出することが可能な回路装置、電子機器及びエラー検出方法等を提供できる。
本発明の一態様は、表示画像を取得する画像取得回路と、前記表示画像のエラー検出を行うエラー検出回路と、を含み、前記エラー検出回路は、前記表示画像の画素値のヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、前記指標に基づいて前記エラー検出を行う回路装置に関係する。
本発明の一態様によれば、表示画像のヒストグラムに基づく相関演算の結果により、前景画像と背景画像の非類似度合いを表す指標が求められ、その指標に基づいて表示画像のエラー検出が行われる。これにより、ユーザーが誤認識するようなエラーを適切に検出することが可能になる。即ち、前景画像が背景画像に対して非類似度合いが高い場合、その前景画像が背景画像に対して視覚的に区別されている可能性が高いので、上記のような指標を用いることで、前景画像の視認性が低い場合にエラーと判断することが可能となる。
また本発明の一態様では、前記エラー検出回路は、色空間の構成成分の各成分の前記ヒストグラムを求め、前記各成分の前記ヒストグラムに対して自己相関演算を行い、自己相関のピークが生じる距離を前記各成分について求め、求めた距離のうち最大の距離に基づいて前記指標を求めてもよい。
このようにすれば、色空間の構成成分の各成分のうち、前景画像と背景画像で最も差が大きい成分により指標を求めることができる。前景画像と背景画像で最も差が大きい成分は、視覚的にも差が大きく見えると考えられるので、その成分により指標を求めることで、前景と背景の非類似度合いを適切に評価できる。
また本発明の一態様では、前記エラー検出回路は、前記表示画像から色空間の構成成分の各成分の第1のヒストグラムを前記ヒストグラムとして求め、前記前景 画像に対応する基準画像から前記各成分の第2のヒストグラムを求め、前記各成分について前記第1のヒストグラムと前記第2のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて前記指標を求めてもよい。
基準画像のヒストグラムと同じパターンが表示画像のヒストグラムに含まれている場合、少なくとも色又は輝度のパターンにおいて基準画像に類似した画像が表示画像に含まれていることになる。この場合、相互相関演算の結果に大きなピークが発生するはずなので、そのピーク値により指標を求めることで、前景と背景の非類似度合いを適切に評価できる。
また本発明の一態様では、前記エラー検出回路は、前記表示画像の画素値と前記前景画像の基準となる基準画像の画素値、又は前記表示画像のエッジと前記基準画像のエッジに基づいて、前記表示画像のうち前記所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す第2の指標を求め、前記指標及び前記第2の指標に基づいて前記エラー検出を行ってもよい。
このようにすれば、前景画像と基準画像との間の輝度や色の非類似度合いを表す指標と、前景画像と基準画像との間の形状の一致度合いを表す第2の指標とを組み合わせることで、表示画像のエラー検出をより高精度に行うことができる。
また本発明の一態様では、前記画像取得回路は、第1の画像に対して前記所与の領域に第2の画像を重ねて前記表示画像を生成し、前記背景画像は、前記表示画像のうち前記第1の画像に対応する画像であってもよい。
このようにすれば、例えばアイコンや文字等を入力画像にオーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本発明の一態様によれば、このような表示画像のエラー検出を行うことで、アイコンや文字が適切に(即ちユーザーが認識可能なように)オーバーレイされなかった場合にエラーと判定することが可能となる。
また本発明の他の態様は、表示画像を取得する画像取得回路と、前記表示画像のエラー検出を行うエラー検出回路と、を含み、前記エラー検出回路は、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行う回路装置に関係する。
本発明の他の態様によれば、前景画像と基準画像との一致度合いを表す指標が、表示画像の画素値と基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて求められ、その指標に基づいてエラー検出が行われる。これにより、ユーザーが誤認識するようなエラーを適切に検出することが可能になる。即ち、前景画像が基準画像に対して一致度合いが高い場合、その前景画像が基準画像に対して視覚的に同じ形状に見える可能性が高いので、上記のような指標を用いることで、前景画像の形状が正しく表示されていない場合にエラーと判断することが可能となる。
また本発明の他の態様では、前記エラー検出回路は、前記表示画像及び前記基準画像の画素数又は解像度を低下させるサブサンプリングを行い、前記サブサンプリングされた前記表示画像の画素値と前記サブサンプリングされた前記基準画像の画素値との、色空間における距離を表す距離情報を求め、前記距離情報から前記指標を求めてもよい。
サブサンプリングされた表示画像の画素値とサブサンプリングされた基準画像の画素値との間の色空間における距離は、形状が一致している場合には小さい(短い)はずである。このため、色空間における距離を用いることで、形状の一致度合いを適切に評価できる。また、サブサンプリングを行うことで画素値が平均化されるので、形状に影響を与えない軽微なエラーの影響を低減することができる。
また本発明の他の態様では、前記エラー検出回路は、所与の閾値を前記距離情報で除算した値から前記指標を求めてもよい。
距離情報が表す距離は、形状の一致度合いが高いほど小さくなる。このため、所与の閾値を距離情報で除算することで、形状の一致度合いが高いほど値が大きくなる指標を求めることができる。
また本発明の他の態様では、前記エラー検出回路は、前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値との積和演算を行い、前記積和演算の結果から前記指標を求めてもよい。
エッジ画像は、各画素の画素値としてエッジ量が定義された画像である。形状が一致している場合、表示画像のエッジ画像と基準画像のエッジ画像とを同じ画素で比べると、同じ(略同じ)エッジ量になっているはずである。逆に、形状が一致していない場合にはエッジの位置が表示画像と基準画像で一致しない。このため、同じ画素同士のエッジ量を積和すると、形状が一致している場合には積和の結果が大きな値になる。このようなエッジ量の積和演算を用いることで、形状の一致度合いを適切に評価できる。
また本発明の他の態様では、前記エラー検出回路は、前記表示画像のエッジ画像のうち、前記背景画像に対応する領域をマスクし、前記マスクされた前記表示画像のエッジ画像を用いて、前記積和演算を行ってもよい。
このようにすれば、背景にエッジが含まれるような場合であっても、そのエッジをマスクしてエッジ量の積和演算を行うことができる。即ち、背景のエッジに影響されることなく表示画像と基準画像のエッジの一致度合いを評価できるので、エラー検出の精度をより向上できる。
また本発明の他の態様では、前記画像取得回路は、第1の画像に対して前記所与の領域に第2の画像を重ねて前記表示画像を生成してもよい。
このようにすれば、例えばアイコンや文字等を入力画像にオーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本発明の他の態様によれば、このような表示画像のエラー検出を行うことで、アイコンや文字が適切に(即ちユーザーが認識可能なように)オーバーレイされなかった場合にエラーと判定することが可能となる。
また本発明の更に他の態様は、上記のいずれかに記載された回路装置を含む電子機器に関係する。
また本発明の更に他の態様は、表示画像の画素値のヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、前記指標に基づいて前記表示画像のエラー検出を行うエラー検出方法に関係する。
また本発明の更に他の態様は、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行うエラー検出方法に関係する。
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
1.回路装置
図1は、本実施形態の回路装置の構成例である。回路装置100は、インターフェース110(第1のインターフェース)、前処理回路120(画像処理回路)、画像取得回路130(オンスクリーンディスプレイ回路)、インターフェース140(第2のインターフェース)、エラー検出回路150、CRC回路160、レジスター回路170、アイコン処理回路180(アイコン色拡張回路)、インターフェース190(第3のインターフェース)、メモリー195(記憶回路)を含む。回路装置100は、例えば集積回路装置(IC)である。
図1は、本実施形態の回路装置の構成例である。回路装置100は、インターフェース110(第1のインターフェース)、前処理回路120(画像処理回路)、画像取得回路130(オンスクリーンディスプレイ回路)、インターフェース140(第2のインターフェース)、エラー検出回路150、CRC回路160、レジスター回路170、アイコン処理回路180(アイコン色拡張回路)、インターフェース190(第3のインターフェース)、メモリー195(記憶回路)を含む。回路装置100は、例えば集積回路装置(IC)である。
インターフェース110は、例えば処理装置200等から回路装置100に送信される画像データを受信し、その受信した画像データを、回路装置100の内部で用いられる形式に変換する。例えば、インターフェース110はOpenLDI(Open LVDS Display Interface)であり、LVDS(Low Voltage Differential Signaling)で受信したシリアル信号を、RGBのパラレル信号に変換する。処理装置200は、例えばMCU(Micro Control Unit)やCPU(Central Processing Unit)等である。
前処理回路120は、インターフェース110から入力される画像データに対して種々の画像処理を行う。例えば、前処理回路120は、ガンマ補正やFRC(Frame Rate Control)、ホワイトバランス処理等を行う。例えばRチャンネル、Gチャンネル及びBチャンネルの各々のチャンネルのための1次元ルックアップテーブルがメモリー195(又はレジスター回路170又は不図示の不揮発性メモリー)に記憶されており、そのルックアップテーブルを用いて各々のチャンネルに対してガンマ補正を行う。FRCでは、フレーム間で階調をスイッチングすることで、疑似的に中間階調を表現する処理を行う。ホワイトバランス処理では、例えばホワイトバランスを調整するための1次元ルックアップテーブルがメモリー195(又はレジスター回路170又は不図示の不揮発性メモリー)に記憶されており、そのルックアップテーブルを用いてRGBチャンネルを調整する。
アイコン処理回路180は、アイコン画像の生成(又は取得)を行う。例えば、メモリー195にアイコンのマスク画像が記憶されており、そのマスク画像をRGB画像に変換することでアイコン画像を生成する。マスク画像は、各画素がkビットのデータを有するkビット画像である。kは1以上の整数である。2k乗個のインデックス色テーブルがメモリー195(又はレジスター回路170又は不図示の不揮発性メモリー)に記憶されており、その色テーブルに従ってkビットのデータ(インデックス)をRGBのデータに変換する。例えばk=2の場合、色テーブルは、2ビットのインデックスに4色が対応付けられたルックアップテーブルである。或いはk=1の場合、色テーブルは1ビットのインデックスに2色が対応付けられたルックアップテーブルであり、背景の画素を表す「0」に特定の色が対応付けられ、前景の画素を表す「1」に他の色(背景とは異なる特定の色)が対応付けられる。メモリー195は、例えばSRAM等のRAMである。
画像取得回路130は、前処理回路120から入力される画像(以下、入力画像)にアイコン画像を重ねることにより、入力画像にアイコン画像を合成し、その合成した画像を表示画像(レンダーされた画像)としてインターフェース140に出力する。例えば、画像取得回路130は、アイコン画像が完全に背景(入力画像)を隠すように(背景が見えないように)入力画像にアイコン画像を重ねる。或いは、アイコン画像と背景を所与のブレンド比でブレンド(αブレンド)してもよい。入力画像にアイコン画像を重ねる位置は、例えばレジスター回路170(又はメモリー195又は不図示の不揮発性メモリー)に設定される。
エラー検出回路150は、画像解析による表示画像のエラー検出を行う。即ち、入力画像にアイコン画像が正しく合成されたか否かを画像解析によりチェックする。エラー検出回路150は、表示画像の関心領域(ROI: Region Of Interest)から、その関心領域の画像が適切に表示されるかを示す指標を求め、その指標に基づいてエラー検出を行う。関心領域は、表示画像においてアイコンを含む領域である。指標は、アイコンの視認性を評価するための視認性指標と、アイコンの形状と基準(例えばマスク画像)との類似正を評価する形状指標である。これらの指標については、後述する。
インターフェース140は、表示画像を回路装置100の外部(例えば表示パネルを駆動する表示ドライバー)に出力する。例えば、インターフェース140はLVDSのインターフェースであり、画像取得回路130からのRGBのパラレル信号をLVDSのシリアル信号に変換する。インターフェース140は、エラー検出回路150によりエラーが検出された場合、表示画像の出力を停止する。或いは、エラー検出回路150により検出されるエラー情報(例えばエラー判定フラグ、或いは指標等)と共に表示画像を出力し、そのエラー情報を受信した表示ドライバーが、エラー情報に基づく動作(表示の停止等)を行ってもよい。
インターフェース190は、回路装置100と処理装置200との間で設定情報や制御情報等を通信する。例えば、インターフェース190は、SPI(Serial Peripheral Interface)方式やI2C方式等のシリアル通信インターフェースである。処理装置200からの設定情報や制御情報は、例えばレジスター回路170に書き込まれ、回路装置100は、その設定情報や制御情報に応じた動作を行う。
CRC回路160は、インターフェース110が受信した画像データに対してCRCによるエラー検出を行う。即ち、処理装置200からインターフェース190を介して入力されるCRC値(基準)と、インターフェース110が受信した画像データから計算したCRC値とを比較し、それらが一致するか否かを検出する。
なお、回路装置100に含まれるロジック回路(例えば前処理回路120、画像取得回路130、エラー検出回路150、CRC回路160、アイコン処理回路180等)は、例えば個々の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。また、これらのロジック回路の一部又は全部が、DSP(Digital Signal Processor)等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラムや命令セットがメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。
2.エラー検出処理
以下、エラー検出回路150が行うエラー検出処理について説明する。
以下、エラー検出回路150が行うエラー検出処理について説明する。
コンテンツをディスプレイに表示する画像処理システムでは、画像の所定の領域が当初の意図と一致しているか否かを確認する必要がある場合がある。例えば、自動車用システムのクラスターディスプレイ(メーターパネルのディスプレイ)に重要な画像を表示する場合を考える。このとき、画面に表示されている既存のコンテンツに重ねられた可視画像を介して所定の重要な情報を表示する必要がある。以下では、画像が正しく表示されているか否かを検出するためのいくつかの方法を説明する。検出は、関心領域(ROI)を解析し、その領域が正しく表示されている程度を示すいくつかの主要な指標を導き出すことによって行う。
以下では、基準に対して表示画像を検証する方法及び概念を用いる。これは、基準画像に対する表示画像の一致度を演算することによって達成される。以下では、表示画像における注目領域(ROI)を考慮する場合について述べるが、(画像全体の境界にROIを設定することによって)画像全体に対して容易に拡張することができる。以下では本発明の手法(アルゴリズム)をカラー画像に適用した例について述べるが、本発明の手法はグレースケール画像又は二値画像(白黒画像)にも適用することができる。
図2は、エラー検出処理の処理フローを示すフローチャートである。エラー検出処理では、入力画像にアイコン画像を重ねて表示画像を取得する(S1、S2)。次に、基準画像(S3)と表示画像(S2)を比較してエラー検出処理を行い(S4)、指標を求める(S5)。なお基準画像は必ず取得されるとは限らない。例えば、視認性指標を求める際には基準画像を用いず、表示画像のみを用いて指標が計算される場合がある。
エラー検出処理では、表示画像を基準画像と比較することにより、表示画像(又は表示画像の一部)の妥当性を確認する。上記比較では、色ずれ、輝度変化、スケーリング又は所定の意図的な画像変換による変化はエラーとして検出せず、意図しない回転による変形や、ユーザーによる画像の認識を不可能とするクロップ又はノイズによるエラー等のその他の重要なエラーを検出する。
そのために、視認性指標及び形状指標という2つの指標を使用する。視認性指標は、関心領域の画像が背景に溶け込むことなく視認できる度合いを規定する数値である。なお、関心領域は画像全体を含むように規定することもできる。
上述したように、エラー検出処理はカラー画像に対して適用される(1つのチャンネルをグレーに使用するか、1つのチャンネルにおいて2つの値のみを二値画像に使用することによって白黒又はグレースケール画像(サブセット)に適用することもできる)。そのために、表示画像中の関心領域の画素をRGBフォーマットからYCbCrフォーマットに変換する。ただし、本発明の手法はその他の色空間(例えばLab又はHsv等)にも適用することができる。
2.1.視認性指標(第1の指標)を求める第1の演算手法
図3は、関心領域におけるYCbCrの各チャンネルのヒストグラムである。また図4は、ヒストグラムに自己相関演算を行って得られた自己相関値である。
図3は、関心領域におけるYCbCrの各チャンネルのヒストグラムである。また図4は、ヒストグラムに自己相関演算を行って得られた自己相関値である。
図3に示すように、YCbCr画像の各チャンネルについて、n個のビンを使用してヒストグラムを求める。例えば、256個のビンを使用し、異なるビンの組を有するヒストグラムを生成することができる。
ヒストグラムは、関心領域において特定の値が生じる回数をカウントする。即ち、YCbCr画像の各チャンネルについて、各ビンが示す値を有する画素の数を関心領域内でカウントする。次に、ヒストグラムを0~aの間の値に正規化する。値「a」は、実装の容易さを考慮して選択することができる(例えば1又は255等)。図3では、a=1である。次に、各チャンネルのヒストグラムをそれ自身と相互相関演算(自己相関演算)し、その自己相関信号をその後の解析に使用する。図4に示すように、自己相関信号を、ゼロ遅延におけるピーク値が1(又は予め設定した値)となるように正規化する。
自己相関値は、下式(1)により求められる。f、gは相関演算される関数(信号。ここではヒストグラム)を表し、自己相関の場合にはf=gである。f*gは、関数fと関数gの相関演算を表す。f*は関数fの複素共役を表し、本実施形態ではf*=fである。mはヒストグラムのビンの番号を表す。nは遅延(lag)を表し、図4ではnは-255~+255の整数である。
なお、図3のヒストグラムでは、256個のビンが0~1の間に正規化されているため、横軸が0~1になっている。図4の相関値は、1ビンずつ遅延を変えながら相関値を求めているため、横軸が-(256-1)~+(256-1)になっている。
図4に示すように、二色の画像が関心領域に存在する場合には、自己相関演算により側波帯が得られる。上記ピークが生じる中心(ゼロ遅延)からの遅延の距離は、色間のコントラストを示す。コントラスト(輝度コントラスト及び色コントラスト)によって人間の目は画像の特徴を識別することができるため、3つのチャンネル全てのピークについてチェックする。図4では、Yチャンネルを点線で示し、Cbチャンネルを細実線で示し、Crチャンネルを太実線で示している。チェックは、(自己相関信号のノイズを拾わないように)ピーク検索の閾値を設定することによって行う。例えば、最小ピーク閾値を0.05に設定する。信号におけるピーク(閾値より大きいピーク値のピーク)を検索して局所最大値を求める。
なお、帯域内信号ピークを回避するために、連続するピーク間の最小距離を所定値に設定することもできる。これらの閾値は調節可能な値であり、用途に応じて選択する。
識別可能な画像が背景(二色以上)上に示されているか否かを示す第1の指標を求めるために、全てのチャンネルについて、ノイズ閾値を超える自己相関信号の全てのピークを求めた後、ピークが生じる最大距離(遅延)を求める。3つのチャンネルにおいてピークが生じる遅延のうち最大値を、視認性を示す指標として選択する。
図4に示す相関プロットでは、ピークを丸で示している。図示する例では、Crチャンネルが最大の分離を示しており、距離は184である。上記値を考えられる最大遅延に正規化する(例えば、考えられる最大遅延はヒストグラムのビンの数である256である)。従って、指標値は184/255=0.722である。図5に示す画像では、上記指標値をVisパラメーターとして示している。上記演算は、一つの例について示している。
図5は、表示画像(解析画像)の第1の例である。A1は関心領域であり、A2はアイコンである。なお、関心領域を示す点線は、実際には表示画像には描画されていない。例えば、アイコンA2の内部(図5において黒色で示す部分)は赤色であり、その背景(図5において白色で示す部分)は緑色である。
図5の画像では、関心領域内に赤と緑の二色の画素群があるので、図3に示すヒストグラムでは、YCbCrの各チャンネルに2つのピーク(大小のピーク)が生じる。例えば、CrチャンネルではビンBa、Bbにピークが生じている。この2つのピークの間の距離は、前景(アイコン)の色と背景の色との間のコントラストを表しており、距離が大きいほど前景と背景の色がより異なることを意味する。ヒストグラムにおける2つのピークの間の距離は、図4に示す自己相関値においてピークが発生する遅延の距離になる。図5の画像では、前景(アイコン)が赤色で背景が緑色なので、図3に示すヒストグラムにおいてCrチャンネルの2つのピーク間の距離が最大距離となっており、その距離は|Ba-Bb|×255である。これが、図4に示す自己相関値において、ピークが発生する最大距離として検出され、正規化した指標値は|Ba-Bb|となる。従って、前景(アイコン)の色と背景の色との間のコントラストが大きいほど、視認性の指標値も大きくなる。
エラー検出回路150は、上記のようにして求めた視認性指標に基づいてエラー検出を行う。例えば、視認性指標と所与の閾値とを比較し、視認性指標が所与の閾値より小さい場合にエラーと判定する。或いは、視認性指標をエラー検出結果として回路装置100の外部に出力してもよい。
2.2.視認性指標を求める第2~第4の演算手法
第2の演算手法では、相互相関演算を用いて視認性指標を求める。
第2の演算手法では、相互相関演算を用いて視認性指標を求める。
第1の演算手法では、自己相関演算を使用して関心領域内の基準の視認性についてチェックしている。この場合の基準画像は、背景画像に関する情報(色等)を含んでいない。そのため、合成画像(表示画像)のみを解析して合成画像が二色以上を含むか否かを調べている。
第2の演算手法では、基準画像が情報全体を含む場合(例えば、表示処理によってソース画像を変化させる場合)を想定する。この場合、基準画像のヒストグラムを解析画像(表示画像)のヒストグラムと同様な方法で作成し、自己相関演算の代わりに、基準画像と解析画像のヒストグラム信号間の相互相関演算を行うことができる。数学的には、自己相関演算は、信号自体の相互相関演算である。そのため、相関演算に対する入力信号のみを変化させて相互相関演算又は自己相関演算を行うことができる。即ち、上式(1)において基準画像のヒストグラムをf及びgの一方とし、表示画像のヒストグラムをf及びgの他方とする。
相互相関演算の場合には、中心からのピークの距離を求める代わりに、相互相関信号に所定の閾値を超えるピークが存在しているか否かを調べる。そのようなピークが存在している場合には、画素の分布を考慮する限りにおいて、基準画像と解析画像はかなり一致していることになる。これにより、解析画像に対する第1のレベルのエラー検出を行うことができる。このパラメーターは、空間的相関は示さない(画素分布相関のみ)。この場合の指標は、自己相関演算の場合の中心からのピークの距離ではなく、ピーク値自体であってもよい。
図6は、アイコン等の前景がマルチトーン(二色以上)である場合のヒストグラムの例である。図7は、図6のヒストグラムの相互相関値の例である。ここでは、カラー画像の1チャンネル分について説明するが、同様の処理を複数のチャンネルに対して行う。例えば、複数のチャンネルの相互相関値のピークのうち最大のピーク値を採用すればよい。
図6に示すように、表示画像(合成画像)と基準画像のヒストグラムには、3以上(図6では4)のピークが生じている。表示画像のヒストグラムのピークと、基準画像のヒストグラムのピークが、Bnだけずれているとする。この場合、図7に示すように、相互相関値には遅延Bnのところに大きなピークが現れる。このピークのピーク値が閾値Thrより大きい場合、例えば、そのピーク値を視認性の指標値に採用する。
第3の演算手法では、視認性の指標値として前景と背景のコントラスト比を求める。
第1の演算手法では、Crチャンネルのヒストグラムにおいてピークが生じるビンBa、Bbの差分|Ba-Bb|を、視認性の指標値として用いている。
第3の演算手法では、コントラスト比|Ba-Bb|/Ba又は|Ba-Bb|/Bbを求め、それを視認性の指標値とする。或いは、第2の演算手法のような基準画像を用いる場合には、表示画像におけるC1=|Ba-Bb|と基準画像におけるC2=|Ba-Bb|を求め、コントラスト比C1/C2又はC2/C1を求め、それを視認性の指標値とする。
第4の演算手法では、多次元ヒストグラムを生成して視認性指標を求める。
第1の演算手法では、視認性の解析に各チャンネルのヒストグラム(1次元ヒストグラム)を使用している。
第4の演算手法では、複数のチャンネルの信号から多次元ヒストグラムを生成し、その多次元ヒストグラムに対して多次元相関演算(多次元自己相関演算、又は多次元相互相関演算)を行って、視認性指標を求める。これにより、人間の目によるコントラスト検出をより良好に模擬できる可能性がある。3D色ヒストグラムを使用することにより、より良好な性能が得られる場合がある。
以上の実施形態によれば、回路装置100は、表示画像を取得する画像取得回路130と、その表示画像のエラー検出を行うエラー検出回路150と、を含む。そしてエラー検出回路150は、表示画像の画素値(YCbCrの各チャンネル)のヒストグラム(図3)を求め、そのヒストグラムを用いた相関演算を行う(図4)。エラー検出回路150は、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標(視認性指標、第1の指標)を相関演算の結果に基づいて求め、その指標に基づいてエラー検出を行う。
このようにすれば、CRCのようなビット単位のエラー検出ではなく、表示画像の前景画像と背景画像との間の非類似度合いを表す指標に基づいて表示画像のエラー検出を行うことができる。前景画像が背景画像に対して非類似度合いが高い場合、その前景画像が背景画像に対して視覚的に区別されている可能性が高いので、前景画像の視認性が高いと考えられる。即ち、本手法によれば、前景画像の視認性が低い場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが1ビットエラーなどで表示が停止されずに、視認性が確保されている場合において出来るだけ表示させ、ユーザーに警告を行うことができる。
ここで、図1では画像取得回路130はOSDであるが、これに限定されず、画像取得回路130は任意の表示画像を取得する回路であればよい。詳細は「3.変形例」で説明する。また表示画像とは、ディスプレイ(表示装置)に表示させるために生成等された画像のことである。上記の実施形態では、表示画像はOSDによりレンダーされた画像であるが、これに限定されず、例えば何らかの画像処理により生成された画像、或いは通信により受信された画像、或いはメモリーから読み出された画像等であってもよい。
またエラー検出とは、指標に基づくエラー検出結果を出力することであり、例えば指標に基づいて表示画像にエラーが存在するか否かを判定することである。或いは、指標をエラー検出結果として出力することであってもよい。例えば、指標は、前景画像と背景画像の非類似度合いが高いほど値が大きくなる。この場合、指標が所与の値より小さい場合に表示画像がエラーを含むと判定する。
また前景画像は、表示画像のうち、指標により背景画像との非類似度合いを判定したい領域の画像のことである。また、その領域が所与の領域である。例えば、前景を指定するマスク画像を用意して(メモリー等に記憶させて)おき、そのマスク画像において前景を定義する画素(例えば1ビットマスクにおける「1」の画素)によって、前景画像の画素(所与の領域)を特定する。より具体的には、前景を定義するマスク画像を適用する表示画像上の位置(例えばアイコンをオーバーレイする位置)を指定し、その位置とマスク画像とから前景を特定する。
また背景画像は、前景画像を除く表示画像の一部又は全体のことである。即ち、表示画像の一部又は全体に関心領域(前景画像を含む領域)を設定し、その関心領域のうち前景画像を除く領域の画像が背景画像である。例えば、マスク画像において背景を定義する画素(例えば1ビットマスクにおける「0」の画素)によって、背景画像の画素を特定する。
また非類似度合いとは、色空間の構成成分(チャンネル)の各成分における非類似の程度のことである。例えば、YCbCr空間では、前景画像の輝度と背景画像の輝度とがどの程度異なるか、又は前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。或いは、RGB空間では、前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。
また本実施形態では、エラー検出回路150は、色空間の構成成分(チャンネル)の各成分のヒストグラムを求め(図3)、各成分のヒストグラムに対して自己相関演算を行い、自己相関のピークが生じる距離を各成分について求め(図4)、求めた距離のうち最大の距離(|Ba-Bb|)に基づいて指標(視認性指標)を求める。
このようにすれば、色空間の構成成分の各成分のうち、前景画像と背景画像で最も差が大きい成分により指標を求めることができる。前景画像と背景画像で最も差が大きい成分は、視覚的にも差が大きく見えると考えられるので、その成分により指標を求めることで、前景の視認性(背景との非類似度合い)を適切に評価できる。
ここで、指標は最大の距離|Ba-Bb|に基づいて求められた値であればよい。例えば第1の演算手法では、指標は最大の距離|Ba-Bb|そのものである。また第2の演算手法では、指標は、最大の距離|Ba-Bb|に基づくコントラスト比(|Ba-Bb|/Ba等)である。
また本実施形態では、エラー検出回路150は、表示画像から色空間の構成成分の各成分の第1のヒストグラムをヒストグラムとして求め、前景画像に対応する基準画像から各成分の第2のヒストグラムを求める(図6)。エラー検出回路150は、各成分について第1のヒストグラムと第2のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて指標を求める(図7)。
このようにすれば、基準画像が2色以上の色を含む場合(マルチトーン)であっても、前景画像と背景画像の非類似度合いを表す指標を求めることができる。即ち、基準画像のヒストグラムには2以上のピークが発生するが、このヒストグラムと同じパターンが表示画像のヒストグラムに含まれている場合、少なくとも色又は輝度のパターンにおいて基準画像に類似した画像が表示画像に含まれていることになる。この場合、相互相関演算の結果に大きなピークが発生するはずなので、そのピーク値により指標を求めることで、前景の視認性(背景との非類似度合い)を適切に評価できる。
ここで、基準画像は、表示画像において前景画像が正しく表示されていると仮定した場合の前景画像に対応した画像である。より具体的には、少なくともヒストグラムにおけるピークのパターンが前景画像と同じ画像である。このとき、図6のようにピーク間の相対的な位置関係が同じであればよく、パターン全体がシフトしていても構わない。
また本実施形態では、エラー検出回路150は、表示画像の画素値と前景画像の基準となる基準画像の画素値、又は表示画像のエッジと基準画像のエッジに基づいて、前景画像と基準画像との一致度合いを表す第2の指標(形状指標)を求め、指標(視認性指標)及び第2の指標(形状指標)に基づいてエラー検出を行う。
このようにすれば、互いに異なる性質について評価した2つの指標を組み合わせて表示画像のエラー検出を行うことができる。即ち、前景画像と基準画像との間の輝度や色の非類似度合いを表す指標と、前景画像と基準画像との間の形状の一致度合いを表す第2の指標とを組み合わせることで、表示画像のエラー検出をより高精度に行うことができる。なお、第2の指標(形状指標)の詳細は後述する。
また本実施形態では、画像取得回路130は、第1の画像に対して所与の領域に第2の画像を重ねて表示画像を生成する。背景画像は、表示画像のうち第1の画像に対応する画像である。
このようにすれば、OSDにより入力画像に例えばアイコンや文字等をオーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本実施形態では、このような表示画像のエラー検出を行うことで、OSDにおいてアイコンや文字が適切に(即ちユーザーが視認可能なように)オーバーレイされなかった場合にエラーと判定することが可能となる。一方、オーバーレイにおいて1ビット程度の処理エラーが発生していたとしても、視認性が確保できる場合にはエラーと判定されないので、アイコンや文字をユーザーに提示できる。
また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の画素値のヒストグラムを求め、そのヒストグラムを用いた相関演算を行い、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を相関演算の結果に基づいて求め、その指標に基づいて表示画像のエラー検出を行う。
また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の関心領域を解析し、背景に対する前景の視認性を記述する指標を演算する(このとき、前景を特定するために基準画像をマスクとして用いてもよい)。指標は、以下の(a)又は(b)の技術用いて演算される。(a)表示画像のヒストグラムを用い、前景と背景の分離を探す。(b)前景と背景のコントラスト比を計算する。
2.3.形状指標(第2の指標)の第1の演算手法
形状指標は、解析画像(表示画像)の関心領域の形状が基準画像と一致しているか否かを示す指標である。以下、形状指標の演算手法について説明する。
形状指標は、解析画像(表示画像)の関心領域の形状が基準画像と一致しているか否かを示す指標である。以下、形状指標の演算手法について説明する。
まず、最終的な平均化画像がm×n画素となるように、解析画像のROIの画素ブロックを平均化する。このサブサンプリング処理は、少数の画素エラーが重要なエラーとして検出されないために行うものであり、これらのエラー(色ずれ、小さな歪み等)を無視し、基準画像と解析画像の全体形状を確認する。完全な一致を得るために、サブサンプリングされた画像の解像度を高めることができる。m×nの値は、用途に応じて選択することができる。以下に述べるように基準画像に関連して使用する場合には、m×nの値はサンプルデータ観測に基づいて選択する。
解析画像の関心領域がu×v画素である場合には、平均化ブロックサイズはu/m×v/n画素である。基準背景情報が利用できない場合には、基準画素が存在しない部分の解析画像の画素を削除する。これは、基準前景マスキングに相当する。これは、基準画像と解析画像との間で背景画素をベースライン化する(そろえる、同条件にする)ことが必要であるために行う。そのため、背景画素の値は、解析画像及び基準画像の両方において同じ値に設定する。
基準画像の平均化もm×n画素となるように行う。平均化は、各チャンネルに対して別々に行う。図8は、基準画像の例である。基準画像RIAの前景F1(アイコン)は、着色されており、背景(アイコン以外の領域)は例えば黒等の無色である。図8では、基準画像RIAのサイズは256×256画素である。図9は、基準画像の平均化画像である。図9では、平均化画像SRefのサイズは16×16画素(m=n=16)である。この基準画像及びその平均化画像は背景が無色なので、解析画像の関心領域も背景を無色に変換し(背景を削除し)、その関心領域の平均化画像を求める。
次に、基準画像の平均化画像(SRef m×n)と解析画像の関心領域の平均化画像(SAnz m×n)を、距離基準を使用して画素毎に比較し、下式(2)のように距離D(3次元距離)を求める。本実施形態では、距離基準はデカルト距離の2乗であるが、その他の距離基準であっても同様なパラメーターが得られる。
cは、チャンネルを表し、xは平均化画像での横(水平)方向の画素位置を表し、yは平均化画像での縦(垂直)方向の画素位置を表す。m、nは平均化画像のサイズである。Rxycは、チャンネルcにおける基準画像の平均化画像の位置(x,y)での画素値を表す。R'cは、チャンネルcにおけるRxy画素の平均値(Rxycを平均化画像内で平均したもの)を表す。Axycは、チャンネルcにおける解析画像の平均化画像の位置(x,y)での画素値を表す。A'cは、チャンネルcにおけるAxy画素の平均値(Axycを平均化画像内で平均したもの)を表す。
各チャンネルにおいて平均値を減算する理由は、基準画像と解析画像との間の小さな色ずれがエラーとして扱われないようにするためである。完全な一致が求められる場合には、平均値を0に設定することができる。この場合、距離基準によって形状及び色の一致をチェックすることになる。
解析画像(表示画像)は例えば図5である。関心領域A1は、基準の周囲(基準画像を入力画像に合成した領域の周囲)において抽出される。図5では、関心領域を点線の四角形で示している。
関数fは、ハードウェアへの実装が容易となるように選択する。例えば、関数fは、範囲0~1が0~kにスケーリングされるようなスケーリング関数Kであってもよい。以下に記載する例では、関数fは単位関数である(即ち、S=T/D)。形状指標Sは、基準画像と解析画像との間の形状の一致度を示す。画像が一致していない場合には、この値は減少し、0となる傾向がある。その例を以下に記載する。
図5では、基準画像のアイコンが解析画像に正しく表示されている。この場合、形状指標はS=1(図5では、Shape:1.000と示す)となる。
図10は、表示画像の第2の例である。B1は関心領域を示す。図10のB2に示すように、基準画像のアイコンが解析画像では不明瞭になっている。即ち、基準画素のいくつかが解析画像には存在しておらず、形状指標Sは1未満となる(関数fが単位関数の場合)。このような不明瞭な前景の場合、視認性指標と形状指標が共に小さい値となる。
図11は、表示画像の第3の例である。E1は関心領域を示す。図11のE2に示すように、基準画像のアイコンが解析画像では回転している。この例では、形状は基準から回転しているので、形状指標Sは1未満となる(関数fが単位関数の場合)。このように前景が回転している場合、視認性指標は比較的大きな値であり、形状指標が小さい値となる。このように、視認性指標と形状指標を組み合わせることにより様々な前景の状態において適切なエラー検出を行うことが可能となり、エラー検出の精度を向上できる。
なお、以上では解析画像と基準画像が画像として利用可能である場合について述べたが、本発明の適用対象はこれに限定されない。例えば、画像がライン、画素又はサブ画像としてストリーミングされる場合にも同じ演算を容易に行うことができる。
上記の形状指標は、ベース信号の一致のみをチェックする。視認性が低い画像の場合には、エッジ検出カーネル(Laplacian又はSobel等)を解析画像の関心領域及び基準画像とコンボリューションして一次勾配画像を生成した後、形状演算アルゴリズムによってパラメーターを求めることができる。求めたパラメーターにより、形状指標によって得られた誤検知を除去することができる。このようにすれば、視認性が低い画像の場合にも正しいエラー検出結果を得ることができる。
2.4.形状指標の第2の演算手法
図12は、表示画像の第4の例である。図12では、ダッシュボード画像DIMの上にアイコンICAを重ねた例を示す。アイコン画像の前景と背景は、分離して、ダッシュボード画像にアルファブレンドされる。上記の場合、アイコン画像の前景は部分的にブレンドされる一方、アイコン画像の背景は完全にブレンドされる。ここで、アイコン画像の前景は、アイコン画像のアイコン部分(図13のマスク画像MSBのビット「1」の画素(黒色の部分))である。アイコン画像の背景は、アイコン画像のアイコン以外の部分(図13のマスク画像MSBのビット「0」の画素(白色の部分))である。アイコン画像の背景では、アイコン画像が0、ダッシュボード画像DIMが1の割合でブレンドされる。アイコン画像の前景では、アイコン画像がα、ダッシュボード画像DIMが(1-α)の割合でブレンドされる。0<α<1である。割合αでブレンドされたアイコンが表示画像における前景となり、それ以外の領域が表示画像における背景となる。
図12は、表示画像の第4の例である。図12では、ダッシュボード画像DIMの上にアイコンICAを重ねた例を示す。アイコン画像の前景と背景は、分離して、ダッシュボード画像にアルファブレンドされる。上記の場合、アイコン画像の前景は部分的にブレンドされる一方、アイコン画像の背景は完全にブレンドされる。ここで、アイコン画像の前景は、アイコン画像のアイコン部分(図13のマスク画像MSBのビット「1」の画素(黒色の部分))である。アイコン画像の背景は、アイコン画像のアイコン以外の部分(図13のマスク画像MSBのビット「0」の画素(白色の部分))である。アイコン画像の背景では、アイコン画像が0、ダッシュボード画像DIMが1の割合でブレンドされる。アイコン画像の前景では、アイコン画像がα、ダッシュボード画像DIMが(1-α)の割合でブレンドされる。0<α<1である。割合αでブレンドされたアイコンが表示画像における前景となり、それ以外の領域が表示画像における背景となる。
本実施形態では、このアイコンとオリジナルのアイコンとの関係を分析して、アイコンが正しく表示されているかをチェックする。具体的には、エッジ検出技術(例えば、ソーベルエッジ検出畳み込み演算子)を用いて、基準に対するのと同様に関心領域でエッジを検出する。
図13は、基準画像と表示画像(関心領域)とマスク画像の第1の例である。マスク画像MSBは、基準画像ICBの前景及び背景を示すマスクであり、黒が前景画素を示し、白が背景画素を示す。基準画像ICB(基準アイコン)は、前景(アイコン、図のグレー部分)が着色された画像である。表示画像CIB(表示アイコン)は、ダッシュボード画像DIMに基準画像ICBをブレンドした画像(関心領域の画像)である。アイコン部分では、ブレンドによりダッシュボード画像DIMが透けて見えている。
図14は、基準画像と表示画像から計算されたエッジ値の例である。EICBは基準画像ICBのエッジ画像であり、ECIBは表示画像CIBのエッジ画像である。図示の関係上、エッジを黒線及びグレー線で示しているが、実際にはエッジの強度はグレースケールで示すことができる(白:高強度のエッジ、黒:エッジ無し)。このエッジ検出は、輝度チャンネルに対して行われる。同様に、エッジ検出は、色チャンネルに対して、又はYCbCrのような色空間においても行われる。
前景領域と背景領域におけるエッジは、基準画像と表示画像について計算され、形状指標は、下式(5)~(16)に示すように類似量を算出することにより計算される。下式(16)のMatchが形状指標(適合値)である。以下では、基準画像はm×n画素のサイズであり、表示画像の関心領域もm×n画素であるとする。
下式(7)~(12)に示すように、基準画像と表示画像の関心領域における各画素位置について、エッジ値を計算する。「*」は畳み込み演算子である。Nは、値を0と1の間に保つための正規化係数であり、ここではN=4である。IRefは、基準画像の輝度(Y)チャンネルである。IRef(x,y)は、基準画像の輝度チャンネルの位置x、yの画素である。xは0<x≦mの整数であり、yは0<y≦nの整数である。IRenは、関心領域における表示画像の輝度チャンネルである。IRen(x,y)は、関心領域における表示画像の輝度チャンネルの位置x、yを中心とした3×3画素である。
図13、図14に上記の演算を適用すると、Match=0.78となる。
M(x,y)は、いずれの画素が背景に属し、いずれの画素が前景に属すのかを定義するマスク画素を意味する。このマスクは、背景を0で定義し、前景を1で定義する単純な1ビットマスクで実現できる。又は、アンチエイリアスされたエッジをサポートする1ビット以上のマスクであってもよい。そのマスクでは、0と1の間の値が部分的な背景と部分的な前景として扱われる。例えば、0.25の値(2ビット表記では、01)は、25%前景と75%背景を意味する。
図15は、基準画像と表示画像(関心領域)とマスク画像の第2の例である。基準画像ICC、表示画像CIC、マスク画像MSCは、図13の基準画像ICB、表示画像CIB、マスク画像MSBと同じである。図16は、基準画像と表示画像から計算されたエッジ値の例である。EICCは基準画像ICCのエッジ画像であり、ECICは表示画像CICのエッジ画像である。表示画像のエッジ画像ECICにおいて、アイコンの外部(背景)のエッジ成分がM(x,y)によりマスクされている。図15に示すように、上記の演算では形状指標Matchが0.82に上昇する。
以上の実施形態によれば、エラー検出回路150は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値(エッジ量)と基準画像のエッジ画像の画素値(エッジ量)とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標(形状指標)を求め、その指標に基づいて表示画像のエラー検出を行う。
このようにすれば、CRCのようなビット単位のエラー検出ではなく、表示画像の前景画像と基準画像との間の一致度合いを表す指標に基づいて表示画像のエラー検出を行うことができる。前景画像が基準画像に対して一致度合いが高い場合、その前景画像が基準画像に対して視覚的に同じ形状に見える可能性が高い。即ち、本手法によれば、前景画像の形状が正しく表示されていない場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが1ビットエラーなどで表示が停止せずに、形状が正しく認識できる場合において出来るだけ表示させ、ユーザーに警告を行うことができる。
ここで、第1の演算手法(上式(3)~(5))は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて指標(S)を求める場合に対応する。また、第2の演算手法(上式(5)~(22))は、表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて指標(Match)を求める場合に対応する。エッジ画像の画素値は、上式(7)、(10)、(17)、(18)のエッジ量に対応する。
また、一致度合いとは、例えばアイコン、文字、図形、マーク等(以下アイコン等)の形状の一致の程度のことである。より具体的には、アイコン等の輪郭と向きの一致の程度のことである。また更に、アイコン等の輪郭の内側の状態(例えば塗りつぶされているか否か等)の一致の程度を含んでもよい。例えば、一致度合いを表す指標は、前景画像と背景画像の一致度合いが高いほど値が大きくなる。
また本実施形態では、エラー検出回路150は、表示画像及び基準画像の画素数又は解像度を低下させるサブサンプリングを行う(図9)。エラー検出回路150は、サブサンプリングされた表示画像の画素値とサブサンプリングされた基準画像の画素値との、色空間における距離を表す距離情報を求め(上式(2))、その距離情報から指標(上式(3)、(4))を求める。
サブサンプリングを行うことで画素値が平均化されるので、指標を求める際に1ビットエラー等のノイズ(形状に影響を与えない軽微なエラー)の影響を低減することができる。また、表示画像の画素値と基準画像の画素値との間の色空間における距離は、形状が一致している場合には小さい(短い)はずである。このため、色空間における距離を用いることで、形状の一致度合いを適切に評価できる。
また本実施形態では、エラー検出回路150は、所与の閾値(上式(3)、(4)のT)を距離情報(D)で除算した値から指標(S)を求める。
形状の一致度合いが高いほど距離(D)が小さくなるので、所与の閾値を距離情報で除算することで、形状の一致度合いが高いほど値が大きくなる指標(S)を求めることができる。
また本実施形態では、エラー検出回路150は、表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値との積和演算(上式(13))を行い、その積和演算の結果から指標を求める(上式(16))。
エッジ画像は、各画素の画素値としてエッジ量が定義された画像である。形状が一致している場合、表示画像のエッジ画像と基準画像のエッジ画像とを同じ画素で比べると、同じ(略同じ)エッジ量になっているはずである。逆に、形状が一致していない場合にはエッジの位置が表示画像と基準画像で一致しないので、例えば表示画像のエッジ画像に大きなエッジ量があっても、基準画像のエッジ画像の同じ画素ではエッジ量がゼロになっていたりする。このため、同じ画素同士のエッジ量を積和すると、形状が一致している場合には積和の結果が大きな値になり、形状が一致していない場合には積和の結果が小さな値になる。このため、エッジ量の積和演算を用いることで、形状の一致度合いを適切に評価できる。
ここで、上式(13)では、積和の「積」はベクトルの内積になっているが、「積」はこれに限定されない。例えばエッジ量がスカラーで定義される場合には、「積」はスカラー同士の積となる。
また本実施形態では、エラー検出回路150は、表示画像のエッジ画像のうち、背景画像に対応する領域をマスクし(上式(18))、そのマスクされた表示画像のエッジ画像を用いて、積和演算を行う(上式(19))。
このようにすれば、背景にエッジが含まれるような場合であっても、そのエッジをマスクしてエッジ量の積和演算を行うことができる。即ち、背景のエッジに影響されることなく表示画像と基準画像のエッジの一致度合いを評価できるので、エラー検出の精度をより向上できる。
また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標を求め、その指標に基づいて表示画像のエラー検出を行う。
また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の関心領域を解析し、基準画像との類似性を記述する指標を演算する。指標は、以下の(a)又は(b)の技術用いて演算される。(a)表示画像と基準画像(ベース信号)のサブサンプルされた画素の3次元距離エラーを比較する。(b)表示画像と基準画像のエッジ(画像の一次導関数)の3次元距離エラーを比較する。
3.変形例
以上の実施形態では、本発明のエラー検出手法を表示コントローラー(TCON: Timing CONtroller)に適用した場合を例に説明したが、本発明の適用対象はこれに限定されない。即ち、表示画像を処理又は転送する経路のいずれの段階においても本発明を適用可能である。
以上の実施形態では、本発明のエラー検出手法を表示コントローラー(TCON: Timing CONtroller)に適用した場合を例に説明したが、本発明の適用対象はこれに限定されない。即ち、表示画像を処理又は転送する経路のいずれの段階においても本発明を適用可能である。
例えば、表示パネルを駆動する表示ドライバーを、本発明が適用された回路装置としてもよい。この場合、例えば表示ドライバーにおいて画像データが入力されるインターフェースが画像取得回路に相当し、インターフェースと駆動回路の間にエラー検出回路が設けられる。例えばオーバーレイ等は行わず、エラー検出回路は、インターフェースにより受信された画像の所与の領域(アイコン等)に対して本発明のエラー検出を行う。
また以上の実施形態では、画像取得回路130が、表示コントローラーに入力されて前処理された画像(以下、入力画像)に対してアイコンをオーバーレイして表示画像を生成する場合を例に説明したが、本発明の適用対象はこれに限定されない。即ち、画像取得回路130は、表示画像として任意の画像を取得できる。
例えば、画像取得回路130は、入力画像そのものを表示画像としてもよい。この場合、入力画像には例えばアイコンが既に含まれており、そのアイコン等を含む領域を関心領域に設定する。
或いは、画像取得回路130は、入力画像をスケーリング処理した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコンをスケーリングし、そのスケーリングされたアイコンを含む領域を関心領域に設定する。
或いは、画像取得回路130は、入力画像をガンマ変換処理(階調変換処理)した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコンをガンマ変換し、そのガンマ変換されたアイコンを含む領域を関心領域に設定する。
或いは、画像取得回路130は、入力画像を変形処理した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコン(又は入力画像全体)を変形し、その変形されたアイコンを含む領域を関心領域に設定する。例えば、ヘッドマウントディスプレイ等に表示するために画像を変形させる場合がある。
或いは、画像取得回路130は、メモリーに記憶された画像を読み出し、その画像を表示画像としてもよい。この場合、メモリーコントローラーが画像取得回路130に相当する。或いは、画像取得回路130は、インターフェースにより受信された画像を表示画像としてもよい。この場合、インターフェースが画像取得回路130に相当する。
4.電子機器
図17は、本実施形態の回路装置を含む電子機器の構成例である。電子機器300は、処理装置310(例えばMCU等)、回路装置320(TCON)、表示ドライバー330、表示パネル340、記憶装置350、操作装置360、通信装置370を含む。
図17は、本実施形態の回路装置を含む電子機器の構成例である。電子機器300は、処理装置310(例えばMCU等)、回路装置320(TCON)、表示ドライバー330、表示パネル340、記憶装置350、操作装置360、通信装置370を含む。
処理装置310は、記憶装置350に記憶された画像データ、又は通信装置370により受信された画像データを回路装置320に転送する。回路装置320は、画像データに対する画像処理や、表示タイミング制御や、表示ドライバーに転送する画像データのエラー検出処理(視認性指標、形状指標の算出)等を行う。表示ドライバー330は、回路装置320から転送された画像データと、回路装置320による表示タイミング制御に基づいて、表示パネル340を駆動し、画像を表示させる。表示パネル340は、例えば液晶表示パネル、或いはEL表示パネル等である。記憶装置350は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置360は、電子機器300をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置370は、例えば有線通信(LAN、又はUSB等)を行う装置や、或いは無線通信(Wifi、Bluetooth(登録商標)等)を行う装置である。
本実施形態の回路装置を含む電子機器としては、車載用の電子機器(メーターパネル等)や、工場設備等の表示端末、ロボットに搭載された表示装置、情報処理装置(PC等)、携帯情報処理端末(スマートフォン等)の種々の機器を想定できる。電子機器の構成は図17に限定されず、用途に応じて種々の構成をとることができる。例えば車載用の電子機器では、回路装置320と表示ドライバー330と表示パネル340と操作装置360がメーターパネルに組み込まれ、処理装置310と記憶装置350と通信装置370がECU(Electronic Control Unit)に組み込まれる。この場合、メーターパネルが、本実施形態の回路装置を含む電子機器に相当する。
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本発明の範囲に含まれる。また回路装置、電子機器の構成・動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
100…回路装置、110…インターフェース、120…前処理回路、
130…画像取得回路、140…インターフェース、
150…エラー検出回路、160…CRC回路、170…レジスター回路、
180…アイコン処理回路、190…インターフェース、
195…メモリー、200…処理装置、300…電子機器、
310…処理装置、320…回路装置、330…表示ドライバー、
340…表示パネル、350…記憶装置、360…操作装置、
370…通信装置、
A1…関心領域、A2…アイコン(前景)、ECIB…エッジ画像、
MSB…マスク画像、RIA…基準画像、SRef…平均化画像
130…画像取得回路、140…インターフェース、
150…エラー検出回路、160…CRC回路、170…レジスター回路、
180…アイコン処理回路、190…インターフェース、
195…メモリー、200…処理装置、300…電子機器、
310…処理装置、320…回路装置、330…表示ドライバー、
340…表示パネル、350…記憶装置、360…操作装置、
370…通信装置、
A1…関心領域、A2…アイコン(前景)、ECIB…エッジ画像、
MSB…マスク画像、RIA…基準画像、SRef…平均化画像
Claims (14)
- 表示画像を取得する画像取得回路と、
前記表示画像のエラー検出を行うエラー検出回路と、
を含み、
前記エラー検出回路は、
前記表示画像の画素値のヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、前記指標に基づいて前記エラー検出を行うことを特徴とする回路装置。 - 請求項1において、
前記エラー検出回路は、
色空間の構成成分の各成分の前記ヒストグラムを求め、前記各成分の前記ヒストグラムに対して自己相関演算を行い、自己相関のピークが生じる距離を前記各成分について求め、求めた距離のうち最大の距離に基づいて前記指標を求めることを特徴とする回路装置。 - 請求項1において、
前記エラー検出回路は、
前記表示画像から色空間の構成成分の各成分の第1のヒストグラムを前記ヒストグラムとして求め、前記前景画像に対応する基準画像から前記各成分の第2のヒストグラムを求め、前記各成分について前記第1のヒストグラムと前記第2のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて前記指標を求めることを特徴とする回路装置。 - 請求項1乃至3のいずれかにおいて、
前記エラー検出回路は、
前記表示画像の画素値と前記前景画像の基準となる基準画像の画素値、又は前記表示画像のエッジと前記基準画像のエッジに基づいて、前記表示画像のうち前記所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す第2の指標を求め、前記指標及び前記第2の指標に基づいて前記エラー検出を行うことを特徴とする回路装置。 - 請求項1乃至4のいずれかにおいて、
前記画像取得回路は、第1の画像に対して前記所与の領域に第2の画像を重ねて前記表示画像を生成し、
前記背景画像は、前記表示画像のうち前記第1の画像に対応する画像であることを特徴とする回路装置。 - 表示画像を取得する画像取得回路と、
前記表示画像のエラー検出を行うエラー検出回路と、
を含み、
前記エラー検出回路は、
前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とする回路装置。 - 請求項6において、
前記エラー検出回路は、
前記表示画像及び前記基準画像の画素数又は解像度を低下させるサブサンプリングを行い、前記サブサンプリングされた前記表示画像の画素値と前記サブサンプリングされた前記基準画像の画素値との、色空間における距離を表す距離情報を求め、前記距離情報から前記指標を求めることを特徴とする回路装置。 - 請求項7において、
前記エラー検出回路は、
所与の閾値を前記距離情報で除算した値から前記指標を求めることを特徴とする回路装置。 - 請求項6において、
前記エラー検出回路は、
前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値との積和演算を行い、前記積和演算の結果から前記指標を求めることを特徴とする回路装置。 - 請求項9において、
前記エラー検出回路は、
前記表示画像のエッジ画像のうち、背景画像に対応する領域をマスクし、前記マスクされた前記表示画像のエッジ画像を用いて、前記積和演算を行うことを特徴とする回路装置。 - 請求項6乃至10のいずれかにおいて、
前記画像取得回路は、第1の画像に対して前記所与の領域に第2の画像を重ねて前記表示画像を生成することを特徴とする回路装置。 - 請求項1乃至11のいずれかに記載された回路装置を含むことを特徴とする電子機器。
- 表示画像の画素値のヒストグラムを求め、
前記ヒストグラムを用いた相関演算を行い、
前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、
前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とするエラー検出方法。 - 表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、
前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とするエラー検出方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018534372A JP6711404B2 (ja) | 2016-08-15 | 2017-08-09 | 回路装置、電子機器及びエラー検出方法 |
EP17841437.1A EP3499456B1 (en) | 2016-08-15 | 2017-08-09 | Circuit device, electronic instrument, and error detection method |
US16/325,925 US20190213071A1 (en) | 2016-08-15 | 2017-08-09 | Circuit device, electronic apparatus and error detection method |
CN201780049634.8A CN109643446B (zh) | 2016-08-15 | 2017-08-09 | 电路装置、电子设备以及错误检测方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662375222P | 2016-08-15 | 2016-08-15 | |
US62/375,222 | 2016-08-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
WO2018034214A1 true WO2018034214A1 (ja) | 2018-02-22 |
WO2018034214A9 WO2018034214A9 (ja) | 2018-05-24 |
Family
ID=61196585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/028953 WO2018034214A1 (ja) | 2016-08-15 | 2017-08-09 | 回路装置、電子機器及びエラー検出方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190213071A1 (ja) |
EP (1) | EP3499456B1 (ja) |
JP (2) | JP6711404B2 (ja) |
CN (1) | CN109643446B (ja) |
WO (1) | WO2018034214A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3528204A1 (en) * | 2018-02-14 | 2019-08-21 | Seiko Epson Corporation | Circuit device, electronic apparatus, and error detection method |
EP3534331A1 (en) * | 2018-02-28 | 2019-09-04 | Seiko Epson Corporation | Circuit device and electronic apparatus |
JP2020100388A (ja) * | 2018-12-20 | 2020-07-02 | セイコーエプソン株式会社 | 回路装置、電子機器及び移動体 |
EP3680121A1 (en) * | 2018-12-20 | 2020-07-15 | Seiko Epson Corporation | Circuit device, electronic apparatus, and mobile body |
JP2020177058A (ja) * | 2019-04-16 | 2020-10-29 | アルパイン株式会社 | 表示装置およびアイコンの故障判定方法 |
CN112020321A (zh) * | 2018-03-29 | 2020-12-01 | 270医疗器械公司 | 医学成像***和用于检测其位置的方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020203547A1 (ja) * | 2019-03-29 | 2020-10-08 | ローム株式会社 | 半導体装置、それを用いた車載用ディスプレイシステム、電子機器 |
CN113646203A (zh) * | 2019-03-29 | 2021-11-12 | 罗姆股份有限公司 | 半导体装置、使用了它的车载用显示器***、电子设备 |
US11386590B1 (en) * | 2021-01-20 | 2022-07-12 | OpenGov, Inc. | In-application adjacent color contrast detection |
US11735080B1 (en) * | 2022-10-20 | 2023-08-22 | Himax Technologies Limited | Display system and panel driving circuit |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59116879A (ja) * | 1982-12-23 | 1984-07-05 | Fujitsu Ltd | 照合モ−ド選択方式 |
JPH08152309A (ja) * | 1994-11-30 | 1996-06-11 | Dainippon Screen Mfg Co Ltd | パターン欠陥検査装置 |
JP2001273492A (ja) * | 2000-01-20 | 2001-10-05 | Xerox Corp | 画像/文書品質を確認するためのシステム及び方法 |
JP2007072394A (ja) | 2005-09-09 | 2007-03-22 | Seiko Epson Corp | 画面表示制御装置、画面表示制御方法、画面表示装置、画面表示制御システムおよび印刷装置 |
JP2007101691A (ja) | 2005-09-30 | 2007-04-19 | Fujitsu Ltd | 判定装置及び判定方法 |
JP2012035677A (ja) | 2010-08-04 | 2012-02-23 | Renesas Electronics Corp | 表示制御装置 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0671300B2 (ja) * | 1987-03-20 | 1994-09-07 | 富士写真フイルム株式会社 | 放射線画像情報の読取処理条件決定装置 |
US5546475A (en) * | 1994-04-29 | 1996-08-13 | International Business Machines Corporation | Produce recognition system |
JP3046493B2 (ja) * | 1994-05-09 | 2000-05-29 | シャープ株式会社 | 画像処理装置 |
US5640200A (en) * | 1994-08-31 | 1997-06-17 | Cognex Corporation | Golden template comparison using efficient image registration |
US5949901A (en) * | 1996-03-21 | 1999-09-07 | Nichani; Sanjay | Semiconductor device image inspection utilizing image subtraction and threshold imaging |
GB9724110D0 (en) * | 1997-11-15 | 1998-01-14 | Elekta Ab | Analysis of radiographic images |
US20040081350A1 (en) * | 1999-08-26 | 2004-04-29 | Tadashi Kitamura | Pattern inspection apparatus and method |
US6754367B1 (en) * | 1999-09-30 | 2004-06-22 | Hitachi Denshi Kabushiki Kaisha | Method and apparatus for automatically detecting intrusion object into view of image pickup device |
US6757421B1 (en) * | 2000-09-27 | 2004-06-29 | Cognex Corporation | Method and apparatus for detecting defects |
JP4199939B2 (ja) * | 2001-04-27 | 2008-12-24 | 株式会社日立製作所 | 半導体検査システム |
US20030185431A1 (en) * | 2002-03-29 | 2003-10-02 | Hong Dezhong | Method and system for golden template image extraction |
DE60320169T2 (de) * | 2002-05-02 | 2009-04-09 | Sony Corp. | Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium |
US20040061782A1 (en) * | 2002-09-30 | 2004-04-01 | Fuji Photo Film Co., Ltd. | Photography system |
US7095893B2 (en) * | 2003-01-06 | 2006-08-22 | Banner Engineering Corporation | System and method for determining an image decimation range for use in a machine vision system |
US7376269B2 (en) * | 2004-11-22 | 2008-05-20 | Xerox Corporation | Systems and methods for detecting image quality defects |
JP4199786B2 (ja) * | 2006-08-10 | 2008-12-17 | アドバンスド・マスク・インスペクション・テクノロジー株式会社 | 試料検査装置、画像位置合わせ方法及びプログラム |
JP5144123B2 (ja) * | 2007-05-16 | 2013-02-13 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
US8229230B2 (en) * | 2008-07-30 | 2012-07-24 | Konica Minolta Laboratory U.S.A., Inc. | Method of digital image comparison for imaging software development |
US8144986B2 (en) * | 2008-09-05 | 2012-03-27 | The Neat Company, Inc. | Method and apparatus for binarization threshold calculation |
US8208183B2 (en) * | 2008-11-19 | 2012-06-26 | Xerox Corporation | Detecting image quality defects by measuring images printed on image bearing surfaces of printing devices |
CN102346854A (zh) * | 2010-08-03 | 2012-02-08 | 株式会社理光 | 前景物体检测方法和设备 |
US8605303B2 (en) * | 2011-01-18 | 2013-12-10 | Xerox Corporation | Content-aware image quality defect detection in printed documents |
JP5585494B2 (ja) * | 2011-02-28 | 2014-09-10 | 富士通株式会社 | 画像処理装置、画像処理プログラム及び画像処理方法 |
CN102855634B (zh) * | 2011-06-28 | 2017-03-22 | 中兴通讯股份有限公司 | 一种图像检测方法及装置 |
JP2013160629A (ja) * | 2012-02-06 | 2013-08-19 | Hitachi High-Technologies Corp | 欠陥検査方法、欠陥検査装置、プログラムおよび出力部 |
JP5957378B2 (ja) * | 2012-12-28 | 2016-07-27 | 株式会社日立ハイテクノロジーズ | 欠陥観察方法および欠陥観察装置 |
KR20150104022A (ko) * | 2014-02-03 | 2015-09-14 | 가부시키가이샤 프로스퍼 크리에이티브 | 화상검사장치 및 화상검사 프로그램 |
WO2016100408A1 (en) * | 2014-12-15 | 2016-06-23 | Vessel Group, Inc. | Processing techniques in audio-visual streaming systems |
US10866852B2 (en) * | 2015-09-18 | 2020-12-15 | Hewlett Packard Enterprise Development Lp | Image based fault state determination |
-
2017
- 2017-08-09 US US16/325,925 patent/US20190213071A1/en not_active Abandoned
- 2017-08-09 EP EP17841437.1A patent/EP3499456B1/en active Active
- 2017-08-09 CN CN201780049634.8A patent/CN109643446B/zh active Active
- 2017-08-09 JP JP2018534372A patent/JP6711404B2/ja active Active
- 2017-08-09 WO PCT/JP2017/028953 patent/WO2018034214A1/ja unknown
-
2020
- 2020-03-05 JP JP2020037830A patent/JP6939929B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59116879A (ja) * | 1982-12-23 | 1984-07-05 | Fujitsu Ltd | 照合モ−ド選択方式 |
JPH08152309A (ja) * | 1994-11-30 | 1996-06-11 | Dainippon Screen Mfg Co Ltd | パターン欠陥検査装置 |
JP2001273492A (ja) * | 2000-01-20 | 2001-10-05 | Xerox Corp | 画像/文書品質を確認するためのシステム及び方法 |
JP2007072394A (ja) | 2005-09-09 | 2007-03-22 | Seiko Epson Corp | 画面表示制御装置、画面表示制御方法、画面表示装置、画面表示制御システムおよび印刷装置 |
JP2007101691A (ja) | 2005-09-30 | 2007-04-19 | Fujitsu Ltd | 判定装置及び判定方法 |
JP2012035677A (ja) | 2010-08-04 | 2012-02-23 | Renesas Electronics Corp | 表示制御装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3499456A4 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3528204A1 (en) * | 2018-02-14 | 2019-08-21 | Seiko Epson Corporation | Circuit device, electronic apparatus, and error detection method |
US11169872B2 (en) | 2018-02-14 | 2021-11-09 | Seiko Epson Corporation | Circuit device, electronic apparatus, and error detection method |
US11354186B2 (en) | 2018-02-14 | 2022-06-07 | Seiko Epson Corporation | Circuit device, electronic apparatus, and error detection method using at least an index indicating similarity between foreground image and reference image |
EP3534331A1 (en) * | 2018-02-28 | 2019-09-04 | Seiko Epson Corporation | Circuit device and electronic apparatus |
US11055833B2 (en) | 2018-02-28 | 2021-07-06 | Seiko Epson Corporation | Circuit device and electronic apparatus |
CN112020321A (zh) * | 2018-03-29 | 2020-12-01 | 270医疗器械公司 | 医学成像***和用于检测其位置的方法 |
JP2020100388A (ja) * | 2018-12-20 | 2020-07-02 | セイコーエプソン株式会社 | 回路装置、電子機器及び移動体 |
EP3680121A1 (en) * | 2018-12-20 | 2020-07-15 | Seiko Epson Corporation | Circuit device, electronic apparatus, and mobile body |
JP7419721B2 (ja) | 2018-12-20 | 2024-01-23 | セイコーエプソン株式会社 | 回路装置、電子機器及び移動体 |
JP2020177058A (ja) * | 2019-04-16 | 2020-10-29 | アルパイン株式会社 | 表示装置およびアイコンの故障判定方法 |
JP7317442B2 (ja) | 2019-04-16 | 2023-07-31 | アルパイン株式会社 | 表示装置およびアイコンの故障判定方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3499456A1 (en) | 2019-06-19 |
JP6939929B2 (ja) | 2021-09-22 |
JPWO2018034214A1 (ja) | 2019-06-13 |
CN109643446A (zh) | 2019-04-16 |
EP3499456A4 (en) | 2020-05-27 |
CN109643446B (zh) | 2023-07-04 |
JP2020107351A (ja) | 2020-07-09 |
JP6711404B2 (ja) | 2020-06-17 |
WO2018034214A9 (ja) | 2018-05-24 |
EP3499456B1 (en) | 2022-09-07 |
US20190213071A1 (en) | 2019-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6939929B2 (ja) | 回路装置、電子機器及びエラー検出方法 | |
JP7155530B2 (ja) | 回路装置、電子機器及びエラー検出方法 | |
JP7180079B2 (ja) | 回路装置及び電子機器 | |
US8494256B2 (en) | Image processing apparatus and method, learning apparatus and method, and program | |
CN102629466B (zh) | 一种显示器彩色灰阶图像自适应校正方法 | |
EP2733674A1 (en) | Object display device, object display method, and object display program | |
US9747867B2 (en) | Apparatus and method for performing image content adjustment according to viewing condition recognition result and content classification result | |
US9064178B2 (en) | Edge detection apparatus, program and method for edge detection | |
US20220067900A1 (en) | Circuit Apparatus, Electronic Instrument, And Error Detection Method | |
CN109600605B (zh) | 4k超高清视频的检测方法、电子设备及计算机程序产品 | |
US10770027B2 (en) | Image color cast compensation method and device, and display device | |
CN110913262A (zh) | 图像叠加方法和装置 | |
US20160203617A1 (en) | Image generation device and display device | |
JP7322999B2 (ja) | 回路装置、表示システム及び電子機器 | |
KR101807824B1 (ko) | 적외선 흡수 특성을 갖는 텍스트 문서를 이용하는 증강현실 시스템 및 그의 구현 방법 | |
KR101846279B1 (ko) | 입체영상 디스플레이장치 및 그 구동 방법 | |
KR20180031510A (ko) | 디스플레이 장치 및 그 입력 방법 | |
JP2022110885A (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17841437 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018534372 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2017841437 Country of ref document: EP Effective date: 20190315 |