WO2016190372A1 - 表示システム、表示装置及び画像処理装置 - Google Patents

表示システム、表示装置及び画像処理装置 Download PDF

Info

Publication number
WO2016190372A1
WO2016190372A1 PCT/JP2016/065512 JP2016065512W WO2016190372A1 WO 2016190372 A1 WO2016190372 A1 WO 2016190372A1 JP 2016065512 W JP2016065512 W JP 2016065512W WO 2016190372 A1 WO2016190372 A1 WO 2016190372A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vibration
processing unit
image processing
display device
Prior art date
Application number
PCT/JP2016/065512
Other languages
English (en)
French (fr)
Inventor
詞貴 後藤
勉 原田
Original Assignee
株式会社ジャパンディスプレイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジャパンディスプレイ filed Critical 株式会社ジャパンディスプレイ
Priority to JP2017520791A priority Critical patent/JP6578000B2/ja
Publication of WO2016190372A1 publication Critical patent/WO2016190372A1/ja
Priority to US15/819,169 priority patent/US10536641B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images

Definitions

  • the present invention relates to a display system, a display device, and an image processing device.
  • a display system including an imaging device and a display device provided in a moving body such as an automobile is known.
  • an image captured by the imaging device can be confirmed on the display device.
  • the present invention has been made in view of the above-described problems, and an image in a state where image blur due to vibration applied to each of the imaging device and the display device is reduced by a moving body provided with the imaging device and the display device. It is an object of the present invention to provide a display system, a display device, and an image processing device that can visually recognize the image. Alternatively, an object of the present invention is to provide a display system, a display device, and an image processing device capable of reducing image blur due to vibration applied to a display device provided in a moving body provided with an imaging device.
  • a display system includes an imaging device that is provided on a moving body and includes an imaging unit that captures an image, and an image captured by the imaging device that is provided on the moving body at a position different from the imaging device.
  • a display device having a display unit for displaying a post-processed image based on the first sensor, a first sensor for detecting vibration on the imaging device side, a second sensor for detecting vibration on the display device side, and a first sensor
  • a first image processing unit that cuts out a preprocessed image smaller than the captured image from the captured image based on a detection result, and a postprocessed image smaller than the preprocessed image based on the detection result of the second sensor.
  • a second image processing unit cut out from the processed image, wherein the first image processing unit shifts the cut-out range of the pre-processed image in the captured image in a direction to cancel the vibration on the imaging device side. It is, the second image processing unit, to follow the cut-out area of the post image in the preprocessed image in the vibration at the display device side.
  • a post-processed image based on an image captured by the imaging device that is provided at a position different from the imaging device in a moving body provided with an imaging device having an imaging unit that captures an image is provided.
  • An image processing unit that cuts out the post-processed image smaller than the pre-processed image from the pre-processed image based on the detection result of the second sensor that detects vibration in the image processing unit, the image processing unit Move the cutout range of the preprocessed image in a direction to cancel the vibration on the imaging device side, and set the cutout range of the postprocessed image in the preprocessed image on the display device side. To follow the vibration.
  • One embodiment of the present invention includes an imaging device having an imaging unit that captures an image, and an imaging unit that is provided at a position different from the imaging device and displays a post-processed image based on a captured image by the imaging device.
  • An image processing device that obtains the post-processed image based on the captured image in a moving body provided with a display device, based on a detection result of a first sensor that detects vibration on the imaging device side.
  • Image processing that cuts out a smaller preprocessed image from the captured image and cuts out the postprocessed image smaller than the preprocessed image from the preprocessed image based on the detection result of the second sensor that detects vibration on the display device side.
  • the image processing unit moves a cutout range of the preprocessed image in the captured image in a direction to cancel vibration on the imaging device side, and the preprocessed image The cut-out area of the post-processing images in an inner to follow the vibration in the display device side.
  • a post-processed image based on an image captured by the imaging device that is provided at a position different from the imaging device in a moving body provided with an imaging device having an imaging unit that captures an image is provided.
  • Another embodiment of the present invention includes an imaging device having an imaging unit that captures an image, and a display unit that is provided at a position different from the imaging device and displays a post-processed image based on a captured image of the imaging device.
  • An image processing device that obtains the post-processed image in a moving body provided with a display device, and is an image generated based on the captured image based on a detection result of a sensor that detects vibration on the display device side.
  • An image processing unit that cuts out from the preprocessed image a preprocessed image smaller than the preprocessed image from the preprocessed image in which the influence of vibration on the imaging device side is reduced, and the image processing unit includes the preprocessed image
  • the cut-out range of the post-processed image in the processed image is made to follow the vibration on the display device side.
  • FIG. 1 is a diagram showing a main configuration of a display system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an arrangement example of the imaging devices included in the room mirror unit and the side mirror unit.
  • FIG. 3 is a diagram illustrating an arrangement example of display devices included in the side mirror unit.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the display device.
  • FIG. 5 is a block diagram showing the main configuration of the side mirror unit.
  • FIG. 6 is a diagram illustrating an example of a relationship between a captured image and a preprocessed image.
  • FIG. 1 is a diagram showing a main configuration of a display system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an arrangement example of the imaging devices included in the room mirror unit and the side mirror unit.
  • FIG. 3 is a diagram illustrating an arrangement example of display devices included in the side mirror unit.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the
  • FIG. 7 shows the vibration detected by the first sensor, the fluctuation of the imaging range due to the vibration applied to the imaging device, the correction of the first coordinate, and the fluctuation of the cutout range of the preprocessed image due to the correction of the first coordinate. It is a figure which shows an example of the relationship with the pre-processing image obtained by cutting out.
  • FIG. 8 is a diagram illustrating an example of the relationship between the preprocessed image and the postprocessed image.
  • FIG. 9 shows the vibration detected by the second sensor, the fluctuation of the image display position with respect to the horizontal line at a predetermined position due to the vibration applied to the display device, the correction of the second coordinate, and the post-processed image by the correction of the second coordinate.
  • FIG. 10 is a flowchart illustrating an example of the flow of image processing in the side mirror unit.
  • FIG. 11 is a flowchart illustrating an example of a processing flow when the timing of sensing by the first sensor and the timing of sensing by the second sensor are simultaneous.
  • FIG. 12 is a block diagram illustrating a main configuration of a side mirror unit according to a modification.
  • FIG. 13 is a block diagram illustrating a main configuration of a side mirror unit according to a modification.
  • FIG. 1 is a diagram showing a main configuration of a display system 1 according to an embodiment of the present invention.
  • the display system 1 includes a room mirror unit 2, two side mirror units 3 ⁇ / b> A and 3 ⁇ / b> B, and a CID (Center Information Display) unit 4.
  • the display system 1 is a so-called in-vehicle display system provided in an automobile that is a moving body.
  • FIG. 2 is a diagram illustrating an arrangement example of the imaging devices 5A, 5B, and 5C included in the side mirror units 3A and 3B and the room mirror unit 2.
  • the angles of view of the imaging devices 5A, 5B, and 5C are indicated by broken lines.
  • the display system 1 of the embodiment includes three imaging devices 5A, 5B, and 5C.
  • the three imaging devices 5A, 5B, and 5C are arranged on the side and rear of the vehicle body BO of the automobile.
  • the three imaging devices 5A, 5B, and 5C are provided such that a solid-state imaging device that is one configuration of the imaging unit 71 (see FIG. 5) can detect external light through a lens, and the angle of view is directed toward the outside of the vehicle.
  • the three imaging devices 5A, 5B, and 5C capture images that allow confirmation of conditions outside the vehicle. More specifically, the angle of view of the image pickup devices 5A and 5B provided on the side and the image pickup device 5C provided on the rear are provided such that the angle of view partially overlaps. As a result, out of the angle of view of the side imaging devices 5A and 5B, the situation behind the angle of view AV1 and AV2 on the front side of the vehicle may fall within the imaging range of the three imaging devices 5A, 5B, and 5C. it can.
  • the display devices 20A and 20B of the side mirror units 3A and 3B display images captured by the side imaging devices 5A and 5B, and the display device 20C of the room mirror unit 2 is displayed by the rear imaging device 5C. The captured image is displayed.
  • the imaging devices 5A, 5B, and 5C are not particularly distinguished, they may be described as the imaging device 5.
  • the display devices 20A, 20B, and 20C and the display device 20D of the CID unit 4 may be described as the display device 20 when they are not particularly distinguished.
  • the display system 1 includes a first sensor 72 that detects vibration on the imaging device 5 side.
  • the first sensors 72A, 72B, and 72C are individually provided in the respective housings of the imaging devices 5A, 5B, and 5C.
  • the first sensors 72A, 72B, and 72C are not particularly distinguished, they may be described as the first sensor 72.
  • FIG. 3 is a diagram illustrating an arrangement example of the display device 20A included in the side mirror unit 3A.
  • the display device 20A included in the side mirror unit 3A is disposed inside the four-wheeled vehicle and on the side of the driver's seat.
  • the display unit 83 included in the display device 20A is provided near the base of the A pillar AP existing between the windshield FG and the side glass SG, for example, as shown in FIG.
  • the handle HN and the like are provided at positions opposite to the left and right of the display device 20A included in the side mirror unit 3A with respect to the driver's seat.
  • the display devices 20A and 20B included in the side mirror units 3A and 3B display images that mainly indicate the situation on the side of the vehicle body BO in the situation outside the vehicle. That is, the side mirror units 3A and 3B can be used for confirming the situation outside the vehicle, which has been confirmed by a conventional door mirror or fender mirror.
  • the display device 20C included in the rearview mirror unit 2 is arranged to replace the rearview mirror, for example, at a position where the rearview mirror is provided in a conventional automobile. That is, the room mirror unit 2 can be used for confirming the situation behind the vehicle, which has been confirmed by a conventional rearview mirror.
  • the display system 1 includes a second sensor 82 that detects vibration on the display device 20 side.
  • the second sensor 82A that detects vibration on the display device 20A side is a position that does not affect the display output by the display device 20A, such as the opposite side of the display surface of the display device 20A. And provided individually in the housing of the display device 20A.
  • Other display devices 20B, 20C, and 20D are also provided with the same second sensor.
  • the second sensor 82 may be described.
  • the CID unit 4 includes, for example, a central processing unit 14 and a display device 20D.
  • the display device 20D of the CID unit 4 is provided on a dashboard, for example, and displays road guidance information and the like in the car navigation system.
  • the display device 20D of the CID unit 4 may display information similar to instruments such as a speedometer, a tachometer, a fuel meter, a water temperature meter, and a distance meter.
  • the CID unit 4 of the embodiment is connected to the room mirror unit 2 and the side mirror units 3A and 3B so that data transmission is possible.
  • the CID unit 4, the room mirror unit 2, and the side mirror units 3A and 3B are connected through an interface such as HDMI (High-Definition Multimedia Interface), for example.
  • HDMI High-Definition Multimedia Interface
  • This is an example of a specific form of connection between the CID unit 4, the room mirror unit 2 and the side mirror units 3A and 3B, and is not limited to this, and can be changed as appropriate.
  • the display device 20D of the CID unit 4 substitutes the display output of the failed display device when any of the display devices 20A, 20B, and 20C included in each of the side mirror units 3A and 3B and the room mirror unit 2 fails.
  • the central processing unit 14 performs various processes related to display output by the display device 20 ⁇ / b> D of the CID unit 4.
  • the display devices 20A, 20B, 20C, and 20D, and the first sensors 72A, 72B, and 72C the uppercase alphabet added after the number in the reference sign is a mobile vehicle This is for distinguishing the arrangement in the above, and there is no particular difference in the specific configuration.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the display device 20.
  • the display device 20 includes a second image processing device 81, a second sensor 82, and a display unit 83.
  • the display unit 83 includes, for example, an image display panel 30 that displays an image based on a signal (output signal) generated by the second image processing device 81 based on a post-processed image 93 (see FIG. 8 and the like), and an image display
  • the image display panel drive circuit 40 which controls the drive of the panel 30, the light source device 50 which illuminates the image display panel 30 from the back surface, for example, and the light source device control circuit 60 which controls the drive of the light source device 50 are provided.
  • the post-processing image 93 and the second sensor 82 will be described later.
  • the image display panel 30 includes, for example, P 0 ⁇ Q 0 (P 0 in the row direction and Q 0 in the column direction), and the pixels 48 arranged in a two-dimensional matrix.
  • the row direction is the X direction and the column direction is the Y direction.
  • the direction orthogonal to the two directions of XY is the Z direction.
  • the display device 20 is, for example, a transmissive color liquid crystal display device.
  • the pixel 48 has a plurality of color sub-pixels for performing color display output.
  • the pixel 48 has red (R), green (G), and blue (B) subpixels, and performs color display output according to the gradation value of each of these subpixels.
  • the pixel 48 may have sub-pixels of other colors.
  • one or a plurality of complementary subpixels for the primary color (RGB) such as cyan (C), magenta (M), and yellow (Y) may be included.
  • the pixel 48 may include a sub-pixel having a higher luminance than the primary color (RGB) such as white (W).
  • the image display panel drive circuit 40 includes a signal output circuit 41 and a scanning circuit 42.
  • the signal output circuit 41 is a so-called source driver, and generates a video signal for driving the pixel 48 in accordance with the output signal output from the second image processing device 81.
  • the image display panel drive circuit 40 holds the video signal by the signal output circuit 41 and sequentially outputs it to the image display panel 30.
  • the signal output circuit 41 is electrically connected to the image display panel 30 through a wiring DTL.
  • the pixel 48 has, for example, a plurality of subpixels, and operates so that the subpixels have a light transmittance corresponding to the video signal.
  • the scanning circuit 42 is a so-called gate driver, and outputs a scanning signal corresponding to the pixel row indicated by the output signal output from the second image processing device 81.
  • the image display panel driving circuit 40 outputs a scanning signal from the scanning circuit 42, whereby a switching element (for example, display brightness, in this case, light transmittance) for controlling the operation of the sub-pixels in the image display panel 30. For example, ON / OFF of a thin film transistor (TFT: Thin Film Transistor) is controlled.
  • TFT Thin Film Transistor
  • the fact that the scanning circuit 42 turns on / off the switching element via the scanning line SCL means that the switching element can be turned on / off for each pixel row (line) provided along the scanning line SCL. is there.
  • the display device 20 is provided so as to be able to control ON / OFF of the display output in units of lines.
  • the light source device 50 is disposed on the back surface of the image display panel 30 and irradiates the image display panel 30 with light, thereby functioning as a backlight and illuminating the image display panel 30.
  • the light source device 50 may have a front light configuration arranged in front of the image display panel 30.
  • a self-luminous display such as an OLED (Organic Light Emitting Diode) display is used as the image display panel 30, the light source device 50 can be omitted.
  • the light source device 50 irradiates light on the entire surface of the image display panel 30 to illuminate the image display panel 30.
  • the light source device control circuit 60 controls the amount of light emitted from the light source device 50 and the like. Specifically, the light source device control circuit 60 adjusts the duty ratio of the current, voltage, or signal supplied to the light source device 50 on the basis of the light source device control signal output from the second image processing device 81, thereby generating an image.
  • the irradiation light amount (light intensity) of the light that irradiates the display panel 30 is controlled.
  • the side mirror unit 3A will be described more specifically as an example of a combination of one imaging device 5 and one display device 20.
  • FIG. 5 is a block diagram showing the main configuration of the side mirror unit 3A.
  • the imaging device 5A of the side mirror unit 3A includes an imaging unit 71, a first sensor 72A, and a first image processing device 73.
  • the display device 20A of the side mirror unit 3A includes the second image processing device 81, the second sensor 82A, and the display unit 83, as described with reference to FIG.
  • the imaging unit 71 is provided in an automobile that is a moving body and captures an image (see FIG. 2).
  • the imaging unit 71 includes a solid-state imaging device (image sensor), a lens, a circuit that generates an image composed of a plurality of pixels arranged in the XY direction based on charges output from the solid-state imaging device, and the like. This is a so-called digital camera.
  • the solid-state imaging device is, for example, a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor, but is another type of image sensor having a function of outputting a charge capable of generating a two-dimensional image. May be.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the imaging unit 71 captures an image at a predetermined frame rate and outputs it as a captured image 91 (see FIG. 6 and the like).
  • the predetermined frame rate is arbitrary, and examples thereof include 60 fps and 120 fps.
  • a two-dimensional surface on which the solid-state imaging device detects light is defined as an xy plane
  • two directions orthogonal to the xy plane are defined as an xy direction
  • one direction orthogonal to the xy direction (a direction along the imaging depth direction) is defined. It may be described as the z direction.
  • the first sensor 72 including the first sensor 72A detects vibration on the imaging device 5 side.
  • the first sensor 72A is, for example, at least two directions in the xy direction that are horizontal to the imaging surface among the three directions in the xyz direction of the solid-state imaging device included in the imaging unit 71 provided in the imaging device 5A.
  • An accelerometer that can detect acceleration is included, and the amount of vibration is detected based on the acceleration detected by the accelerometer.
  • the first sensor 72 detects vibration applied to the imaging device 5 as the vehicle travels at the imaging device 5 side in the vehicle, that is, at a position closer to the imaging device 5 than the display device 20. As shown in FIG. 2, the first sensor 72 may exist in the housing of the imaging device 5 or may be provided in the vicinity of the imaging device 5.
  • the first image processing device 73 is a circuit that generates and outputs a preprocessed image 92 (see FIG. 6 and the like) based on a captured image 91 by the imaging device 5.
  • the first image processing device 73 of the imaging device 5 ⁇ / b> A serves as a first image processing unit 101 that extracts a preprocessed image 92 smaller than the captured image 91 from the captured image 91 based on the detection result of the first sensor 72 ⁇ / b> A.
  • the first image processing device 73 is a circuit existing in the housing of the imaging device 5, but the image signal output from the imaging device 5 is processed to the downstream side of the data flow (the display device 20 side). It may be an external circuit that outputs the signal. The function as the first image processing unit 101 will be described later.
  • the second sensor 82 including the second sensor 82A detects vibration on the display device 20 side.
  • the second sensor 82A detects acceleration in at least two directions in the XY directions that are horizontal to the display surface among the three directions in the XYZ directions of the display unit 83 provided in the display device 20A. And an amount of vibration is detected based on the acceleration detected by the accelerometer.
  • the second sensor 82 detects vibration applied to the display device 20 as the vehicle travels at the display device 20 side in the vehicle, that is, at a position closer to the display device 20 than the imaging device 5.
  • the second sensor 82 may exist in the housing of the display device 20 or may be provided in the vicinity of the display device 20.
  • acceleration sensor which comprises the 1st sensor 72 and the 2nd sensor 82, as shown in FIG. 2, FIG. 3, by utilizing the small thing produced, for example using MEMS (Micro Electro Mechanical Systems) technology.
  • MEMS Micro Electro Mechanical Systems
  • These can be provided as structures built in the imaging device 5 and the display device 20, respectively.
  • the second image processing device 81 is a circuit that generates and outputs a post-processed image 93 based on a preprocessed image 92 that is an image output from the imaging device 5 side.
  • the second image processing device 81 of the display device 20A is a second image processing unit that cuts out the post-processed image 93 smaller than the pre-processed image 92 from the pre-processed image 92 based on the detection result of the second sensor 82A. It functions as 102.
  • the second image processing device 81 is a circuit existing in the housing of the display device 20, but the preprocessed image 92 signal input to the display device 20 is more upstream than the display device 20 in the data flow.
  • the second image processing device 81 of the embodiment further includes signals (output signals and light source devices) related to operation control of the image display panel drive circuit 40 and the light source device control circuit 60.
  • signals output signals and light source devices
  • a circuit that functions as the second image processing unit 102 and a circuit that outputs signals related to operation control of the image display panel drive circuit 40 and the light source device control circuit 60 are provided separately. May be.
  • the display device 20 is provided at a position different from that of the imaging device 5 in an automobile as a moving body (see FIG. 3).
  • the display unit 83 of the display device 20 displays the post-process image 93.
  • the post-process image 93 is generated and output based on the pre-process image 92.
  • the preprocessed image 92 is generated and output based on the captured image 91. Therefore, the post-processed image 93 is an image based on the captured image 91 by the imaging device 5. That is, the display device 20 displays the post-process image 93 based on the captured image 91 by the imaging device 5.
  • the first image processing unit 101 moves the cutout range of the preprocessed image 92 in the captured image 91 in a direction to cancel the vibration on the imaging device 5 side. Specifically, the first image processing unit 101 uses the first sensor 72A based on a first range defined using predetermined first coordinates in the captured image 91 when the moving body is stationary. A first range moved according to the first coordinates corrected based on the detected vibration direction and vibration amount is cut out from the captured image 91 as a preprocessed image 92.
  • FIG. 6 is a diagram illustrating an example of the relationship between the captured image 91 and the preprocessed image 92.
  • p pixels are arranged in the x direction starting from the first origin, and in the y direction.
  • a pixel region of the captured image 91 that is a two-dimensional image in which q pixels are arranged is expressed as a two-dimensional region extending from the coordinates (x1, y1) of the first origin to the diagonal coordinates (xp, yq) of the first origin. be able to.
  • the first image processing unit 101 sets a range cut out from the captured image 91 as the preprocessed image 92 as a two-dimensional region smaller than the pixel region of the captured image 91.
  • the first image processing unit 101 for example, an area in the pixel area of the captured image 91 that extends from the coordinates (x1, y1) of the first origin to the diagonal coordinates (xp, yq) of the first origin.
  • a two-dimensional area having a pixel whose number in the x direction is a smaller than that of the captured image 91 and a pixel whose number of pixels in the y direction is smaller than the captured image 91 is captured as the preprocessed image 92.
  • the range is cut out from the image 91.
  • p, q, a, and b are integers.
  • the first image processing unit 101 obtains the preprocessed image 92 from the central portion in the captured image 91 when the moving body is stationary. Therefore, when the moving vehicle is stationary, the first image processing unit 101 performs (x (a / 2), y (b / 2)) in the captured image 91 as shown in FIG. A pixel region extending from the coordinates to the coordinates of (x (p ⁇ (a / 2)), y (q ⁇ (b / 2))) is defined as a first range determined using predetermined first coordinates, and the predetermined range A first range determined using the first coordinates is cut out as a preprocessed image 92.
  • the coordinates of (x (a / 2), y (b / 2)) with respect to the coordinates (x1, y1) of the first origin are the first coordinates.
  • amendment is a coordinate defined in the captured image 91 when a moving body (for example, motor vehicle) is still.
  • the coordinates of (x (a / 2), y (b / 2)) with respect to the coordinates (x1, y1) of the first origin are set as the first coordinates, and (pa) in the x direction from the first origin.
  • the first range described with reference to FIG. 6 is set by setting the two-dimensional region having the pixels and (qb) pixels in the y direction as the preprocessed image 92.
  • the method of specifically setting the range cut out from the captured image 91 as the preprocessed image 92 determined based on the first coordinate and the first coordinate can be changed as appropriate. For example, when a and b are odd numbers, the coordinates represented by (a / 2) and (b / 2) are not integers.
  • the pre-processed image 92 is cut out.
  • the pixel area can be set correctly. Note that “ ⁇ ” is either plus (+) or minus ( ⁇ ).
  • FIG. 7 shows the amount of vibration detected by the first sensor 72A, the change in the imaging range due to the vibration applied to the imaging device 5A, the correction of the first coordinates, and the cropping of the preprocessed image 92 by the correction of the first coordinates. It is a figure which shows an example of the relationship between the fluctuation
  • the imaging range in a stationary state of the automobile is indicated by a broken line
  • the imaging range after the imaging range is changed due to vibration applied to the imaging device 5 ⁇ / b> A is indicated by a solid line.
  • the first sensor 72A detects the amount of vibration in the xy direction generated on the imaging device 5A side as the automobile travels.
  • Fig. 7 “Frame 1" the car is stationary.
  • the first image processing unit 101 cuts out the preprocessed image 92 without correcting the first coordinates. That is, the first image processing unit 101 cuts out the preprocessed image 92 from the captured image 91 by setting the correction amount in the xy direction of the first coordinate to ⁇ 0. In this case, as described with reference to FIG.
  • the preprocessed image 92 is derived from the coordinates (x (a / 2), y (b / 2)) in the captured image 91 (x (p ⁇ (a / 2)), y (q ⁇ (b / 2))) is an image obtained by cutting out the pixel area over the coordinates.
  • the car is running.
  • the first image processing unit 101 is detected by the first sensor 72A.
  • the first range moved according to the first coordinate corrected based on the direction and amount of vibration is cut out from the captured image 91 as a preprocessed image 92.
  • the angle of view of the imaging device 5A is determined by the vibration. Is shifted by one pixel in the xy direction toward the first origin side.
  • the imaging target that was imaged at the coordinates (x1, y1) of the first origin in the stationary state is imaged at the coordinates (x2, y2).
  • the imaging range moves as indicated by an arrow m1 as compared with the case of “frame 1”.
  • the first image processing unit 101 corrects the first coordinates so as to move the cutout range of the preprocessed image 92 in the direction opposite to the direction of displacement of the angle of view caused by vibration. Specifically, in “Frame 2” in FIG. 7, the vibration amount is (x: ⁇ 1, y: ⁇ 1), so 1 is added to the x coordinate and the y coordinate representing the first coordinate. Therefore, the first coordinates in “frame 2” are corrected to (x ((a / 2) +1), y ((b / 2) +1)). By the correction, the first coordinate moves as indicated by the arrow M1, and the cutout range also moves with the correction of the first coordinate.
  • the first image processing unit 101 (x ((a / 2) +1), y ((b / 2) +1)) from the coordinates (x ((a / 2) +1)) in the captured image 91 obtained at the timing of “frame 2”.
  • a pixel area spanning the coordinates of p ⁇ (a / 2) +1) and y (q ⁇ (b / 2) +1)) is cut out as a preprocessed image 92.
  • the vibration amount is (x: +2, y: +1), that is, when a vibration amount of +2 in the x direction and +1 in the y direction is detected, the angle of view of the imaging device 5A is changed to the first origin by the vibration. Are shifted by two pixels in the x-direction and one pixel in the y-direction toward the opposite side.
  • the imaging target that has been imaged at the coordinates (x1, y1) of the first origin in the stationary state is outside the imaging range, and the coordinates (x3, y2) in the stationary state. ) Is imaged at the first origin.
  • the first image processing unit 101 corrects the first coordinates so as to move the cutout range of the preprocessed image 92 in the direction opposite to the direction of displacement of the field angle caused by vibration. Specifically, in “frame 3” in FIG. 7, the vibration amount is (x: +2, y: +1), so 2 is subtracted from the x coordinate representing the first coordinate, and 1 is subtracted from the y coordinate. Therefore, the first coordinates in “frame 3” are corrected to (x ((a / 2) -2), y ((b / 2) ⁇ 1)).
  • the first image processing unit 101 uses the coordinates (x ((a / 2) -2), y ((b / 2) -1)) in the captured image 91 obtained at the timing of “frame 3”. A pixel region spanning the coordinates of x ((p- (a / 2) -2), y ((q- (b / 2) -1))) is cut out as a preprocessed image 92.
  • the preprocessed image 92 is cut out by correcting the first coordinates so as to move the cutout range of the preprocessed image 92 in the direction opposite to the direction of the angle of view caused by the vibration.
  • the imaging range of “Frame 1” cut out as the preprocessed image 92 when the automobile is stationary is shown. It becomes the same as the range. That is, as described with reference to FIG. 7, the first image processing unit 101 moves the cutout range of the preprocessed image 92 in the captured image 91 in the direction to cancel the vibration on the imaging device 5 ⁇ / b> A side. Even if vibration is generated on the 5A side, it is possible to suppress blurring of the preprocessed image 92.
  • the first image processing unit 101 is corrected based on the direction and amount of vibration detected by the first sensor 72A with the same mechanism, not limited to the examples shown by “Frame 1” to “Frame 3” in FIG.
  • the first range moved according to the first coordinates is cut out as a preprocessed image 92 from the captured image 91.
  • the amount of vibration when the imaging device 5A vibrates so that the angle of view deviates in the diagonal direction from the first origin is taken as plus (+), but this is an example of a vibration amount management method. It is not restricted to this, It can change suitably.
  • the second image processing unit 102 causes the cut-out range of the post-process image 93 in the pre-process image 92 to follow the vibration on the display device 20A side. Specifically, the second image processing unit 102 uses the second sensor 82A based on a second range determined using predetermined second coordinates in the preprocessed image 92 when the moving body is stationary. The second range moved in accordance with the second coordinate corrected based on the vibration direction and the vibration amount detected by the step is cut out from the preprocessed image 92 as the postprocessed image 93.
  • FIG. 8 is a diagram illustrating an example of the relationship between the pre-processed image 92 and the post-processed image 93.
  • a pixels are arranged in the X direction starting from the second origin, and the Y direction
  • the pixel area of the preprocessed image 92 which is a two-dimensional image in which B pixels are arranged in a line, is a two-dimensional area extending from the coordinates (X1, Y1) of the second origin to the diagonal coordinates (XA, YB) of the second origin.
  • the second image processing unit 102 sets a range cut out from the preprocessed image 92 as the postprocessed image 93 as a two-dimensional area smaller than the pixel area of the preprocessed image 92.
  • the second image processing unit 102 for example, of the preprocessed image 92 from the coordinates (X1, Y1) of the second origin shown in FIG. 8 to the diagonal coordinates (XA, YB) of the second origin.
  • the pixel count in the X direction is c fewer than the captured image 91 and the pixel count in the Y direction is d fewer than the captured image 91.
  • the processed image 93 is a range cut out from the captured image 91. c and d are integers.
  • the second image processing unit 102 obtains the post-processed image 93 from the central portion in the pre-processed image 92 when the moving body is stationary. Therefore, when the automobile that is a moving body is stationary, the second image processing unit 102 (X (c / 2), Y (d / 2)) in the preprocessed image 92 as shown in FIG. A pixel region extending from the coordinates of (X (A ⁇ (c / 2)), Y (B ⁇ (d / 2))) to a second range determined using predetermined second coordinates, A second range determined using predetermined first coordinates is cut out as a post-process image 93.
  • the coordinates of (X (c / 2), Y (d / 2)) with respect to the coordinates (X1, X1) of the second origin are the second coordinates.
  • the second coordinates before correction are coordinates determined in the preprocessed image 92 when the moving body (for example, an automobile) is stationary.
  • resampling for display output can be made unnecessary by associating the number of pixels in the XY direction of the post-processed image 93 with the resolution (P 0 ⁇ Q 0 ) of the image display panel 30.
  • the coordinates of (X (c / 2), Y (d / 2)) with respect to the coordinates (X1, Y1) of the second origin are set as the second coordinates, and (Ac) in the X direction from the second origin.
  • the second range described with reference to FIG. 8 is set by setting the two-dimensional area having the number of pixels and the (Bd) number of pixels in the Y direction as the post-processed image 93.
  • the preprocessed image 92 how to specifically set the range extracted from the captured image 91 as the preprocessed image 92 determined based on the second coordinate and the second coordinate can be changed as appropriate. It is.
  • FIG. 9 shows the amount of vibration detected by the second sensor 82A, the fluctuation of the image display position with respect to the horizontal line H at a predetermined position due to the vibration applied to the display device 20A, the correction of the second coordinate, and the correction of the second coordinate.
  • FIG. 6 is a diagram illustrating an example of a relationship between a change in the cutout range of the post-processed image 93 due to, a display output content of the display device 20A that displays the post-processed image 93, and a horizontal line H at a predetermined position.
  • the position of the display unit 83 in a stationary state of the automobile is indicated by a broken line, and the position after the display unit 83 is changed due to vibration applied to the display device 20 ⁇ / b> A is indicated by a solid line.
  • the second sensor 82A detects the amount of vibration in the XY directions generated on the display device 20A side as the automobile travels.
  • the second image processing unit 102 cuts out the post-processed image 93 without performing correction on the second coordinates. That is, the second image processing unit 102 cuts out the post-processed image 93 from the pre-processed image 92 with the correction amount in the XY direction of the second coordinates set to ⁇ 0.
  • the post-processed image 93 is derived from the coordinates (X (c / 2), Y (d / 2)) in the preprocessed image 92 (X (A ⁇ (c / 2)), Y (B ⁇ (d / 2))).
  • the car is running. If a vibration amount exceeding 0 is detected in at least one of the XY directions by the second sensor 82A, for example, because the automobile is running, the second image processing unit 102 is detected by the second sensor 82A. The second range moved according to the second coordinate corrected based on the direction and amount of vibration is cut out from the preprocessed image 92 as the postprocessed image 93.
  • the vibration amount is (X: -1, Y: -1), that is, when a vibration amount of -1 in the X direction and -1 in the Y direction is detected
  • the position of the display unit 83 is caused by the vibration.
  • One pixel is shifted in the XY direction toward the second origin side (upper left side) of the display area, and the display device moves as indicated by an arrow m3 as compared with the case of “frame 1”.
  • the second image processing unit 102 corrects the second coordinates so as to move the cutout range of the post-processed image 93 in the same direction as the direction of deviation of the field angle caused by vibration. Specifically, in “Frame 2” in FIG. 9, the vibration amount is (X: ⁇ 1, Y: ⁇ 1), so 1 is subtracted from the X coordinate and Y coordinate representing the second coordinate. Accordingly, the second coordinates in “frame 2” are corrected to (X ((c / 2) ⁇ 1), Y ((d / 2) ⁇ 1)). By the correction, the second coordinate moves as indicated by an arrow M3, and the cutout range also moves with the correction of the second coordinate.
  • the second image processing unit 102 determines the coordinates of (X ((c / 2) -1), Y ((d / 2) -1)) in the preprocessed image 92 obtained at the timing of “frame 2”. A pixel region spanning the coordinates of (X (A ⁇ (c / 2) ⁇ 1), Y (B ⁇ (d / 2) ⁇ 1)) is cut out as a post-process image 93.
  • the position of the display unit 83 is set to the second origin by vibration. It is shifted by two pixels in the X direction and one pixel in the Y direction toward the diagonal side (lower right side), and the display device moves as indicated by an arrow m4 as compared with the case of “frame 1”. .
  • the second image processing unit 102 corrects the second coordinates so as to move the cutout range of the post-processed image 93 in the same direction as the direction of deviation of the field angle caused by vibration. Specifically, in “frame 3” in FIG.
  • the vibration amount is (X: +2, Y: +1), so 2 is added to the X coordinate representing the second coordinate, and 1 is added to the Y coordinate. Therefore, the second coordinate in “frame 3” is corrected to (X ((c / 2) +2), Y ((b / 2) +1)). By the correction, the second coordinate moves as indicated by an arrow M4, and the cutout range also moves with the correction of the second coordinate.
  • the second image processing unit 102 calculates (X ((c / 2) +2), Y ((b / 2) +1)) from the coordinates (X ((c / 2) +2), Y) in the preprocessed image 92 obtained at the timing of “frame 3”. A pixel region spanning the coordinates of ((A ⁇ (c / 2) +2), Y ((B ⁇ (d / 2) +1))) is cut out as a post-process image 93.
  • the post-processed image 93 is cut out by correcting the second coordinates so as to move the cut-out range of the post-processed image 93 in the same direction as the direction of displacement of the angle of view caused by the vibration, so that the post-processed image 93 is cut out.
  • the imaging range to follow follows the vibration on the display device 20A side.
  • the display output content of the display device 20A that displays the post-processed image 93 is relative to the horizontal line H at a predetermined position. Do not move.
  • the second image processing unit 102 causes the cutout range of the post-processed image 93 in the captured image 91 to follow the vibration on the display device 20 ⁇ / b> A side, thereby causing vibration on the display device 20 ⁇ / b> A side. It is possible to suppress the apparent blur when it occurs.
  • the second image processing unit 102 is corrected based on the direction and amount of vibration detected by the second sensor 82A with the same mechanism, not limited to the examples shown by “frame 1” to “frame 3” in FIG.
  • the second range moved according to the second coordinates is cut out from the preprocessed image 92 as a postprocessed image 93.
  • the vibration amount when the display device 20 ⁇ / b> A vibrates so as to move in the direction of the second origin side when viewed from the center of the display area is minus ( ⁇ ), and the second amount when viewed from the center of the display area.
  • the amount of vibration when the display device 20A vibrates so as to move in the diagonal direction of the origin is set to plus (+), but this is an example of a method for managing the amount of vibration and is not limited thereto. These can be changed as appropriate.
  • FIG. 10 is a flowchart showing an example of the flow of image processing in the side mirror unit 3A.
  • the imaging device 5A operates the imaging unit 71 to generate a captured image 91 (step S1). Further, the first sensor 72A detects the amount of vibration on the imaging device 5A side (step S2). Steps S1 and S2 are performed in parallel.
  • the first image processing device 73 functioning as the first image processing unit 101 corrects the first coordinates so as to move the cutout range of the preprocessed image 92 in a direction to cancel the vibration on the imaging device 5A side (step S3). .
  • the first image processing device 73 cuts out the preprocessed image 92 from the captured image 91 using the cutout range of the preprocessed image 92 specified by the corrected first coordinates (step S4).
  • the first image processing device 73 outputs the preprocessed image 92 to the display device 20A (step S5).
  • the second sensor 82A detects the vibration amount on the display device 20A side (step S6).
  • the second image processing device 81 functioning as the second image processing unit 102 corrects the second coordinates so that the cutout range of the post-processed image 93 follows the vibration on the display device 20A side (step S7).
  • the second image processing device 81 employs the cutout range of the postprocessed image 93 specified by the corrected second coordinates, and cuts out the postprocessed image 93 from the preprocessed image 92 (step S8).
  • the display device 20A displays and outputs the post-process image 93 (step S9).
  • the embodiment has been described above using the imaging device 5A and the display device 20A included in the side mirror unit 3A as examples.
  • the imaging device 5C and the display device 20B included in the side mirror unit 3B and the imaging device 5C and the display included in the room mirror unit 2 are described.
  • the device 20C is the same as the imaging device 5A and the display device 20A included in the side mirror unit 3A.
  • the side mirror units 3A and 3B and the room mirror unit 2 are respectively provided in the moving body with the imaging device 5 having the imaging unit 71 that captures an image, and in the moving body at a position different from the imaging device 5.
  • a display device 20 that is provided and includes a display unit 83 that displays a post-processed image 93 based on a captured image 91 by the imaging device 5, a first sensor 72 that detects vibration on the imaging device 5 side, and a display device 20 side.
  • a second sensor 82 that detects vibration, a first image processing unit 101 that cuts out a preprocessed image 92 smaller than the captured image 91 from the captured image 91 based on the detection result of the first sensor 72, and detection by the second sensor 82
  • a second image processing unit 102 that cuts out a post-processed image 93 smaller than the pre-processed image 92 from the pre-processed image 92 based on the result.
  • the cutout range of the preprocessed image 92 in 1 is moved in the direction to cancel the vibration on the imaging device 5 side, and the second image processing unit 102 displays the cutout range of the postprocessed image 93 in the preprocessed image 92 on the display device 20. It has the feature as a display system that follows the vibration on the side.
  • the coordinates are set in the image by associating the pixels with the coordinates 1: 1, but the method for setting the coordinates is not limited to this, and can be changed as appropriate. Is possible.
  • the correspondence ratio between the minimum unit of coordinates and the number of pixels may be set based on the minimum unit of resolution of the vibration amount by the first sensor 72.
  • resolution conversion of the captured image 91 and the preprocessed image 92 may be performed for the purpose of associating the minimum unit of resolution of the vibration amount by the first sensor 72 with the number of pixels.
  • the relationship between the timing of sensing by the first sensor and the timing of sensing by the second sensor can be changed as appropriate.
  • FIG. 11 is a flowchart showing an example of the flow of processing when the timing of sensing by the first sensor and the timing of sensing by the second sensor are simultaneous.
  • the sensing timing by the first sensor and the sensing by the second sensor are performed simultaneously, for example, as shown in FIG. 11, the first sensor 72 on the imaging device side and the second sensor on the display device side in parallel with the imaging timing in step S1.
  • Sensing is performed by operating the sensor 82 (step S11).
  • the process shown in FIG. 11 is the same as the process shown in FIG. 10 except that the process of step S2 in FIG. 10 is replaced with the process of step S11 and the process of step S6 is omitted.
  • the first image processing unit 101 moves the cutout range of the preprocessed image 92 in the captured image 91 in a direction to cancel the vibration on the imaging device 5 side. For this reason, even if vibration occurs on the imaging device 5 side, it is possible to prevent the preprocessed image 92 from being blurred. Further, the second image processing unit 102 causes the cut-out range of the post-process image 93 in the pre-process image 92 to follow the vibration on the display device 20 side. For this reason, it is possible to suppress an apparent shake when vibration is generated on the display device 20 side.
  • the image can be visually recognized in a state where the image blur due to is reduced.
  • image blur due to vibration applied to the display device 20 provided in the moving body provided with the imaging device 5 can be reduced.
  • the first image processing unit 101 uses the first sensor based on a first range determined using predetermined first coordinates in the captured image 91 when the moving body (for example, a car) is stationary.
  • the first range moved in accordance with the first coordinate corrected based on the direction and amount of vibration detected by 72 is cut out from the captured image 91 as a preprocessed image 92
  • the second image processing unit 102 Is corrected based on the direction and amount of vibration detected by the second sensor 82 based on a second range determined using predetermined second coordinates in the preprocessed image 92 when the image is stationary.
  • the second range moved according to the second coordinates is cut out from the preprocessed image 92 as a postprocessed image 93. For this reason, it is possible to correct the cutout range for suppressing image blurring due to vibration with reference to the case where the moving body is stationary.
  • the first image processing device 73 that functions as the first image processing unit 101 is provided on the imaging device 5 side, and the second image processing device 81 that functions as the second image processing unit 102 is provided on the display device 20 side. It is done. For this reason, the process for suppressing the influence of the vibration generated on the imaging apparatus 5 side and the process for suppressing the influence of the vibration generated on the display apparatus 20 side can be distributed. Processing load can be reduced.
  • FIG. 12 and 13 are block diagrams showing the main configuration of the side mirror unit 3A according to the modification.
  • an image processing apparatus 100 provided on the display device 20A side may function as a first image processing unit 101 and a second image processing unit 102.
  • the first image processing device 73 provided on the imaging device 5A side in the embodiment is not necessary.
  • Each of the first sensor 72A and the second sensor 82A outputs a detection result to the image processing apparatus 100.
  • the imaging unit 71 outputs a captured image 91 to the image processing apparatus 100.
  • the image processing apparatus 100 cuts out the preprocessed image 92 from the captured image 91 by functioning as the first image processing unit 101, and cuts out the postprocessed image 93 from the preprocessed image 92 by functioning as the second image processing unit 102.
  • the display device 20A includes the image processing device 100 that functions as the first image processing unit 101 and the second image processing unit 102.
  • the imaging device 5A replaces the display device 20A with the image processing device 100. May be provided.
  • the image processing device 110 provided independently from the imaging device 5A and the display device 20A side may function as the first image processing unit 101 and the second image processing unit 102.
  • the first image processing device 73 and the second image processing device 81 in the embodiment are not necessary.
  • each of the first sensor 72A and the second sensor 82A outputs the detection result to the image processing apparatus 110 provided independently.
  • the imaging unit 71 outputs a captured image 91 to the image processing apparatus 110 provided independently.
  • the image processing apparatus 110 provided independently cuts out the preprocessed image 92 from the captured image 91 by functioning as the first image processing unit 101, and functions from the preprocessed image 92 by functioning as the second image processing unit 102.
  • a post-process image 93 is cut out.
  • the first image processing device 73 on the imaging device 5 side cuts out the preprocessed image 92 smaller than the captured image 91 based on the detection result of the first sensor 72 from the captured image 91
  • the image blurring due to the vibration on the imaging device 5 side is suppressed by moving the cutout range of the preprocessed image 92 in the direction in which the vibration on the imaging device 5 side is canceled.
  • an image blur correction function such as a so-called lens shift method may be employed to suppress image blur due to vibration on the imaging device 5 side.
  • a liquid crystal display device has been exemplified as a disclosure example of the display device 20, but as other application examples, an organic electroluminescence (EL) display device, All flat panel display devices such as other self-luminous display devices can be mentioned. Moreover, it cannot be overemphasized that it can apply, without specifically limiting from a small size to a large size.
  • EL organic electroluminescence
  • the case of an automobile is illustrated as an example of disclosure of a moving body, but a body in which three or more wheels and an occupant can sit on a seat provided in the passenger compartment.
  • the present invention is not limited to a so-called automobile equipped with the above-mentioned, but can be applied to any two-wheeled vehicle provided with a so-called body, and can also be applied to other moving bodies such as a motor boat.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示システムは、移動体に設けられて画像を撮像する撮像部を有する撮像装置と、移動体において撮像装置と別の位置に設けられて撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置と、撮像装置側で振動を検知する第１センサと、表示装置側で振動を検知する第２センサと、第１センサの検知結果に基づいて撮像画像よりも小さい前処理画像を撮像画像から切り出す第１画像処理部と、第２センサの検知結果に基づいて前処理画像よりも小さい後処理画像を前処理画像から切り出す第２画像処理部とを備え、第１画像処理部は、撮像画像内における前処理画像の切り出し範囲を撮像装置側での振動を打ち消す方向に移動させ、第２画像処理部は、前処理画像内における後処理画像の切り出し範囲を表示装置側での振動に追従させる。

Description

表示システム、表示装置及び画像処理装置
　本発明は、表示システム、表示装置及び画像処理装置に関する。
　近年、自動車等の移動体に設けられた撮像装置及び表示装置により構成された表示システムが知られている。当該表示システムは、撮像装置による撮像画像を表示装置で確認することができるようになっている。
　しかしながら、移動体は移動に伴い振動する。係る振動によって画像にぶれが生じ、表示装置に何が映っているのかの把握を困難にする。係る振動による影響を低減するための構成として、画像の撮像時に生じる振動の影響を低減する車載の撮像装置が知られている（例えば特許文献１、特許文献２）。
特開２０１３－１５０１５３号公報 特開２０１０－２６８５２０号公報
　しかしながら、撮像装置及び表示装置の両方が移動体に設けられている場合、撮像装置と表示装置は異なる場所にあり、それぞれの場所で個別に振動する。このため、手ぶれ補正だけでは表示装置に加わった振動による画像のぶれを低減することができなかった。
　本発明は、上記の課題に鑑みてなされたもので、撮像装置及び表示装置が設けられた移動体で撮像装置及び表示装置の各々に加えられた振動による画像のぶれが低減された状態で画像を視認することができる表示システム、表示装置及び画像処理装置を提供することを目的とする。又は、撮像装置が設けられた移動体に設けられた表示装置に加わった振動による画像のぶれを低減することができる表示システム、表示装置及び画像処理装置を提供することを目的とする。
　本発明の一態様である表示システムは、移動体に設けられて画像を撮像する撮像部を有する撮像装置と、前記移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置と、前記撮像装置側で振動を検知する第１センサと、前記表示装置側で振動を検知する第２センサと、前記第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出す第１画像処理部と、前記第２センサの検知結果に基づいて前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す第２画像処理部とを備え、前記第１画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記第２画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
　また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
　また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する撮像部を有する表示装置が設けられた移動体において前記撮像画像に基づいて前記後処理画像を得る画像処理装置であって、前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
　また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動の影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
　また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置が設けられた移動体において前記後処理画像を得る画像処理装置であって、前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動の影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
図１は、本発明の実施形態による表示システムの主要構成を示す図である。 図２は、ルームミラーユニット及びサイドミラーユニットが有する撮像装置の配置例を示す図である。 図３は、サイドミラーユニットが有する表示装置の配置例を示す図である。 図４は、表示装置の構成の一例を示すブロック図である。 図５は、サイドミラーユニットの主要構成を示すブロック図である。 図６は、撮像画像と前処理画像との関係の一例を示す図である。 図７は、第１センサによって検知された振動と、撮像装置に振動が加わることによる撮像範囲の変動と、第１座標の補正と、第１座標の補正による前処理画像の切り出し範囲の変動と、切り出しによって得られる前処理画像との関係の一例を示す図である。 図８は、前処理画像と後処理画像との関係の一例を示す図である。 図９は、第２センサによって検知された振動と、表示装置に振動が加わることによる所定位置の水平線に対する画像表示位置の変動と、第２座標の補正と、第２座標の補正による後処理画像の切り出し範囲の変動と、後処理画像を表示する表示装置の表示出力内容と所定位置の水平線との関係の一例を示す図である。 図１０は、サイドミラーユニットにおける画像処理の流れの一例を示すフローチャートである。 図１１は、第１センサによるセンシングのタイミングと第２センサによるセンシングのタイミングが同時である場合の処理の流れの一例を示すフローチャートである。 図１２は、変形例に係るサイドミラーユニットの主要構成を示すブロック図である。 図１３は、変形例に係るサイドミラーユニットの主要構成を示すブロック図である。
　以下に、本発明の各実施形態について、図面を参照しつつ説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
（実施形態）
　図１は、本発明の実施形態による表示システム１の主要構成を示す図である。図１に示すように、表示システム１は、ルームミラーユニット２、２つのサイドミラーユニット３Ａ，３Ｂ及びＣＩＤ（Center　Information　Display）ユニット４を備える。表示システム１は、移動体である自動車に設けられたいわゆる車載の表示システムである。
　図２は、サイドミラーユニット３Ａ，３Ｂ及びルームミラーユニット２が有する撮像装置５Ａ，５Ｂ，５Ｃの配置例を示す図である。図２では、撮像装置５Ａ，５Ｂ，５Ｃの画角を破線で示している。例えば図２に示すように、実施形態の表示システム１は、３つの撮像装置５Ａ，５Ｂ，５Ｃを有する。３つの撮像装置５Ａ，５Ｂ，５Ｃは、自動車の車体ＢＯの側方及び後方に配置される。３つの撮像装置５Ａ，５Ｂ，５Ｃは、撮像部７１（図５参照）の一構成である固体撮像素子がレンズを介して外部の光を検知可能に設けられており、画角が車外に向けられている。すなわち、３つの撮像装置５Ａ，５Ｂ，５Ｃは、車外の状況を確認可能な画像を撮像する。より具体的には、側方に設けられる撮像装置５Ａ，５Ｂと後方に設けられる撮像装置５Ｃの画角とは、画角が一部重複するように設けられている。これにより、側方の撮像装置５Ａ，５Ｂの画角のうち、自動車の前方側の画角ＡＶ１，ＡＶ２よりも後方の状況を３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像範囲内に収めることができる。実施形態では、例えばサイドミラーユニット３Ａ，３Ｂの表示装置２０Ａ，２０Ｂが側方の撮像装置５Ａ，５Ｂにより撮像された画像を表示し、ルームミラーユニット２の表示装置２０Ｃが後方の撮像装置５Ｃにより撮像された画像を表示する。撮像装置５Ａ，５Ｂ，５Ｃを特に区別しない場合、撮像装置５と記載することがある。また、表示装置２０Ａ，２０Ｂ，２０Ｃ及びＣＩＤユニット４の表示装置２０Ｄを特に区別しない場合、表示装置２０と記載することがある。
　また、表示システム１は、撮像装置５側で振動を検知する第１センサ７２を備える。具体的には、例えば図２に示すように、第１センサ７２Ａ，７２Ｂ，７２Ｃは、撮像装置５Ａ，５Ｂ，５Ｃのそれぞれの筐体内に個別に設けられている。第１センサ７２Ａ，７２Ｂ，７２Ｃを特に区別しない場合、第１センサ７２と記載することがある。
　図３は、サイドミラーユニット３Ａが有する表示装置２０Ａの配置例を示す図である。サイドミラーユニット３Ａが有する表示装置２０Ａは、四輪自動車の車内であって運転席の側方に配置される。具体的には、表示装置２０Ａが有する表示部８３は、例えば図３に示すように、フロントガラスＦＧとサイドガラスＳＧとの間に存するＡピラーＡＰの付け根付近に設けられる。サイドミラーユニット３Ｂが有する表示装置２０Ｂは、ハンドルＨＮ等が運転席に対してサイドミラーユニット３Ａが有する表示装置２０Ａと左右逆の位置に設けられる。サイドミラーユニット３Ａ，３Ｂが有する表示装置２０Ａ，２０Ｂは、車外の状況のうち主に車体ＢＯの側方の状況を示す画像を表示する。すなわち、サイドミラーユニット３Ａ，３Ｂは、従来ドアミラー又はフェンダーミラーにより確認されていた車外側方の状況確認に利用することができる。ルームミラーユニット２が有する表示装置２０Ｃは、例えば従来の自動車においてバックミラーが設けられていた位置に、バックミラーを代替するよう配置される。すなわち、ルームミラーユニット２は、従来バックミラーにより確認されていた車外後方の状況確認に利用することができる。
　また、表示システム１は、表示装置２０側で振動を検知する第２センサ８２を備える。具体的には、例えば図３に示すように、表示装置２０Ａ側で振動を検知する第２センサ８２Ａは、表示装置２０Ａの表示面の反対側等、表示装置２０Ａによる表示出力に影響のない位置であって表示装置２０Ａの筐体内に個別に設けられている。他の表示装置２０Ｂ，２０Ｃ，２０Ｄにも、同様の第２センサが設けられている。第２センサ８２Ａを含めて、表示装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄのそれぞれに個別に設けられる第２センサを区別しない場合、第２センサ８２と記載することがある。
　ＣＩＤユニット４は、例えば中央処理部１４、表示装置２０Ｄ等を有する。ＣＩＤユニット４の表示装置２０Ｄは、例えばダッシュボードに設けられて、カーナビゲーションシステムにおける道案内情報等を表示する。ＣＩＤユニット４の表示装置２０Ｄは、スピードメータ、タコメータ、燃料計、水温計、距離計等の計器類と同様の情報を表示してもよい。
　実施形態のＣＩＤユニット４は、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとデータ伝送可能に接続される。具体的には、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとは例えばＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）等のインタフェースを介して接続されるが、係る接続形態は、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとの接続の具体的形態の一例であってこれに限られるものでなく、適宜変更可能である。ＣＩＤユニット４の表示装置２０Ｄは、サイドミラーユニット３Ａ，３Ｂ及びルームミラーユニット２の各々が有する表示装置２０Ａ，２０Ｂ，２０Ｃのうちいずれかが故障した場合、故障した表示装置の表示出力を代替する。中央処理部１４は、ＣＩＤユニット４の表示装置２０Ｄによる表示出力に係る各種の処理を行う。
　撮像装置５Ａ，５Ｂ，５Ｃ、表示装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ、第１センサ７２Ａ，７２Ｂ，７２Ｃの記載のように、符号における数字の後に付加された大文字のアルファベットは、移動体である自動車における配置を区別するためのものであり、具体的構成に特段の差異はない。
　図４は、表示装置２０の構成の一例を示すブロック図である。図４に示すように、表示装置２０は、第２画像処理装置８１と、第２センサ８２と、表示部８３とを備える。表示部８３は、例えば、後処理画像９３（図８等参照）に基づいて第２画像処理装置８１により生成された信号（出力信号）に基づいて画像を表示させる画像表示パネル３０と、画像表示パネル３０の駆動を制御する画像表示パネル駆動回路４０と、画像表示パネル３０を、例えばその背面から照明する光源装置５０と、光源装置５０の駆動を制御する光源装置制御回路６０と、を備える。後処理画像９３及び第２センサ８２については後述する。
　画像表示パネル３０は、例えば、Ｐ０×Ｑ０個（行方向にＰ０個、列方向にＱ０個）、２次元のマトリクス状に配列された画素４８を有する。この例において、行方向がＸ方向、列方向はＹ方向である。また、ＸＹの２方向に直交する方向はＺ方向である。
　表示装置２０は、より具体的には、例えば透過型のカラー液晶表示装置である。画素４８は、カラー表示出力を行うための複数の色の副画素を有する。例えば、画素４８は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の副画素を有し、これらの副画素の各々の階調値に応じたカラー表示出力を行う。画素４８は、他の色の副画素を有していてもよい。例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）のような、原色（ＲＧＢ）に対する補色の副画素のいずれか又は複数を有していてもよい。また、画素４８は、白（Ｗ）のような原色（ＲＧＢ）よりも高輝度の副画素を有していてもよい。
　画像表示パネル駆動回路４０は、信号出力回路４１及び走査回路４２を備えている。信号出力回路４１は、所謂ソースドライバであり、第２画像処理装置８１から出力された出力信号に応じて画素４８を駆動するための映像信号を生成する。画像表示パネル駆動回路４０は、信号出力回路４１によって映像信号を保持し、順次、画像表示パネル３０に出力する。信号出力回路４１は、配線ＤＴＬによって画像表示パネル３０と電気的に接続されている。画素４８は、例えば、複数の副画素を有し、副画素が映像信号に応じた光透過率となるように動作する。走査回路４２は、所謂ゲートドライバであり、第２画像処理装置８１から出力された出力信号が示す画素行に応じた走査信号を出力する。画像表示パネル駆動回路４０は、走査回路４２が走査信号を出力することによって、画像表示パネル３０における副画素の動作（例えば表示輝度で、この場合は光透過率）を制御するためのスイッチング素子（例えば、薄膜トランジスタ(ＴＦＴ：Thin　Film　Transistor)）のＯＮ／ＯＦＦを制御する。走査回路４２は、走査線ＳＣＬによって画像表示パネル３０と電気的に接続されている。走査回路４２が走査線ＳＣＬを介してスイッチング素子をＯＮ／ＯＦＦするということは、走査線ＳＣＬに沿って設けられた画素行（ライン）単位でスイッチング素子をＯＮ／ＯＦＦすることができるということである。このように、表示装置２０は、ライン単位で表示出力のＯＮ／ＯＦＦを制御することができるよう設けられている。
　光源装置５０は、画像表示パネル３０の背面に配置され、画像表示パネル３０に向けて光を照射することで、バックライトとして機能して画像表示パネル３０を照明する。光源装置５０は、画像表示パネル３０の前面に配置したフロントライト構成であってもよい。また画像表示パネル３０として自発光のディスプレイ、例えばＯＬＥＤ（Organic　Light　Emitting　Diode）ディスプレイ等を用いる場合には、この光源装置５０は不要にできる。
　光源装置５０は、画像表示パネル３０の全面にわたり光を照射し、画像表示パネル３０を照明する。光源装置制御回路６０は、光源装置５０から出力する光の照射光量等を制御する。具体的には、光源装置制御回路６０は、第２画像処理装置８１から出力される光源装置制御信号に基づいて光源装置５０に供給する電流、電圧又は信号のｄｕｔｙ比を調整することで、画像表示パネル３０を照射する光の照射光量（光の強度）を制御する。
　以下、１つの撮像装置５と１つの表示装置２０との組み合わせの例として、サイドミラーユニット３Ａについてより具体的に説明する。
　図５は、サイドミラーユニット３Ａの主要構成を示すブロック図である。図５に示すように、サイドミラーユニット３Ａの撮像装置５Ａは、撮像部７１と、第１センサ７２Ａと、第１画像処理装置７３とを備える。また、サイドミラーユニット３Ａの表示装置２０Ａは、図４を参照して説明した通り、第２画像処理装置８１と、第２センサ８２Ａと、表示部８３とを備える。
　撮像部７１は、移動体である自動車に設けられて画像を撮像する（図２参照）。具体的には、撮像部７１は、固体撮像素子（イメージセンサ）、レンズ、固体撮像素子から出力された電荷に基づいてＸＹ方向に沿って並ぶ複数の画素により構成された画像を生成する回路等を有するいわゆるデジタルカメラである。固体撮像素子は、例えばＣＭＯＳ（Complementary　metal　oxide　semiconductor）イメージセンサ又はＣＣＤ（Charge　Coupled　Device）イメージセンサであるが、２次元画像を生成可能な電荷を出力する機能を有する他の種類のイメージセンサであってもよい。撮像部７１は、所定のフレームレートで画像を撮像し、撮像画像９１（図６等参照）として出力する。所定のフレームレートは任意であるが、例えば６０ｆｐｓ、１２０ｆｐｓ等が挙げられる。以下、固体撮像素子が光を検知する２次元の面をｘｙ平面とし、当該ｘｙ平面に沿い直交する２方向をｘｙ方向とし、ｘｙ方向に直交する１方向（撮像の奥行き方向に沿う方向）をｚ方向と記載することがある。
　第１センサ７２Ａを含む第１センサ７２は、撮像装置５側で振動を検知する。具体的には、第１センサ７２Ａは、例えば撮像装置５Ａに設けられた撮像部７１が有する固体撮像素子のｘｙｚ方向の３方向のうち、少なくとも撮像面に水平な面となるｘｙ方向の２方向について加速度を検知することができる加速度計を有し、当該加速度計により検知された加速度に基づいて振動量を検知する。もちろん、当該ｘｙ方向に垂直な方向となるｚ方向の加速度計を有し、これらｘｙｚ方向についての加速度を検知し、該加速度に基づいて各方向における振動量を検知する構成も採用可能である。第１センサ７２は、自動車における撮像装置５側、すなわち、表示装置２０よりも撮像装置５に近傍な位置において自動車の走行に伴って撮像装置５に加えられる振動を検出する。第１センサ７２は、図２に示すように撮像装置５の筐体内に存していてもよいし、撮像装置５の近傍に設けられていてもよい。
　第１画像処理装置７３は、撮像装置５による撮像画像９１に基づいて前処理画像９２（図６等参照）を生成出力する回路である。具体的には、撮像装置５Ａの第１画像処理装置７３は、第１センサ７２Ａの検知結果に基づいて撮像画像９１よりも小さい前処理画像９２を撮像画像９１から切り出す第１画像処理部１０１として機能する。実施形態では、第１画像処理装置７３は、撮像装置５の筐体内に存する回路であるが、撮像装置５から出力される画像信号を処理してデータの流れの下流側（表示装置２０側）に出力する外部の回路であってもよい。第１画像処理部１０１としての機能については後述する。
　第２センサ８２Ａを含む第２センサ８２は、表示装置２０側で振動を検知する。具体的には、第２センサ８２Ａは、例えば表示装置２０Ａに設けられた表示部８３のＸＹＺ方向の３方向のうち、少なくとも表示面に水平な面となるＸＹ方向の２方向について加速度を検知することができる加速度計を有し、当該加速度計により検知された加速度に基づいて振動量を検知する。もちろん、当該ＸＹ方向に垂直な方向となるＺ方向の加速度計を有し、これらＸＹＺ方向についての加速度を検知し、該加速度に基づいて各方向における振動量を検知する構成も採用可能である。第２センサ８２は、自動車における表示装置２０側、すなわち、撮像装置５よりも表示装置２０に近傍な位置において自動車の走行に伴って表示装置２０に加えられる振動を検出する。第２センサ８２は、表示装置２０の筐体内に存していてもよいし、表示装置２０の近傍に設けられていてもよい。
　なお、第１センサ７２、第２センサ８２を構成する加速度センサは、例えばＭＥＭＳ（Micro　Electro　Mechanical　Systems）技術を用いて作成される小型のものを利用することで、図２、図３に示すようにそれぞれ撮像装置５、表示装置２０に内蔵された構成として設けることができる。
　第２画像処理装置８１は、撮像装置５側から出力された画像である前処理画像９２に基づいて後処理画像９３を生成出力する回路である。具体的には、表示装置２０Ａの第２画像処理装置８１は、第２センサ８２Ａの検知結果に基づいて前処理画像９２よりも小さい後処理画像９３を前処理画像９２から切り出す第２画像処理部１０２として機能する。実施形態では、第２画像処理装置８１は、表示装置２０の筐体内に存する回路であるが、表示装置２０に入力される前処理画像９２の信号を表示装置２０よりもデータの流れの上流側（撮像装置５側）で処理する外部の回路であってもよい。第２画像処理部１０２としての機能については後述する。また、図４を参照して説明したように、実施形態の第２画像処理装置８１は、さらに、画像表示パネル駆動回路４０及び光源装置制御回路６０の動作制御に係る信号（出力信号及び光源装置制御信号）を出力する機能を有するが、第２画像処理部１０２として機能する回路と画像表示パネル駆動回路４０及び光源装置制御回路６０の動作制御に係る信号を出力する回路とは個別に設けられてもよい。
　表示装置２０は、移動体である自動車において撮像装置５と別の位置に設けられる（図３参照）。表示装置２０の表示部８３は、後処理画像９３を表示する。ここで、後処理画像９３は、前処理画像９２に基づいて生成出力される。また、前処理画像９２は、撮像画像９１に基づいて生成出力される。よって、後処理画像９３は、撮像装置５による撮像画像９１に基づいた画像である。すなわち、表示装置２０は、撮像装置５による撮像画像９１に基づいた後処理画像９３を表示する。
　次に、第１画像処理部１０１について説明する。第１画像処理部１０１は、撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させる。具体的には、第１画像処理部１０１は、移動体が静止している場合の撮像画像９１内における所定の第１座標を用いて定められた第１範囲に基づいて、第１センサ７２Ａにより検知された振動の方向及び振動量に基づいて補正された第１座標に応じて移動した第１範囲を撮像画像９１から前処理画像９２として切り出す。
　図６は、撮像画像９１と前処理画像９２との関係の一例を示す図である。撮像画像９１の所定位置（例えば、左上）に存する画素を第１原点（ｘ１，ｙ１）とする座標を用いると、第１原点を開始位置としてｘ方向にｐ個の画素が並び、ｙ方向にｑ個の画素が並ぶ２次元画像である撮像画像９１の画素領域は、第１原点の座標（ｘ１，ｙ１）から第１原点の対角の座標（ｘｐ，ｙｑ）に亘る２次元領域として表すことができる。
　第１画像処理部１０１は、前処理画像９２として撮像画像９１から切り出される範囲を、撮像画像９１の画素領域よりも小さい２次元領域とする。具体的には、第１画像処理部１０１は、例えば、第１原点の座標（ｘ１，ｙ１）から第１原点の対角の座標（ｘｐ，ｙｑ）に亘る撮像画像９１の画素領域内の領域であって、ｘ方向の画素数が撮像画像９１よりもａ個少ない画素を有し、ｙ方向の画素数が撮像画像９１よりもｂ個少ない画素を有する２次元領域を前処理画像９２として撮像画像９１から切り出される範囲とする。ｐ，ｑ，ａ，ｂは整数である。
　実施形態の第１画像処理部１０１は、移動体が静止している場合、撮像画像９１内の中央部分から前処理画像９２を得る。よって、移動体である自動車が静止している場合、第１画像処理部１０１は、図６に示すように、撮像画像９１内における（ｘ（ａ／２），ｙ（ｂ／２））の座標から（ｘ（ｐ－（ａ／２）），ｙ（ｑ－（ｂ／２）））の座標に亘る画素領域を所定の第１座標を用いて定められた第１範囲とし、当該所定の第１座標を用いて定められた第１範囲を前処理画像９２として切り出す。この場合、第１原点の座標（ｘ１，ｙ１）に対する（ｘ（ａ／２），ｙ（ｂ／２））の座標が第１座標となる。このように、補正前の第１座標は、移動体（例えば、自動車）が静止している場合の撮像画像９１内で定められた座標である。
　実施形態では、第１原点の座標（ｘ１，ｙ１）に対する（ｘ（ａ／２），ｙ（ｂ／２））の座標を第１座標とし、第１原点からｘ方向に（ｐ－ａ）個の画素を有し、ｙ方向に（ｑ－ｂ）個の画素を有する２次元領域を前処理画像９２とすることで、図６を参照して説明した第１範囲を設定しているが、第１座標及び第１座標に基づいて定められる前処理画像９２として撮像画像９１から切り出される範囲を具体的にどのように設定するかは、適宜変更可能である。例えば、ａ，ｂが奇数である場合、（ａ／２）、（ｂ／２）で表される座標が整数でなくなる。このため、例えば第１座標を（ｘ（（ａ／２）±１／２），ｙ（（ｂ／２）±１／２））のように設定することで、前処理画像９２として切り出される画素領域を正しく設定することができる。なお、「±」は、プラス（＋）又はマイナス（－）のいずれか一方である。
　図７は、第１センサ７２Ａによって検知された振動量と、撮像装置５Ａに振動が加わることによる撮像範囲の変動と、第１座標の補正と、第１座標の補正による前処理画像９２の切り出し範囲の変動と、切り出しによって得られる前処理画像９２との関係の一例を示す図である。図７では、自動車の静止状態における撮像範囲を破線で示し、撮像装置５Ａに振動が加わることによる撮像範囲の変動後の撮像範囲を実線で示している。第１センサ７２Ａは、自動車の走行に伴い撮像装置５Ａ側で生じるｘｙ方向の振動量を検知する。
　図７の「フレーム１」では、自動車は静止している。このような場合等、振動量がｘｙ方向ともに０である場合、第１画像処理部１０１は、第１座標に対する補正を行わずに前処理画像９２を切り出す。すなわち、第１画像処理部１０１は、第１座標のｘｙ方向の補正量を±０として撮像画像９１から前処理画像９２を切り出す。この場合、図６を参照して説明した通り、前処理画像９２は、撮像画像９１内における（ｘ（ａ／２），ｙ（ｂ／２））の座標から（ｘ（ｐ－（ａ／２）），ｙ（ｑ－（ｂ／２）））の座標に亘る画素領域を切り出した画像になる。
　図７の「フレーム２」以降のフレームでは、自動車は走行している。自動車が走行中である等の理由により、第１センサ７２Ａによってｘｙ方向の少なくともいずれか一方に０を超える振動量が検知された場合、第１画像処理部１０１は、第１センサ７２Ａにより検知された振動の方向及び振動量に基づいて補正された第１座標に応じて移動した第１範囲を撮像画像９１から前処理画像９２として切り出す。
　例えば、振動量が（ｘ：－１，ｙ：－１）である場合、すなわち、ｘ方向に－１、ｙ方向に－１の振動量が検知された場合、振動によって撮像装置５Ａの画角が第１原点側に向かってｘｙ方向に画素１つ分ずれている。この場合、図７の「フレーム２」で示すように、静止状態において第１原点の座標（ｘ１，ｙ１）で撮像されていた撮像対象は、座標（ｘ２，ｙ２）で撮像されることになり、「フレーム１」の場合に比して矢印ｍ１のように撮像範囲が移動する。
　第１画像処理部１０１は、振動によって生じた画角のずれ方向と反対の方向に向かって前処理画像９２の切り出し範囲を移動させるように第１座標を補正する。具体的には、図７の「フレーム２」では、振動量が（ｘ：－１，ｙ：－１）であるので、第１座標を表すｘ座標及びｙ座標に１を加える。よって、「フレーム２」における第１座標は、補正されて（ｘ（（ａ／２）＋１），ｙ（（ｂ／２）＋１））になる。補正により、第１座標は矢印Ｍ１のように移動し、切り出し範囲も第１座標の補正に伴い移動する。第１画像処理部１０１は、「フレーム２」のタイミングで得られた撮像画像９１内における（ｘ（（ａ／２）＋１），ｙ（（ｂ／２）＋１））の座標から（ｘ（ｐ－（ａ／２）＋１），ｙ（ｑ－（ｂ／２）＋１））の座標に亘る画素領域を前処理画像９２として切り出す。
　また、振動量が（ｘ：＋２，ｙ：＋１）である場合、すなわち、ｘ方向に＋２、ｙ方向に＋１の振動量が検知された場合、振動によって撮像装置５Ａの画角が第１原点の対角側に向かってｘ方向に画素２つ分、ｙ方向に画素１つ分ずれている。この場合、図７の「フレーム３」で示すように、静止状態において第１原点の座標（ｘ１，ｙ１）で撮像されていた撮像対象は、撮像範囲外となり、静止状態において座標（ｘ３，ｙ２）で撮像されていた撮像対象が第１原点で撮像されることになる。よって、「フレーム１」の場合に比して矢印ｍ２のように撮像範囲が移動する。第１画像処理部１０１は、振動によって生じた画角のずれ方向と反対の方向に向かって前処理画像９２の切り出し範囲を移動させるように第１座標を補正する。具体的には、図７の「フレーム３」では、振動量が（ｘ：＋２，ｙ：＋１）であるので、第１座標を表すｘ座標から２を減じ、ｙ座標から１を減じる。よって、「フレーム３」における第１座標は、補正されて（ｘ（（ａ／２）－２），ｙ（（ｂ／２）－１））になる。補正により、第１座標は矢印Ｍ２のように移動し、切り出し範囲も第１座標の補正に伴い移動する。第１画像処理部１０１は、「フレーム３」のタイミングで得られた撮像画像９１内における（ｘ（（ａ／２）－２），ｙ（（ｂ／２）－１））の座標から（ｘ（（ｐ－（ａ／２）－２），ｙ（（ｑ－（ｂ／２）－１）））の座標に亘る画素領域を前処理画像９２として切り出す。
　振動によって生じた画角のずれ方向と反対の方向に向かって前処理画像９２の切り出し範囲を移動させるように第１座標を補正して前処理画像９２を切り出すことで、前処理画像９２として切り出される撮像範囲は、図７の「フレーム２」、「フレーム３」における「前処理画像９２」で示すように、自動車が静止している場合に前処理画像９２として切り出される「フレーム１」の撮像範囲と同一になる。すなわち、図７を参照した説明のように、第１画像処理部１０１が撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５Ａ側での振動を打ち消す方向に移動させることで、撮像装置５Ａ側で振動が生じたとしても前処理画像９２にぶれが生じることを抑制することができる。
　図７の「フレーム１」～「フレーム３」で示す例に限らず、第１画像処理部１０１は、同様の仕組みで第１センサ７２Ａにより検知された振動の方向及び振動量に基づいて補正された第１座標に応じて移動した第１範囲を撮像画像９１から前処理画像９２として切り出す。
　図７を参照した説明では、撮像画像９１の中心からみて第１原点側の方向に画角がずれるように撮像装置５Ａが振動する場合の振動量をマイナス（－）とし、撮像画像９１の中心からみて第１原点の対角側の方向に画角がずれるように撮像装置５Ａが振動する場合の振動量をプラス（＋）としているが、これは振動量の管理方法の一例であってこれに限られるものでなく、適宜変更可能である。
　次に、第２画像処理部１０２について説明する。第２画像処理部１０２は、前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０Ａ側での振動に追従させる。具体的には、第２画像処理部１０２は、移動体が静止している場合の前処理画像９２内における所定の第２座標を用いて定められた第２範囲に基づいて、第２センサ８２Ａにより検知された振動の方向及び振動量に基づいて補正された第２座標に応じて移動した第２範囲を前処理画像９２から後処理画像９３として切り出す。
　図８は、前処理画像９２と後処理画像９３との関係の一例を示す図である。前処理画像９２の所定位置（例えば、左上）に存する画素を第２原点（Ｘ１，Ｙ１）とする座標を用いると、第２原点を開始位置としてＸ方向にＡ個の画素が並び、Ｙ方向にＢ個の画素が並ぶ２次元画像である前処理画像９２の画素領域は、第２原点の座標（Ｘ１，Ｙ１）から第２原点の対角の座標（ＸＡ，ＹＢ）に亘る２次元領域として表すことができる。ここで、図６における前処理画像９２と図８における前処理画像９２との対応関係を説明すると、Ａ＝（ｐ－ａ）であり、Ｂ＝（ｑ－ｂ）である。
　第２画像処理部１０２は、後処理画像９３として前処理画像９２から切り出される範囲を、前処理画像９２の画素領域よりも小さい２次元領域とする。具体的には、第２画像処理部１０２は、例えば、図８に示す第２原点の座標（Ｘ１，Ｙ１）から第２原点の対角の座標（ＸＡ，ＹＢ）に亘る前処理画像９２の画素領域内の領域であって、Ｘ方向の画素数が撮像画像９１よりもｃ個少ない画素を有し、Ｙ方向の画素数が撮像画像９１よりもｄ個少ない画素を有する２次元領域を後処理画像９３として撮像画像９１から切り出される範囲とする。ｃ，ｄは整数である。
　実施形態の第２画像処理部１０２は、移動体が静止している場合、前処理画像９２内の中央部分から後処理画像９３を得る。よって、移動体である自動車が静止している場合、第２画像処理部１０２は、図８に示すように、前処理画像９２内における（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標から（Ｘ（Ａ－（ｃ／２）），Ｙ（Ｂ－（ｄ／２）））の座標に亘る画素領域を所定の第２座標を用いて定められた第２範囲とし、当該所定の第１座標を用いて定められた第２範囲を後処理画像９３として切り出す。この場合、第２原点の座標（Ｘ１，Ｘ１）に対する（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標が第２座標となる。このように、補正前の第２座標は、移動体（例えば、自動車）が静止している場合の前処理画像９２内で定められた座標である。
　なお、後処理画像９３のＸＹ方向の画素数と、画像表示パネル３０の解像度（Ｐ０×Ｑ０）とを対応させることで、表示出力に係るリサンプリングを不要とすることができる。
　実施形態では、第２原点の座標（Ｘ１，Ｙ１）に対する（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標を第２座標とし、第２原点からＸ方向に（Ａ－ｃ）個の画素を有し、Ｙ方向に（Ｂ－ｄ）個の画素を有する２次元領域を後処理画像９３とすることで、図８を参照して説明した第２範囲を設定しているが、第２座標及び第２座標に基づいて定められる前処理画像９２として撮像画像９１から切り出される範囲を具体的にどのように設定するかは、前処理画像９２の場合と同様に、適宜変更可能である。
　図９は、第２センサ８２Ａによって検知された振動量と、表示装置２０Ａに振動が加わることによる所定位置の水平線Ｈに対する画像表示位置の変動と、第２座標の補正と、第２座標の補正による後処理画像９３の切り出し範囲の変動と、後処理画像９３を表示する表示装置２０Ａの表示出力内容と所定位置の水平線Ｈとの関係の一例を示す図である。図９では、自動車の静止状態における表示部８３の位置を破線で示し、表示装置２０Ａに振動が加わることによる表示部８３の変動後の位置を実線で示している。第２センサ８２Ａは、自動車の走行に伴い表示装置２０Ａ側で生じるＸＹ方向の振動量を検知する。
　図９の「フレーム１」では、自動車は静止している。このような場合等、振動量がＸＹ方向ともに０である場合、第２画像処理部１０２は、第２座標に対する補正を行わずに後処理画像９３を切り出す。すなわち、第２画像処理部１０２は、第２座標のＸＹ方向の補正量を±０として前処理画像９２から後処理画像９３を切り出す。この場合、図８を参照して説明した通り、後処理画像９３は、前処理画像９２内における（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標から（Ｘ（Ａ－（ｃ／２）），Ｙ（Ｂ－（ｄ／２）））の座標に亘る画素領域を切り出した画像になる。
　図９の「フレーム２」以降のフレームでは、自動車は走行している。自動車が走行中である等の理由により、第２センサ８２ＡによってＸＹ方向の少なくともいずれか一方に０を超える振動量が検知された場合、第２画像処理部１０２は、第２センサ８２Ａにより検知された振動の方向及び振動量に基づいて補正された第２座標に応じて移動した第２範囲を前処理画像９２から後処理画像９３として切り出す。
　例えば、振動量が（Ｘ：－１，Ｙ：－１）である場合、すなわち、Ｘ方向に－１、Ｙ方向に－１の振動量が検知された場合、振動によって表示部８３の位置が表示領域の第２原点側（左上側）に向かってＸＹ方向に画素１つ分ずれており、「フレーム１」の場合に比して矢印ｍ３のように表示装置が移動する。
　第２画像処理部１０２は、振動によって生じた画角のずれ方向と同一の方向に向かって後処理画像９３の切り出し範囲を移動させるように第２座標を補正する。具体的には、図９の「フレーム２」では、振動量が（Ｘ：－１，Ｙ：－１）であるので、第２座標を表すＸ座標及びＹ座標から１を減じる。よって、「フレーム２」における第２座標は、補正されて（Ｘ（（ｃ／２）－１），Ｙ（（ｄ／２）－１））になる。補正により、第２座標は矢印Ｍ３のように移動し、切り出し範囲も第２座標の補正に伴い移動する。第２画像処理部１０２は、「フレーム２」のタイミングで得られた前処理画像９２内における（Ｘ（（ｃ／２）－１），Ｙ（（ｄ／２）－１））の座標から（Ｘ（Ａ－（ｃ／２）－１），Ｙ（Ｂ－（ｄ／２）－１））の座標に亘る画素領域を後処理画像９３として切り出す。
　また、振動量が（Ｘ：＋２，Ｙ：＋１）である場合、すなわち、Ｘ方向に＋２、Ｙ方向に＋１の振動量が検知された場合、振動によって表示部８３の位置が第２原点の対角側（右下側）に向かってＸ方向に画素２つ分、Ｙ方向に画素１つ分ずれており、「フレーム１」の場合に比して矢印ｍ４のように表示装置が移動する。第２画像処理部１０２は、振動によって生じた画角のずれ方向と同一の方向に向かって後処理画像９３の切り出し範囲を移動させるように第２座標を補正する。具体的には、図８の「フレーム３」では、振動量が（Ｘ：＋２，Ｙ：＋１）であるので、第２座標を表すＸ座標に２を加え、Ｙ座標に１を加える。よって、「フレーム３」における第２座標は、補正されて（Ｘ（（ｃ／２）＋２），Ｙ（（ｂ／２）＋１））になる。補正により、第２座標は矢印Ｍ４のように移動し、切り出し範囲も第２座標の補正に伴い移動する。第２画像処理部１０２は、「フレーム３」のタイミングで得られた前処理画像９２内における（Ｘ（（ｃ／２）＋２），Ｙ（（ｂ／２）＋１））の座標から（Ｘ（（Ａ－（ｃ／２）＋２），Ｙ（（Ｂ－（ｄ／２）＋１）））の座標に亘る画素領域を後処理画像９３として切り出す。
　振動によって生じた画角のずれ方向と同一の方向に向かって後処理画像９３の切り出し範囲を移動させるように第２座標を補正して後処理画像９３を切り出すことで、後処理画像９３として切り出される撮像範囲は、表示装置２０Ａ側での振動に追従する。ここで、図９の「フレーム２」、「フレーム３」における「後処理画像９３」で示すように、後処理画像９３を表示する表示装置２０Ａの表示出力内容は、所定位置の水平線Ｈに対して移動しない。すなわち、表示装置２０Ａが振動することで所定位置の水平線Ｈに対してぶれを生じても、表示出力内容はぶれを生じない。図９を参照した説明のように、第２画像処理部１０２が撮像画像９１内における後処理画像９３の切り出し範囲を表示装置２０Ａ側での振動に追従させることで、表示装置２０Ａ側で振動が生じた場合の見かけ上のぶれを抑制することができる。
　図９の「フレーム１」～「フレーム３」で示す例に限らず、第２画像処理部１０２は、同様の仕組みで第２センサ８２Ａにより検知された振動の方向及び振動量に基づいて補正された第２座標に応じて移動した第２範囲を前処理画像９２から後処理画像９３として切り出す。
　図９を参照した説明では、表示領域の中央からみて第２原点側の方向に移動するように表示装置２０Ａが振動する場合の振動量をマイナス（－）とし、表示領域の中央からみて第２原点の対角側の方向に移動するように表示装置２０Ａが振動する場合の振動量をプラス（＋）としているが、これは振動量の管理方法の一例であってこれに限られるものでなく、適宜変更可能である。
　図１０は、サイドミラーユニット３Ａにおける画像処理の流れの一例を示すフローチャートである。撮像装置５Ａは、撮像部７１を動作させて撮像画像９１を生成する（ステップＳ１）。また、第１センサ７２Ａは、撮像装置５Ａ側での振動量を検知する（ステップＳ２）。ステップＳ１とステップＳ２の処理は並行して行われる。
　第１画像処理部１０１として機能する第１画像処理装置７３は、前処理画像９２の切り出し範囲を撮像装置５Ａ側での振動を打ち消す方向に移動させるように第１座標を補正する（ステップＳ３）。第１画像処理装置７３は、補正後の第１座標によって特定される前処理画像９２の切り出し範囲を採用して撮像画像９１から前処理画像９２を切り出す（ステップＳ４）。第１画像処理装置７３は、前処理画像９２を表示装置２０Ａに出力する（ステップＳ５）。
　第２センサ８２Ａは、表示装置２０Ａ側での振動量を検知する（ステップＳ６）。第２画像処理部１０２として機能する第２画像処理装置８１は、後処理画像９３の切り出し範囲を表示装置２０Ａ側での振動に追従させるように第２座標を補正する（ステップＳ７）。第２画像処理装置８１は、補正後の第２座標によって特定される後処理画像９３の切り出し範囲を採用して前処理画像９２から後処理画像９３を切り出す（ステップＳ８）。表示装置２０Ａは、後処理画像９３を表示出力する（ステップＳ９）。
　以上、サイドミラーユニット３Ａが備える撮像装置５Ａ及び表示装置２０Ａを例として実施形態を説明したが、サイドミラーユニット３Ｂが備える撮像装置５Ｂ及び表示装置２０Ｂならびにルームミラーユニット２が備える撮像装置５Ｃ及び表示装置２０Ｃも、サイドミラーユニット３Ａが備える撮像装置５Ａ及び表示装置２０Ａと同様である。すわなち、サイドミラーユニット３Ａ，３Ｂ及びルームミラーユニット２は、それぞれ、移動体に設けられて画像を撮像する撮像部７１を有する撮像装置５と、移動体において撮像装置５と別の位置に設けられて撮像装置５による撮像画像９１に基づいた後処理画像９３を表示する表示部８３を有する表示装置２０と、撮像装置５側で振動を検知する第１センサ７２と、表示装置２０側で振動を検知する第２センサ８２と、第１センサ７２の検知結果に基づいて撮像画像９１よりも小さい前処理画像９２を撮像画像９１から切り出す第１画像処理部１０１と、第２センサ８２の検知結果に基づいて前処理画像９２よりも小さい後処理画像９３を前処理画像９２から切り出す第２画像処理部１０２とを備え、第１画像処理部１０１が、撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させ、第２画像処理部１０２が、前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０側での振動に追従させる表示システムとしての特徴を有している。
　なお、図５～図９を参照した説明では、画素と座標とを１：１で対応させて画像に座標を設定しているが、座標の設定方法はこれに限られるものでなく、適宜変更可能である。例えば、第１センサ７２による振動量の分解能の最小単位に基づいて、座標の最小単位と画素数との対応比率を設定してもよい。また、第１センサ７２による振動量の分解能の最小単位と画素数とを対応させること等を目的として撮像画像９１及び前処理画像９２の解像度変換を行うようにしてもよい。
　また、第１センサによるセンシングのタイミングと第２センサによるセンシングのタイミングの関係は、適宜変更可能である。例えば、図１０を参照して例示した、撮像の動作タイミングに応じて撮像装置側の第１センサ７２を動作させ、表示出力のタイミングに応じて表示装置側の第２センサ８２を動作させる個別タイミングでのセンシングであってもよいし、同時のセンシングであってもよい。
　図１１は、第１センサによるセンシングのタイミングと第２センサによるセンシングのタイミングが同時である場合の処理の流れの一例を示すフローチャートである。第１センサによるセンシングのタイミングと第２センサによるセンシングを同時に行う場合、例えば図１１に示すように、ステップＳ１の撮像タイミングと並行して撮像装置側の第１センサ７２と表示装置側の第２センサ８２を動作させてセンシングを行う（ステップＳ１１）。図１１に示す処理は、図１０におけるステップＳ２の処理がステップＳ１１の処理に置換され、ステップＳ６の処理が省略される点を除いて図１０に示す処理と同様である。
　以上、実施形態によれば、第１画像処理部１０１が撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させる。このため、撮像装置５側で振動が生じたとしても前処理画像９２にぶれが生じることを抑制することができる。また、第２画像処理部１０２が前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０側での振動に追従させる。このため、表示装置２０側で振動が生じた場合の見かけ上のぶれを抑制することができる。すなわち、このような前処理画像９２の切り出し処理及び後処理画像９３の切り出し処理によって、撮像装置５及び表示装置２０が設けられた移動体で撮像装置５及び表示装置２０の各々に加えられた振動による画像のぶれが低減された状態で画像を視認することができる。また、撮像装置５が設けられた移動体に設けられた表示装置２０に加わった振動による画像のぶれを低減することができる。
　また、第１画像処理部１０１は、移動体（例えば、自動車）が静止している場合の撮像画像９１内における所定の第１座標を用いて定められた第１範囲に基づいて、第１センサ７２により検知された振動の方向及び振動量に基づいて補正された第１座標に応じて移動した第１範囲を撮像画像９１から前処理画像９２として切り出し、第２画像処理部１０２は、移動体が静止している場合の前処理画像９２内における所定の第２座標を用いて定められた第２範囲に基づいて、第２センサ８２により検知された振動の方向及び振動量に基づいて補正された第２座標に応じて移動した第２範囲を前処理画像９２から後処理画像９３として切り出す。このため、移動体が静止している場合を基準として、振動による画像のぶれを抑制するための切り出し範囲の補正を行うことができる。
　また、第１画像処理部１０１として機能する第１画像処理装置７３は、撮像装置５側に設けられ、第２画像処理部１０２として機能する第２画像処理装置８１は、表示装置２０側に設けられる。このため、撮像装置５側で生じた振動の影響を抑制するための処理と表示装置２０側で生じた振動の影響を抑制するための処理とを分散させることができ、個々の画像処理装置の処理負荷を軽減することができる。
（変形例）
　次に、本発明の変形例について説明する。変形例の説明に係り、上記で説明した実施形態と同様の構成については同じ符号を付して説明を省略することがある。
　図１２及び図１３は、変形例に係るサイドミラーユニット３Ａの主要構成を示すブロック図である。例えば図１２に示すように、表示装置２０Ａ側に設けられた画像処理装置１００が第１画像処理部１０１及び第２画像処理部１０２として機能してもよい。この場合、実施形態において撮像装置５Ａ側に設けられていた第１画像処理装置７３は不要である。第１センサ７２Ａ及び第２センサ８２Ａの各々は、画像処理装置１００に検知結果を出力する。また、撮像部７１は、画像処理装置１００に撮像画像９１を出力する。画像処理装置１００は、第１画像処理部１０１として機能することで撮像画像９１から前処理画像９２を切り出し、第２画像処理部１０２として機能することで前処理画像９２から後処理画像９３を切り出す。また、図１２では表示装置２０Ａが第１画像処理部１０１及び第２画像処理部１０２として機能する画像処理装置１００を備えているが、表示装置２０Ａに代えて撮像装置５Ａが当該画像処理装置１００を備えていてもよい。
　また、図１３に示すように、撮像装置５Ａ及び表示装置２０Ａ側から独立して設けられた画像処理装置１１０が第１画像処理部１０１及び第２画像処理部１０２として機能してもよい。この場合、実施形態における第１画像処理装置７３及び第２画像処理装置８１は不要である。また、第１センサ７２Ａ及び第２センサ８２Ａの各々は、独立して設けられた画像処理装置１１０に検知結果を出力する。また、撮像部７１は、独立して設けられた画像処理装置１１０に撮像画像９１を出力する。独立して設けられた画像処理装置１１０は、第１画像処理部１０１として機能することで撮像画像９１から前処理画像９２を切り出し、第２画像処理部１０２として機能することで前処理画像９２から後処理画像９３を切り出す。
　また、実施形態では、撮像装置５側の第１画像処理装置７３が第１センサ７２の検知結果に基づいて撮像画像９１よりも小さい前処理画像９２を撮像画像９１から切り出す処理に際して撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させることで撮像装置５側の振動による画像のぶれを抑制しているが、他の方法によって撮像装置５側の振動による画像のぶれを抑制するようにしてもよい。例えば、いわゆるレンズシフト方式等、光学式のぶれ補正機能を採用して撮像装置５側の振動による画像のぶれを抑制してもよい。
　これらの変形例は、サイドミラーユニット３Ａに限らず、サイドミラーユニット３Ｂ及びルームミラーユニット２についても同様に適用可能である。
　なお、変形例を含む本発明の実施形態等においては、表示装置２０の開示例として液晶表示装置の場合を例示したが、その他の適用例として、有機エレクトロルミネセンス（Electroluminescence：ＥＬ）表示装置、その他の自発光型表示装置等、あらゆるフラットパネル型の表示装置が挙げられる。また、中小型から大型まで、特に限定することなく適用が可能であることは言うまでもない。
　また、変形例を含む本発明の実施形態等においては、移動体の開示例として自動車の場合を例示したが、３輪以上の車輪と乗員が車室内に備えられた座席に座ることができるボディとを備えたいわゆる自動車に限らず、２輪であっても所謂ボディを備えるものであれば適用が可能であるし、モーターボート等、他の移動体にも適用が可能である。
　また、変形例を含む本発明の実施形態等において述べた態様によりもたらされる他の作用効果について本明細書記載から明らかなもの、又は当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。
１　表示システム
２　ルームミラーユニット
３Ａ，３Ｂ　サイドミラーユニット
４　ＣＩＤユニット
５，５Ａ，５Ｂ，５Ｃ　撮像装置
１４　中央処理部
２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ　表示装置
７１　撮像部
７２　第１センサ
７３　第１画像処理装置
８１　第２画像処理装置
８２，８２Ａ　第２センサ
８３　表示部
９１　撮像画像
９２　前処理画像
９３　後処理画像
１００，１１０　画像処理装置
１０１　第１画像処理部
１０２　第２画像処理部

Claims (13)

  1. 　移動体に設けられて画像を撮像する撮像部を有する撮像装置と、
    　前記移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置と、
    　前記撮像装置側で振動を検知する第１センサと、
    　前記表示装置側で振動を検知する第２センサと、
    　前記第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出す第１画像処理部と、
    　前記第２センサの検知結果に基づいて前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す第２画像処理部と
    　を備え、
    　前記第１画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、
    　前記第２画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
    　表示システム。
  2. 　前記第２画像処理部は、前記前処理画像内における所定の第２座標を用いて定められた第２範囲に基づいて、前記第２センサにより検知された振動の方向及び振動量に基づいて補正された前記第２座標に応じて移動した前記第２範囲を前記後処理画像として前記前処理画像から切り出す
    　請求項１に記載の表示システム。
  3. 　補正前の前記第２座標は、前記移動体が静止している場合の前記前処理画像内で定められた座標である
    　請求項２に記載の表示システム。
  4. 　前記第１画像処理部は、前記撮像画像内における所定の第１座標を用いて定められた第１範囲に基づいて、前記第１センサにより検知された振動の方向及び振動量に基づいて補正された前記第１座標に応じて移動した前記第１範囲を前記前処理画像として前記撮像画像から切り出す
    　請求項１から３のいずれか一項に記載の表示システム。
  5. 　補正前の前記第１座標は、前記移動体が静止している場合の前記撮像画像内で定められた座標である
    　請求項４に記載の表示システム。
  6. 　前記第１画像処理部及び前記第２画像処理部は、前記撮像装置側又は前記表示装置側に設けられる
    　請求項１から５のいずれか一項に記載の表示システム。
  7. 　前記表示装置は、前記第１画像処理部及び前記第２画像処理部を有する
    　請求項６に記載の表示システム。
  8. 　前記第１画像処理部は、前記撮像装置側に設けられ、前記第２画像処理部は、前記表示装置側に設けられる
    　請求項１から５のいずれか一項に記載の表示システム。
  9. 　前記移動体は、自動車である
    　請求項１から８のいずれか一項に記載の表示システム。
  10. 　画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、
    　前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、
    　前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
    　表示装置。
  11. 　画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する撮像部を有する表示装置が設けられた移動体において前記撮像画像に基づいて前記後処理画像を得る画像処理装置であって、
    　前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、
    　前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
    　画像処理装置。
  12. 　画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、
    　前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動の影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す画像処理部を備え、
    　前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
    　表示装置。
  13. 　画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置が設けられた移動体において前記後処理画像を得る画像処理装置であって、
    　前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動の影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す画像処理部を備え、
    　前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
    　画像処理装置。
PCT/JP2016/065512 2015-05-28 2016-05-25 表示システム、表示装置及び画像処理装置 WO2016190372A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017520791A JP6578000B2 (ja) 2015-05-28 2016-05-25 表示システム、表示装置及び画像処理装置
US15/819,169 US10536641B2 (en) 2015-05-28 2017-11-21 Display system, display apparatus, and image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-109023 2015-05-28
JP2015109023 2015-05-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/819,169 Continuation US10536641B2 (en) 2015-05-28 2017-11-21 Display system, display apparatus, and image processing apparatus

Publications (1)

Publication Number Publication Date
WO2016190372A1 true WO2016190372A1 (ja) 2016-12-01

Family

ID=57393986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065512 WO2016190372A1 (ja) 2015-05-28 2016-05-25 表示システム、表示装置及び画像処理装置

Country Status (3)

Country Link
US (1) US10536641B2 (ja)
JP (1) JP6578000B2 (ja)
WO (1) WO2016190372A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341538B2 (en) 2015-05-29 2019-07-02 Japan Display Inc. Display system and display method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11994909B2 (en) * 2020-12-30 2024-05-28 Panasonic Intellectual Property Management Co., Ltd. Electronic device, electronic system, and sensor setting method for an electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301789A (ja) * 2003-04-01 2004-10-28 Sony Corp カーナビゲーション装置及び車載用機器の画像表示方法
JP2007235532A (ja) * 2006-03-01 2007-09-13 Tokai Rika Co Ltd 車両用監視装置
JP2009093076A (ja) * 2007-10-11 2009-04-30 Mitsubishi Electric Corp 列車内画像表示システム
JP2014026046A (ja) * 2012-07-25 2014-02-06 Ichikoh Ind Ltd 車両用画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011257502A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像安定化装置、画像安定化方法、及びプログラム
JP5195841B2 (ja) 2010-08-16 2013-05-15 ソニー株式会社 車載カメラ装置および車両
JP5759907B2 (ja) 2012-01-19 2015-08-05 クラリオン株式会社 車載撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301789A (ja) * 2003-04-01 2004-10-28 Sony Corp カーナビゲーション装置及び車載用機器の画像表示方法
JP2007235532A (ja) * 2006-03-01 2007-09-13 Tokai Rika Co Ltd 車両用監視装置
JP2009093076A (ja) * 2007-10-11 2009-04-30 Mitsubishi Electric Corp 列車内画像表示システム
JP2014026046A (ja) * 2012-07-25 2014-02-06 Ichikoh Ind Ltd 車両用画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341538B2 (en) 2015-05-29 2019-07-02 Japan Display Inc. Display system and display method

Also Published As

Publication number Publication date
US20180097997A1 (en) 2018-04-05
US10536641B2 (en) 2020-01-14
JP6578000B2 (ja) 2019-09-18
JPWO2016190372A1 (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
US9832426B2 (en) Around view monitor system and monitoring method
EP2794353B1 (en) Vehicle rear monitoring system
US10313636B2 (en) Display system and display apparatus
JP2014116756A (ja) 周辺監視システム
US9994157B2 (en) Periphery monitoring apparatus and periphery monitoring system
US10431177B2 (en) Display apparatus and control method for the same
US11258953B2 (en) Image processing device
WO2016190372A1 (ja) 表示システム、表示装置及び画像処理装置
WO2016194854A1 (ja) 表示システム及び表示方法
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
US20180359398A1 (en) Image processing device
US10821900B2 (en) Image processing device
JP2018165912A (ja) 支援装置
JP2015198302A (ja) 後方状況表示装置、後方状況表示方法
JP2010064646A (ja) 車両周辺監視装置および車両周辺監視方法
JP6284980B2 (ja) 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム
JP7005279B2 (ja) 車両周辺視認装置
JP2012178639A (ja) 画像処理装置、駐車制御システム、及び、画像処理方法
WO2018100870A1 (ja) 画像表示システム及び画像表示方法
JP2009098231A (ja) 表示装置
JP6421629B2 (ja) 電子ミラーシステム
EP4307283A1 (en) Display device and control method
JP2019176330A (ja) 表示装置
JP2014021543A (ja) 車両用視界支援装置および車両用視界支援プログラム
JP2008141648A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16800076

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017520791

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16800076

Country of ref document: EP

Kind code of ref document: A1