WO2020166490A1 - 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム - Google Patents

表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
WO2020166490A1
WO2020166490A1 PCT/JP2020/004664 JP2020004664W WO2020166490A1 WO 2020166490 A1 WO2020166490 A1 WO 2020166490A1 JP 2020004664 W JP2020004664 W JP 2020004664W WO 2020166490 A1 WO2020166490 A1 WO 2020166490A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
display control
unit
image
displayed
Prior art date
Application number
PCT/JP2020/004664
Other languages
English (en)
French (fr)
Inventor
宏輔 ▲高▼橋
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020572211A priority Critical patent/JP7042368B2/ja
Publication of WO2020166490A1 publication Critical patent/WO2020166490A1/ja
Priority to US17/383,538 priority patent/US20210350766A1/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/342Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/024Scrolling of light from the illumination source over the display in combination with the scanning of the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0247Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0257Reduction of after-image effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen

Definitions

  • the present invention relates to a display control device, an imaging device, a display control method, and a display control program.
  • Patent Documents 1 and 2 do not disclose a method for effectively reducing this time lag.
  • the present invention has been made in view of the above circumstances, and provides a display control device, an imaging device, a display control method, and a display control program capable of reducing the time lag until the start of moving image display while reducing moving image blur.
  • the purpose is to
  • the display control device of the present invention is a display control device for displaying a moving image based on moving image data on the display unit at N times the frame rate of the moving image data, where N is a natural number of 2 or more.
  • a frame is divided into N groups in one direction, and N divided images based on each group are divided into continuous N display frame periods, and a display control unit for displaying on the display unit is provided.
  • P is a numerical value of 1 or more and N-1 or less, and the display control unit displays NP of the N display frame periods in the display area of the display unit corresponding to each divided image.
  • Each divided image is displayed in the frame period, and a specific image different from the moving image data is displayed in P display frame periods of the N display frame periods.
  • the image pickup device of the present invention includes a display control device, an image pickup element, and the display section.
  • the display control method of the present invention is a display control method for displaying a moving image based on moving image data on a display unit at N times the frame rate of the moving image data, where N is a natural number of 2 or more.
  • Each divided image is displayed in the frame period, and a specific image different from the moving image data is displayed in P display frame periods of the N display frame periods.
  • the display control program of the present invention is a display control for causing a computer to execute a display control method in which N is a natural number of 2 or more and a moving image based on moving image data is displayed on the display unit at N times the frame rate of the moving image data.
  • the display control method divides each frame of the moving image data into N groups in one direction, and divides N divided images based on each group into N consecutive display frames.
  • a display control step of displaying on the display unit divided into periods is provided, P is a numerical value of 1 or more and N-1 or less, and the display control step is performed in the display area of the display unit corresponding to each of the divided images.
  • the divided images are displayed in NP display frame periods of the N display frame periods, and the moving image data is displayed in P display frame periods of the N display frame periods. Is to display a specific image different from.
  • a display control device an imaging device, a display control method, and a display control program capable of reducing the time lag until the start of displaying a moving image while reducing moving image blur.
  • 9 is a timing chart for explaining a first modified example of the operation when the live view display is controlled by the system control unit 11.
  • 9 is a timing chart for explaining a second modified example of the operation at the time of live view display control by the system control unit 11.
  • 9 is a timing chart for explaining a third modified example of the operation at the time of live view display control by the system control unit 11.
  • 1 illustrates an appearance of a smartphone 200 that is an embodiment of an image capturing apparatus of the present invention. It is a block diagram which shows the structure of the smart phone 200 shown in FIG.
  • FIG. 1 is a diagram showing a schematic configuration of a digital camera 100 which is an embodiment of an image pickup apparatus of the present invention.
  • the digital camera 100 shown in FIG. 1 includes a lens device 40 having an imaging lens 1, a diaphragm 2, a lens controller 4, a lens driver 8, and a diaphragm driver 9.
  • the lens device 40 may be detachable from the main body of the digital camera 100 or may be integrated with the main body of the digital camera 100.
  • the image pickup lens 1 and the diaphragm 2 constitute an image pickup optical system, and the image pickup lens 1 includes a focus lens, a zoom lens, or the like that is movable in the optical axis direction.
  • the focus lens is a lens for adjusting the focus of the imaging optical system, and is composed of a single lens or a plurality of lenses.
  • the focus lens moves in the optical axis direction, the position of the principal point of the focus lens changes along the optical axis direction, and the focus position on the subject side is changed.
  • a liquid lens whose focus can be adjusted by changing the position of the principal point in the optical axis direction by electrical control may be used.
  • the lens control unit 4 of the lens device 40 is configured to be capable of communicating with the system control unit 11 of the digital camera 100 by wire or wirelessly.
  • the lens control unit 4 controls the focus lens included in the imaging lens 1 via the lens drive unit 8 according to a command from the system control unit 11 to change the position of the principal point of the focus lens, or the aperture drive unit.
  • the aperture amount of the diaphragm 2 is controlled via 9.
  • the digital camera 100 further includes an image sensor 6 including a CMOS (Complementary Metal Oxide Semiconductor) image sensor for capturing an image of a subject through an imaging optical system.
  • CMOS Complementary Metal Oxide Semiconductor
  • the image pickup device 6 has an image pickup surface in which a plurality of pixels are two-dimensionally arranged, and a subject image formed on the image pickup surface by an image pickup optical system is converted into pixel signals by the plurality of pixels and output. ..
  • a set of pixel signals output from each pixel of the image sensor 6 will be referred to as a captured image signal.
  • the system control unit 11 that integrally controls the entire electric control system of the digital camera 100 drives the image pickup device 6 via the image pickup device driving unit 10, and uses a subject image picked up through the image pickup optical system of the lens device 40 as a picked-up image signal. Output.
  • the system control unit 11 When the digital camera 100 is set to the image capturing mode, the system control unit 11 causes the image sensor 6 to start continuous image capturing of a subject, and moving image data including a plurality of captured image signals output from the image sensor 6 by this continuous image capturing. Live view display control for displaying the live view image on the display unit 23 is performed. In addition, the system control unit 11 performs the recorded moving image reproduction control for reading the moving image data stored in the storage medium 21 and displaying the moving image based on the moving image data on the display unit 23.
  • the system control unit 11 centrally controls the entire digital camera 100, and its hardware structure is various processors that execute programs to perform processing.
  • programmable logic that is a general-purpose processor that executes programs to perform various processes, such as CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), whose circuit configuration can be changed after manufacturing It includes a dedicated electrical circuit that is a processor having a circuit configuration specifically designed to execute a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit). More specifically, the structures of these various processors are electric circuits in which circuit elements such as semiconductor elements are combined.
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • the system control unit 11 may be configured by one of various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). May be done.
  • the electric control system of the digital camera 100 includes a main memory 16 composed of a RAM (Random Accsessory Memory), and a memory control unit 15 for controlling data storage in the main memory 16 and data reading from the main memory 16. And a digital signal processing unit 17 that performs digital signal processing on a captured image signal output from the image sensor 6 to generate captured image data according to various formats such as JPEG (Joint Photographic Experts Group) format, and a storage medium.
  • An external memory control unit 20 that controls data storage in the storage unit 21 and data read from the storage medium 21, a display unit 23 configured by an organic EL (electroluminescence) panel, a liquid crystal panel, or the like, and display control of the display unit 23. And a display controller 22 that operates.
  • the storage medium 21 is a semiconductor memory such as a flash memory built in the digital camera 100 or a portable semiconductor memory that can be attached to and detached from the digital camera 100.
  • the memory control unit 15, the digital signal processing unit 17, the external memory control unit 20, and the display controller 22 are mutually connected by a control bus 24 and a data bus 25, and controlled by a command from the system control unit 11.
  • the display controller 22 includes the above-exemplified various processors that execute programs to perform processing, and a display memory for holding image data to be displayed.
  • the display unit 23 has a display surface in which a plurality of display pixel rows 23B including a plurality of display pixels 23A arranged in the row direction X are arranged in a column direction Y orthogonal to the row direction X.
  • the display controller 22 performs a drawing update process of sequentially updating the line image drawn in the display pixel row 23B from the display pixel row 23B at the upper end in the column direction Y of the display unit 23 to the display pixel row 23B at the lower end, An image having the same number of line images as the display pixel rows 23B is displayed on the display unit 23.
  • the image sensor 6 includes an image pickup surface 60 in which a plurality of pixel rows 62 each including a plurality of pixels 61 arranged in the row direction X are arranged in a column direction Y orthogonal to the row direction X, and pixels arranged in the image pickup surface 60.
  • a drive circuit 63 that drives 61, and a signal processing circuit 64 that processes a pixel signal read out to a signal line from each pixel 61 of the pixel row 62 arranged on the imaging surface 60 are provided.
  • the upper end of the imaging surface 60 in the column direction Y is referred to as the upper end
  • the lower end of the imaging surface 60 in the column direction Y is referred to as the lower end.
  • the signal processing circuit 64 shown in FIG. 3 performs correlated double sampling processing on the pixel signals read from the pixels 61 of the pixel row 62 to the signal lines, and outputs the pixel signals after the correlated double sampling processing as digital signals. And output to the data bus 25 (see FIG. 1).
  • the signal processing circuit 64 is controlled by the image sensor driving unit 10.
  • the total number M of pixel rows 62 formed on the imaging surface 60 of the image sensor 6 is larger than the total number m of display pixel rows 23B formed on the display unit 23 in one example.
  • the pixel row 62 set as the display target pixel row is also referred to as the display target pixel row 62.
  • the i-th (i is 1 to m) display target pixel row 62 counted from the upper end of the imaging surface 60 is associated with the i-th display pixel row 23B counted from the upper end of the display surface of the display unit 23. It is managed.
  • the total number M and the total number m are the same.
  • the display target pixel row 62 at the j-th (j is 1 to M) counting from the upper end of the imaging surface 60 displays the display of the display unit 23.
  • the j-th display pixel row 23B counted from the upper end of the surface is associated and managed.
  • the system control unit 11 executes a program including a display control program to generate a moving image based on the moving image data output from the image sensor 6 N times the frame rate of the moving image data.
  • the display control for displaying on the display unit 23 is performed.
  • the system control unit 11 in this specification constitutes a display control device.
  • pixel signals are read from the pixels 61 included in all the display target pixel rows 62 on the image pickup surface 60 of the image pickup device 6,
  • a set of the read pixel signals constitutes one frame of moving image data.
  • the system control unit 11 When reading one frame of moving image data from the image sensor 6, the system control unit 11 divides this one frame into N groups in the column direction Y, and controls reading sequentially for each group.
  • the column direction Y corresponds to the reading direction of pixel signals from the image sensor 6.
  • N is a value of 2 or more, and its upper limit value is the same as the total number m of the display pixel rows 23B included in the display unit 23.
  • FIG. 4 shows one frame FL of a moving image output from the image sensor 6.
  • the upper end in the drawing corresponds to the upper end side of the imaging surface 60
  • the lower end in the drawing corresponds to the lower end side of the imaging surface 60. That is, in the frame FL, the upper end side in the drawing shows the portion output from the upper end side of the imaging surface 60, and the lower end side in the drawing shows the portion output from the lower end side of the imaging surface 60.
  • the frame FL is evenly divided into three in the column direction Y, and includes a group Ga, a group Gb, and a group Gc.
  • the display pixel row 23B of the display unit 23 is managed in association with each display target pixel row 62 of the image sensor 6. Therefore, the group Ga and the display area 23a on the display section 23 in which the display pixel row 23B corresponding to the display target pixel row 62 of the output source of the group Ga is arranged are also managed in association with each other in the same manner.
  • the group Gc and the display area 23c on the display unit 23 in which the display pixel row 23B corresponding to the display target pixel row 62 of the output source of the group Gc is arranged are managed in association with each other.
  • the division example shown in FIG. 5 is the same as FIG. 4 except that the boundary position between the group Ga and the group Gb shown in FIG. 4 moves to the upper end side.
  • the boundary position between the group Ga and the group Gb changes, the boundary position between the display area 23a and the display area 23b corresponding thereto also changes.
  • the frame FL is evenly divided into two in the column direction Y and is composed of a group Ga and a group Gb.
  • the group Ga and the display area 23a on the display unit 23 in which the display pixel row 23B corresponding to the display target pixel row 62 of the output source of the group Ga are arranged and managed.
  • the group Gb and the display area 23b on the display unit 23 in which the display pixel row 23B corresponding to the display target pixel row 62 of the output source of the group Gb is arranged and managed.
  • the system control unit 11 causes the display unit 23 to display N divided images based on each group read from the image pickup device 6 in N display frame periods.
  • the display frame period is a period until the vertical synchronization signal of the display unit 23, which will be described later, falls and then falls (update interval of the display image of the display unit 23).
  • the N groups used for displaying divided images based on the first group are displayed.
  • the display frame period and the N display frame periods used for displaying the divided images based on the second group are set to be offset from each other by one display frame period.
  • the system control unit 11 displays the divided image based on the group Ga of the frame FL in the display area 23a of the display unit 23 and displays it in the group Gb of the frame FL.
  • the divided image based on the divided image is displayed in the display area 23b of the display unit 23, and the divided image based on the group Gc of the frame FL is displayed in the display area 23c of the display unit 23.
  • the system control unit 11 causes the display area 23a of the display unit 23 to display the divided image based on the group Ga of the frame FL, and the divided image based on the group Gb of the frame FL. As for, the control is performed to display this in the display area 23b of the display unit 23.
  • the system control unit 11 displays N pieces in each display area for displaying each divided image forming one frame FL, where P is a numerical value of 1 or more and (N-1) or less.
  • P is a numerical value of 1 or more and (N-1) or less.
  • Each divided image is displayed in NP display frame periods of the frame period, and a specific image for reducing moving image blur different from the frame FL in P display frame periods of the N display frame periods. Is displayed.
  • a specific image for reducing moving image blur is an image for reducing moving image blur that occurs when a person follows a moving body, and is specifically a black image.
  • the specific image may be an image other than the frame that is the display target and an image having a brightness that does not leave an afterimage of this frame, and other than the black image, for example, a white image, a gray image, a random noise image, etc. It is also possible to adopt.
  • FIG. 7 is a timing chart for explaining the operation during live view display control by the system control unit 11.
  • FIG. 7 shows an operation example when the one shown in FIG. 4 is adopted as an example of frame division of moving image data.
  • Imaging VD shown in FIG. 7 represents a vertical synchronization signal of the image sensor 6, and the frame rate of moving image data is determined by this.
  • Display VD shown in FIG. 7 indicates a vertical synchronizing signal of the display unit 23, and the display rate of moving image data is determined by this.
  • Image sensor output shown in FIG. 7 indicates a frame output from the image sensor 6.
  • the first frame is divided into a group Ga(1), a group Gb(1), and a group Gc(1) and sequentially read.
  • the second frame is divided into a group Ga(2), a group Gb(2), and a group Gc(2) and sequentially read.
  • the third frame is divided into a group Ga(3), a group Gb(3), and a group Gc(3) and sequentially read.
  • Display memory shown in FIG. 7 indicates data stored in the display memory of the display controller 22.
  • the “display section” shown in FIG. 7 shows images displayed in the display area 23a, the display area 23b, and the display area 23c of the display section 23 shown in FIG.
  • the data indicated by “Ka” (K is 1, 2, or 3) is the display obtained by processing the group Ga(K). It is data for use.
  • “Kb” is display data obtained by processing the group Gb(K).
  • “Kc” is display data obtained by processing the group Gc(K).
  • “bl” is black display data for displaying a black image which is an example of the specific image.
  • “KA” (K is 1, 2, or 3) is a divided image displayed based on the display data Ka.
  • “KB” is a divided image displayed based on the display data Kb.
  • “KC” is a divided image displayed based on the display data Kc.
  • “BL” is a black image displayed based on the black display data bl.
  • the system control unit 11 When the system control unit 11 completes reading the group Ga(1) of the first frame from the image sensor 6, the group Ga(1) is processed and the display data 1a is generated. After that, at the display update timing t1, the system control unit 11 stores the display data 1a in the area corresponding to the display area 23a in the display memory, and blacks the areas corresponding to the display area 23b and the display area 23c. The display data bl is stored and the display controller 22 is instructed to display the data in the display memory. As a result, in the display unit 23, the divided image 1A is displayed in the display area 23a, and the black image BL is displayed in the display area 23b and the display area 23c.
  • the system control unit 11 completes reading the group Gb(1) of the first frame from the image sensor 6, the group Gb(1) is processed and the display data 1b is generated.
  • the system control unit 11 leaves the data of the area corresponding to the display area 23a and the display area 23c in the display memory as it is, and displays the display data 1b in the area corresponding to the display area 23b. Is overwritten to instruct the display controller 22 to update the display of the display area 23b. As a result, in the display unit 23, the display content of the display area 23b is updated from the black image BL to the divided image 1B.
  • the system control unit 11 leaves the data in the area corresponding to the display area 23b in the display memory as it is, and overwrites the display data 1c in the area corresponding to the display area 23c.
  • the area corresponding to the display area 23a is overwritten with the black display data bl, and the display controller 22 is instructed to update the display of the display areas 23a and 23c.
  • the display content of the display area 23a is updated from the divided image 1A to the black image BL
  • the display content of the display area 23c is updated from the black image BL to the divided image 1C.
  • the system control unit 11 completes reading the group Ga(2) of the second frame from the image sensor 6, the group Ga(2) is processed and the display data 2a is generated.
  • the system control unit 11 leaves the area corresponding to the display area 23c in the display memory as it is, overwrites the area corresponding to the display area 23a with the display data 2a, and The black display data bl is overwritten in the area corresponding to 23b and the display controller 22 is instructed to update the display of the display areas 23a and 23b.
  • the display content of the display area 23a is updated from the black image BL to the divided image 2A
  • the display content of the display area 23b is updated from the divided image 1B to the black image BL.
  • the system control unit 11 completes reading the group Gb(2) of the second frame from the image sensor 6, the group Gb(2) is processed and the display data 2b is generated.
  • the system control unit 11 leaves the area corresponding to the display area 23a in the display memory as it is and overwrites the display data 2b in the area corresponding to the display area 23b.
  • the black display data bl is overwritten in the area corresponding to 23c, and the display controller 22 is instructed to update the display of the display areas 23b and 23c.
  • the display content of the display area 23b is updated from the black image BL to the divided image 2B
  • the display content of the display area 23c is updated from the divided image 1C to the black image BL.
  • the system control unit 11 leaves the area corresponding to the display area 23b in the display memory as it is, overwrites the area corresponding to the display area 23c with the display data 2c, and The black display data bl is overwritten in the area corresponding to 23a, and the display controller 22 is instructed to update the display of the display areas 23a and 23c.
  • the display content of the display area 23c is updated from the black image BL to the divided image 2C
  • the display content of the display area 23a is updated from the divided image 2A to the black image BL.
  • each of the divided image KA, the divided image KB, and the divided image KC forming the image based on each frame is three. And the black image is inserted instead of the divided image in one of the three display frames.
  • the divided image 1A displayed in the display area 23a has a display frame period between update timing t1 and update timing t2 and a display frame period between update timing t2 and update timing t3. And the display frame period between the update timing t3 and the update timing t4 is divided and displayed.
  • the black image BL is inserted in the display frame period between the update timing t3 and the update timing t4. ..
  • the divided image 1B displayed in the display area 23b has a display frame period between update timing t2 and update timing t3, a display frame period between update timing t3 and update timing t4, update timing t4 and update timing.
  • the display is divided into three display frame periods including the display frame period between t5 and the black image BL is inserted in the display frame period between the update timing t4 and the update timing t5.
  • the divided image 1C displayed in the display area 23c includes the display frame period between the update timing t3 and the update timing t4, the display frame period between the update timing t4 and the update timing t5, the update timing t5 and the update timing.
  • the display is divided into three display frame periods including the display frame period between t6 and the black image BL is inserted in the display frame period between the update timing t5 and the update timing t6.
  • the black image is inserted once every three display frame periods, and it is possible to reduce the blurring of the moving image.
  • the time T from the timing when the reading of each frame is started to the time when the display of the divided image based on the frame is started is necessary for the generation of one frame defined by the imaging VD.
  • the time can be sufficiently shorter than the normal time. Therefore, the display of the live view image can be started at high speed, and the possibility of missing a photo opportunity can be reduced.
  • the system control unit 11 may variably control the division method instead of fixing one division method for each frame of the moving image data.
  • the system control unit 11 may switch the frame division setting shown in FIG. 4 and the frame division setting shown in FIG. 5 for one moving image data.
  • FIG. 8 is a timing chart for explaining a first modified example of the operation during live view display control by the system control unit 11.
  • the timing chart shown in FIG. 8 shows the operation when the system control unit 11 switches the division setting for every two frames.
  • the system control unit 11 selects the division setting shown in FIG. 4 for the first frame and the second frame, and selects the third frame and the fourth frame. For the frame, the division setting shown in FIG. 5 is selected. After that, the system control unit 11 alternately repeats the division setting of FIG. 4 and the division setting of FIG.
  • the division setting shown in FIG. 4 is selected for the frames acquired by the update timing t6. Then, for the frames acquired after the update timing t6, the division setting shown in FIG. 5 is selected.
  • the system control unit 11 when the reading of the group Gc(2) is completed, the system control unit 11 resets the display memory. Then, the system control unit 11 stores the processed display data 2c of the group Gc(2) in the memory area for the display area 23c corresponding to the group Gc in the new division setting in the reset display memory. , The already generated display data 2b is stored in the memory area for the display area 23b corresponding to the group Gb in the new division setting, and the black display data bl corresponds to the group Ga in the new division setting. It is stored in the memory area for the display area 23a and is instructed to update the display image.
  • the display controller 22 causes the display unit 23 to display the black image BL in the display area 23a shown in FIG. 5 and the divided image 2B in the display area 23b shown in FIG.
  • the divided image 2C is displayed in the display area 23c shown in FIG. After that, the display of each divided image is updated according to the new division setting.
  • the system controller 11 temporally averages the boundary positions of the three groups (the boundary positions of the groups Ga and Gb and the boundary positions of the groups Gb and Gc). Is preferably controlled to be constant. By doing so, the display image quality can be further improved.
  • the system control unit 11 may variably control the insertion frequency of the black image when each divided image is displayed by being divided into N display frame periods.
  • FIG. 9 is a timing chart for explaining a second modified example of the operation during live view display control by the system control unit 11.
  • the system control unit 11 displays the first frame and the second frame twice in the display frame period of three times used for displaying each divided image.
  • the divided image is displayed in the frame period, and the black image is displayed in one display frame period (the above P is set to 1).
  • control is performed to display a divided image in one display frame period and to display a black image in two display frame periods (the above P is 2). ing.
  • the operation up to the display update timing t7 which is two times after the update timing t6, is the same as the operation in FIG.
  • the system control unit 11 completes reading the group Gb(3) of the third frame from the image sensor 6, the group Gb(3) is processed and the display data 3b is generated.
  • the system control unit 11 overwrites the display data 3b in the area corresponding to the display area 23b in the display memory, and blacks the areas corresponding to the display area 23a and the display area 23c.
  • the display data bl is overwritten, and the display controller 22 is instructed to update the display of the display areas 23a, 23b, and 23c.
  • the display content of the display area 23a is updated from the divided image 3A to the black image BL
  • the display content of the display area 23b is updated from the black image BL to the divided image 3B
  • the display content of the display area 23c Is updated from the divided image 2C to the black image BL.
  • the system control unit 11 leaves the area corresponding to the display area 23a in the display memory unchanged, overwrites the area corresponding to the display area 23b with the black display data bl, and The display data 3c is overwritten in the area corresponding to 23c, and the display controller 22 is instructed to update the display of the display areas 23b and 23c.
  • the display content of the display area 23b is updated from the divided image 3B to the black image BL
  • the display content of the display area 23c is updated from the black image BL to the divided image 3C.
  • the display content of the display unit 23 is such that the divided image 4A based on the group Ga(4) of the fourth frame is displayed in the display area 23a, and the black image BL is displayed in the display area 23b and the display area 23c.
  • the display content of the display unit 23 is that the black image BL is displayed in the display area 23a, the divided image 4B based on the group Gb(4) of the fourth frame is displayed in the display area 23b, and the display area 23c is displayed.
  • the black image BL is displayed.
  • the divided image 3A displayed in the display area 23a has a display frame period between update timing t6a and update timing t7, a display frame period between update timing t7 and update timing t8, and update timing.
  • the display is divided into three display frame periods, that is, the display frame period between t8 and the update timing t9, and the black image BL is inserted in the two display frame periods after the update timing t7.
  • the divided image 3B displayed in the display area 23b has a display frame period between update timing t7 and update timing t8, a display frame period between update timing t8 and update timing t9, update timing t9 and update timing.
  • the display is divided into three display frame periods including the display frame period between t10, and the black image BL is inserted in the two display frame periods after the update timing t8.
  • the divided image 3C displayed in the display area 23c includes the display frame period between the update timing t8 and the update timing t9, the display frame period between the update timing t9 and the update timing t10, the update timing t10 and the next.
  • the display is divided into three display frame periods including the display frame period between the update timings, and the black image BL is inserted in the two display frame periods after the update timing t9.
  • the average brightness of the image displayed on the display unit 23 in the display frame period after the update timing t7 in FIG. 9 varies from update timing t2 to update timing t7.
  • the average luminance of the image displayed on the display unit 23 is lower than the average luminance during the display frame period.
  • the system control unit 11 sets the average brightness of the image displayed in each display frame period after the update timing t7 in which the change in the insertion frequency of the black image is reflected in the display image to each display frame before the update timing t7. Brightness adjustment is performed to match the average brightness of the image displayed during the period.
  • the system control unit 11 may switch the frame division setting shown in FIG. 4 and the frame division setting shown in FIG. 6 for one moving image data.
  • FIG. 10 is a timing chart for explaining a third modified example of the operation during live view display control by the system control unit 11.
  • the system control unit 11 divides the first frame and the second frame into three frames, and displays each divided image in three display frame periods. Control (the above N is set to 3) is performed, and for the third and subsequent frames, the frame is divided into two, and each divided image is divided into two display frame periods and displayed (above). Of N is set to 2).
  • the operation until the update timing t6 is the same as the operation in FIG. In the example of FIG. 10, at the update timing t6, the division number of the frame of the moving image data is changed from 3 to 2. When the number of divisions is changed to 2, the display VD is changed. Therefore, the image displayed on the display unit 23 at the update timing t6 is continuously displayed until the extended next update timing t7.
  • the system control unit 11 When the system control unit 11 completes reading the group Ga(3) of the third frame from the image sensor 6, the group Ga(3) is processed and the display data 3a is generated. After that, at the display update timing t7, the system control unit 11 resets the display memory, and stores the display data 3a in the area corresponding to the display area 23a shown in FIG. 6 in the display memory after the reset, The black display data bl is stored in the area corresponding to the display area 23b shown in FIG. 6, and the display controller 22 is instructed to update the display of the display areas 23a and 23b. As a result, in the display unit 23, the divided image 3A is displayed in the display area 23a shown in FIG. 6, and the black image BL is displayed in the display area 23b shown in FIG.
  • the system control unit 11 overwrites the black display data bl in the area corresponding to the display area 23a shown in FIG. 6 in the display memory to correspond to the display area 23b shown in FIG. This area is overwritten with the display data 3b and the display controller 22 is instructed to update the display of the display areas 23a and 23b.
  • the black image BL is displayed in the display area 23a shown in FIG. 6, and the divided image 3B is displayed in the display area 23b shown in FIG.
  • the display unit 23 displays the divided image 4A based on the group Ga(4) of the fourth frame in the display area 23a shown in FIG.
  • the black image BL is displayed and displayed in the display area 23b shown in FIG.
  • the average luminance of the image displayed on the display unit 23 in the display frame period after the update timing t7 in FIG. 10 changes from the update timing t2.
  • the average luminance of the image displayed on the display unit 23 is lower than the average luminance in each display frame period at the update timing t7.
  • the system control unit 11 displays the average brightness of the image displayed in each display frame period after the timing t7 when the change of the value of N is reflected in the display image in each display frame period before the timing t7.
  • the brightness is adjusted to match the average brightness of the image.
  • the method of recording the black display data in the display memory is adopted as the method of displaying the black image BL on the display unit 23, but the method is not limited to this.
  • a black image is displayed in this display area by designating a display area of the display unit 23 for displaying a black image to the display controller 22 and setting a display element in the designated display area in a non-driving state.
  • the method of allowing may be adopted.
  • the display unit 23 is equipped with a backlight divided for each display area, and a black image is displayed by setting the backlight in the designated display area to a non-driving state, that is, turning it off. May be. According to this method, it is not necessary to write the black display data into the display memory, so that the image display can be speeded up.
  • the case where the moving image data output from the image sensor 6 is displayed on the display unit 23 in real time is taken as an example.
  • the display control of FIG. The same can be done during reproduction control.
  • the image pickup device 6 is of the CMOS type, but the image pickup device 6 may be of the CCD (Charge Coupled Device) type.
  • FIG. 11 shows an appearance of a smartphone 200 which is an embodiment of the image capturing apparatus of the present invention.
  • a smartphone 200 illustrated in FIG. 11 includes a flat-plate casing 201, and a display input in which a display panel 202 as a display unit and an operation panel 203 as an input unit are integrated on one surface of the casing 201.
  • the unit 204 is provided.
  • such a casing 201 includes a speaker 205, a microphone 206, an operation unit 207, and a camera unit 208.
  • the configuration of the housing 201 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent, or a configuration including a folding structure or a slide mechanism can be employed.
  • FIG. 12 is a block diagram showing a configuration of the smartphone 200 shown in FIG.
  • the main components of the smartphone are a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input/output unit. 213, a GPS (Global Positioning System) reception unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
  • GPS Global Positioning System
  • a wireless communication function for performing mobile wireless communication via a base station device BS (not shown) and a mobile communication network NW (not shown) is provided.
  • the wireless communication unit 210 performs wireless communication with the base station device BS accommodated in the mobile communication network NW according to an instruction from the main control unit 220. Using this wireless communication, various file data such as voice data and image data, transmission and reception of electronic mail data and the like, reception of web data or streaming data and the like are performed.
  • the display input unit 204 displays an image (still image and moving image) or character information to visually convey the information to the user, and also detects a user operation on the displayed information.
  • a so-called touch panel which includes a display panel 202 and an operation panel 203.
  • the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 203 is a device for visually recognizing an image displayed on the display surface of the display panel 202 and detecting one or a plurality of coordinates operated by a user's finger or a stylus.
  • a detection signal generated due to the operation is output to the main control unit 220.
  • the main control unit 220 detects the operation position (coordinates) on the display panel 202 based on the received detection signal.
  • the display panel 202 and the operation panel 203 of the smartphone 200 which is illustrated as one embodiment of the image capturing apparatus of the present invention, integrally constitute a display input unit 204.
  • 203 is arranged so as to completely cover the display panel 202.
  • the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
  • the operation panel 203 has a detection area (hereinafter, referred to as a display area) for the overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for the other outer edge portion that does not overlap the display panel 202. And referred to as).
  • the size of the display area and the size of the display panel 202 may be perfectly matched, but they are not necessarily matched.
  • the operation panel 203 may be provided with two sensitive regions of an outer edge portion and an inner portion other than the outer edge portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
  • the position detection method adopted in the operation panel 203 includes a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method and the like, and any method is adopted. You can also do it.
  • the call unit 211 includes a speaker 205 or a microphone 206, converts a user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220, or a wireless communication unit.
  • the audio data received by 210 or the external input/output unit 213 is decoded and output from the speaker 205.
  • the speaker 205 can be mounted on the same surface as the surface on which the display input unit 204 is provided, and the microphone 206 can be mounted on the side surface of the housing 201.
  • the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200, is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 212 stores the control program and control data of the main control unit 220, application software, address data in which the name or telephone number of a communication partner is associated, data of transmitted and received electronic mail, Web data downloaded by Web browsing, download The content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a detachable external memory slot.
  • Each of the internal storage unit 217 and the external storage unit 218 constituting the storage unit 212 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory or the like), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory or the like), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • the external input/output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) (registered trademark) (registered trademark) ZigBee) (registered trademark) or the like) for direct or indirect connection.
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • Examples of the external device connected to the smartphone 200 include a wired/wireless headset, a wired/wireless external charger, a wired/wireless data port, a memory card (Memory card) connected via a card socket, and a SIM (Subscriber).
  • Identity Module Card)/UIM (User Identity Module Card) card external audio/video device connected via audio/video I/O (Input/Output) terminal, external audio/video device wirelessly connected, Yes/No
  • smartphones that are wirelessly connected, personal computers that are connected/wirelessly connected, personal computers that are connected/wirelessly connected, earphones, and the like.
  • the external input/output unit 213 transmits the data transmitted from the external device to each component inside the smartphone 200, or allows the data inside the smartphone 200 to be transmitted to the external device. You can
  • the GPS receiving unit 214 receives the GPS signals transmitted from the GPS satellites ST1 to STn according to the instruction of the main control unit 220, executes the positioning calculation process based on the plurality of received GPS signals, and outputs the latitude of the smartphone 200, Detect a position consisting of longitude and altitude.
  • the GPS receiving unit 214 can acquire position information from the wireless communication unit 210 or the external input/output unit 213 (for example, wireless LAN), the GPS receiving unit 214 can also detect the position using the position information.
  • the motion sensor unit 215 includes, for example, a triaxial acceleration sensor, and detects a physical movement of the smartphone 200 according to an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction or acceleration of the smartphone 200 is detected. The detection result is output to the main controller 220.
  • the power supply unit 216 supplies electric power stored in a battery (not shown) to each unit of the smartphone 200 according to an instruction from the main control unit 220.
  • the main control unit 220 includes a microprocessor, operates according to control programs and control data stored in the storage unit 212, and integrally controls each unit of the smartphone 200. Further, the main control unit 220 includes a mobile communication control function for controlling each unit of the communication system and an application processing function for performing voice communication or data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
  • the application processing function includes, for example, an infrared communication function that controls the external input/output unit 213 to perform data communication with a counterpart device, an e-mail function that sends and receives e-mail, or a web browsing function that browses web pages. ..
  • the main control unit 220 also has an image processing function of displaying a video on the display input unit 204 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • image data still image or moving image data
  • the image processing function is a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
  • the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203.
  • the main control unit 220 By executing the display control, the main control unit 220 displays a software key such as an icon or a scroll bar for activating the application software, or a window for creating an email.
  • a software key such as an icon or a scroll bar for activating the application software, or a window for creating an email.
  • the scroll bar is a software key for receiving an instruction to move the display portion of an image such as a large image that cannot fit in the display area of the display panel 202.
  • the main control unit 220 detects a user operation through the operation unit 207, or receives an operation for the icon and an input of a character string in the input field of the window through the operation panel 203. Alternatively, it accepts a scroll request for the display image through the scroll bar.
  • the main control unit 220 causes the operation position with respect to the operation panel 203 to overlap the display panel 202 (display area) or the outer edge portion (non-display area) that does not overlap the display panel 202. ), and a touch panel control function for controlling the sensitive area of the operation panel 203 or the display position of the software key.
  • the main control unit 220 can detect a gesture operation on the operation panel 203 and execute a preset function according to the detected gesture operation.
  • the gesture operation is not a conventional simple touch operation, but an operation of drawing a trajectory with a finger or the like, designating a plurality of positions at the same time, or a combination thereof to draw a trajectory for at least one from a plurality of positions. means.
  • the camera unit 208 includes components other than the external memory control unit 20, the storage medium 21, the display unit 23, and the operation unit 14 in the digital camera shown in FIG.
  • the captured image data generated by the camera unit 208 can be stored in the storage unit 212 or output via the external input/output unit 213 or the wireless communication unit 210.
  • the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited to this, and may be mounted on the back surface of the display input unit 204. ..
  • the camera unit 208 can be used for various functions of the smartphone 200.
  • the image acquired by the camera unit 208 can be displayed on the display panel 202, or the image of the camera unit 208 can be used as one of the operation inputs of the operation panel 203.
  • the position can be detected by referring to the image from the camera unit 208. Further, with reference to the image from the camera unit 208, the optical axis direction of the camera unit 208 of the smartphone 200 may be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to judge the current usage environment. Of course, the image from the camera unit 208 can also be used in the application software.
  • position information acquired by the GPS reception unit 214 for image data of a still image or a moving image may be position information acquired by the GPS reception unit 214 for image data of a still image or a moving image
  • voice information acquired by the microphone 206 may be voice information converted into text information by the main control unit or the like
  • the posture information acquired by the motion sensor unit 215 may be added and stored in the storage unit 212, or may be output through the external input/output unit 213 or the wireless communication unit 210.
  • a display control device for displaying a moving image based on moving image data on a display unit at N times the frame rate of the moving image data, where N is a natural number of 2 or more, A display in which each frame of the moving image data is divided into N groups in one direction and N divided images based on each group are divided into N consecutive display frame periods and displayed on the display unit. Equipped with a control unit, P is a numerical value of 1 or more and N-1 or less, The display control unit causes the display area of the display unit corresponding to each of the divided images to display each of the divided images in NP display frame periods of the N display frame periods, A display control device for displaying a specific image different from the moving image data in P display frame periods of the N display frame periods.
  • the display control device according to (1) or (2),
  • the moving image data is output from the image sensor,
  • the one direction is a reading direction of a signal from the image sensor,
  • the display controller controls the divided image based on the group to be displayed on the display unit in the N display frame periods. apparatus.
  • the display control unit is a display control device that variably controls the boundary positions of the N groups.
  • the display control unit controls the average position of the boundary positions of the N groups to be constant.
  • the display control device variably controls the division number of each frame, and when the division number is changed, the average brightness of the image displayed on the display unit in the display frame period after the change of the division number.
  • a display control device that performs a brightness adjustment to match the average brightness of an image displayed on the display unit in the display frame period before the change in the division number.
  • the display control device variably controls the P, and when the P is changed, the average brightness of an image displayed on the display unit in the display frame period after the P is changed is changed to the P.
  • a display control device that performs brightness adjustment to match the average brightness of an image displayed on the display unit in the previous display frame period.
  • the display control unit is a display control device that displays the specific image by causing a display element of the display unit to be in a non-driving state.
  • a display control method wherein N is a natural number of 2 or more, and a moving image based on the moving image data is displayed on the display unit at N times the frame rate of the moving image data.
  • P is a numerical value of 1 or more and N-1 or less.
  • the divided images are displayed in a display area of the display unit corresponding to the divided images in NP display frame periods of the N display frame periods,
  • the display control method according to (10) or (11),
  • the moving image data is output from the image sensor,
  • the one direction is a reading direction of a signal from the image sensor,
  • the display control step every time the group is read out from the image sensor, the divided image based on the group is divided into the N display frame periods and displayed on the display unit.
  • the display control step is a display control method for variably controlling the boundary positions of the N groups.
  • the display control method variably controls the division number of each frame, and when the division number is changed, the average brightness of the image displayed on the display unit in the display frame period after the change of the division number.
  • the display control step variably controls the division number of each frame, and when the division number is changed, the average brightness of the image displayed on the display unit in the display frame period after the change of the division number.
  • the display control method according to any one of (10) to (16), The said display control step is a display control method which displays the said specific image by making a display element of the said display part a non-driving state.
  • a display control program for causing a computer to execute a display control method for displaying a moving image based on moving image data on the display unit at N times the frame rate of the moving image data, where N is a natural number of 2 or more,
  • N is a natural number of 2 or more
  • each frame of the moving image data is divided into N groups in one direction, and N divided images based on each group are divided into continuous N display frame periods.
  • a display control step for displaying on the display unit is provided, P is a numerical value of 1 or more and N-1 or less,
  • the divided images are displayed in a display area of the display unit corresponding to the divided images in NP display frame periods of the N display frame periods,
  • the present invention can be preferably applied to an electronic device having an image pickup function and a display function, such as a digital camera or a smartphone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

動画ぼけを低減しながら、動画表示開始までのタイムラグを減らすことのできる表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムを提供する。 デジタルカメラ(100)は、動画データの各フレームを一方向に3個のグループに分割し、各グループに基づく3個の分割画像を、それぞれ、連続する3個の表示フレーム期間に分けて表示部(23)に表示させるシステム制御部(11)を備え、システム制御部(11)は、各分割画像に対応する表示部(23)の表示エリアに、3個の表示フレーム期間のうちの2個の表示フレーム期間においては各分割画像を表示させ、1個の表示フレーム期間においては黒画像を表示させる。

Description

表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
 本発明は、表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムに関する。
 表示装置において表示画像に含まれる動体を追従視する場合に発生する動画ぼけを低減する方法として、動画のフレーム間に黒画像を表示する黒挿入処理がある。例えば、バックライトを常に点灯させるのではなく、間欠的に点灯させることにより、動画のフレーム間に黒画像を表示する方法がある。黒挿入処理を行うことにより、液晶表示装置のようなホールド型ディスプレイの表示特性を、インパルス型ディスプレイの表示特性に近づけることができ、動画ぼけを低減できる。特許文献1、2は、黒挿入技術について開示している。
日本国特開2002-040390号公報 日本国特開2012-037858号公報
 動画ぼけの低減効果を高めるために、動画データのフレームレートよりも表示フレームレートを高くし、黒挿入時間を短くする方法がある。この方法では、動画データのフレームの読み出しが完了するまで画像を表示することができないため、動画の表示にタイムラグが発生する。特許文献1、2は、このタイムラグを効果的に減らす方法について開示していない。
 本発明は、上記事情に鑑みてなされたものであり、動画ぼけを低減しながら、動画表示開始までのタイムラグを減らすことのできる表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。
 本発明の表示制御装は、Nを2以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのN倍速にて表示部に表示させる表示制御装置であって、上記動画データの各フレームを一方向にN個のグループに分割し、上記各グループに基づくN個の分割画像を、それぞれ、連続するN個の表示フレーム期間に分けて上記表示部に表示させる表示制御部を備え、Pを1以上N-1以下の数値とし、上記表示制御部は、上記各分割画像に対応する上記表示部の表示エリアに、上記N個の上記表示フレーム期間のうちのN-P個の表示フレーム期間においては上記各分割画像を表示させ、上記N個の上記表示フレーム期間のうちのP個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させるものである。
 本発明の撮像装置は、表示制御装置と、撮像素子と、上記表示部と、を備えるものである。
 本発明の表示制御方法は、Nを2以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのN倍速にて表示部に表示させる表示制御方法であって、上記動画データの各フレームを一方向にN個のグループに分割し、上記各グループに基づくN個の分割画像を、それぞれ、連続するN個の表示フレーム期間に分けて上記表示部に表示させる表示制御ステップを備え、Pを1以上N-1以下の数値とし、上記表示制御ステップは、上記各分割画像に対応する上記表示部の表示エリアに、上記N個の上記表示フレーム期間のうちのN-P個の表示フレーム期間においては上記各分割画像を表示させ、上記N個の上記表示フレーム期間のうちのP個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させるものである。
 本発明の表示制御プログラムは、Nを2以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのN倍速にて表示部に表示させる表示制御方法をコンピュータに実行させるための表示制御プログラムであって、上記表示制御方法は、上記動画データの各フレームを一方向にN個のグループに分割し、上記各グループに基づくN個の分割画像を、それぞれ、連続するN個の表示フレーム期間に分けて上記表示部に表示させる表示制御ステップを備え、Pを1以上N-1以下の数値とし、上記表示制御ステップは、上記各分割画像に対応する上記表示部の表示エリアに、上記N個の上記表示フレーム期間のうちのN-P個の表示フレーム期間においては上記各分割画像を表示させ、上記N個の上記表示フレーム期間のうちのP個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させるものである。
 本発明によれば、動画ぼけを低減しながら、動画表示開始までのタイムラグを減らすことのできる表示制御装置、撮像装置、表示制御方法、及び表示制御プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ100の概略構成を示す図である。 図1に示す表示部23の概略構成を示す平面模式図である。 図1に示す撮像素子6の概略構成を示す平面模式図である。 動画の1フレームの分割例(N=3)を説明するための模式図である。 動画の1フレームの分割例の別の例(N=3)を説明するための模式図である。 動画の1フレームの分割例の更に別の例(N=2)を説明するための模式図である。 システム制御部11によるライブビュー表示制御時の動作を説明するためのタイミングチャートである。 システム制御部11によるライブビュー表示制御時の動作の第一変形例を説明するためのタイミングチャートである。 システム制御部11によるライブビュー表示制御時の動作の第二変形例を説明するためのタイミングチャートである。 システム制御部11によるライブビュー表示制御時の動作の第三変形例を説明するためのタイミングチャートである。 本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。 図11に示すスマートフォン200の構成を示すブロック図である。
 以下、本発明の実施形態について図面を参照して説明する。図1は、本発明の撮像装置の一実施形態であるデジタルカメラ100の概略構成を示す図である。図1に示すデジタルカメラ100は、撮像レンズ1と、絞り2と、レンズ制御部4と、レンズ駆動部8と、絞り駆動部9と、を有するレンズ装置40を備える。
 レンズ装置40は、デジタルカメラ100の本体に着脱可能なものであってもよいし、デジタルカメラ100の本体と一体化されたものであってもよい。撮像レンズ1と絞り2は撮像光学系を構成し、撮像レンズ1は光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。
 フォーカスレンズは、撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。なお、フォーカスレンズとしては、光軸方向の主点の位置を電気的な制御により変更することで焦点調節が可能な液体レンズが用いられてもよい。
 レンズ装置40のレンズ制御部4は、デジタルカメラ100のシステム制御部11と有線又は無線によって通信可能に構成される。
 レンズ制御部4は、システム制御部11からの指令にしたがい、レンズ駆動部8を介して撮像レンズ1に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更したり、絞り駆動部9を介して絞り2の開口量を制御したりする。
 デジタルカメラ100は、更に、撮像光学系を通して被写体を撮像するCMOS(Complementary Metal Oxide Semiconductor)イメージセンサにより構成された撮像素子6を備える。
 撮像素子6は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子6の各画素から出力される画素信号の集合を以下では撮像画像信号という。
 デジタルカメラ100の電気制御系全体を統括制御するシステム制御部11は、撮像素子駆動部10を介して撮像素子6を駆動し、レンズ装置40の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。
 システム制御部11は、デジタルカメラ100が撮像モードに設定されると、撮像素子6により被写体の連続撮像を開始させ、この連続撮像によって撮像素子6から出力される複数の撮像画像信号からなる動画データに基づくライブビュー画像を表示部23に表示させるライブビュー表示制御を行う。また、システム制御部11は、記憶媒体21に記憶された動画データを読み出してこの動画データに基づく動画を表示部23に表示させる記録動画再生制御を行う。
 システム制御部11は、デジタルカメラ100全体を統括制御するものであり、ハードウェア的な構造は、プログラムを実行して処理を行う各種のプロセッサである。
 各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Prosessing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
 システム制御部11は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
 更に、このデジタルカメラ100の電気制御系は、RAM(Random Accsess Memory)から構成されるメインメモリ16と、メインメモリ16へのデータ記憶及びメインメモリ16からのデータ読み出しの制御を行うメモリ制御部15と、撮像素子6から出力される撮像画像信号に対しデジタル信号処理を行ってJPEG(Joint Photographic Experts Group)形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部17と、記憶媒体21へのデータ記憶及び記憶媒体21からのデータ読み出しの制御を行う外部メモリ制御部20と、有機EL(electroluminescence)パネル又は液晶パネル等で構成される表示部23と、表示部23の表示を制御する表示コントローラ22と、を備える。
 記憶媒体21は、デジタルカメラ100に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ100に着脱可能な可搬型の半導体メモリ等である。
 メモリ制御部15、デジタル信号処理部17、外部メモリ制御部20、及び表示コントローラ22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
 表示コントローラ22は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示すべき画像のデータを保持するための表示メモリとを含む。
 図2は、図1に示す表示部23の概略構成を示す平面模式図である。表示部23は、行方向Xに並ぶ複数の表示画素23Aからなる表示画素行23Bが、この行方向Xと直交する列方向Yに複数配列された表示面を有する。
 表示コントローラ22は、表示画素行23Bに描画するライン画像を表示部23の列方向Yの上端の表示画素行23Bから下端の表示画素行23Bに向かって順次更新する描画更新処理を行うことで、表示画素行23Bと同数のライン画像からなる画像を表示部23に表示させる。
 図3は、図1に示す撮像素子6の概略構成を示す平面模式図である。撮像素子6は、行方向Xに配列された複数の画素61からなる画素行62が、行方向Xと直交する列方向Yに複数配列された撮像面60と、撮像面60に配列された画素61を駆動する駆動回路63と、撮像面60に配列された画素行62の各画素61から信号線に読み出される画素信号を処理する信号処理回路64と、を備える。
 以下では、図3において撮像面60の列方向Yの上側の端部を上端といい、撮像面60の列方向Yの下側の端部を下端という。
 図3に示す信号処理回路64は、画素行62の各画素61から信号線に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス25(図1参照)に出力する。信号処理回路64は、撮像素子駆動部10によって制御される。
 撮像素子6の撮像面60に形成されている画素行62の総数Mは、1つの例においては、表示部23に形成されている表示画素行23Bの総数mよりも多い。
 デジタルカメラ100では、撮像面60に形成されたM個の画素行62のうち列方向Yに向かって一定間隔を空けて並ぶm個の画素行62が表示対象画素行として設定されている。以下、表示対象画素行として設定された画素行62を、表示対象画素行62とも言う。
 撮像面60の上端から数えてi番目(iは1~m)にある表示対象画素行62には、表示部23の表示面の上端から数えてi番目にある表示画素行23Bが対応付けて管理されている。
 なお、総数Mと総数mが同じ場合もあり、その場合には、撮像面60の上端から数えてj番目(jは1~M)にある表示対象画素行62には、表示部23の表示面の上端から数えてj番目にある表示画素行23Bが対応付けて管理される。
 システム制御部11は、上記のライブビュー表示制御時において、表示制御プログラムを含むプログラムを実行することで、撮像素子6から出力される動画データに基づく動画を、この動画データのフレームレートのN倍速にて表示部23に表示させる表示制御を行う。本明細書におけるシステム制御部11は、表示制御装置を構成する。
 ライブビュー画像表示のための連続撮像が撮像素子6により行われている状態においては、撮像素子6の撮像面60における全ての表示対象画素行62に含まれる画素61から画素信号が読み出され、この読み出された画素信号の集合(撮像画像信号)が動画データの1フレームを構成する。
 システム制御部11は、動画データの1フレームを撮像素子6から読み出す際に、この1フレームを列方向YにN個のグループに分割し、このグループ毎に順次読み出す制御を行う。列方向Yは、撮像素子6からの画素信号の読み出し方向に相当する。なお、Nは2以上の値であり、その上限値は、表示部23に含まれる表示画素行23Bの総数mと同じである。
 図4は、動画の1フレームの分割例(N=3)を説明するための模式図である。図4には、撮像素子6から出力される動画の1つのフレームFLが示されている。フレームFLは、図中の上端が撮像面60の上端側に対応し、図中の下端が撮像面60の下端側に対応している。つまり、フレームFLは、図中の上端側が撮像面60の上端側から出力される部分を示し、図中の下端側が撮像面60の下端側から出力される部分を示している。図4の例では、フレームFLは、列方向Yに3つに均等に分割されており、グループGaと、グループGbと、グループGcとにより構成されている。
 なお、上述したように、撮像素子6の各表示対象画素行62には、表示部23の表示画素行23Bが対応づけて管理されている。したがって、グループGaと、グループGaの出力元の表示対象画素行62に対応する表示画素行23Bが配置される表示部23上の表示エリア23aと、も同様に対応付けて管理される。
 同様に、グループGbと、グループGbの出力元の表示対象画素行62に対応する表示画素行23Bが配置される表示部23上の表示エリア23bとが対応付けて管理される。
 同様に、グループGcと、グループGcの出力元の表示対象画素行62に対応する表示画素行23Bが配置される表示部23上の表示エリア23cとが対応付けて管理される。
 図5は、動画の1フレームの分割例の別の例(N=3)を説明するための模式図である。図5に示す分割例は、図4に示したグループGaとグループGbとの境界位置が上端側に移動した点を除いては、図4と同じである。図5に示すように、グループGaとグループGbの境界位置が変化すれば、これらに対応する表示エリア23aと表示エリア23bの境界位置も変化する。
 図6は、動画の1フレームの分割例の更に別の例(N=2)を説明するための模式図である。図6に示す例では、フレームFLは、列方向Yに2つに均等に分割されており、グループGaと、グループGbとにより構成されている。
 図6の例においても、グループGaと、グループGaの出力元の表示対象画素行62に対応する表示画素行23Bが配置される表示部23上の表示エリア23aとが対応付けて管理される。また、グループGbと、グループGbの出力元の表示対象画素行62に対応する表示画素行23Bが配置される表示部23上の表示エリア23bとが対応付けて管理される。
 システム制御部11は、上記表示制御において、撮像素子6から読み出された各グループに基づくN個の分割画像を、それぞれN個の表示フレーム期間に分けて表示部23に表示させる。表示フレーム期間とは、後述する表示部23の垂直同期信号が立下がって次に立ち下がるまでの期間(表示部23の表示画像の更新間隔)である。
 任意のフレームを分割して得られるN個のグループのうちの隣接する2つのグループを第一のグループ及び第二のグループとすると、第一のグループに基づく分割画像の表示に利用するN個の表示フレーム期間と、第二のグループに基づく分割画像の表示に利用するN個の表示フレーム期間とは、互いに1つの表示フレーム期間分ずらして設定される。
 図4又は図5に示す分割例であれば、システム制御部11は、フレームFLのグループGaに基づく分割画像については、これを表示部23の表示エリア23aに表示させ、フレームFLのグループGbに基づく分割画像については、これを表示部23の表示エリア23bに表示させ、フレームFLのグループGcに基づく分割画像については、これを表示部23の表示エリア23cに表示させる制御を行う。
 図6に示す分割例であれば、システム制御部11は、フレームFLのグループGaに基づく分割画像については、これを表示部23の表示エリア23aに表示させ、フレームFLのグループGbに基づく分割画像については、これを表示部23の表示エリア23bに表示させる制御を行う。
 そして、システム制御部11は、上記表示制御において、Pを1以上(N-1)以下の数値とすると、1つのフレームFLを構成する各分割画像を表示させる各表示エリアに、N個の表示フレーム期間のうちのN-P個の表示フレーム期間において各分割画像を表示させ、N個の表示フレーム期間のうちのP個の表示フレーム期間において、フレームFLとは異なる動画ぼけ低減用の特定画像を表示させる制御を行う。
 動画ぼけ低減用の特定画像とは、人が動体を追従視するときに発生する動画ぼけを低減させるための画像であり、具体的には黒画像である。特定画像としては、表示対象としているフレーム以外の画像であり且つこのフレームの残像を残さない程度の輝度の画像であればよく、黒画像以外に、例えば白画像、グレー画像、ランダムノイズ画像等を採用することも可能である。
 図7は、システム制御部11によるライブビュー表示制御時の動作を説明するためのタイミングチャートである。図7は、動画データのフレームの分割例として図4に示すものを採用したときの動作例を示している。
 図7に示す“撮像VD”は、撮像素子6の垂直同期信号を示しており、これによって動画データのフレームレートが決定される。図7に示す“表示VD”は、表示部23の垂直同期信号を示しており、これによって動画データの表示レートが決定される。図7は、表示レートが動画データのフレームレートの3倍に設定されている例(N=3の例)である。図7において、表示VDが立下がってから次に立下がるまでの期間が、表示フレーム期間を構成する。
 図7に示す“撮像素子出力”は、撮像素子6から出力されるフレームを示す。図7の例では、1つ目のフレームは、グループGa(1)、グループGb(1)、グループGc(1)に分けて順次読み出される。また、2つ目のフレームは、グループGa(2)、グループGb(2)、グループGc(2)に分けて順次読み出される。また、3つ目のフレームは、グループGa(3)、グループGb(3)、グループGc(3)に分けて順次読み出される。
 図7に示す“表示メモリ”は、表示コントローラ22の表示メモリに記憶されるデータを示している。図7に示す“表示部”は、表示部23の図4に示した表示エリア23a、表示エリア23b、表示エリア23cに表示される画像を示している。
 図7において、表示メモリに記憶されるデータのうち、“Ka”(Kは、1、2、3のいずれか)にて示されるデータは、グループGa(K)を処理して得られた表示用データである。また、“Kb”は、グループGb(K)を処理して得られた表示用データである。また、“Kc”は、グループGc(K)を処理して得られた表示用データである。また、“bl”は、特定画像の一例である黒画像を表示するための黒表示用データである。
 図7において、表示部23に表示される分割画像のうち、“KA” (Kは、1、2、3のいずれか)は、表示用データKaに基づいて表示される分割画像である。また、“KB”は、表示用データKbに基づいて表示される分割画像である。また、“KC”は、表示用データKcに基づいて表示される分割画像である。また、“BL”は、黒表示用データblに基づいて表示される黒画像である。
 システム制御部11が、撮像素子6からの1フレーム目のグループGa(1)の読み出しを完了すると、グループGa(1)が処理されて表示用データ1aが生成される。その後、表示の更新タイミングt1になると、システム制御部11は、表示メモリにおいて、表示エリア23aに対応する領域にこの表示用データ1aを記憶し、表示エリア23b及び表示エリア23cに対応する領域に黒表示用データblを記憶して、表示メモリ内のデータの表示を表示コントローラ22に指示する。これにより、表示部23では、表示エリア23aに分割画像1Aが表示され、表示エリア23bと表示エリア23cに黒画像BLが表示される。
 続いて、システム制御部11が、撮像素子6からの1フレーム目のグループGb(1)の読み出しを完了すると、グループGb(1)が処理されて表示用データ1bが生成される。
 その後、表示の更新タイミングt2になると、システム制御部11は、表示メモリにおいて、表示エリア23aと表示エリア23cに対応する領域のデータはそのままとし、表示エリア23bに対応する領域にこの表示用データ1bを上書きして、表示エリア23bの表示更新を表示コントローラ22に指示する。これにより、表示部23では、表示エリア23bの表示内容が黒画像BLから分割画像1Bに更新される。
 続いて、システム制御部11が、撮像素子6からの1フレーム目のグループGc(1)の読み出しを完了すると、グループGc(1)が処理されて表示用データ1cが生成される。
 その後、表示の更新タイミングt3になると、システム制御部11は、表示メモリにおいて、表示エリア23bに対応する領域のデータはそのままとし、表示エリア23cに対応する領域にこの表示用データ1cを上書きし、表示エリア23aに対応する領域に黒表示用データblを上書きして、表示エリア23a、23cの表示更新を表示コントローラ22に指示する。これにより、表示部23では、表示エリア23aの表示内容が分割画像1Aから黒画像BLに更新され、表示エリア23cの表示内容が黒画像BLから分割画像1Cに更新される。
 続いて、システム制御部11が、撮像素子6から2フレーム目のグループGa(2)の読み出しを完了すると、グループGa(2)が処理されて表示用データ2aが生成される。
 その後、表示の更新タイミングt4になると、システム制御部11は、表示メモリにおいて、表示エリア23cに対応する領域はそのままとし、表示エリア23aに対応する領域にこの表示用データ2aを上書きし、表示エリア23bに対応する領域に黒表示用データblを上書きして、表示エリア23aと表示エリア23bの表示更新を表示コントローラ22に指示する。これにより、表示部23では、表示エリア23aの表示内容が黒画像BLから分割画像2Aに更新され、表示エリア23bの表示内容が分割画像1Bから黒画像BLに更新される。
 続いて、システム制御部11が、撮像素子6からの2フレーム目のグループGb(2)の読み出しを完了すると、グループGb(2)が処理されて表示用データ2bが生成される。
 その後、表示の更新タイミングt5になると、システム制御部11は、表示メモリにおいて、表示エリア23aに対応する領域はそのままとし、表示エリア23bに対応する領域にこの表示用データ2bを上書きし、表示エリア23cに対応する領域に黒表示用データblを上書きして、表示エリア23bと表示エリア23cの表示更新を表示コントローラ22に指示する。これにより、表示部23では、表示エリア23bの表示内容が黒画像BLから分割画像2Bに更新され、表示エリア23cの表示内容が分割画像1Cから黒画像BLに更新される。
 続いて、システム制御部11が、撮像素子6からの2フレーム目のグループGc(2)の読み出しを完了すると、グループGc(2)が処理されて表示用データ2cが生成される。
 その後、表示の更新タイミングt6になると、システム制御部11は、表示メモリにおいて、表示エリア23bに対応する領域はそのままとし、表示エリア23cに対応する領域にこの表示用データ2cを上書きし、表示エリア23aに対応する領域に黒表示用データblを上書きして、表示エリア23aと表示エリア23cの表示更新を表示コントローラ22に指示する。これにより、表示部23では、表示エリア23cの表示内容が黒画像BLから分割画像2Cに更新され、表示エリア23aの表示内容が分割画像2Aから黒画像BLに更新される。以降は、同様の処理が繰り返される。
 システム制御部11の制御によって、図7に示す表示部23の画像を見て分かるように、各フレームに基づく画像を構成する分割画像KA、分割画像KB、及び分割画像KCの各々は、3個の表示フレーム期間に分けて表示されると共に、この3個の表示フレームのうちの1つでは分割画像の代わりに黒画像が挿入されることになる。
 分割画像KAを例にして説明すると、表示エリア23aに表示される分割画像1Aは、更新タイミングt1と更新タイミングt2の間の表示フレーム期間と、更新タイミングt2と更新タイミングt3の間の表示フレーム期間と、更新タイミングt3と更新タイミングt4の間の表示フレーム期間との3つの表示フレーム期間に分けて表示され、更新タイミングt3と更新タイミングt4の間の表示フレーム期間においては黒画像BLが挿入される。
 また、表示エリア23bに表示される分割画像1Bは、更新タイミングt2と更新タイミングt3の間の表示フレーム期間と、更新タイミングt3と更新タイミングt4の間の表示フレーム期間と、更新タイミングt4と更新タイミングt5の間の表示フレーム期間との3つの表示フレーム期間に分けて表示され、更新タイミングt4と更新タイミングt5の間の表示フレーム期間においては黒画像BLが挿入される。
 また、表示エリア23cに表示される分割画像1Cは、更新タイミングt3と更新タイミングt4の間の表示フレーム期間と、更新タイミングt4と更新タイミングt5の間の表示フレーム期間と、更新タイミングt5と更新タイミングt6の間の表示フレーム期間との3つの表示フレーム期間に分けて表示され、更新タイミングt5と更新タイミングt6の間の表示フレーム期間においては黒画像BLが挿入される。
 このため、時間積算して表示画像を見ると、3回の表示フレーム期間に1回の割合にて黒画像が挿入された状態となり、動画ぼけを低減することが可能となる。
 また、図7に示すように、各フレームの読み出しが開始されたタイミングから、そのフレームに基づく分割画像の表示が開始されるまでの時間Tは、撮像VDで規定される1フレームの生成に必要な時間よりも十分に短い時間とすることができる。このため、ライブビュー画像の表示を高速に開始することができ、シャッタチャンスを逃す可能性を減らすことができる。
 なお、システム制御部11は、動画データの各フレームに対する分割方法を1つに固定するのではなく、分割方法を可変制御してもよい。例えば、システム制御部11は、1つの動画データに対して、図4に示すフレームの分割設定と、図5に示すフレームの分割設定とを切り替えて行うようにしてもよい。
 図8は、システム制御部11によるライブビュー表示制御時の動作の第一変形例を説明するためのタイミングチャートである。図8に示すタイミングチャートは、システム制御部11が、2つのフレーム毎に分割設定を切り替える場合の動作を示している。
 具体的には、システム制御部11は、1つ目のフレームと2つ目のフレームに対しては、分割設定として図4に示したものを選択し、3つ目のフレームと4つ目のフレームに対しては、分割設定として図5に示したものを選択する。以降は、システム制御部11は、図4の分割設定と図5の分割設定を交互に繰り返す。
 図8においては、更新タイミングt6までに取得されるフレームについては、図4に示した分割設定が選択されている。そして、更新タイミングt6以降に取得されるフレームについては、図5に示した分割設定が選択される。
 この場合、グループGc(2)の読み出しが完了すると、システム制御部11は、表示メモリをリセットする。そして、システム制御部11は、リセット後の表示メモリにおいて、グループGc(2)の処理後の表示用データ2cを、新たな分割設定におけるグループGcに対応する表示エリア23c用のメモリ領域に記憶し、既に生成されていた表示用データ2bを、新たな分割設定におけるグループGbに対応する表示エリア23b用のメモリ領域に記憶し、黒表示用データblを、新たな分割設定におけるグループGaに対応する表示エリア23a用のメモリ領域に記憶して、表示画像の更新を指示する。
 この指示を受けて、表示コントローラ22は、表示部23において、図5に示した表示エリア23aに黒画像BLを表示させ、図5に示した表示エリア23bに分割画像2Bを表示させ、図5に示した表示エリア23cに分割画像2Cを表示させる。以降は、新たな分割設定にしたがって、各分割画像の表示が更新されていく。
 この図8に示す動作例によれば、表示部23に表示される3つの分割画像の境界位置が固定ではなくなることで、ティアリングの発生を防ぐことができ、表示画質を向上させることができる。
 なお、図8に示す動作例において、システム制御部11は、3個のグループの境界位置(グループGaとグループGbの境界位置及びグループGbとグループGcの境界位置の各々)の時間的な平均位置を一定に制御することが好ましい。このようにすることで、表示画質を更に向上させることができる。
 システム制御部11は、各分割画像をN個の表示フレーム期間に分けて表示させる場合における黒画像の挿入頻度を可変制御してもよい。
 図9は、システム制御部11によるライブビュー表示制御時の動作の第二変形例を説明するためのタイミングチャートである。この第二変形例においては、システム制御部11は、1つ目のフレームと2つ目のフレームに対しては、各分割画像の表示に用いる3回の表示フレーム期間のうち、2回の表示フレーム期間において分割画像を表示させ、1回の表示フレーム期間において黒画像を表示させる制御(上記のPを1とする制御)を行い、3つ目以降のフレームに対しては、各分割画像の表示に用いる3回の表示フレーム期間のうち、1回の表示フレーム期間において分割画像を表示させ、2回の表示フレーム期間において黒画像を表示させる制御(上記のPを2とする制御)を行っている。
 より詳細に説明すると、更新タイミングt6の2回後の表示の更新タイミングt7までの動作は図7の動作と同じである。システム制御部11が、撮像素子6からの3フレーム目のグループGb(3)の読み出しを完了すると、グループGb(3)が処理されて表示用データ3bが生成される。
 その後、表示の更新タイミングt7になると、システム制御部11は、表示メモリにおいて、表示エリア23bに対応する領域にこの表示用データ3bを上書きし、表示エリア23aと表示エリア23cに対応する領域に黒表示用データblを上書きして、表示エリア23a、23b、23cの表示更新を表示コントローラ22に指示する。これにより、表示部23では、表示エリア23aの表示内容が分割画像3Aから黒画像BLに更新され、表示エリア23bの表示内容が黒画像BLから分割画像3Bに更新され、表示エリア23cの表示内容が分割画像2Cから黒画像BLに更新される。
 システム制御部11が、撮像素子6からの3フレーム目のグループGc(3)の読み出しを完了すると、グループGc(3)が処理されて表示用データ3cが生成される。
 その後、表示の更新タイミングt8になると、システム制御部11は、表示メモリにおいて、表示エリア23aに対応する領域はそのままとし、表示エリア23bに対応する領域に黒表示用データblを上書きし、表示エリア23cに対応する領域にこの表示用データ3cを上書きして、表示エリア23b、23cの表示更新を表示コントローラ22に指示する。これにより、表示部23では、表示エリア23bの表示内容が分割画像3Bから黒画像BLに更新され、表示エリア23cの表示内容が黒画像BLから分割画像3Cに更新される。
 その後、表示部23の表示内容は、表示エリア23aに4つ目のフレームのグループGa(4)に基づく分割画像4Aが表示され、表示エリア23bと表示エリア23cに黒画像BLが表示された状態となる。
 更にその後、表示部23の表示内容は、表示エリア23aに黒画像BLが表示され、表示エリア23bに4つ目のフレームのグループGb(4)に基づく分割画像4Bが表示され、表示エリア23cに黒画像BLが表示された状態となる。
 図9の例では、表示エリア23aに表示される分割画像3Aは、更新タイミングt6aと更新タイミングt7の間の表示フレーム期間と、更新タイミングt7と更新タイミングt8の間の表示フレーム期間と、更新タイミングt8と更新タイミングt9の間の表示フレーム期間との3つの表示フレーム期間に分けて表示され、更新タイミングt7以降の2回の表示フレーム期間においては黒画像BLが挿入される。
 また、表示エリア23bに表示される分割画像3Bは、更新タイミングt7と更新タイミングt8の間の表示フレーム期間と、更新タイミングt8と更新タイミングt9の間の表示フレーム期間と、更新タイミングt9と更新タイミングt10の間の表示フレーム期間との3つの表示フレーム期間に分けて表示され、更新タイミングt8以降の2回の表示フレーム期間においては黒画像BLが挿入される。
 また、表示エリア23cに表示される分割画像3Cは、更新タイミングt8と更新タイミングt9の間の表示フレーム期間と、更新タイミングt9と更新タイミングt10の間の表示フレーム期間と、更新タイミングt10とその次の更新タイミングの間の表示フレーム期間との3つの表示フレーム期間に分けて表示され、更新タイミングt9以降の2回の表示フレーム期間においては黒画像BLが挿入される。
 このように黒画像の挿入頻度が途中で変更された結果、図9の更新タイミングt7以降の表示フレーム期間において表示部23に表示される画像の平均輝度は、更新タイミングt2から更新タイミングt7における各表示フレーム期間にて表示部23に表示される画像の平均輝度よりも低下する。
 そこで、システム制御部11は、黒画像の挿入頻度の変更が表示画像に反映される更新タイミングt7以降の各表示フレーム期間に表示される画像の平均輝度を、更新タイミングt7より前の各表示フレーム期間に表示される画像の平均輝度と一致させる輝度調整を行う。
 この輝度調整を行うことで、動画ぼけの低減を図るために、状況に応じてPの数を動的に変更する場合であっても、表示画像の輝度のちらつきを防止して、表示品質を向上させることができる。
 システム制御部11は、1つの動画データに対して、図4に示すフレームの分割設定と、図6に示すフレームの分割設定とを切り替えて行うようにしてもよい。
 図10は、システム制御部11によるライブビュー表示制御時の動作の第三変形例を説明するためのタイミングチャートである。この第三変形例においては、システム制御部11は、1つ目のフレームと2つ目のフレームに対しては、フレームを3分割し、各分割画像を3回の表示フレーム期間に分けて表示させる制御(上記のNを3とする制御)を行い、3つ目以降のフレームに対しては、フレームを2分割し、各分割画像を2回の表示フレーム期間に分けて表示させる制御(上記のNを2とする制御)を行っている。
 より詳細に説明すると、更新タイミングt6までの動作は図7の動作と同じである。図10の例では、更新タイミングt6において、動画データのフレームの分割数が3から2に変更される。分割数が2に変更されると、表示VDが変更される。そのため、更新タイミングt6にて表示部23に表示された画像は、延長された次の更新タイミングt7まで表示が継続される。
 システム制御部11が、撮像素子6からの3フレーム目のグループGa(3)の読み出しを完了すると、グループGa(3)が処理されて表示用データ3aが生成される。その後、表示の更新タイミングt7になると、システム制御部11は、表示メモリをリセットし、リセット後の表示メモリにおいて、図6に示す表示エリア23aに対応する領域にこの表示用データ3aを記憶し、図6に示す表示エリア23bに対応する領域に黒表示用データblを記憶して、表示エリア23a、23bの表示更新を表示コントローラ22に指示する。これにより、表示部23では、図6に示した表示エリア23aに分割画像3Aが表示され、図6に示した表示エリア23bに黒画像BLが表示される。
 その後、システム制御部11が、撮像素子6からの3フレーム目のグループGb(3)の読み出しを完了すると、グループGb(3)が処理されて表示用データ3bが生成される。
 その後、表示の更新タイミングt8になると、システム制御部11は、表示メモリにおいて、図6に示す表示エリア23aに対応する領域に黒表示用データblを上書きし、図6に示す表示エリア23bに対応する領域にこの表示用データ3bを上書きして、表示エリア23a、23bの表示更新を表示コントローラ22に指示する。これにより、表示部23では、図6に示した表示エリア23aに黒画像BLが表示され、図6に示した表示エリア23bに分割画像3Bが表示される。
 更新タイミングt8の次の更新タイミングt9にて開始される表示フレーム期間において、表示部23では、図6に示した表示エリア23aに4つ目のフレームのグループGa(4)に基づく分割画像4Aが表示され、図6に示した表示エリア23bに黒画像BLが表示される。
 このように、フレームの分割数(Nの値)が途中で変更された結果、図10の更新タイミングt7以降の表示フレーム期間において表示部23に表示される画像の平均輝度は、更新タイミングt2から更新タイミングt7における各表示フレーム期間にて表示部23に表示される画像の平均輝度よりも低下する。
 そこで、システム制御部11は、Nの値の変更が表示画像に反映されるタイミングt7以降の各表示フレーム期間に表示される画像の平均輝度を、タイミングt7より前の各表示フレーム期間に表示される画像の平均輝度と一致させる輝度調整を行う。
 この輝度調整を行うことで、動画ぼけの低減を図るために、状況に応じてNの数を動的に変更する場合であっても、表示画像の輝度のちらつきを防止して、表示品質を向上させることができる。
 以上の説明では、黒画像BLを表示部23に表示させる方法として、表示メモリに黒表示用データを記録する方法を採用しているが、これに限らない。
 例えば、表示コントローラ22に対し、黒画像を表示させるべき表示部23の表示エリアを指定し、その指定した表示エリアにある表示素子を非駆動状態にさせることで、黒画像をこの表示エリアに表示させる方法を採用してもよい。
 例えば、表示部23には、表示エリア毎に分割されたバックライトを搭載しておき、指定された表示エリアにあるバックライトを非駆動状態、すなわち消灯状態にすることで、黒画像を表示させてもよい。この方法によれば、表示メモリへの黒表示用データの書き込みが不要となるため、画像表示を高速化することができる。
 また、以上の説明では、撮像素子6から出力される動画データを表示部23にリアルタイムに表示させる場合を例にしたが、システム制御部11が行う上述した図7以降の表示制御は、記録動画再生制御時にも同様に実行可能である。
 また、以上の説明では、撮像素子6がCMOS型のものとしたが、撮像素子6はCCD型(Charge Coupled Device)のものであってもよい。
 次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。
 図11は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。図11に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。
 また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
 図12は、図11に示すスマートフォン200の構成を示すブロック図である。図12に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。
 また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
 無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
 表示入力部204は、主制御部220の制御により、画像(静止画像及び動画像)又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
 表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等を表示デバイスとして用いたものである。
 操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
 図12に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
 係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
 なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体201の大きさ等に応じて適宜設計されるものである。
 さらにまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
 通話部211は、スピーカ205又はマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。
 また、図11に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
 操作部207は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図11に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
 記憶部212は、主制御部220の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。
 なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)等の格納媒体を用いて実現される。
 外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394等)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)等)により直接的又は間接的に接続するためのものである。
 スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)、SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるパーソナルコンピュータ、イヤホン等がある。
 外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達したり、スマートフォン200の内部のデータが外部機器に伝送されるようにしたりすることができる。
 GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210又は外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
 モーションセンサ部215は、例えば、3軸の加速度センサ等を備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向又は加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
 電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
 主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
 アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
 また、主制御部220は、受信データ又はダウンロードしたストリーミングデータ等の画像データ(静止画像又は動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。
 画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
 さらに、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。
 表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
 なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
 また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
 さらに、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
 また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
 ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
 カメラ部208は、図1に示したデジタルカメラにおける外部メモリ制御部20、記憶媒体21、表示部23、及び操作部14以外の構成を含む。
 カメラ部208によって生成された撮像画像データは、記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることができる。
 図11に示すスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
 また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示したり、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用したりすることができる。
 また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。さらには、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
 その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等を付加して記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることもできる。
 以上のような構成のスマートフォン200においても、カメラ部208から出力される動画データを表示パネル202に表示する際や、記憶媒体に記録した動画データを表示パネル202に表示する際において、図7から図10に示した表示制御を行うことで、表示タイムラグの短縮、動画ぼけの低減が可能となる。
 以上説明してきたように、本明細書には以下の事項が開示されている。
(1)
 Nを2以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのN倍速にて表示部に表示させる表示制御装置であって、
 上記動画データの各フレームを一方向にN個のグループに分割し、上記各グループに基づくN個の分割画像を、それぞれ、連続するN個の表示フレーム期間に分けて上記表示部に表示させる表示制御部を備え、
 Pを1以上N-1以下の数値とし、
 上記表示制御部は、上記各分割画像に対応する上記表示部の表示エリアに、上記N個の上記表示フレーム期間のうちのN-P個の表示フレーム期間においては上記各分割画像を表示させ、上記N個の上記表示フレーム期間のうちのP個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させる表示制御装置。
(2)
 (1)記載の表示制御装置であって、
 上記N個のグループのうちの隣接する2つのグループを第一のグループ及び第二のグループとし、上記第一のグループに基づく分割画像が表示される上記N個の上記表示フレーム期間と、上記第二のグループに基づく分割画像が表示される上記N個の上記表示フレーム期間とは、1つの表示フレーム期間分ずれている表示制御装置。
(3)
 (1)又は(2)記載の表示制御装置であって、
 上記動画データは撮像素子から出力されるものであり、
 上記一方向は、上記撮像素子からの信号の読み出し方向であり、
 上記表示制御部は、上記撮像素子から上記グループの読み出しが行われる毎に、そのグループに基づく上記分割画像を上記N個の上記表示フレーム期間に分けて上記表示部に表示させる制御を行う表示制御装置。
(4)
 (1)から(3)のいずれか1つに記載の表示制御装置であって、
 上記表示制御部は、上記N個のグループの境界位置を可変制御する表示制御装置。
(5)
 (4)記載の表示制御装置であって、
 上記表示制御部は、上記N個のグループの境界位置の平均位置を一定に制御する表示制御装置。
(6)
 (1)から(5)のいずれか1つに記載の表示制御装置であって、
 上記表示制御部は、上記各フレームの分割数を可変制御し、上記分割数を変更した場合に、上記分割数の変更後の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度を、上記分割数の変更前の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御装置。
(7)
 (1)から(5)のいずれか1つに記載の表示制御装置であって、
 上記表示制御部は、上記Pを可変制御し、上記Pを変更した場合に、上記Pの変更後の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度を、上記Pの変更前の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御装置。
(8)
 (1)から(7)のいずれか1つに記載の表示制御装置であって、
 上記表示制御部は、上記表示部の表示素子を非駆動状態にさせることで上記特定画像を表示させる表示制御装置。
(9)
 (1)から(8)のいずれか1つに記載の表示制御装置と、
 撮像素子と、
 上記表示部と、を備える撮像装置。
(10)
 Nを2以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのN倍速にて表示部に表示させる表示制御方法であって、
 上記動画データの各フレームを一方向にN個のグループに分割し、上記各グループに基づくN個の分割画像を、それぞれ、連続するN個の表示フレーム期間に分けて上記表示部に表示させる表示制御ステップを備え、
 Pを1以上N-1以下の数値とし、
 上記表示制御ステップは、上記各分割画像に対応する上記表示部の表示エリアに、上記N個の上記表示フレーム期間のうちのN-P個の表示フレーム期間においては上記各分割画像を表示させ、上記N個の上記表示フレーム期間のうちのP個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させる表示制御方法。
(11)
 (10)記載の表示制御方法であって、
 上記N個のグループのうちの隣接する2つのグループを第一のグループ及び第二のグループとし、上記第一のグループに基づく分割画像が表示される上記N個の上記表示フレーム期間と、上記第二のグループに基づく分割画像が表示される上記N個の上記表示フレーム期間とは、1つの表示フレーム期間分ずれている表示制御方法。
(12)
 (10)又は(11)記載の表示制御方法であって、
 上記動画データは撮像素子から出力されるものであり、
 上記一方向は、上記撮像素子からの信号の読み出し方向であり、
 上記表示制御ステップは、上記撮像素子から上記グループの読み出しが行われる毎に、そのグループに基づく上記分割画像を上記N個の上記表示フレーム期間に分けて上記表示部に表示させる制御を行う表示制御方法。
(13)
 (10)から(12)のいずれか1つに記載の表示制御方法であって、
 上記表示制御ステップは、上記N個のグループの境界位置を可変制御する表示制御方法。
(14)
 (13)記載の表示制御方法であって、
 上記表示制御ステップは、上記N個のグループの境界位置の平均位置を一定に制御する表示制御方法。
(15)
 (10)から(14)のいずれか1つに記載の表示制御方法であって、
 上記表示制御ステップは、上記各フレームの分割数を可変制御し、上記分割数を変更した場合に、上記分割数の変更後の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度を、上記分割数の変更前の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御方法。
(16)
 (10)から(14)のいずれか1つに記載の表示制御方法であって、
 上記表示制御ステップは、上記Pを可変制御し、上記Pを変更した場合に、上記Pの変更後の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度を、上記Pの変更前の上記表示フレーム期間にて上記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御方法。
(17)
 (10)から(16)のいずれか1つに記載の表示制御方法であって、
 上記表示制御ステップは、上記表示部の表示素子を非駆動状態にさせることで上記特定画像を表示させる表示制御方法。
(18)
 Nを2以上の自然数とし、動画データに基づく動画を上記動画データのフレームレートのN倍速にて表示部に表示させる表示制御方法をコンピュータに実行させるための表示制御プログラムであって、
 上記表示制御方法は、上記動画データの各フレームを一方向にN個のグループに分割し、上記各グループに基づくN個の分割画像を、それぞれ、連続するN個の表示フレーム期間に分けて上記表示部に表示させる表示制御ステップを備え、
 Pを1以上N-1以下の数値とし、
 上記表示制御ステップは、上記各分割画像に対応する上記表示部の表示エリアに、上記N個の上記表示フレーム期間のうちのN-P個の表示フレーム期間においては上記各分割画像を表示させ、上記N個の上記表示フレーム期間のうちのP個の表示フレーム期間においては上記動画データとは異なる特定画像を表示させる表示制御プログラム。
 以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
 なお、本出願は、2019年2月14日出願の日本特許出願(特願2019-024793)に基づくものであり、その内容は本出願の中に参照として援用される。
 本発明は、デジタルカメラ又はスマートフォン等の撮像機能と表示機能を持つ電子機器に好ましく適用することができる。
100 デジタルカメラ
1 撮像レンズ
2 絞り
4 レンズ制御部
6 撮像素子
60 撮像面
61 画素
62 画素行
63 駆動回路
64 信号処理回路
8 レンズ駆動部
9 絞り駆動部
10 撮像素子駆動部
11 システム制御部
14 操作部
15 メモリ制御部
16 メインメモリ
17 デジタル信号処理部
20 外部メモリ制御部
21 記憶媒体
22 表示コントローラ
23 表示部
23A 表示画素
23B 表示画素行
23a 表示エリア
23b 表示エリア
23c 表示エリア
24 制御バス
25 データバス
40 レンズ装置
FL フレーム
Ga グループ
Gb グループ
Gc グループ
T 時間
200 スマートフォン
201 筐体
202 表示パネル
203 操作パネル
204 表示入力部
205 スピーカ
206 マイクロホン
207 操作部
208 カメラ部
210 無線通信部
211 通話部
212 記憶部
213 外部入出力部
214 GPS受信部
215 モーションセンサ部
216 電源部
217 内部記憶部
218 外部記憶部
220 主制御部
ST1~STn GPS衛星
 

Claims (18)

  1.  Nを2以上の自然数とし、動画データに基づく動画を前記動画データのフレームレートのN倍速にて表示部に表示させる表示制御装置であって、
     前記動画データの各フレームを一方向にN個のグループに分割し、前記各グループに基づくN個の分割画像を、それぞれ、連続するN個の表示フレーム期間に分けて前記表示部に表示させる表示制御部を備え、
     Pを1以上N-1以下の数値とし、
     前記表示制御部は、前記各分割画像に対応する前記表示部の表示エリアに、前記N個の前記表示フレーム期間のうちのN-P個の表示フレーム期間においては前記各分割画像を表示させ、前記N個の前記表示フレーム期間のうちのP個の表示フレーム期間においては前記動画データとは異なる特定画像を表示させる表示制御装置。
  2.  請求項1記載の表示制御装置であって、
     前記N個のグループのうちの隣接する2つのグループを第一のグループ及び第二のグループとし、前記第一のグループに基づく分割画像が表示される前記N個の前記表示フレーム期間と、前記第二のグループに基づく分割画像が表示される前記N個の前記表示フレーム期間とは、1つの表示フレーム期間分ずれている表示制御装置。
  3.  請求項1又は2記載の表示制御装置であって、
     前記動画データは撮像素子から出力されるものであり、
     前記一方向は、前記撮像素子からの信号の読み出し方向であり、
     前記表示制御部は、前記撮像素子から前記グループの読み出しが行われる毎に、当該グループに基づく前記分割画像を前記N個の前記表示フレーム期間に分けて前記表示部に表示させる制御を行う表示制御装置。
  4.  請求項1から3のいずれか1項記載の表示制御装置であって、
     前記表示制御部は、前記N個のグループの境界位置を可変制御する表示制御装置。
  5.  請求項4記載の表示制御装置であって、
     前記表示制御部は、前記N個のグループの境界位置の平均位置を一定に制御する表示制御装置。
  6.  請求項1から5のいずれか1項記載の表示制御装置であって、
     前記表示制御部は、前記各フレームの分割数を可変制御し、前記分割数を変更した場合に、前記分割数の変更後の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度を、前記分割数の変更前の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御装置。
  7.  請求項1から5のいずれか1項記載の表示制御装置であって、
     前記表示制御部は、前記Pを可変制御し、前記Pを変更した場合に、前記Pの変更後の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度を、前記Pの変更前の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御装置。
  8.  請求項1から7のいずれか1項記載の表示制御装置であって、
     前記表示制御部は、前記表示部の表示素子を非駆動状態にさせることで前記特定画像を表示させる表示制御装置。
  9.  請求項1から8のいずれか1項記載の表示制御装置と、
     撮像素子と、
     前記表示部と、を備える撮像装置。
  10.  Nを2以上の自然数とし、動画データに基づく動画を前記動画データのフレームレートのN倍速にて表示部に表示させる表示制御方法であって、
     前記動画データの各フレームを一方向にN個のグループに分割し、前記各グループに基づくN個の分割画像を、それぞれ、連続するN個の表示フレーム期間に分けて前記表示部に表示させる表示制御ステップを備え、
     Pを1以上N-1以下の数値とし、
     前記表示制御ステップは、前記各分割画像に対応する前記表示部の表示エリアに、前記N個の前記表示フレーム期間のうちのN-P個の表示フレーム期間においては前記各分割画像を表示させ、前記N個の前記表示フレーム期間のうちのP個の表示フレーム期間においては前記動画データとは異なる特定画像を表示させる表示制御方法。
  11.  請求項10記載の表示制御方法であって、
     前記N個のグループのうちの隣接する2つのグループを第一のグループ及び第二のグループとし、前記第一のグループに基づく分割画像が表示される前記N個の前記表示フレーム期間と、前記第二のグループに基づく分割画像が表示される前記N個の前記表示フレーム期間とは、1つの表示フレーム期間分ずれている表示制御方法。
  12.  請求項10又は11記載の表示制御方法であって、
     前記動画データは撮像素子から出力されるものであり、
     前記一方向は、前記撮像素子からの信号の読み出し方向であり、
     前記表示制御ステップは、前記撮像素子から前記グループの読み出しが行われる毎に、当該グループに基づく前記分割画像を前記N個の前記表示フレーム期間に分けて前記表示部に表示させる制御を行う表示制御方法。
  13.  請求項10から12のいずれか1項記載の表示制御方法であって、
     前記表示制御ステップは、前記N個のグループの境界位置を可変制御する表示制御方法。
  14.  請求項13記載の表示制御方法であって、
     前記表示制御ステップは、前記N個のグループの境界位置の平均位置を一定に制御する表示制御方法。
  15.  請求項10から14のいずれか1項記載の表示制御方法であって、
     前記表示制御ステップは、前記各フレームの分割数を可変制御し、前記分割数を変更した場合に、前記分割数の変更後の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度を、前記分割数の変更前の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御方法。
  16.  請求項10から14のいずれか1項記載の表示制御方法であって、
     前記表示制御ステップは、前記Pを可変制御し、前記Pを変更した場合に、前記Pの変更後の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度を、前記Pの変更前の前記表示フレーム期間にて前記表示部に表示される画像の平均輝度と一致させる輝度調整を行う表示制御方法。
  17.  請求項10から16のいずれか1項記載の表示制御方法であって、
     前記表示制御ステップは、前記表示部の表示素子を非駆動状態にさせることで前記特定画像を表示させる表示制御方法。
  18.  Nを2以上の自然数とし、動画データに基づく動画を前記動画データのフレームレートのN倍速にて表示部に表示させる表示制御方法をコンピュータに実行させるための表示制御プログラムであって、
     前記表示制御方法は、前記動画データの各フレームを一方向にN個のグループに分割し、前記各グループに基づくN個の分割画像を、それぞれ、連続するN個の表示フレーム期間に分けて前記表示部に表示させる表示制御ステップを備え、
     Pを1以上N-1以下の数値とし、
     前記表示制御ステップは、前記各分割画像に対応する前記表示部の表示エリアに、前記N個の前記表示フレーム期間のうちのN-P個の表示フレーム期間においては前記各分割画像を表示させ、前記N個の前記表示フレーム期間のうちのP個の表示フレーム期間においては前記動画データとは異なる特定画像を表示させる表示制御プログラム。
     
PCT/JP2020/004664 2019-02-14 2020-02-06 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム WO2020166490A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020572211A JP7042368B2 (ja) 2019-02-14 2020-02-06 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
US17/383,538 US20210350766A1 (en) 2019-02-14 2021-07-23 Display control device, imaging device, display control method, and display control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-024793 2019-02-14
JP2019024793 2019-02-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/383,538 Continuation US20210350766A1 (en) 2019-02-14 2021-07-23 Display control device, imaging device, display control method, and display control program

Publications (1)

Publication Number Publication Date
WO2020166490A1 true WO2020166490A1 (ja) 2020-08-20

Family

ID=72045432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004664 WO2020166490A1 (ja) 2019-02-14 2020-02-06 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム

Country Status (3)

Country Link
US (1) US20210350766A1 (ja)
JP (1) JP7042368B2 (ja)
WO (1) WO2020166490A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008064831A (ja) * 2006-09-05 2008-03-21 Seiko Epson Corp 画像処理回路、画像処理方法、電気光学装置、電子機器
JP2008268887A (ja) * 2007-03-29 2008-11-06 Nec Lcd Technologies Ltd 画像表示装置
US20100231496A1 (en) * 2009-03-12 2010-09-16 Chun-Kuo Yu Display method on active matrix display
JP2016170385A (ja) * 2015-03-13 2016-09-23 日本放送協会 画像表示装置
JP2016197182A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 表示制御装置及びその制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101298438B1 (ko) * 2008-02-27 2013-08-20 엘지디스플레이 주식회사 액정표시장치와 그 구동방법
JP6415442B2 (ja) * 2013-10-28 2018-10-31 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008064831A (ja) * 2006-09-05 2008-03-21 Seiko Epson Corp 画像処理回路、画像処理方法、電気光学装置、電子機器
JP2008268887A (ja) * 2007-03-29 2008-11-06 Nec Lcd Technologies Ltd 画像表示装置
US20100231496A1 (en) * 2009-03-12 2010-09-16 Chun-Kuo Yu Display method on active matrix display
JP2016170385A (ja) * 2015-03-13 2016-09-23 日本放送協会 画像表示装置
JP2016197182A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 表示制御装置及びその制御方法

Also Published As

Publication number Publication date
JPWO2020166490A1 (ja) 2021-10-21
US20210350766A1 (en) 2021-11-11
JP7042368B2 (ja) 2022-03-25

Similar Documents

Publication Publication Date Title
US10057501B2 (en) Imaging apparatus, flicker detection method, and flicker detection program
US10104309B2 (en) Imaging apparatus, flicker detection method, and flicker detection program
CN110463185B (zh) 摄像装置、摄像方法及存储介质
US10126632B2 (en) Imaging apparatus, flicker detection method, and flicker detection program
US9270982B2 (en) Stereoscopic image display control device, imaging apparatus including the same, and stereoscopic image display control method
US10863095B2 (en) Imaging apparatus, imaging method, and imaging program
JPWO2020158070A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2021189927A1 (zh) 图像处理方法、装置、电子设备及存储介质
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
JP7210517B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
WO2020170945A1 (ja) 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
WO2020166490A1 (ja) 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
US10715737B2 (en) Imaging device, still image capturing method, and still image capturing program
US20190268530A1 (en) Imaging device, imaging method, and imaging program
JP6569015B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
JP7266102B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
WO2020158200A1 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
US20230360222A1 (en) Processing apparatus, processing method, and processing program
WO2020158102A1 (ja) 顔領域検出装置、撮像装置、顔領域検出方法、及び顔領域検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20755332

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020572211

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20755332

Country of ref document: EP

Kind code of ref document: A1