WO2023058465A1 - 情報処理システムおよび情報処理方法 - Google Patents

情報処理システムおよび情報処理方法 Download PDF

Info

Publication number
WO2023058465A1
WO2023058465A1 PCT/JP2022/035333 JP2022035333W WO2023058465A1 WO 2023058465 A1 WO2023058465 A1 WO 2023058465A1 JP 2022035333 W JP2022035333 W JP 2022035333W WO 2023058465 A1 WO2023058465 A1 WO 2023058465A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
vertical blanking
video
period
control
Prior art date
Application number
PCT/JP2022/035333
Other languages
English (en)
French (fr)
Inventor
鋭造 岡本
弘知 江間
祥嗣 山根
信胤 千葉
秀樹 伊達
Original Assignee
ソニーグループ株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーグループ株式会社
Priority to CA3230091A priority Critical patent/CA3230091A1/en
Priority to JP2023552794A priority patent/JPWO2023058465A1/ja
Priority to KR1020247009183A priority patent/KR20240073868A/ko
Priority to CN202280066068.2A priority patent/CN118043877A/zh
Publication of WO2023058465A1 publication Critical patent/WO2023058465A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery

Definitions

  • the present technology relates to an information processing system and an information processing method, and more particularly to an information processing system and an information processing method that can prevent the occurrence of a black band when capturing an image of a display unit.
  • a black belt is a belt-like area with lower luminance than other areas, and the color of the black belt is black with various densities.
  • An information processing system is an information processing system including a control unit that controls a vertical blanking period of an image displayed on a display unit based on an exposure time of an image capturing unit that captures an image of the display unit. .
  • the information processing system may be an independent device, may be a module incorporated in another device, or may be composed of a plurality of devices.
  • FIG. 3 is a block diagram showing a detailed configuration example of a display unit;
  • FIG. FIG. 4 is a diagram showing a configuration example of an LED array; It is a figure explaining the light emission operation
  • FIG. 4 is a diagram for explaining the light emission cycle of an LED array; It is a figure explaining the cause which a black belt generate
  • FIG. 10 is a diagram showing an example of a re-captured video in which black bars have occurred; It is a figure explaining control of the refresh rate by a control part.
  • FIG. 5 is a flowchart for explaining imaging processing of the video camera of FIG. 4;
  • FIG. 5 is a flowchart for explaining imaging processing of the video camera of FIG. 4;
  • FIG. 5 is a flowchart for explaining imaging processing of the video camera of FIG. 4;
  • FIG. 10 is a diagram illustrating an example of a re-capturing system that reduces the visibility of a black band using a conventional method
  • FIG. 10 is a diagram showing an example of a re-captured image in which visibility of a black belt is lowered
  • FIG. 11 is a diagram illustrating a configuration example of a second embodiment of a re-capturing system to which the present technology is applied
  • 4 is a block diagram showing a configuration example of a vertical blanking period control unit;
  • FIG. 10 is a diagram illustrating an example of a re-capturing system that reduces the visibility of a black band using a conventional method
  • FIG. 10 is a diagram showing an example of a re-captured image in which visibility of a black belt is lowered
  • FIG. 11 is a diagram illustrating a configuration example of a second embodiment of a re-capturing system to which the present technology is applied
  • 4 is a block diagram showing a configuration example of a vertical blanking period control unit;
  • First Embodiment Configuration Example of Re-shooting System Controlling Refresh Rate
  • Second embodiment configuration example of a re-imaging system that also controls the vertical blanking period
  • Third Embodiment Configuration example of a re-imaging system considering the case where the vertical blanking period is included in the exposure period
  • the re-capturing system 10 (information processing system) includes a video camera 11, a video wall 12, a video server 61, a PC (personal computer) 62, and a video wall controller 63.
  • the video wall 12 is a large LED display in which n (n is a positive integer) display units (cabinets) 41-1 to 41-n are arranged in a tiled manner.
  • FIG. 3 illustrates the case where n is 6 ⁇ 24.
  • the display units 41-1 to 41-n are simply referred to as the display unit 41 when there is no need to distinguish them individually.
  • the display unit 41 includes m (m is a positive integer) LED arrays 51-1 to 51-m in which LEDs (not shown) corresponding to each pixel are arranged in a matrix (two-dimensional array). It is configured by arranging it in a tile shape.
  • FIG. 3 illustrates a case where m is 4 ⁇ 3.
  • the LED arrays 51-1 to 51-m are simply referred to as the LED array 51 when there is no need to distinguish them individually.
  • Each display unit 41 of the video wall 12 is connected to the video wall controller 63. Based on the frame-by-frame video signal supplied from the video wall controller 63 and the display control signal for controlling the display of the video wall 12, the video wall 12 displays the video corresponding to the video signal in frame units. Specifically, the video signal supplied to each display unit 41 is a video signal corresponding to the position of the display unit 41 on the video wall 12 . Each display unit 41 displays an image based on the image signal according to the display control signal, thereby displaying one frame of image on the entire video wall 12 .
  • the video server 61 is composed of, for example, a server computer, and supplies the video wall controller 63 with frame-by-frame video signals such as video content.
  • a recording medium such as a PC or a BD (Blu-ray Disc) (registered trademark) may provide the video wall controller 63 with a frame-by-frame video signal.
  • the PC 62 (information processing system) is a general-purpose computer.
  • the PC 62 controls the video wall controller 63 by generating control commands for controlling the video wall controller 63 and transmitting them to the video wall controller 63 .
  • the PC 62 acquires the exposure time transmitted from the video camera 11.
  • the PC 62 determines the refresh rate of the video wall 12 so that the exposure time and the light emission cycle of the LEDs of the video wall 12 correspond.
  • the refresh rate is the number of times an LED emits light in one second.
  • the PC 62 controls the refresh rate by sending a refresh rate command, which is a control command representing the determined refresh rate, to the video wall controller 63 .
  • the video wall controller 63 and the video wall 12 may be integrated, or may be a display device in which they are integrated.
  • the PC 62, the video wall controller 63, and the video wall 12 may have an integrated configuration, or may be a display device in which these are integrated.
  • the video camera 11 in FIG. 4 is composed of an input section 81, a setting section 82, a driving section 83, an optical system 84, a photographing section 85, a signal processing section 86, a monitor 87, an image output section 88, and a memory 89.
  • the setting unit 82 Based on the input signal from the input unit 81, the setting unit 82 sets shooting information, which is various information related to shooting such as the exposure time represented by the input signal.
  • the setting unit 82 supplies shooting information to the drive unit 83 and also transmits the exposure time in the shooting information to the PC 62 via a cable such as a coaxial cable.
  • the optical system 84 is configured with one or more lenses, guides light (incident light) from a subject or the like to the photographing unit 85, and forms an image on the light receiving surface of the photographing unit 85.
  • the imaging unit 85 is configured by a CMOS (Complementary Metal Oxide Semiconductor) image sensor or the like.
  • the photographing unit 85 drives each pixel unit according to the driving signal supplied from the driving unit 83, and performs photographing by the rolling shutter method. Specifically, the imaging unit 85 outputs an electric signal corresponding to the charge accumulated in each pixel unit in units of rows according to the driving signal supplied from the driving unit 83 . Then, the imaging unit 85 starts accumulating electric charges corresponding to the light incident on each pixel unit via the optical system 84 on a row-by-row basis.
  • CMOS Complementary Metal Oxide Semiconductor
  • the photographing unit 85 reads, row by row, electrical signals corresponding to the charges accumulated for the exposure time set by the setting unit 82 in accordance with the driving signal supplied from the driving unit 83, and transmits the electric signals to the signal processing unit 86 in units of columns. Forward. As described above, the imaging unit 85 performs imaging with the exposure time set by the setting unit 82 .
  • the signal processing unit 86 performs various kinds of signal processing on the electric signal corresponding to the electric charge transferred from the imaging unit 85, and converts it into a frame-by-frame video signal in a predetermined digital video format.
  • This frame-by-frame video signal is supplied to the monitor 87 and the video output unit 88, or supplied to the memory 89 to be stored (recorded).
  • the monitor 87 displays video in units of frames based on the video signal in units of frames supplied from the signal processing unit 86 .
  • the video output unit 88 outputs the frame-by-frame video signal supplied from the signal processing unit 86 to the outside of the video camera 11 .
  • FIG. 5 is a block diagram showing a hardware configuration example of the PC 62 in FIG.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 105 is further connected to the bus 104 .
  • Input unit 106 , output unit 107 , storage unit 108 , communication unit 109 , and drive 110 are connected to input/output interface 105 .
  • the input unit 106 consists of a keyboard, mouse, microphone, and the like.
  • the output unit 107 includes a display, a speaker, and the like.
  • the storage unit 108 is composed of a hard disk, a nonvolatile memory, or the like.
  • a communication unit 109 includes a network interface and the like.
  • a drive 110 drives a removable medium 111 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 101 loads, for example, a program stored in the storage unit 108 into the RAM 103 via the input/output interface 105 and the bus 104 and executes it, thereby performing various processes. I do.
  • the CPU 101 performs refresh rate control processing to control the communication unit 109 to generate a refresh rate command and transmit the refresh rate to the video wall controller 63 .
  • the program executed by the PC 62 can be provided by being recorded on removable media 111 such as package media, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 108 via the input/output interface 105 by mounting the removable medium 111 in the drive 110 . Also, the program can be received by the communication unit 109 and installed in the storage unit 108 via a wired or wireless transmission medium. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
  • the program executed by the PC 62 may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • FIG. 6 is a block diagram showing a functional configuration example of the CPU 101 in FIG. 5 when the CPU 101 performs refresh rate control processing.
  • the refresh rate control unit 130 is composed of an acquisition unit 131 , a control unit 132 and a transmission control unit 133 .
  • the acquisition unit 131 acquires the exposure time transmitted from the setting unit 82 of the video camera 11 and received via the communication unit 109 .
  • the acquisition unit 131 supplies the exposure time to the control unit 132 .
  • the transmission control unit 133 supplies the refresh rate command supplied from the control unit 132 to the communication unit 109 and instructs transmission of the refresh rate command to the video wall controller 63 .
  • the communication unit 109 transmits (outputs) the refresh rate command to the video wall controller 63 via a cable such as a LAN (Local Area Network) cable.
  • the video wall controller 63 includes a LAN terminal 151, an HDMI (High Definition Multimedia Interface) (registered trademark) terminal 152, a DP (Display Port) terminal 153, a DVI (Digital Visual Interface) terminal 154, a network IF (Interface) 155, an MPU ( 156, a signal input IF 157, a signal processing section 158, a DRAM (Dynamic Random Access Memory) 159, a distribution section 160, and signal output IFs 161-1 to 161-n.
  • HDMI High Definition Multimedia Interface
  • DP Display Port
  • DVI Digital Visual Interface
  • MPU 156
  • a signal input IF 157 a signal processing section 158
  • DRAM Dynamic Random Access Memory
  • the MPU 156 generates a display control signal according to the refresh rate command supplied via the network IF 155.
  • the MPU 156 also generates a video adjustment signal for instructing adjustment of the video signal according to a video adjustment command, which is a control command relating to adjustment of the video signal supplied via the network IF 155 .
  • the MPU 156 supplies the display control signal and adjustment signal to the signal processing section 158 .
  • the video server 61 and the HDMI terminal 152 are connected, but the HDMI terminal 152, the DP terminal 153, and the DVI terminal 154 are all different only in standards, and are basically the same. Since they are provided with functions, one of them is selected and connected as required.
  • the signal input IF 157 converts the frame-by-frame video signal supplied from the HDMI terminal 152 into a frame-by-frame video signal in a predetermined video format, and supplies the frame-by-frame video signal to the signal processing unit 158 .
  • the signal processing unit 158 While exchanging data with the DRAM 159 as necessary, the signal processing unit 158 converts the frame-by-frame video signal supplied via the signal input IF 157 into a video signal based on the video adjustment signal supplied from the MPU 156 . Perform the necessary signal processing for the entire wall 12 . Specifically, the signal processing unit 158 adjusts the color temperature, contrast, brightness, etc. of the video signal based on the video adjustment signal. The signal processing unit 158 supplies the adjusted frame-by-frame video signal and the display control signal supplied from the MPU 156 to the distribution unit 160 .
  • control command is automatically transmitted from the PC 62 , it may be transmitted in response to a request from the video wall controller 63 .
  • FIG. 8 is a block diagram showing a detailed configuration example of the display unit 41. As shown in FIG. 8
  • the signal input IF 211 receives frame-by-frame video signals and display control signals transmitted from the video wall controller 63 and supplies them to the signal processing unit 212 .
  • the signal output IF 214 transmits the display signal and the display control signal supplied from the signal processing section 212 to the LED block 192 .
  • the LED block 192 is composed of LED drivers 221-1 to 221-m and LED arrays 51-1 to 51-m.
  • the LED drivers 221-1 to 221-m are connected to the signal output IFs 214-1 to 214-m of the driver control section 191, respectively, and are also connected to the LED arrays 51-1 to 51-m, respectively.
  • the LED drivers 221-1 through 221-m are simply referred to as the LED drivers 221 when there is no need to distinguish them individually.
  • the LED driver 221 controls the light emission of each LED constituting the LED array 51 connected to itself by PWM (Pulse Width Modulation). By doing so, each LED 241 is driven.
  • the LED driver 221 is a digital signal such that each LED 241 of the LED array 51 emits light at a refresh rate represented by the display control signal per second with an intensity based on the display signal corresponding to that LED 241 .
  • a PWM signal is generated and supplied to each LED 241 .
  • an image corresponding to the position of the LED array 51 on the video wall 12 is displayed on the LED array 51 among the images corresponding to the frame-by-frame video signal output from the video server 61 .
  • FIG. 9 is a diagram showing a configuration example of the LED array 51 of FIG.
  • light emission of the LED array 51 is controlled by a passive matrix driving method.
  • a luminance control wiring 251 is provided for each column of the LEDs 241, and the same luminance control wiring 251 is connected to the LEDs 241 in each column.
  • a row selection wiring 252 is provided for each row of the LEDs 241, and the same row selection wiring 252 is connected to the LEDs 241 in each row.
  • the LED driver 221 Based on the display control signal supplied from the signal output IF 214, the LED driver 221 adjusts the light emission timing of the LEDs 241 in each row so that the LEDs 241 emit light in each row at a light emission cycle corresponding to the refresh rate represented by the display control signal. to control.
  • the LED driver 221 Based on the frame-by-frame display signal supplied from the signal output IF 214 , the LED driver 221 also outputs the PWM signal of each LED 241 in each row at the light emission timing of the LED 241 in each row to the luminance control wiring corresponding to the column of the LED 241 . Enter 251.
  • each LED 241 in each row emits light with luminance based on the display signal of that LED 241 at the light emission timing of the LEDs 241 in each row.
  • the image corresponding to the image signal is displayed row by row in order from the top row, and this image is refreshed (updated) by the refresh rate per second.
  • the LED drivers 221 control the LEDs 241 in the first row from the top to emit light with luminance corresponding to the display signal.
  • the LEDs 241 in the second row from the top emit light with a luminance corresponding to the display signal.
  • the row of LEDs 241 to be illuminated descends in order, and as shown in FIG.
  • the video corresponding to the position of the LED array 51 on the video wall 12 is displayed on the LED array 51 among the video corresponding to the video signal for one frame. This is referred to herein as one scan.
  • the LEDs 241 in the first row from the top again emit light with a luminance corresponding to the display signal, as shown in A of FIG. After that, the light emission of the LEDs 241 in row units is repeated in the same manner, and scanning is performed at the refresh rate in one second.
  • the refresh rate represented by the display control signal is 3840 Hz and the frame rate of the video signal is 60p (60 frames/second of the progressive system, ie, 60 Hz)
  • FIG. 11 is a diagram for explaining the light emission period of the LED array 51. As shown in FIG. 11
  • the LED array 51 is composed of 15 ⁇ 15 LEDs 241 .
  • the horizontal axis represents the elapsed time since the display on the video wall 12 started, and the vertical axis represents the rows of the LED array 51 .
  • the i-th row from the top of the LED array 51 is written as row #i.
  • the rectangles in the graph of FIG. 11 indicate that the LEDs 241 in the row corresponding to the vertical position emit light with the luminance corresponding to the display signal during the elapsed time corresponding to the horizontal position of the rectangle.
  • the LED array 51 As shown in FIG. 11, in the LED array 51, light is emitted row by row in order from the LEDs 241 in the upper row.
  • the cycle of this one scan is the light emission cycle of the LED 241, which is the reciprocal of the refresh rate. For example, if the refresh rate is 3840Hz, the light emission period is 1/3840 seconds.
  • 12A and 12B are diagrams for explaining the cause of occurrence of black bands in images re-captured by the re-capture system when the exposure time is not an integral multiple of the light emission period of the LED.
  • the horizontal axis represents the elapsed time since the display started
  • the vertical axis represents the row of LEDs
  • the number of rows of LEDs forming the LED array is 15, and three LED arrays arranged in the row direction (vertical direction) are shown.
  • the patterned squares indicate that the LEDs in the row corresponding to the vertical position of the square emit light during the elapsed time corresponding to the horizontal position of the square.
  • the pattern of the squares is different for each LED array that includes LEDs in rows corresponding to the squares.
  • each LED array As shown in Fig. 12, first, the LEDs in the first row from the top of each LED array emit light. Next, the second row of LEDs from the top of each LED array emits light. Likewise, the LEDs in each LED array emit light in row units in order from the top row, and when the LED in the last row emits light, each LED array completes the first scan. Each LED array starts a second scan after finishing the first scan.
  • the exposure time of the video camera does not correspond to the light emission period (scan period) of the LED, that is, when the exposure time is not an integral multiple of the light emission period of the LED, the number of scans within the exposure period (the number of scans of the LED The number of times of light emission) may not be uniform.
  • the LED in the row whose exposure period is within the rectangle 261, the LED emits light only once within the exposure period, but in the row whose exposure period is outside the rectangle 261, the LED emits light twice during the exposure period. luminous.
  • the brightness of the pixels in the rows whose exposure period is within the rectangle 261 is lower than the brightness of the pixels in the rows whose exposure period is outside the rectangle 261 .
  • the video in the row whose exposure period is within the range of the rectangle 261 becomes a black belt.
  • FIG. 13 is a diagram showing an example of a re-captured image in which a black band has occurred due to the cause explained with reference to FIG. 12 .
  • the control unit 132 determines the refresh rate so that the exposure time of the video camera 11 corresponds to the light emission period. Specifically, for example, the control unit 132 synchronizes the exposure start time and the scan start time, and controls the refresh rate so that the exposure time is an integral multiple of the light emission cycle.
  • the refresh rate is controlled to be higher than in the example of FIG. may be controlled to be lower than
  • FIG. 15 is a flow chart for explaining the photographing process of the video camera 11. As shown in FIG. This photographing process is started, for example, when the photographer 21 operates the input unit 81 to input an instruction to start photographing.
  • step S10 of FIG. 15 the input unit 81 receives an input of an instruction to start shooting from the photographer 21, generates an input signal indicating the start of shooting, and supplies it to the drive unit 83.
  • step S15 the signal processing unit 86 supplies the frame-by-frame video signal obtained as a result of the processing in step S14 to the monitor 87, thereby displaying the frame-by-frame video corresponding to the video signal.
  • the signal processing unit 86 also supplies the video signal in units of frames obtained as a result of the processing in step S14 to the video output unit 88 as necessary, and causes the video output unit 88 to output the video signal to the outside of the video camera 11 .
  • step S ⁇ b>17 the input unit 81 determines whether or not the input of the photography end instruction from the photographer 21 has been received. If it is determined in step S17 that the input of the photographing end instruction has not yet been received, the process proceeds to step S18.
  • step S18 the setting unit 82 determines whether the exposure time has been changed. Specifically, the setting unit 82 determines whether an input signal representing a new exposure time has been supplied from the input unit 81 . When the input signal representing the new exposure time is supplied from the input unit 81, the setting unit 82 determines that the exposure time has been changed in step S18. Then, the setting unit 82 sets the exposure time as a new exposure time, returns the process to step S11, and repeats the subsequent processes.
  • step S17 If it is determined in step S17 that the input of the shooting end instruction has been received, the shooting process ends.
  • FIG. 16 is a flowchart for explaining refresh rate control processing of the refresh rate control unit 130 of FIG. This refresh rate control process is started, for example, when the exposure time is transmitted from the setting unit 82 of the video camera 11 by the process of step S11 in FIG.
  • step S31 of FIG. 16 the acquisition unit 131 acquires the exposure time transmitted from the setting unit 82 and received via the communication unit 109, and supplies the exposure time to the control unit 132.
  • step S32 the control unit 132 determines the refresh rate of the video wall 12 based on the exposure time supplied from the acquisition unit 131 in step S31 so that the exposure time corresponds to the light emission period of the LEDs 241.
  • the control unit 132 generates a refresh rate command representing the refresh rate and supplies it to the transmission control unit 133 .
  • step S33 the transmission control unit 133 supplies the communication unit 109 with the refresh rate command supplied from the control unit 132 in step S32, and instructs transmission to the video wall controller 63, thereby transmitting the refresh rate command to the video wall. It is made to transmit to the controller 63 . Then the process ends.
  • step S ⁇ b>52 the signal input IF 157 converts the frame-by-frame video signal received in step S ⁇ b>51 into a frame-by-frame video signal in a predetermined video format, and supplies the frame-by-frame video signal to the signal processing unit 158 .
  • step S53 the MPU 156 determines whether a video adjustment command has been received from the communication section 109 of the PC 62 via the LAN terminal 151 and the network IF 155. If the MPU 156 determines in step S53 that the video adjustment command has not yet been received, it waits until it receives the video adjustment command.
  • step S53 determines in step S53 that it has received a video adjustment command
  • the process proceeds to step S54.
  • step S ⁇ b>54 the MPU 156 generates a video adjustment signal according to the video adjustment command and supplies it to the signal processing section 158 .
  • step S55 the signal processing unit 158 performs signal processing necessary for the entire video wall 12 on the frame-by-frame video signal based on the video adjustment signal while exchanging data with the DRAM 159 as necessary.
  • the signal processing unit 158 supplies the adjusted frame-by-frame video signal to the distribution unit 160 .
  • step S56 the distribution unit 160 distributes the frame-based video signal supplied from the signal processing unit 158 in step S55 to each signal output IF 161.
  • FIG. 18 is a flowchart for explaining display control signal generation processing of the video wall controller 63 .
  • This display control signal generation process is started, for example, when a frame-by-frame video signal is transmitted from the video server 61 .
  • step S71 of Fig. 18 the MPU 156 determines whether or not a refresh rate command has been received from the communication section 109 of the PC 62 via the LAN terminal 151 and the network IF 155. If it is determined in step S71 that the refresh rate command has been received, the MPU 156 advances the process to step S72.
  • step S72 the MPU 156 generates a display control signal according to the received refresh rate command, and supplies the display control signal to the distribution section 160 via the signal processing section 158. Then, the process proceeds to step S74.
  • step S73 the MPU 156 generates a display control signal representing a predetermined refresh rate, and sends the display control signal to the signal processor 158. is supplied to the distribution unit 160 via the . Then, the process proceeds to step S74.
  • step S74 the distribution unit 160 supplies the display control signal to each signal output IF 161.
  • step S75 each signal output IF 161 transmits the display control signal supplied from the distribution section 160 in step S74 to the display unit 41 connected thereto. Then, the display control signal generation process ends.
  • FIG. 19 is a flowchart for explaining the display processing of each display unit 41. As shown in FIG. This display process is started, for example, when a video signal is transmitted by the process of step S57 of FIG. 17 and a display control signal is transmitted by the process of step S75 of FIG.
  • step S91 of FIG. 19 the signal input IF 211 receives the frame-by-frame video signal and the display control signal transmitted from the video wall controller 63 and supplies them to the signal processing section 212.
  • step S93 the signal processing unit 212 divides the signal-processed frame-by-frame video signal into m parts according to the position of each LED array 51 on its own display unit 41.
  • step S94 the signal processing unit 212 generates, for each LED array 51, a display signal for each LED constituting the LED array 51 on a frame-by-frame basis, based on the frame-by-frame video signal after the signal processing.
  • step S95 the signal processing unit 212 supplies the display signal of each LED array 51 to the signal output IF 214 corresponding to the LED array 51, and outputs the display control signal supplied from the signal input IF 211 in the process of step S91. It supplies to each signal output IF214.
  • each signal output IF 214 transmits a video signal and a display control signal to the LED driver 221 connected thereto.
  • each LED driver 221 receives the display signal and the display control signal transmitted from the signal output IF 214 connected thereto.
  • each LED driver 221 drives each LED 241 by PWM-controlling light emission of each LED 241 constituting the LED array 51 connected to itself based on the display signal and the display control signal.
  • each LED array 51 displays an image corresponding to the position of the LED array 51 on the video wall 12 among the images corresponding to the frame-by-frame video signal output from the video server 61 .
  • the PC 62 controls the refresh rate of the video wall 12 so that the exposure time of the video camera 11 that captures the video wall 12 corresponds to the light emission period of the LED 241. Therefore, when the video wall 12 is re-captured, the occurrence of black bands can be prevented.
  • the PC 62 acquires the exposure time and controls the refresh rate based on the exposure time. Therefore, even if the exposure time changes, the refresh rate can be easily controlled based on the changed exposure time. , the occurrence of black bands can be prevented.
  • FIG. 20 is a diagram illustrating an example of a re-capturing system that reduces the visibility of a black band using a conventional method.
  • the horizontal axis represents the elapsed time since the start of display on the video wall
  • the vertical axis represents the rows of the LED array.
  • the i-th row from the top of the LED array is denoted as row #i.
  • the rectangles in the graph of FIG. 20 indicate that the LEDs in the row corresponding to the vertical position emit light during the elapsed time corresponding to the horizontal position of the rectangle.
  • the number of scans in one frame section is 64
  • the difference in the number of times a row emits light from another row is -1
  • the luminance of that row is higher than the luminance of the other rows. reduced by 1/64 (approximately 1.56%).
  • the refresh rate is doubled and the number of scans in one frame section is 128, when the difference in the number of times of light emission between a row and another row is -1, The brightness is only 1/128 (approximately 0.78%) lower than the brightness of the other rows.
  • FIG. 21 is a diagram showing an example of a re-captured video in which the visibility of black bars is reduced by the re-capturing system described in FIG.
  • the black belt does not disappear.
  • the frequency of the reference clock used for PWM control of the LED driver must be increased, or the number of rows of LEDs that emit light in one scan must be increased. need to be reduced.
  • the frequency f [Hz] of the reference clock is obtained from the following formula (1 ).
  • the refresh rate is 3840 Hz
  • the display gradation accuracy is 12 bits
  • the number of rows of LEDs that emit light in one scan is 16
  • the reference clock frequency is approximately 251.7 MHz.
  • the refresh rate is double 3840 Hz to 7680 Hz
  • the frequency of the reference clock is also doubled to about 503.3 MHz when the refresh rate is 3840 Hz.
  • the frequency (operating frequency) of the reference clock of the LED driver increases, the power consumption of the LED driver and the cost associated with changing the manufacturing process of the LED driver increase.
  • the refresh rate can be increased while maintaining the frequency of the reference clock and the number of rows of LEDs that emit light in one scan. It is also possible to raise it.
  • the refresh rate can be doubled by reducing the display gradation precision by 1 bit.
  • the quality of the re-captured video is lowered.
  • slightly increasing the frequency of the reference clock it is possible to suppress the deterioration of display gradation accuracy, but in any case, the quality of the re-captured image deteriorates.
  • the user may control the refresh rate without the refresh rate control unit 130 controlling the refresh rate.
  • the exposure time is not transmitted from the video camera 11, and the user determines the refresh rate so that the exposure time corresponds to the light emission cycle of the LED 241, and inputs the refresh rate to the PC 62 using the input unit 106.
  • the PC 62 then generates a display control signal representing the refresh rate or the like input by the user.
  • the exposure time is transmitted from the video camera 11 to the PC 62.
  • the user operates the input unit 106 to input the exposure time of the video camera 11, and the refresh rate control unit 130 controls the exposure time. may be obtained.
  • the refresh rate is controlled so that the exposure time of the video camera 11 is an integer multiple of the light emission period of the LED 241.
  • vertical blanking of each frame is performed based on the exposure time. Periods may also need to be controlled.
  • a re-imaging system that also controls the vertical blanking period will be described below as a second embodiment.
  • FIG. 22 is a diagram illustrating a configuration example of a second embodiment of a re-capturing system including an information processing system to which the present technology is applied.
  • the re-imaging system 400 of FIG. 22 differs from the re-imaging system 10 in that the PC 62, video wall controller 63, and video wall 12 are replaced with the PC 401, video wall controller 402, and video wall 403. 10 are configured in the same manner.
  • the PC 401 performs refresh rate control processing in the same manner as the PC 62 in FIG. Also, the PC 401 determines the vertical blanking period of the video displayed on the video wall 403 so that the exposure time is an integral multiple of the light emission cycle (subframe) of the LED 241 . Specifically, the PC 401 transmits a vertical blanking period command, which is a control command representing a vertical blanking period based on the refresh rate determined by the refresh rate control process, to the video wall controller 402 to perform vertical blanking. Control duration.
  • the video wall controller 402 is configured similarly to the video wall controller 63 of FIG. 7, but differs in information represented by the display control signal. Specifically, like the video wall controller 63 , the video wall controller 402 performs predetermined signal processing on the frame-by-frame video signal supplied from the video server 61 , divides the video signal, and transmits the divided signals to each display unit 411 . . The video wall controller 402 also sends to each display unit 411 a display control signal representing the refresh rate represented by the refresh rate command supplied from the PC 401, the vertical blanking period represented by the vertical blanking period command, and the like.
  • the display unit 411 includes m LED arrays 51 arranged in tiles.
  • Each display unit 411 of video wall 403 is connected to video wall controller 402 .
  • the video wall 403 Based on the frame-by-frame video signal and the display control signal supplied from the video wall controller 402, the video wall 403 displays the video corresponding to the video signal in frame units.
  • the video signal supplied to each display unit 411 is a video signal corresponding to the position of that display unit 411 on the video wall 403 .
  • Each display unit 411 displays an image based on the image signal according to the display control signal, thereby displaying one frame of image on the entire video wall 403 .
  • each device is frame-synchronized by a genlock signal.
  • FIG. 23 is a block diagram showing a functional configuration example of the CPU when the CPU of the PC 401 in FIG. 22 performs vertical blanking period control processing for controlling the vertical blanking period.
  • the control unit 422 determines the vertical blanking period based on the refresh rate supplied from the acquisition unit 421. Control unit 422 controls the vertical blanking interval by generating a vertical blanking interval command representing the vertical blanking interval. The control section 422 outputs the vertical blanking period command to the transmission control section 423 .
  • the transmission control unit 423 supplies the vertical blanking period command supplied from the control unit 422 to the communication unit of the PC 401 and instructs transmission of the vertical blanking period command to the video wall controller 402 . Accordingly, the communication unit transmits (outputs) the vertical blanking period command to the video wall controller 402 via a wire such as a LAN cable.
  • FIG. 24 is a block diagram showing a detailed configuration example of the display unit 411 of FIG.
  • a display unit 411 in FIG. 24 is different from the display unit 41 in that an LED block 441 is provided instead of the LED block 192, and is configured similarly to the display unit 41 in other respects.
  • the LED block 441 differs from the LED block 192 in that LED drivers 461-1 to 461-m are provided instead of the LED drivers 221-1 to 221-m. ing.
  • the LED driver 461 PWM-controls the light emission of each LED 241 constituting the LED array 51 connected to itself, so that each LED 241 to drive.
  • the LED driver 461 generates a PWM signal so that each LED 241 of the LED array 51 emits light at a refresh rate indicated by the display control signal per second with an intensity based on the display signal corresponding to the LED 241. do. LED driver 461 supplies its PWM signal to each LED 241 .
  • the LED array 51 displays the image corresponding to the position of the LED array 51 on the video wall 403 among the images corresponding to the frame-based video signal output from the video server 61 .
  • the LED driver 461 Based on the display control signal, the LED driver 461 also controls the vertical blanking period so that the vertical blanking period represented by the display control signal is provided for each frame.
  • FIG. 25 is a diagram for explaining the vertical blanking period of the video displayed on the video wall 403. As shown in FIG.
  • the horizontal axis represents the light emission time.
  • the top row represents the vertical synchronization signal (V-Sync) of the video displayed on the video wall 403 .
  • the second and subsequent rows from the top represent the light emission timing of each row of the LEDs 241 for 30 rows from the top of the video wall 403.
  • the i-th row from the top is denoted as Line #i.
  • the number of rows of LEDs 241 forming the LED array 51 is 15, and the number of scans in one frame section is 32 times. These things are the same also in FIG. 27 mentioned later.
  • each LED driver 461 supplies the display signal (for example, 0 to 2048 image data) is generated and supplied to each LED 241 .
  • the LEDs 241 in the top row of the LED arrays 51 start to emit light in order.
  • the LEDs 241 on the 1st and 16th rows from the top of the video wall 12 start emitting light simultaneously.
  • the LEDs 241 in the bottom row of each LED array 51 finish emitting light, that is, when one scan ends, scanning is performed again. is done.
  • scanning is performed 32 times.
  • the LED driver 461 generates a PWM signal with the same PWM width for each LED 241 32 times. After that, the vertical blanking period starts until the vertical synchronization signal for the next frame is generated, and all the LEDs 241 stop emitting light.
  • 26A and 26B are diagrams for explaining the cause of occurrence of black bands in images re-captured by the re-capture system when the exposure time is not an integer multiple of the light emission cycle of the LED.
  • the horizontal axis represents the light emission time.
  • the top row represents the vertical sync signal for the video displayed on the video wall.
  • the second and subsequent rows from the top represent the light emission timing of each row of LEDs for 30 rows from the top of the video wall, and in FIG. 26, the i-th row from the top is denoted as Line #i.
  • the number of rows of LEDs forming the LED array is 15, and the number of scans in one frame section is 32 times.
  • the scanning is the same as in the case of FIG. 25, so the explanation is omitted.
  • the video camera performs rolling shutter photography with a predetermined exposure time. Therefore, each row is exposed to light from the LEDs in order from the top row, and each row has a different exposure start timing. Since frame synchronization is established in each device of the re-imaging system, the exposure start time and the display start time of one frame are synchronized.
  • the light emission period within the exposure period may not be uniform in each row.
  • the entire period of the first light emission is included in the exposure period 481 in the first and second rows from the top.
  • the exposure period 481 does not include a period 482 that is half (0.5) times the entire period of the first light emission.
  • the exposure period 481 does not include a period 483 that is 0.8 times the entire period of the first light emission.
  • the brightness of the pixels in the 15th and 16th rows from the top, re-captured by the video camera is lower than the brightness of the pixels in the 1st and 2nd rows from the top.
  • the luminance of the pixels in the 15th row from the top is 0.5 when the luminance of the pixels in the 1st and 2nd rows from the top is 1, and the luminance of the pixels in the 16th row from the top is , is 0.2 when the brightness of the pixels in the first and second rows from the top is 1.
  • the images in the 15th and 16th rows from the top become black bars.
  • a similar situation occurs periodically in the subsequent rows, so that the images re-captured by the video camera periodically appear bright and dark.
  • FIG. 27 is a diagram for explaining control by the PC 401. As shown in FIG.
  • the control unit 132 of the PC 401 determines the refresh rate so that the exposure time of the video camera 11 corresponds to the light emission cycle. Specifically, for example, the control unit 132 synchronizes the exposure start time and the scan start time, and controls the refresh rate so that the exposure time is an integral multiple of the light emission cycle.
  • the control unit 132 determines the refresh rate so that the exposure time is one time the light emission period.
  • the scanning speed becomes faster than in the case of FIG. 26, and the number of times of scanning within the exposure period becomes one for all rows.
  • the exposure period 481 includes the entire period of the first light emission.
  • the exposure period 481 includes a partial period 491 of the entire period of the first light emission and a partial period 492 of the entire period of the second light emission. .
  • the sum of period 491 and period 492 is the entire period of one light emission. Therefore, the luminance of all rows of pixels re-captured by the video camera 11 will be the same.
  • no row of pixels with low brightness occurs and no black band occurs.
  • the end time of the final 32nd scan is earlier than the case of FIG. Therefore, the period 493 from the end of the last scan to the start of display of the next frame is longer than the case of FIG. 26 by the period 494, and the vertical blanking period must be lengthened by the period 494. . That is, it is necessary to control the vertical blanking period based on the refresh rate.
  • the control unit 422 of FIG. 23 sets the period from when the number of scans in one frame section corresponding to the refresh rate to the start of the display of the next frame is performed. Calculate and determine the vertical blanking interval. If the vertical blanking period is long, the luminance may become dark.
  • the refresh rate is controlled to be higher than in the example of FIG. may be controlled to be lower than
  • FIG. 28 is a flowchart for explaining vertical blanking period control processing of the vertical blanking period control unit 420 in FIG. This vertical blanking period control process is started, for example, when the refresh rate is determined by the control section 132 of the refresh rate control section 130 .
  • step S202 based on the refresh rate supplied from the acquisition unit 421 in step S201, the control unit 422 scans the next frame after the number of scans in one frame section corresponding to the refresh rate. Calculate the period until the display starts and determine the vertical blanking period.
  • the control unit 422 generates a vertical blanking interval command representing the vertical blanking interval and supplies it to the transmission control unit 423 .
  • step S203 the transmission control unit 423 supplies the vertical blanking interval command supplied from the control unit 422 in step S202 to the communication unit 109, and instructs transmission to the video wall controller 402, whereby the vertical blanking interval Causes the command to be sent to the video wall controller 402 . Then the process ends.
  • the recapture system 400 controls the vertical blanking period of the video displayed on the video wall 403 based on the exposure time. Specifically, the re-imaging system 400 determines the refresh rate based on the exposure time so that the exposure time is an integral multiple of the light emission cycle, and controls the vertical blanking period based on the refresh rate. Therefore, when re-capturing the video wall 403, it is possible to prevent the occurrence of black bands.
  • the exposure period is within the display period of one frame of video, but depending on the exposure time, the exposure period may extend over the display period of two frames of video. There is That is, the exposure period may include a vertical blanking period. In this case, the number of vertical blanking periods included in the exposure period differs from row to row, and thus black bands may occur. A re-capturing system that prevents the occurrence of such black bands will be described below as a third embodiment.
  • FIG. 29 is a diagram illustrating a configuration example of a third embodiment of a re-capturing system including an information processing system to which the present technology is applied.
  • the PC 501 (information processing system) is a general-purpose computer.
  • the PC 501 controls the video wall controller 502 by generating control commands for controlling the video wall controller 502 and transmitting them to the video wall controller 502 .
  • the PC 501 sets a control mode for controlling the vertical blanking period of the video displayed on the video wall 503 based on the exposure time and curtain speed of the video camera 11, and issues a control mode command representing the control mode. It controls the vertical blanking interval by sending it to the video wall controller 502 .
  • the curtain speed of the video camera 11 is input by the user.
  • the video wall controller 502 is configured similarly to the video wall controller 63 in FIG. 7, but differs in information represented by the display control signal. Specifically, similar to the video wall controller 63 , the video wall controller 502 performs predetermined signal processing on the frame-based video signal supplied from the video server 61 , divides the video signal, and transmits the divided signals to each display unit 511 . . The video wall controller 502 also transmits to each display unit 511 a display control signal indicating the control mode indicated by the control mode command supplied from the PC 501 .
  • the video wall 503 (display unit) is a large-sized LED display in which n display units 511-1 to 511-n are arranged in tiles.
  • FIG. 29 illustrates the case where n is 6 ⁇ 24. Note that the display units 511-1 to 511-n are hereinafter simply referred to as the display unit 511 when there is no need to distinguish them individually.
  • the display unit 511 includes m LED arrays 51 arranged in tiles.
  • Each display unit 511 of video wall 503 is connected to video wall controller 502 .
  • the video wall 503 Based on the frame-by-frame video signal and the display control signal supplied from the video wall controller 502, the video wall 503 displays the video corresponding to the video signal in frame units.
  • the video signal supplied to each display unit 511 is the video signal corresponding to the position of that display unit 511 on the video wall 503 .
  • Each display unit 511 displays an image based on the image signal according to the display control signal, thereby displaying one frame of image on the entire video wall 503 .
  • each device is frame-synchronized by a genlock signal.
  • the video wall controller 502 and the video wall 503 may have an integrated configuration, or may be a display device in which they are integrated.
  • the PC 501, the video wall controller 502, and the video wall 503 may be integrated, or may be a display device in which these are integrated.
  • FIG. 30 is a block diagram showing a functional configuration example of the CPU when the CPU of the PC 501 in FIG. 29 performs vertical blanking period control processing for controlling the vertical blanking period.
  • the acquisition unit 521 acquires the exposure time transmitted from the setting unit 82 of the video camera 11 and received via the communication unit of the PC 501 .
  • the acquisition unit 521 supplies the exposure time to the control unit 522 .
  • the control unit 522 sets the control mode for the vertical blanking period based on the exposure time supplied from the acquisition unit 521 and the curtain speed of the video camera 11 .
  • Control unit 522 controls the vertical blanking interval by generating a control mode command representing the control mode.
  • the control section 522 outputs the control mode command to the transmission control section 523 .
  • the transmission control unit 523 supplies the control mode command supplied from the control unit 522 to the communication unit of the PC 501 and instructs transmission of the control mode command to the video wall controller 502 .
  • the communication unit transmits (outputs) the control mode command to the video wall controller 502 via a cable such as a LAN cable.
  • FIG. 31 is a block diagram showing a detailed configuration example of the display unit 511 of FIG.
  • a display unit 511 in FIG. 31 is different from the display unit 41 in that an LED block 541 is provided instead of the LED block 192, and is configured similarly to the display unit 41 in other respects.
  • the LED block 541 differs from the LED block 192 in that LED drivers 561-1 to 561-m are provided instead of the LED drivers 221-1 to 221-m. ing.
  • the LED driver 561 controls the light emission start timing of each frame based on the control mode represented by the display control signal.
  • the LED driver 561 generates a PWM signal so that each LED 241 of the LED array 51 emits light at a predetermined refresh rate per second with an intensity based on the display signal corresponding to the LED 241 , and supplies the PWM signal to each LED 241 .
  • the LED array 51 displays the image corresponding to the position of the LED array 51 on the video wall 503 among the images corresponding to the frame-by-frame video signal output from the video server 61 .
  • the upper diagram in FIG. 32 shows the light emission timing of the LEDs 241 in each of the 1st to 135th rows from the top of the video wall 503 .
  • the horizontal axis represents the light emission time
  • the vertical axis represents each row of the LEDs 241 .
  • the frame rate of the video wall 503 is 120 Hz and one frame period is 1/119.88 seconds.
  • the number of rows of the LEDs 241 forming the LED array 51 is 15 rows.
  • the diagram at the bottom of FIG. 32 shows the light emission timing of the LED 241 in the 135th row by lines.
  • one frame section is provided with a vertical blanking period (V-blanking) after the end of all scans.
  • V-blanking the interval between diagonal lines connecting the light emission timings of each row is the time of one scan.
  • FIG. 33 is a diagram for explaining the exposure time and vertical blanking period.
  • the image corresponding to the light used for exposure of the video camera 11 can be from 0 to 2 frames. That is, an exposure period can include 0 to 2 vertical blanking periods.
  • the horizontal axis of FIG. 34 represents the display time of the image, and the vertical axis represents the number of rows of pixels on the light receiving surface of the imaging unit corresponding to the image displayed at the display time.
  • the frame rate of the video wall is 120 Hz and the frame rate of the video camera is 60 Hz.
  • the exposure period 571 when the open angle is 270 degrees, the exposure period 571 includes one vertical blanking period in the rows above the L-th row of the light receiving surface of the photographing unit, but In the bottom row, the exposure period 571 includes two vertical blanking periods.
  • the vertical blanking period is not included in the exposure period 571 for the rows above the L-th row of the light receiving surface of the photographing unit 85, but the exposure period for the rows below the L-th row is One vertical blanking period is included in period 571 .
  • the opening angle when the opening angle is 180 degrees, one vertical blanking period is included in the exposure period 571 for all rows of the light receiving surface of the imaging unit.
  • the exposure period 571 when the opening angle is 360 degrees, the exposure period 571 includes two vertical blanking periods in all rows of the light receiving surface of the imaging unit 85 . Therefore, when the opening angle is 180 degrees or 360 degrees, no black band occurs.
  • the horizontal axis in FIGS. 35 and 36 represents the image display time, and the vertical axis represents the row of pixels on the light-receiving surface of the photographing unit 85 exposed to the light corresponding to the image displayed at the display time. represents the number of rows in In the example of FIGS. 35 and 36, the frame rate of video wall 503 is 120 Hz and the frame rate of video camera 11 is 60 Hz.
  • the opening angle is 90 degrees
  • the exposure period of some rows of the imaging unit 85 does not straddle the vertical blanking period
  • the exposure period of the remaining rows is one vertical blanking.
  • the control unit 522 sets the control mode to the first mode in which the exposure periods of all rows of the imaging unit 85 do not include the vertical blanking periods of even-numbered frames.
  • the LED driver 561 emits light in an even frame (second frame) next to one odd frame (first frame) among adjacent frames.
  • the start timing image display start time
  • the vertical blanking period of the odd-numbered frames is deleted.
  • the display period 581 of the odd-numbered frames is shortened by the vertical blanking period
  • the display period 582 of the even-numbered frames is extended by the vertical blanking period.
  • the vertical blanking period of the odd-numbered frames is deleted, the exposure of the first row from the top of the photographing unit 85 is started, and then the exposure of the last row is finished (the shutter is released).
  • the vertical blanking period is no longer included in the period T up to, ie, the sum of the curtain speed and the exposure time. Therefore, the vertical blanking period is not included in the exposure period of all rows of the photographing unit 85 .
  • the frame-by-frame video signal re-captured by the video camera 11 no row of pixels with low brightness occurs and no black band occurs.
  • the opening angle is 270 degrees
  • the exposure period for some rows of the photographing unit 85 straddles one vertical blanking period
  • the exposure period for the remaining rows is two times.
  • the control unit 522 sets the control mode to the second mode in which the exposure period of all rows of the imaging unit 85 includes the vertical blanking period of even-numbered frames.
  • the LED driver 561 deletes the vertical blanking period of odd-numbered frames as in the first mode.
  • the display period 591 of the odd-numbered frames is shortened by the vertical blanking period, and the display period 592 of the even-numbered frames is extended by the vertical blanking period.
  • the light emission start time (display start time) of all frames is changed to be later by time D so that the vertical blanking period of even frames is included in the exposure period 571 of all rows of the photographing unit 85 . .
  • the exposure periods 571 of all rows of the imaging unit 85 include vertical blanking periods of even-numbered frames.
  • the frame-by-frame video signal re-captured by the video camera 11 no row of pixels with low brightness occurs and no black band occurs.
  • the light emission start times of all frames can be shifted, for example, by one frame interval.
  • the frame rate is 120 Hz
  • the light emission start times of all frames can be shifted up to 1/120 second.
  • the control unit 522 determines whether the exposure period of only some rows of the photographing unit 85 spans one vertical blanking period or spans two vertical blanking periods. do. Then, when the control unit 522 determines that the exposure period of only some rows straddles one vertical blanking period, it sets the control mode to the first mode. The control unit 522 sets the control mode to the second mode when determining that the exposure period of only some rows straddles two vertical blanking periods.
  • FIG. 37 is a flowchart for explaining vertical blanking period control processing of the vertical blanking period control unit 520 of FIG. This vertical blanking period control process is started, for example, when the exposure time is transmitted from the setting unit 82 of the video camera 11 .
  • step S331 of FIG. 37 the acquisition unit 521 acquires the exposure time transmitted from the setting unit 82 and received via the communication unit of the PC 501, and supplies the exposure time to the control unit 522.
  • step S332 the control unit 522 determines whether or not it is necessary to delete the vertical blanking period based on the exposure time and the shutter speed of the video camera 11 supplied from the acquisition unit 521 in the process of step S331. . Specifically, the control unit 522 determines whether or not the vertical blanking periods included in the exposure periods of all rows of the imaging unit 85 are the same based on the exposure time and curtain speed. If the control unit 522 determines that the vertical blanking periods included in the exposure periods of all rows are not the same, it determines that the vertical blanking periods need to be deleted, and advances the process to step S33.
  • step S333 the control unit 522 sets the control mode based on the exposure time and curtain speed. Specifically, based on the exposure time and curtain speed, the control unit 522 determines that the exposure period of some rows of the photographing unit 85 does not straddle the vertical blanking period, and that the exposure period of the remaining rows is one time. It is determined whether or not the vertical blanking period is straddled. When the control unit 522 determines that the exposure period of some rows does not span the vertical blanking period and the exposure period of the remaining rows spans one vertical blanking period, the control unit 522 sets the control mode to the first mode.
  • control unit 522 sets the control mode to the second mode.
  • the control unit 522 controls the vertical blanking period by generating a control mode command representing the set control mode.
  • the control section 522 outputs the control mode command to the transmission control section 523 .
  • step S334 the transmission control unit 523 supplies the control mode command supplied from the control unit 522 in step S333 to the communication unit of the PC 501, and instructs the video wall controller 502 to transmit the control mode command to the video wall controller 502. Send to wall controller 502 . Then the process ends.
  • step S332 determines in step S332 that the vertical blanking periods included in the exposure periods of all rows are the same, the process ends.
  • the recapture system 500 controls the vertical blanking period of the video displayed on the video wall 503 based on the exposure time. Therefore, when re-capturing the video wall 503, it is possible to prevent the occurrence of black bands.
  • the re-imaging system 500 does not perform refresh rate control processing, it may perform refresh rate control processing. In this case, the refresh rate control process differs depending on whether the vertical blanking period is included in the exposure period.
  • the refresh rate control processing will be described below.
  • ⁇ Description of refresh rate control processing> 38 and 39 are diagrams for explaining refresh rate control processing when the re-capturing system 500 performs refresh rate control processing.
  • the horizontal axis represents the light emission time.
  • the top row represents the vertical synchronization signal for the video displayed on the video wall 503 .
  • the second and subsequent rows from the top represent the light emission timing of each row of the LEDs 241 for 30 rows from the top of the video wall 503, and in FIGS. ing. 38 and 39, the number of rows of the LEDs 241 forming the LED array 51 is 15 rows.
  • the exposure time is seven times the light emission period.
  • the PC 501 sets the exposure time to an integral multiple (N times) of the light emission period of the LED 241, as shown in FIG.
  • a refresh rate is determined so as to be the sum of one vertical blanking period.
  • the exposure time is the sum of 34 times the light emission period and one vertical blanking period, and the number of scans in one frame section is 32 times.
  • the refresh rate is adjusted so that the exposure time is the sum of an integer multiple of the light emission period of the LED 241 and two vertical blanking periods. is determined.
  • the vertical blanking period may be further controlled based on the refresh rate as in the second embodiment.
  • FIG. 40 is a diagram illustrating control of the vertical blanking period based on the refresh rate by the PC 501 in this case.
  • the horizontal axis represents the light emission time.
  • the top row represents the vertical synchronization signal for the video displayed on the video wall 503 .
  • the second and subsequent rows from the top represent the light emission timing of each row of the LEDs 241 for 30 rows from the top of the video wall 503.
  • the i-th row from the top is denoted as Line #i.
  • the number of rows of LEDs 241 forming the LED array 51 is 15 rows.
  • the PC 501 sets the exposure period to be the sum of an integral multiple of the light emission period of the LED 241 and one vertical blanking period. controls the vertical blanking interval.
  • the PC 501 determines the refresh rate so that the exposure period is the sum of an integral multiple of the light emission period of the LED 241 and one vertical blanking period.
  • the PC 501 determines the refresh rate so that the exposure time is the sum of 33 times the light emission period and one vertical blanking period.
  • the number of scans within the exposure period is 33 for all rows.
  • the exposure period 611 includes a partial period 621 of the entire initial light emission period and a partial period 622 of the final light emission entire period.
  • the sum of period 621 and period 622 is the entire period of one light emission. Therefore, the luminance of all rows of pixels re-captured by the video camera 11 will be the same.
  • no row of pixels with low brightness occurs and no black band occurs.
  • the PC 501 calculates a period 623 from the end of the last scan in one frame period to the start of display (emission) of the next frame, and Vertical blanking is controlled by determining 623 to be the vertical blanking interval.
  • the vertical blanking period is set so that the exposure period is an integral multiple of the light emission period of the LED 241.
  • the PC 401 controls vertical blanking based on the refresh rate determined so that the exposure period is an integral multiple of the light emission cycle of the LED 241 .
  • the maximum number of vertical blanking periods included in the exposure period is two, but this number is not limited to two. Even if the maximum number of vertical blanking periods included in the exposure period is two or more, the same processing as in the case of two times can be performed to prevent the occurrence of black bands.
  • the exposure time is transmitted from the video camera 11 to the PC 401 (501).
  • the refresh rate control section 130 (the vertical blanking period control section 520) may acquire the exposure time.
  • the PC 401 (501) controls the refresh rate and vertical blanking period, but the video camera 11 transmits the exposure time to the video wall controller 402 (502) and the video wall 403 (503). At least part of the video wall controller 402 (502) and the video wall 403 (503) may function as the refresh rate controller 130 and the vertical blanking period controller 420 (520).
  • the PC 62 (401, 501) exchanges signals with the video camera 11 via a cable such as a coaxial cable, but may be exchanged by wireless communication.
  • the PC 62 (401, 501) exchanges signals with the video wall controller 63 (402, 502) via a cable such as a LAN cable, but it may be exchanged by wireless communication.
  • the re-capturing system 10 (400, 500) is provided with a plurality of video wall controllers 63 (402, 502), and each video wall controller 63 (402, 502) divides and controls the video wall 12 (403, 503). You may do so. If the video wall 12 (403, 503) consists of one display unit 41 (411, 511), the video wall controller 63 (402, 502) may not be provided. In this case, the frame-by-frame video signal output from the video server 61 and the control command output from the PC 62 (401, 501) are directly input to the video wall 12 (403, 503).
  • a system means a set of multiple components (devices, modules (parts), processes, etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, a single device housing a plurality of modules in one housing, and a processing unit that performs a plurality of processes are , are both systems.
  • this technology can take the configuration of cloud computing in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • An information processing system comprising: a control unit that controls a vertical blanking period of an image displayed on the display unit, based on an exposure time of an image capturing unit that captures an image of the display unit.
  • the control unit is configured to delete the vertical blanking period of a first frame, which is one of two adjacent frames of the video, based on the exposure time.
  • the information processing system according to .
  • the control unit is configured to delete the vertical blanking period of the first frame by advancing the display start time of the second frame, which is the next frame of the first frame.
  • control unit is configured to extend the vertical blanking period of the second frame by the vertical blanking period of the first frame.
  • the control unit adjusts the vertical blanking period of the second frame within the exposure period of all rows of the video by changing display start times of all frames of the video based on the exposure time.
  • the control unit is configured to include the vertical blanking period of the second frame in the exposure period of all rows of the image based on the shutter speed of the imaging unit and the exposure time.
  • the control unit sets the current mode based on the curtain speed of the imaging unit and the exposure time so that the vertical blanking period of the second frame is not included in the exposure period of all rows of the image.
  • (6) above configured to set to a first mode or a second mode in which the vertical blanking period of the second frame is included in the exposure period of all rows of the image.
  • information processing system. configured to include the vertical blanking period of the second frame in the exposure period of all rows of the image when the current mode is set to the second mode.
  • the information processing system according to (7) above. (9) The information processing system according to (1), wherein the control unit is configured to control the vertical blanking period so that the exposure time is an integral multiple of the light emission cycle of the display unit.
  • the control unit controls the vertical blanking period so that the exposure time is an integral multiple of the light emission period of the display unit.
  • the information processing system according to (9) above which is configured as: (11)
  • the control unit determines a refresh rate of the display unit so that the exposure time is an integral multiple of a light emission cycle of the display unit, and the refresh rate is determined.
  • the information processing system according to (10) above configured to control the vertical blanking interval based on a rate.
  • the control unit controls the vertical blanking period so that the exposure time is the sum of an integral multiple of the light emission period of the display unit and the vertical blanking period.
  • the control unit determines the refresh rate so that the exposure time is the sum of an integral multiple of the light emission period of the display unit and the vertical blanking period.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)
  • Facsimiles In General (AREA)
  • Details Of Television Scanning (AREA)

Abstract

本技術は、表示部を撮影する場合において黒帯の発生を防止することができるようにする情報処理システムおよび情報処理方法に関する。 垂直ブランキング期間制御部の制御部は、ビデオウォールを撮影するビデオカメラの露光時間に基づいて、ビデオウォールに表示される映像の垂直ブランキング期間を制御する。本技術は、例えば、LEDディスプレイに表示された映像を背景として再撮するバーチャルプロダクションに用いられる再撮システムや再撮システムを構成するPC、ビデオウォールコントローラ、ビデオウォール、ビデオカメラ等に適用できる。

Description

情報処理システムおよび情報処理方法
 本技術は、情報処理システムおよび情報処理方法に関し、特に、表示部を撮影する場合において黒帯の発生を防止することができるようにした情報処理システムおよび情報処理方法に関する。
 近年、LED(Light Emitting Diode)ディスプレイなどの直視型ディスプレイの市場が拡大している。例えば、コンテンツ制作現場で風景などの背景をLEDディスプレイに表示させることで再現し、その背景と被写体をカメラで撮影(再撮)するバーチャルプロダクション(Virtual Production)が急成長している。
 このようなVirtual Productionでは、カメラにおいてローリングシャッタ方式のイメージセンサで再撮が行われると、カメラの露光時間とLEDディスプレイの発光周期との非対応により、再撮された映像に帯状の輝度ムラである黒帯が発生する場合がある。黒帯は、他の領域に比べて輝度が低い帯状の領域であり、黒帯の色は、様々な濃度の黒色である。
 この黒帯の視認性を低下させるために、LEDディスプレイの発光周期を短縮させる、即ち露光期間内のLEDの発光回数を増加させることが考案されている(例えば、特許文献1参照)。
 しかしながら、特許文献1に記載されている発明では、黒帯の視認性を低下させることはできるが、黒帯の発生自体を防止することは困難である。
 また、カメラの露光期間内に含まれる、LEDディスプレイに表示される映像の垂直ブランキング期間の回数が行によって異なることにより、黒帯が発生する場合もある。
国際公開第2018/164105号
 以上により、表示部を撮影する場合において黒帯の発生を防止することが要望されているが、そのような要望に十分にこたえられていない状況である。
 本技術は、このような状況に鑑みてなされたものであり、表示部を撮影する場合において黒帯の発生を防止することができるようにするものである。
 本技術の一側面の情報処理システムは、表示部を撮影する撮影部の露光時間に基づいて、前記表示部に表示される映像の垂直ブランキング期間を制御する制御部を備える情報処理システムである。
 本技術の一側面の情報処理方法は、情報処理システムが、表示部を撮影する撮影部の露光時間に基づいて、前記表示部に表示される映像の垂直ブランキング期間を制御する制御ステップを含む情報処理方法である。
 本技術の一側面においては、表示部を撮影する撮影部の露光時間に基づいて、前記表示部に表示される映像の垂直ブランキング期間が制御される。
 なお、情報処理システムは、独立した装置であってもよいし、他の装置に組み込まれるモジュールであってもよいし、複数の装置により構成されてもよい。
 本技術の一側面の情報処理システムは、コンピュータにプログラムを実行させることにより実現することができる。
 また、本技術の一側面の情報処理システムを実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術を適用した再撮システムの第1実施の形態の概要を説明する図である。 図1のビデオカメラにより再撮された映像を示す図である。 図1の再撮システムの構成例を示す図である。 図3のビデオカメラの構成例を示すブロック図である。 図3のPCのハードウエアの構成例を示すブロック図である。 図5のCPUの機能的構成例を示すブロック図である。 ビデオウォールコントローラの構成例を示すブロック図である。 表示ユニットの詳細構成例を示すブロック図である。 LEDアレイの構成例を示す図である。 LEDアレイの発光動作を説明する図である。 LEDアレイの発光周期を説明する図である。 黒帯が発生する原因を説明する図である。 黒帯が発生した再撮映像の例を示す図である。 制御部によるリフレッシュレートの制御を説明する図である。 図4のビデオカメラの撮影処理を説明するフローチャートである。 リフレッシュレート制御処理を説明するフローチャートである。 映像信号処理を説明するフローチャートである。 表示制御信号生成処理を説明するフローチャートである。 表示処理を説明するフローチャートである。 従来の方法で黒帯の視認性を低下させる再撮システムの一例を説明する図である。 黒帯の視認性が低下した再撮映像の例を示す図である。 本技術を適用した再撮システムの第2実施の形態の構成例を示す図である。 垂直ブランキング期間制御部の構成例を示すブロック図である。 図22の表示ユニットの詳細構成例を示すブロック図である。 垂直ブランキング期間を説明する図である。 黒帯が発生する原因を説明する図である。 図22のPCによる制御を説明する図である。 垂直ブランキング期間制御処理を説明するフローチャートである。 本技術を適用した再撮システムの第3実施の形態の構成例を示す図である。 垂直ブランキング期間制御部の構成例を示すブロック図である。 図29の表示ユニットの詳細構成例を示すブロック図である。 垂直ブランキング期間を説明する図である。 露光時間と垂直ブランキング期間を説明する図である。 黒帯が発生する原因を説明する図である。 制御モードを説明する図である。 制御モードを説明する図である。 垂直ブランキング期間制御処理を説明するフローチャートである。 リフレッシュレート制御処理を説明する図である。 リフレッシュレート制御処理を説明する図である。 垂直ブランキング期間の制御を説明する図である。
 以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態(リフレッシュレートを制御する再撮システムの構成例)
2.第2実施の形態(垂直ブランキング期間も制御する再撮システムの構成例)
3.第3実施の形態(露光期間に垂直ブランキング期間が含まれる場合も考慮した再撮システムの構成例)
 なお、以下の説明で参照する図面において、同一又は類似の部分には同一又は類似の符号を付している。
<第1実施の形態>
<再撮システムの概要>
 図1は、本技術を適用した情報処理システムを含む再撮システムの第1実施の形態の概要を説明する図である。
 図1に示すように、再撮システム10は、例えばバーチャルプロダクションに用いられるシステムであり、ビデオカメラ11とビデオウォール12を含む。撮影者21は、ビデオカメラ11を用いて、スタジオ22に設置されたビデオウォール12に表示される映像23を背景として、被写体であるバイク24を再撮する。
<再撮された映像の例>
 図2は、図1のビデオカメラ11により再撮された映像を示す図である。
 図2に示すように、ビデオカメラ11により再撮された映像30は、バイク24が、あたかも映像23が撮影された場所に存在するかのような映像となる。このように、撮影者21は、再撮システム10を用いて再撮を行うことにより、バイク24が、あたかも映像23が撮影された場所に存在するかのような映像30をスタジオ22で撮影することができる。
<再撮システムの構成例>
 図3は、再撮システム10の構成例を示す図である。
 図3に示すように、再撮システム10(情報処理システム)は、ビデオカメラ11およびビデオウォール12のほか、ビデオサーバ61、PC(パーソナルコンピュータ)62、およびビデオウォールコントローラ63により構成される。
 ビデオカメラ11は、ローリングシャッタ方式で撮影を行う撮影装置である。ビデオカメラ11は、撮影者21からの入力を受け付け、露光時間(開角度)等の設定を行う。また、ビデオカメラ11は、撮影者21からの撮影開始指示により、設定された露光時間で、ビデオウォール12に表示されている映像を背景として撮影する。なお、再撮システム10では、ビデオカメラ11と同様のビデオカメラが複数台使用されてもよい。
 ビデオウォール12(表示部)は、n個(nは正の整数)の表示ユニット(キャビネット)41-1乃至41-nがタイル状に配置された大型のLEDディスプレイである。図3では、nが6×24個である場合について図示している。なお、以下では、表示ユニット41-1乃至41-nを個々に区別する必要がない場合、単に、表示ユニット41と称する。
 表示ユニット41は、各画素に対応するLED(図示せず)が行列状(2次元アレイ状)に配置された、m個(mは正の整数)のLEDアレイ51-1乃至51-mがタイル状に配置されることにより構成される。図3では、mが4×3個である場合について図示している。なお、以下では、LEDアレイ51-1乃至51-mを個々に区別する必要がない場合、単に、LEDアレイ51と称する。
 ビデオウォール12の各表示ユニット41は、ビデオウォールコントローラ63に接続される。ビデオウォール12は、ビデオウォールコントローラ63から供給されるフレーム単位の映像信号とビデオウォール12の表示を制御する表示制御信号に基づいて、その映像信号に対応する映像をフレーム単位で表示する。具体的には、各表示ユニット41に供給される映像信号は、その表示ユニット41のビデオウォール12上の位置に対応する映像信号である。各表示ユニット41が、その映像信号に基づく映像を表示制御信号にしたがって表示することにより、ビデオウォール12全体として1フレームの映像が表示される。
 ビデオサーバ61は、例えばサーバコンピュータなどからなり、ビデオコンテンツ等のフレーム単位の映像信号をビデオウォールコントローラ63に供給する。ビデオサーバ61の代わりに、PCやBD(Blu-ray Disc)(登録商標)などの記録媒体からビデオウォールコントローラ63にフレーム単位の映像信号が提供されるようにしてもよい。
 PC62(情報処理システム)は、一般的な汎用のコンピュータである。PC62は、ビデオウォールコントローラ63を制御する制御コマンドを生成し、ビデオウォールコントローラ63に送信することにより、ビデオウォールコントローラ63を制御する。
 例えば、PC62は、ビデオカメラ11から送信されてくる露光時間を取得する。PC62は、その露光時間とビデオウォール12のLEDの発光周期とが対応するように、ビデオウォール12のリフレッシュレートを決定する。なお、リフレッシュレートとは、1秒間にLEDが発光する回数である。PC62は、決定されたリフレッシュレートを表す制御コマンドであるリフレッシュレートコマンドをビデオウォールコントローラ63に送信することにより、リフレッシュレートを制御する。
 ビデオウォールコントローラ63は、ビデオサーバ61から供給されるフレーム単位の映像信号に所定の信号処理を施す。ビデオウォールコントローラ63は、その結果得られるフレーム単位の映像信号を、各表示ユニット41の位置に応じてn個に分割し、各表示ユニット41に送信する。ビデオウォールコントローラ63はまた、PC62から供給されるリフレッシュレートコマンドに基づいて、そのリフレッシュレートコマンドが表すリフレッシュレート等を表す表示制御信号を各表示ユニット41に送信する。
 以上のように構成される再撮システム10では、各装置はゲンロック(Gen Lock)信号によりフレーム同期がとられている。従って、例えば、ビデオカメラ11における各フレームの露光開始時刻とビデオウォール12における各フレームの表示開始時刻は同期している。
 なお、ビデオウォールコントローラ63とビデオウォール12とは、一体とした構成であってもよく、これらが一体となったディスプレイ装置であってもよい。また、PC62、ビデオウォールコントローラ63、およびビデオウォール12は、一体とした構成であってもよく、これらが一体となったディスプレイ装置であってもよい。
<ビデオカメラの構成例>
 図4は、図3のビデオカメラ11の構成例を示すブロック図である。
 図4のビデオカメラ11は、入力部81、設定部82、駆動部83、光学系84、撮影部85、信号処理部86、モニタ87、映像出力部88、およびメモリ89により構成される。
 入力部81は、撮影者21からの入力を受け付け、その入力内容を表す入力信号を生成する。例えば、撮影者21は、撮影部85において光(の強度)を信号電荷(の量)に変換する際のダイナミックレンジの制約を考慮し、入力部81を操作して適切な露光時間を入力する。この場合、入力部81は、その露光時間を表す入力信号を生成し、設定部82に供給する。撮影者21が入力部81を操作して撮影開始指示を入力した場合、入力部81は、撮影開始を表す入力信号を生成して、駆動部83に供給する。
 設定部82は、入力部81からの入力信号に基づいて、その入力信号が表す露光時間等の撮影に関する各種の情報である撮影情報を設定する。設定部82は、撮影情報を駆動部83に供給するとともに、撮影情報のうちの露光時間を同軸ケーブルなどの有線を介してPC62に送信する。
 駆動部83は、設定部82からの撮影情報、入力部81からの撮影開始指示等に基づいて、撮影部85の受光面に行列状に配置された各画素部を駆動する制御信号である駆動信号を生成し、撮影部85に出力する。
 光学系84は、1枚または複数枚のレンズを有して構成され、被写体などからの光(入射光)を撮影部85に導き、撮影部85の受光面に結像させる。
 撮影部85は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等により構成される。撮影部85は、駆動部83から供給される駆動信号にしたがって各画素部を駆動し、ローリングシャッタ方式で撮影を行う。具体的には、撮影部85は、駆動部83から供給される駆動信号にしたがって、各画素部に蓄積された電荷に応じた電気信号を行単位で出力する。そして、撮影部85は、光学系84を介して各画素部に入射される光に対応する電荷の蓄積を行単位で開始する。撮影部85は、駆動部83から供給される駆動信号にしたがって、設定部82により設定された露光時間だけ蓄積された電荷に応じた電気信号を行単位で読み出し、列単位で信号処理部86に転送する。以上のようにして、撮影部85は、設定部82により設定された露光時間で撮影を行う。
 信号処理部86は、撮影部85から転送された電荷に応じた電気信号に対して各種の信号処理を施し、所定のデジタルビデオフォーマットのフレーム単位の映像信号に変換する。このフレーム単位の映像信号は、モニタ87や映像出力部88に供給されたり、メモリ89に供給されて記憶(記録)されたりする。モニタ87は、信号処理部86から供給されるフレーム単位の映像信号に基づいて、映像をフレーム単位で表示する。映像出力部88は、信号処理部86から供給されるフレーム単位の映像信号をビデオカメラ11の外部に出力する。
<PCの構成例>
 図5は、図3のPC62のハードウエアの構成例を示すブロック図である。
 図5のPC62において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
 バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、及びドライブ110が接続されている。
 入力部106は、キーボード、マウス、マイクロフォンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。
 以上のように構成されるPC62では、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、各種の処理を行う。例えば、CPU101は、リフレッシュレートコマンドを生成し、そのリフレッシュレートをビデオウォールコントローラ63に送信するように通信部109を制御するリフレッシュレート制御処理を行う。
 PC62(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 PC62では、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
 なお、PC62が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 <リフレッシュレート制御部の構成例>
 図6は、図5のCPU101がリフレッシュレート制御処理を行う場合の、CPU101の機能的構成例を示すブロック図である。
 CPU101はリフレッシュレート制御処理を行う場合、図6のリフレッシュレート制御部130として機能する。リフレッシュレート制御部130は、取得部131、制御部132、および送信制御部133により構成される。
 取得部131は、ビデオカメラ11の設定部82から送信され、通信部109を介して受信された露光時間を取得する。取得部131は、その露光時間を制御部132に供給する。
 制御部132は、取得部131から供給される露光時間とビデオウォール12のLEDの発光周期とが対応するように、ビデオウォール12のリフレッシュレートを決定する。制御部132は、そのリフレッシュレートを表す制御コマンド(制御信号)であるリフレッシュレートコマンドを生成することにより、リフレッシュレートを制御する。制御部132は、リフレッシュレートコマンドを送信制御部133に出力する。
 送信制御部133は、制御部132から供給されるリフレッシュレートコマンドを通信部109に供給し、そのリフレッシュレートコマンドのビデオウォールコントローラ63への送信を指示する。これにより、通信部109は、そのリフレッシュレートコマンドをLAN(Local Area Network)ケーブルなどの有線を介してビデオウォールコントローラ63に送信(出力)する。
<ビデオウォールコントローラの構成例>
 図7は、図3のビデオウォールコントローラ63の構成例を示すブロック図である。
 ビデオウォールコントローラ63は、LAN端子151、HDMI(High Definition Multimedia Interface)(登録商標)端子152、DP(Display Port)端子153、DVI(Digital Visual Interface)端子154、ネットワークIF(Interface)155、MPU(Micro Processor Unit)156、信号入力IF157、信号処理部158、DRAM(Dynamic Random Access Memory)159、分配部160、および信号出力IF161-1乃至161-nにより構成される。
 LAN端子151は、LANケーブルの接続端子であり、PC62の通信部109に接続されるLANケーブルが接続されている。LAN端子151は、LANケーブルを介してリフレッシュレートコマンド等の制御コマンドを受信し、ネットワークIF155を介してMPU156に供給する。
 MPU156は、ネットワークIF155を介して供給されるリフレッシュレートコマンドにしたがって、表示制御信号を生成する。また、MPU156は、ネットワークIF155を介して供給される映像信号の調整に関する制御コマンドである映像調整コマンドにしたがって、映像信号の調整を指示する映像調整信号を生成する。MPU156は、その表示制御信号と調整信号を信号処理部158に供給する。
 HDMI端子152、DP端子153、およびDVI端子154は、いずれも映像信号の入力端子である。図7の例では、ビデオサーバ61とHDMI端子152が接続されており、ビデオサーバ61から供給されるフレーム単位の映像信号は、入力部としてのHDMI端子152に入力され、HDMI端子152により取得される。HDMI端子152に入力されたフレーム単位の映像信号は、信号入力IF157に供給される。
 なお、図7の例では、ビデオサーバ61とHDMI端子152とが接続されるが、HDMI端子152、DP端子153、およびDVI端子154はいずれも規格が異なるのみであり、基本的には同様の機能を備えたものであるので、必要に応じて、そのいずれかが選択されて接続される。
 信号入力IF157は、HDMI端子152から供給されるフレーム単位の映像信号を所定のビデオフォーマットのフレーム単位の映像信号に変換し、信号処理部158に供給する。
 信号処理部158は、必要に応じて、DRAM159とデータをやり取りしながら、MPU156から供給される映像調整信号に基づいて、信号入力IF157を介して供給されるフレーム単位の映像信号に対して、ビデオウォール12全体に必要な信号処理を行う。具体的には、信号処理部158は、映像調整信号に基づいて、映像信号の色温度、コントラスト、ブライトネス等を調整する。信号処理部158は、調整後のフレーム単位の映像信号とMPU156から供給される表示制御信号とを分配部160に供給する。
 分配部160は、信号処理部158から供給されるフレーム単位の映像信号を、表示ユニット41-1乃至41-nにそれぞれ接続する信号出力IF161-1乃至161-nに分配する。具体的には、分配部160(分割部)は、フレーム単位の映像信号を各表示ユニット41の位置に応じてn個に分割し、その表示ユニット41に接続する信号出力IF161-1乃至161-nのいずれかに供給する。なお、以下では、信号出力IF161-1乃至161-nを個々に区別する必要がない場合、単に、信号出力IF161と称する。分配部160は、信号処理部158から供給される表示制御信号を各信号出力IF161に供給する。
 信号出力IF161(出力部)は、分配部160から供給されるフレーム単位の映像信号と表示制御信号を、自分に接続されている表示ユニット41に送信する。この送信の伝送媒体は、LANケーブルなどの有線であってもよいし、無線であってもよい。
 なお、ここでは、制御コマンドが、PC62から自動的に送信されてくるものとするが、ビデオウォールコントローラ63の要求に応じて送信されてくるようにしてもよい。
<表示ユニットの詳細構成例>
 図8は、表示ユニット41の詳細構成例を示すブロック図である。
 図8に示すように、表示ユニット41は、ドライバ制御部191とLEDブロック192により構成される。
 ドライバ制御部191は、信号入力IF211、信号処理部212、DRAM213、信号出力IF214-1乃至214-mを備えている。
 信号入力IF211は、ビデオウォールコントローラ63から送信されてくるフレーム単位の映像信号と表示制御信号を受信して信号処理部212に供給する。
 信号処理部212は、必要に応じてDRAM213とデータのやり取りしながら、信号入力IF211から供給されるフレーム単位の映像信号に対して、自分の表示ユニット41に個別に必要な信号処理を行う。具体的には、信号処理部212は、フレーム単位の映像信号に対して、DRAM213に記憶されているカラーマトリクスLUT(Look Up Table)などを用いて、自分の表示ユニット41に必要な色や輝度の補正を施す。信号処理部212は、信号処理後のフレーム単位の映像信号を、自分の表示ユニット41上の各LEDアレイ51の位置に応じてm個に分割する。信号処理部212は、LEDアレイ51ごとに、信号処理後のフレーム単位の映像信号に基づいて、そのLEDアレイ51を構成する各LEDの発光強度を設定するための表示信号をフレーム単位で生成する。
 信号処理部212には、LEDアレイ51-1乃至51-mそれぞれに対応する信号出力IF214-1乃至214-mが接続されている。なお、以下では、信号出力IF214-1乃至214-mを個々に区別する必要がない場合、単に、信号出力IF214という。信号処理部212は、各LEDアレイ51の表示信号を、そのLEDアレイ51に対応する信号出力IF214に供給する。信号処理部212はまた、信号入力IF211から供給される表示制御信号を各信号出力IF214に供給する。
 信号出力IF214は、信号処理部212から供給される表示信号と表示制御信号をLEDブロック192に送信する。
 LEDブロック192は、LEDドライバ221-1乃至221-mおよびLEDアレイ51-1乃至51-mにより構成される。
 LEDドライバ221-1乃至221-mは、ドライバ制御部191の信号出力IF214-1乃至214-mとそれぞれ接続するとともに、LEDアレイ51-1乃至51-mとそれぞれ接続されている。なお、以下では、LEDドライバ221-1乃至221-mを個々に区別する必要がない場合、単に、LEDドライバ221という。
 LEDドライバ221は、自分と接続する信号出力IF214から送信されてくる表示制御信号と表示信号に基づいて、自分と接続するLEDアレイ51を構成する各LEDの発光をPWM(Pulse Width Modulation)制御することにより、各LED241を駆動する。具体的には、LEDドライバ221は、LEDアレイ51の各LED241が、1秒間に表示制御信号が表すリフレッシュレートだけ、そのLED241に対応する表示信号に基づく強度で発光するように、デジタル信号であるPWM信号を生成し、各LED241に供給する。その結果、LEDアレイ51には、ビデオサーバ61から出力されたフレーム単位の映像信号に対応する映像のうちの、そのLEDアレイ51のビデオウォール12上の位置に対応する映像が表示される。
<LEDアレイの構成例>
 図9は、図8のLEDアレイ51の構成例を示す図である。
 図9に示すように、LEDアレイ51は、パッシブマトリクス駆動方式で発光が制御される。
 具体的には、LEDアレイ51は、p×p個(pは正の数)のLED241、並びに、輝度制御配線(Sig line)251および行選択配線(Scan line)252により構成される。LED241は、Common Cathode型のLEDである。p×p個のLED241は、行方向(縦方向)にp個並び、列方向(横方向)にp個並んだ行列状に配置されている。図9の例では、LED241の行方向と列方向の数は同一のp個であるが、LED241の行方向と列方向の数は異なっていてもよい。
 輝度制御配線251は、LED241の各列に対して設けられ、各列のLED241には、同一の輝度制御配線251が接続される。行選択配線252は、LED241の各行に対して設けられ、各行のLED241には、同一の行選択配線252が接続される。
 LEDドライバ221は、信号出力IF214から供給される表示制御信号に基づいて、その表示制御信号が表すリフレッシュレートに対応する発光周期で、行ごとにLED241が発光するように、各行のLED241の発光タイミングを制御する。
 具体的には、LEDドライバ221は、LED241が上の行から順に行単位で発光し、その発光が、表示制御信号が表すリフレッシュレートに対応する間隔で行われるように、基準クロックの周波数の調整および次の行の発光までの間隔の調整の少なくとも一方を行う。これにより、LEDドライバ221は、各行のLED241の発光タイミングで、その行に対応する行選択配線252に所定の固定電位を印加する。なお、所定の固定電位としてはGND電位(0V電位)が一般的だが、この限りではない。
 LEDドライバ221はまた、信号出力IF214から供給されるフレーム単位の表示信号に基づいて、各行のLED241の発光タイミングで、その行の各LED241のPWM信号を、そのLED241の列に対応する輝度制御配線251に入力する。
 以上により、LEDアレイ51では、各行のLED241の発光タイミングで、その行の各LED241が、そのLED241の表示信号に基づく輝度の光を発光する。その結果、LEDアレイ51では、上の行から順に行単位で映像信号に対応する映像が表示され、この映像は、1秒間にリフレッシュレートだけリフレッシュ(更新)される。
<LEDアレイの発光動作の説明>
 図10は、LEDアレイ51の発光動作を説明する図である。
 図10の例では、LEDアレイ51が15×15個のLED241から構成されている。
 図10のAに示すように、LEDアレイ51では、まず、LEDドライバ221の制御により、上から1行目のLED241が、表示信号に対応する輝度で発光する。次に、図10のBに示すように、LEDドライバ221の制御により、上から2行目のLED241が、表示信号に対応する輝度で発光する。以降も同様に、発光対象のLED241の行が順に降下していき、図10のCに示すように、LEDドライバ221の制御により、最下行のLED241が、表示信号に対応する輝度で発光する。以上のようにして、LEDアレイ51に、1フレーム分の映像信号に対応する映像のうちの、そのLEDアレイ51のビデオウォール12上の位置に対応する映像が表示される。本明細書では、これを1スキャンと称する。
 1回目のスキャン後、LEDドライバ221の制御により、再度、図10のAに示すように、上から1行目のLED241が、表示信号に対応する輝度で発光する。以降も同様に行単位のLED241の発光が繰り返され、1秒間にリフレッシュレートだけスキャンが行われる。例えば、表示制御信号が表すリフレッシュレートが3840Hzであり、映像信号のフレームレートが60p(プログレッシブ方式の60フレーム/秒、即ち60Hz)である場合、1フレーム区間内のスキャンの回数は、64回(=3840Hz/60Hz)である。リフレッシュレートは、1秒間に行われるスキャンの回数であるため、スキャン速度ということもできる。
<発光周期の説明>
 図11は、LEDアレイ51の発光周期を説明する図である。
 図11の例では、LEDアレイ51が15×15個のLED241から構成されている。図11のグラフにおいて、横軸は、ビデオウォール12の表示が開始してからの経過時間を表しており、縦軸は、LEDアレイ51の行を表している。図11のグラフでは、LEDアレイ51の上からi番目の行を行#iと表記している。図11のグラフにおける矩形は、その矩形の横方向の位置に対応する経過時間に、縦方向の位置に対応する行のLED241が表示信号に対応する輝度で発光することを示している。
 図11に示すように、LEDアレイ51では、上の行のLED241から順に行単位で発光が行われる。行#1乃至行#15全てのLED241の発光が終了、即ち1スキャンが終了すると、次のスキャンが開始される。この1スキャンの周期が、LED241の発光周期であり、リフレッシュレートの逆数である。例えば、リフレッシュレートが3840Hzである場合、発光周期は1/3840秒である。
<黒帯発生の原因の説明>
 図12は、露光時間がLEDの発光周期の整数倍ではない場合に再撮システムで再撮される映像において黒帯が発生する原因を説明する図である。
 図12において、横軸は表示が開始してからの経過時間を表し、縦軸はLEDの行を表し、図中上の位置ほどLEDの行の位置が上であることを表す。図12の例では、LEDアレイを構成するLEDの行数は15個であり、行方向(縦方向)に並んだ3個分のLEDアレイについて示している。図12において、模様が付けられた四角形は、その四角形の横方向の位置に対応する経過時間に、その四角形の縦方向の位置に対応する行のLEDが発光することを示している。四角形の模様は、その四角形に対応する行単位のLEDを含むLEDアレイごとに異なっている。これらのことは、後述する図14においても同様である。
 図12に示すように、まず、各LEDアレイの上から1行目のLEDが発光する。次に、各LEDアレイの上から2行目のLEDが発光する。以降も同様に、各LEDアレイの上の行から順に行単位でLEDが発光し、最後の行のLEDが発光すると、各LEDアレイは1回目のスキャンを終了する。各LEDアレイは1回目のスキャンを終了すると、2回目のスキャンを開始する。
 以降も同様に各LEDアレイがスキャンを繰り返し、各LEDアレイは、1フレーム区間内に、リフレッシュレートに対応する回数だけスキャンを行う。図12の例では、リフレッシュレートがフレームレートの4倍であり、1フレーム区間内に4回スキャンが行われる。即ち、図12の例では、フレームレートが60pである場合、リフレッシュレートは240Hzである。
 一方、ビデオカメラは、所定の露光時間でローリングシャッタ方式の撮影を行う。従って、各行のLEDの光による露光は上の行から順に行われ、各行の露光開始タイミングは異なる。なお、再撮システムの各装置ではフレーム同期がとられているため、1フレームの露光開始時刻と表示開始時刻は同期している。
 このような場合、ビデオカメラの露光時間とLEDの発光周期(スキャン周期)が対応しないとき、即ち露光時間がLEDの発光周期の整数倍ではないとき、各行において露光期間内のスキャン回数(LEDの発光回数)が均一ではない場合が発生する。図12の例では、露光期間が矩形261の範囲である行では露光期間内にLEDが1回しか発光しないが、露光期間が矩形261の範囲外である行では露光期間内にLEDが2回発光する。従って、ビデオカメラにより再撮された、露光期間が矩形261の範囲である行の画素の輝度は、露光期間が矩形261の範囲外である行の画素の輝度に比べて低くなる。その結果、ビデオカメラにより再撮された映像のうち、露光期間が矩形261の範囲である行の映像が黒帯となる。
<黒帯が発生した再撮映像の例>
 図13は、図12で説明した原因により黒帯が発生した再撮映像の例を示す図である。
 図13の例では、リフレッシュレートは3840Hzである。図13の例では、ビデオカメラは、卓球のラケットを持った人を被写体とし、ビデオウォールに表示された映像を背景として再撮している。その結果得られる再撮映像280には、図12で説明した原因により、横縞状の黒帯281がアーティファクトとして発生することがある。バーチャルプロダクションにおいて、再撮映像内に撮影現場に存在しない黒帯281が発生することは、その再撮映像の品質を低下させることになる。
<リフレッシュレートの制御の説明>
 図14は、図6の制御部132によるリフレッシュレートの制御を説明する図である。
 図14に示すように、制御部132は、ビデオカメラ11の露光時間と発光周期とが対応するように、リフレッシュレートを決定する。具体的には、例えば、制御部132は、露光開始時刻とスキャン開始時刻を同期させ、露光時間が発光周期の整数倍となるように、リフレッシュレートを制御する。
 図14の例では、制御部132は、露光時間が発光周期の2倍となるように、リフレッシュレートをフレームレートの4.6倍に制御している。これにより、図12の場合と比べてスキャン速度が上昇し、全ての行において露光期間内のスキャン回数が2回となる。その結果、ビデオカメラ11により再撮されたフレーム単位の映像信号において、輝度が低い画素の行が発生せず、黒帯が発生しない。
 図14の例では、図12の例に比べてリフレッシュレートが上昇するように制御されたが、リフレッシュレートは、露光時間と発光周期とが対応するように制御されればよく、図12の例に比べて低下するように制御されてもよい。
 <撮影処理の説明>
 図15は、ビデオカメラ11の撮影処理を説明するフローチャートである。この撮影処理は、例えば、撮影者21が入力部81を操作して撮影開始指示を入力したとき、開始される。
 図15のステップS10において、入力部81は、撮影者21からの撮影開始指示の入力を受け付け、撮影開始を表す入力信号を生成して、駆動部83に供給する。
 ステップS11において、設定部82は、設定されている撮影情報のうちの露光時間をPC62に送信するとともに、その撮影情報を駆動部83に供給する。この撮影情報は、撮影者21が入力部81を操作して入力したものであり、その入力に応じて入力部81により生成された入力信号に基づいて設定部82により設定されたものである。
 ステップS12において、駆動部83は、ステップS11で設定部82から供給された撮影情報に基づいて駆動信号を生成し、撮影部85に供給する。
 ステップS13において、撮影部85は、ステップS12で駆動部83から供給される駆動信号にしたがってローリングシャッタ方式で撮影を行い、各画素部に露光時間だけ蓄積された電荷を信号処理部86に転送する。
 ステップS14において、信号処理部86は、撮影部85から転送された電荷の信号に対して各種の信号処理を施し、所定のデジタルビデオフォーマットのフレーム単位の映像信号に変換する。
 ステップS15において、信号処理部86は、ステップS14の処理の結果得られるフレーム単位の映像信号をモニタ87に供給することにより、その映像信号に対応するフレーム単位の映像を表示させる。このとき、信号処理部86は、必要に応じて、ステップS14の処理の結果得られるフレーム単位の映像信号を映像出力部88にも供給し、ビデオカメラ11の外部に出力させる。
 ステップS16において、信号処理部86は、ステップS14の処理の結果得られるフレーム単位の映像信号をメモリ89に供給することにより、その映像信号をメモリ89に記憶させる。
 ステップS17において、入力部81は、撮影者21からの撮影終了指示の入力を受け付けたかどうかを判定する。ステップS17で撮影終了指示の入力をまだ受け付けていないと判定された場合、処理はステップS18に進む。
 ステップS18において、設定部82は、露光時間が変更されたかどうかを判定する。具体的には、設定部82は、入力部81から新たな露光時間を表す入力信号が供給されたかどうかを判定する。設定部82は、入力部81から新たな露光時間を表す入力信号が供給された場合、ステップS18で露光時間が変更されたと判定する。そして、設定部82は、その露光時間を新たな露光時間として設定し、処理をステップS11に戻して、以降の処理を繰り返す。
 一方、設定部82は、入力部81から新たな露光時間を表す入力信号が供給されていない場合、ステップS18で露光時間が変更されていないと判定する。そして、設定部82は、処理をステップS13に戻し、以降の処理を繰り返す。
 ステップS17で撮影終了指示の入力を受け付けたと判定された場合、撮影処理は終了する。
<リフレッシュレート制御処理の説明>
 図16は、図6のリフレッシュレート制御部130のリフレッシュレート制御処理を説明するフローチャートである。このリフレッシュレート制御処理は、例えば、図15のステップS11の処理により、ビデオカメラ11の設定部82から露光時間が送信されてきたとき、開始される。
 図16のステップS31において、取得部131は、設定部82から送信され、通信部109を介して受信された露光時間を取得し、その露光時間を制御部132に供給する。
 ステップS32において、制御部132は、ステップS31で取得部131から供給される露光時間に基づいて、その露光時間とLED241の発光周期とが対応するように、ビデオウォール12のリフレッシュレートを決定する。制御部132は、そのリフレッシュレートを表すリフレッシュレートコマンドを生成し、送信制御部133に供給する。
 ステップS33において、送信制御部133は、ステップS32で制御部132から供給されるリフレッシュレートコマンドを通信部109に供給し、ビデオウォールコントローラ63への送信を指示することにより、リフレッシュレートコマンドをビデオウォールコントローラ63に送信させる。そして、処理は終了する。
<映像信号処理の説明>
 図17は、ビデオウォールコントローラ63の映像信号処理を説明するフローチャートである。この映像信号処理は、例えば、ビデオサーバ61からフレーム単位の映像信号が送信されてきたとき、開始される。
 図17のステップS51において、ビデオウォールコントローラ63の信号入力IF157は、ビデオサーバ61から送信されてくるフレーム単位の映像信号を、HDMI端子152を介して受信する。
 ステップS52において、信号入力IF157は、ステップS51で受信されたフレーム単位の映像信号を所定のビデオフォーマットのフレーム単位の映像信号に変換し、信号処理部158に供給する。
 ステップS53において、MPU156は、PC62の通信部109からLAN端子151およびネットワークIF155を介して、映像調整コマンドを受信したかどうかを判定する。MPU156は、ステップS53で映像調整コマンドをまだ受信していないと判定した場合、映像調整コマンドを受信するまで待機する。
 一方、MPU156は、ステップS53で映像調整コマンドを受信したと判定した場合、処理はステップS54に進む。ステップS54において、MPU156は、その映像調整コマンドにしたがって映像調整信号を生成し、信号処理部158に供給する。
 ステップS55において、信号処理部158は、必要に応じてDRAM159とデータをやり取りしながら、映像調整信号に基づいて、フレーム単位の映像信号に対してビデオウォール12全体に必要な信号処理を行う。信号処理部158は、調整後のフレーム単位の映像信号を分配部160に供給する。
 ステップS56において、分配部160は、ステップS55で信号処理部158から供給されるフレーム単位の映像信号を、各信号出力IF161に分配する。
 ステップS57において、各信号出力IF161は、ステップS56で分配部160から供給されるフレーム単位の映像信号を、自分に接続されている表示ユニット41に送信する。そして、映像信号処理は終了する。
<表示制御信号生成処理の説明>
 図18は、ビデオウォールコントローラ63の表示制御信号生成処理を説明するフローチャートである。この表示制御信号生成処理は、例えば、ビデオサーバ61からフレーム単位の映像信号が送信されてきたとき、開始される。
 図18のステップS71において、MPU156は、PC62の通信部109から、LAN端子151とネットワークIF155を介して、リフレッシュレートコマンドを受信しているかどうかを判定する。ステップS71でリフレッシュレートコマンドを受信していると判定された場合、MPU156は、処理をステップS72に進める。
 ステップS72において、MPU156は、受信しているリフレッシュレートコマンドにしたがって表示制御信号を生成し、その表示制御信号を、信号処理部158を介して分配部160に供給する。そして、処理はステップS74に進む。
 一方、ステップS71でまだリフレッシュレートコマンドを受信していないと判定された場合、ステップS73において、MPU156は、所定のリフレッシュレートを表す表示制御信号を生成し、その表示制御信号を、信号処理部158を介して分配部160に供給する。そして、処理はステップS74に進む。
 ステップS74において、分配部160は、表示制御信号を各信号出力IF161に供給する。ステップS75において、各信号出力IF161は、ステップS74で分配部160から供給される表示制御信号を、自分に接続されている表示ユニット41に送信する。そして、表示制御信号生成処理は終了する。
<表示処理の説明>
 図19は、各表示ユニット41の表示処理を説明するフローチャートである。この表示処理は、例えば、図17のステップS57の処理により映像信号が送信され、図18のステップS75の処理により表示制御信号が送信されてきたとき、開始される。
 図19のステップS91において、信号入力IF211は、ビデオウォールコントローラ63から送信されてくるフレーム単位の映像信号と表示制御信号を受信して信号処理部212に供給する。
 ステップS92において、信号処理部212は、必要に応じてDRAM213とデータのやり取りしながら、ステップS91で信号入力IF211から供給されるフレーム単位の映像信号に対して、自分の表示ユニット41に個別に必要な信号処理を行う。
 ステップS93において、信号処理部212は、信号処理後のフレーム単位の映像信号を、自分の表示ユニット41上の各LEDアレイ51の位置に応じてm個に分割する。ステップS94において、信号処理部212は、LEDアレイ51ごとに、信号処理後のフレーム単位の映像信号に基づいて、そのLEDアレイ51を構成する各LEDの表示信号をフレーム単位で生成する。
 ステップS95において、信号処理部212は、各LEDアレイ51の表示信号を、そのLEDアレイ51に対応する信号出力IF214に供給するとともに、ステップS91の処理で信号入力IF211から供給される表示制御信号を各信号出力IF214に供給する。
 ステップS96において、各信号出力IF214は、自分と接続するLEDドライバ221に映像信号と表示制御信号を送信する。
 ステップS97において、各LEDドライバ221は、自分と接続する信号出力IF214から送信されてくる表示信号と表示制御信号を受信する。ステップS98において、各LEDドライバ221は、表示信号と表示制御信号に基づいて、自分と接続するLEDアレイ51を構成する各LED241の発光をPWM制御することにより、各LED241を駆動する。その結果、各LEDアレイ51には、ビデオサーバ61から出力されたフレーム単位の映像信号に対応する映像のうちの、そのLEDアレイ51のビデオウォール12上の位置に対応する映像が表示される。
 以上のように、再撮システム10では、PC62が、ビデオウォール12を撮影するビデオカメラ11の露光時間とLED241の発光周期とが対応するように、ビデオウォール12のリフレッシュレートを制御する。従って、ビデオウォール12を再撮する場合において黒帯の発生を防止することができる。
 また、PC62は、露光時間を取得し、その露光時間に基づいてリフレッシュレートを制御するので、露光時間が変化する場合であっても、変化後の露光時間に基づいてリフレッシュレートを容易に制御し、黒帯の発生を防止することができる。
<再撮システムの一例の説明>
 図20は、従来の方法で黒帯の視認性を低下させる再撮システムの一例を説明する図である。
 図20の例では、LEDアレイを構成するLEDの行が4行である。図20のグラフにおいて、横軸は、ビデオウォールの表示が開始してからの経過時間を表しており、縦軸は、LEDアレイの行を表している。図20のグラフでは、LEDアレイの上からi番目の行を行#iと表記している。図20のグラフにおける矩形は、その矩形の横方向の位置に対応する経過時間に、縦方向の位置に対応する行のLEDが発光することを示している。
 従来の方法で黒帯の視認性を低下させる再撮システムは、LEDの発光周期を短縮する、即ちリフレッシュレートを上昇させることにより、黒帯の視認性を低下させる。具体的には、再撮システムは、例えば、図20の上段に示すリフレッシュレートを、図20の下段に示すように2倍にする。
 これにより、ビデオカメラの露光時間とLEDの発光周期が対応せず、各行における露光期間内のLEDの発光回数が均一ではない場合であっても、各行における輝度の不均一性を抑制することができる。
 例えば、1フレーム区間内のスキャンの回数が64回である場合、ある行の他の行との発光回数の差が-1回であるとき、その行の輝度は、他の行の輝度に比べて1/64(約1.56%)だけ低下する。これに対して、リフレッシュレートが2倍になり、1フレーム区間内のスキャンの回数が128回になると、ある行の他の行との発光回数の差が-1回であるとき、その行の輝度は、他の行の輝度に比べて1/128(約0.78%)だけしか低下しない。以上のように、リフレッシュレートが上昇することにより、各行における輝度の不均一性が抑制される。
 図21は、図20で説明した再撮システムにより黒帯の視認性が低下した再撮映像の例を示す図である。
 図21の例では、リフレッシュレートは7680Hzであり、図13と同様の被写体と背景が再撮されている。
 図21に示すように、リフレッシュレートが3840Hzの2倍の7680Hzである再撮映像300においても、横縞状の黒帯301は発生しているが、黒帯301は、リフレッシュレートが3840Hzである図13の再撮映像280内の黒帯281に比べて視認しにくい。
 しかしながら、従来の方法では、黒帯の視認性は低下するものの、黒帯が無くなることはない。また、LEDの表示階調精度を維持してリフレッシュレートを上昇させるためには、LEDドライバのPWM制御に用いられる基準クロックの周波数を上昇させるか、または、1スキャンで発光させるLEDの行の数を削減する必要がある。
 具体的には、PWM制御では、基準クロックをカウンタで積算することにより制御信号が生成されるため、LEDの表示階調精度を維持してリフレッシュレートを上昇させるためには、例えば、基準クロックの周波数を上昇させる必要がある。
 基準クロックの周波数f[Hz]は、リフレッシュレートRR[Hz]、表示階調精度t[ビット]、および1スキャンで発光させるLEDの行の数L[行]を用いて、以下の式(1)で表される。
 f=RR×2×L    ・・・(1)
 例えば、リフレッシュレートが3840Hzであり、表示階調精度が12ビットであり、1スキャンで発光させるLEDの行の数が16行である場合、基準クロックの周波数は、約251.7MHzとなる。これに対して、リフレッシュレートが3840Hzの2倍の7680Hzになると、基準クロックの周波数も、リフレッシュレートが3840Hzであるときの2倍の約503.3MHzとなる。以上のように、LEDドライバの基準クロックの周波数(動作周波数)が上昇すると、LEDドライバの消費電力やLEDドライバの製造プロセスの変更などに伴うコストの増加を招く。
 一方、基準クロックの周波数を維持したまま、リフレッシュレートを上昇させる場合、上述した式(1)に示すように、1スキャンで発光させるLEDの行の数を削減する必要がある。1スキャンで発光させるLEDの行の数を削減するためには、LEDドライバの数を増加させる必要がある。例えば、リフレッシュレートを2倍にするために、1スキャンで発光させるLEDの行の数を1/2に削減する場合、LEDドライバの数を2倍にする必要がある。従って、コストの増加や基板上の部品実装面積の不足を招く。また、LEDドライバの増加に伴い、暗電力も増加する。暗電力とは、LEDが発光していない状態でも消費する電力のことであり、主にLEDドライバ、LEDドライバを駆動するための制御回路、電源回路などが消費している電力である。
 なお、上述した式(1)に示すように、表示階調精度、いわゆるグレースケールを低下させることにより、基準クロックの周波数および1スキャンで発光させるLEDの行の数を維持したまま、リフレッシュレートを上昇させることも可能である。例えば、表示階調精度を1ビット削減することにより、リフレッシュレートを2倍にすることもできる。しかしながら、表示階調精度が低下すると、再撮映像の品質が低下する。基準クロックの周波数を少しだけ上昇させることにより、表示階調精度の低下を抑制することもできるが、いずれにしても、再撮映像の品質は低下する。
 これに対して、再撮システム10では、露光時間に基づいてリフレッシュレートを制御するだけで、黒帯の発生を防止することができる。従って、製造コストの大幅な増加や表示階調精度の低下が発生しない。
 なお、リフレッシュレート制御部130がリフレッシュレートを制御せず、ユーザがリフレッシュレートを制御するようにしてもよい。この場合、ビデオカメラ11から露光時間が送信されず、ユーザが、露光時間とLED241の発光周期が対応するようにリフレッシュレートを決定し、そのリフレッシュレートを入力部106を用いてPC62に入力する。そして、PC62は、ユーザにより入力されたリフレッシュレート等を表す表示制御信号を生成する。
 再撮システム10では、ビデオカメラ11からPC62に露光時間が送信されたが、ユーザが入力部106を操作して、ビデオカメラ11の露光時間を入力し、リフレッシュレート制御部130が、その露光時間を取得するようにしてもよい。
 再撮システム10では、PC62が露光時間に基づいてリフレッシュレートを制御したが、ビデオカメラ11がビデオウォールコントローラ63やビデオウォール12に露光時間を送信し、ビデオウォールコントローラ63やビデオウォール12の少なくとも一部が、リフレッシュレート制御部130として機能するようにしてもよい。
 再撮システム10では、ビデオカメラ11の露光時間がLED241の発光周期の整数倍となるようにリフレッシュレートが制御されたが、このとき、実際には、露光時間に基づいて各フレームの垂直ブランキング期間も制御する必要がある場合がある。以下に、第2実施の形態として、垂直ブランキング期間も制御する再撮システムについて説明する。
<第2実施の形態>
<再撮システムの構成例>
 図22は、本技術を適用した情報処理システムを含む再撮システムの第2実施の形態の構成例を示す図である。
 図22の再撮システム400において、図3の再撮システム10と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、再撮システム10と異なる部分に着目して説明する。
 図22の再撮システム400は、PC62、ビデオウォールコントローラ63、ビデオウォール12が、PC401、ビデオウォールコントローラ402、ビデオウォール403に代わる点が、再撮システム10と異なっており、その他は再撮システム10と同様に構成されている。
 具体的には、PC401(情報処理システム)は、一般的な汎用のコンピュータである。PC401は、ビデオウォールコントローラ402を制御する制御コマンドを生成し、ビデオウォールコントローラ402に送信することにより、ビデオウォールコントローラ402を制御する。
 例えば、PC401は、図3のPC62と同様に、リフレッシュレート制御処理を行う。また、PC401は、露光時間がLED241の発光周期(サブフレーム)の整数倍となるように、ビデオウォール403に表示される映像の垂直ブランキング期間を決定する。具体的には、PC401は、リフレッシュレート制御処理により決定されたリフレッシュレートに基づいて垂直ブランキング期間を表す制御コマンドである垂直ブランキング期間コマンドをビデオウォールコントローラ402に送信することにより、垂直ブランキング期間を制御する。
 ビデオウォールコントローラ402は、図7のビデオウォールコントローラ63と同様に構成されるが、表示制御信号が表す情報が異なる。具体的には、ビデオウォールコントローラ402は、ビデオウォールコントローラ63と同様に、ビデオサーバ61から供給されるフレーム単位の映像信号に所定の信号処理を施し、分割して、各表示ユニット411に送信する。ビデオウォールコントローラ402はまた、PC401から供給されるリフレッシュレートコマンドが表すリフレッシュレート、垂直ブランキング期間コマンドが表す垂直ブランキング期間等を表す表示制御信号を各表示ユニット411に送信する。
 ビデオウォール403(表示部)は、n個の表示ユニット411-1乃至411-nがタイル状に配置された大型のLEDディスプレイである。図22では、nが6×24個である場合について図示している。なお、以下では、表示ユニット411-1乃至411-nを個々に区別する必要がない場合、単に、表示ユニット411と称する。
 表示ユニット411は、タイル状に配置されたm個のLEDアレイ51を含む。ビデオウォール403の各表示ユニット411は、ビデオウォールコントローラ402に接続される。ビデオウォール403は、ビデオウォールコントローラ402から供給されるフレーム単位の映像信号と表示制御信号に基づいて、その映像信号に対応する映像をフレーム単位で表示する。具体的には、各表示ユニット411に供給される映像信号は、その表示ユニット411のビデオウォール403上の位置に対応する映像信号である。各表示ユニット411が、その映像信号に基づく映像を表示制御信号にしたがって表示することにより、ビデオウォール403全体として1フレームの映像が表示される。
 以上のように構成される再撮システム400では、再撮システム10と同様に、各装置はゲンロック信号によりフレーム同期がとられている。
 なお、ビデオウォールコントローラ402とビデオウォール403とは、一体とした構成であってもよく、これらが一体となったディスプレイ装置であってもよい。また、PC401、ビデオウォールコントローラ402、およびビデオウォール403は、一体とした構成であってもよく、これらが一体となったディスプレイ装置であってもよい。
 <垂直ブランキング制御部の構成例>
 図22のPC401のハードウエア構成は、図5のPC62のハードウエア構成と同様であるので、説明は省略する。
 図23は、図22のPC401のCPUが垂直ブランキング期間を制御する垂直ブランキング期間制御処理を行う場合の、CPUの機能的構成例を示すブロック図である。
 PC401のCPUは垂直ブランキング期間制御処理を行う場合、図23の垂直ブランキング期間制御部420として機能する。垂直ブランキング期間制御部420は、取得部421、制御部422、および送信制御部423により構成される。
 取得部421は、リフレッシュレート制御処理により決定されたリフレッシュレートを取得し、そのリフレッシュレートを制御部422に供給する。
 制御部422は、取得部421から供給されるリフレッシュレートに基づいて垂直ブランキング期間を決定する。制御部422は、その垂直ブランキング期間を表す垂直ブランキング期間コマンドを生成することにより、垂直ブランキング期間を制御する。制御部422は、垂直ブランキング期間コマンドを送信制御部423に出力する。
 送信制御部423は、制御部422から供給される垂直ブランキング期間コマンドをPC401の通信部に供給し、その垂直ブランキング期間コマンドのビデオウォールコントローラ402への送信を指示する。これにより、通信部は、その垂直ブランキング期間コマンドをLANケーブルなどの有線を介してビデオウォールコントローラ402に送信(出力)する。
<表示ユニットの詳細構成例>
 図24は、図22の表示ユニット411の詳細構成例を示すブロック図である。
 図24の表示ユニット411において、図8の表示ユニット41と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、表示ユニット41と異なる部分に着目して説明する。
 図24の表示ユニット411は、LEDブロック192の代わりにLEDブロック441が設けられる点が、表示ユニット41と異なっており、その他は表示ユニット41と同様に構成されている。
 LEDブロック441は、LEDドライバ221-1乃至221-mの代わりにLEDドライバ461-1乃至461-mが設けられる点が、LEDブロック192と異なっており、その他はLEDブロック192と同様に構成されている。
 LEDドライバ461-1乃至461-mは、ドライバ制御部191の信号出力IF214-1乃至214-mとそれぞれ接続するとともに、LEDアレイ51-1乃至51-mとそれぞれ接続されている。なお、以下では、LEDドライバ461-1乃至461-mを個々に区別する必要がない場合、単に、LEDドライバ461という。
 LEDドライバ461は、自分と接続する信号出力IF214から送信されてくる表示制御信号と表示信号に基づいて、自分と接続するLEDアレイ51を構成する各LED241の発光をPWM制御することにより、各LED241を駆動する。
 具体的には、LEDドライバ461は、LEDアレイ51の各LED241が、1秒間に表示制御信号が表すリフレッシュレートだけ、そのLED241に対応する表示信号に基づく強度で発光するように、PWM信号を生成する。LEDドライバ461は、そのPWM信号を各LED241に供給する。その結果、LEDアレイ51には、ビデオサーバ61から出力されたフレーム単位の映像信号に対応する映像のうちの、そのLEDアレイ51のビデオウォール403上の位置に対応する映像が表示される。LEDドライバ461はまた、表示制御信号に基づいて、その表示制御信号が表す垂直ブランキング期間を1フレームごとに設けるように、垂直ブランキング期間を制御する。
<垂直ブランキング期間の説明>
 図25は、ビデオウォール403に表示される映像の垂直ブランキング期間を説明する図である。
 図25において、横軸は発光時刻を表している。一番上の段は、ビデオウォール403に表示される映像の垂直同期信号(V-Sync)を表している。上から2番目以降の段は、ビデオウォール403の上から30行分のLED241の各行の発光タイミングを表しており、図25では上からi行目の行をLine#iと表記している。図25の例では、LEDアレイ51を構成するLED241の行数が15行であり、1フレーム区間内のスキャン回数は32回である。これらのことは、後述する図27においても同様である。
 図25に示すように、垂直同期信号の間、即ち1フレーム区間には、全スキャン終了後に、全てのLED241の発光が停止される垂直ブランキング期間(V-blanking)が設けられる。
 具体的には、まず、垂直同期信号に同期して、各LEDドライバ461は、自分と接続するLEDアレイ51の一番上の行のLED241から順に、行ごとに各LED241の表示信号(例えば0から2048までの値の画像データ)に対応するPWM信号を生成し、各LED241に供給する。これにより、各LEDアレイ51において一番上の行のLED241から順に発光が開始される。図25の例では、ビデオウォール12の上から1行目と16行目のLED241から同時に発光が開始される。各LEDアレイ51の一番下の行(図25の例では、ビデオウォール12の上から15行目と30行目の行)のLED241の発光が終了すると、即ち1スキャンが終了すると、再度スキャンが行われる。以降も同様にして、図25の例の場合32回スキャンが行われる。即ち、LEDドライバ461は、各LED241に対して同一のPWM幅のPWM信号を32回生成する。その後、次のフレームの垂直同期信号が発生するまで、垂直ブランキング期間となり、全てのLED241の発光が停止される。
<黒帯発生の原因の説明>
 図26は、露光時間がLEDの発光周期の整数倍ではない場合に再撮システムで再撮される映像において黒帯が発生する原因を説明する図である。
 図26において、横軸は発光時刻を表している。一番上の段は、ビデオウォールに表示される映像の垂直同期信号を表している。上から2番目以降の段は、ビデオウォールの上から30行分のLEDの各行の発光タイミングを表しており、図26では上からi行目の行をLine#iと表記している。図26の例では、LEDアレイを構成するLEDの行数が15行であり、1フレーム区間内のスキャン回数は32回である。
 スキャンについては、図25の場合と同様であるので、説明は省略する。ビデオカメラは、所定の露光時間でローリングシャッタ方式の撮影を行う。従って、各行のLEDの光による露光は上の行から順に行われ、各行の露光開始タイミングは異なる。なお、再撮システムの各装置ではフレーム同期がとられているため、1フレームの露光開始時刻と表示開始時刻は同期している。
 このような場合、ビデオカメラの露光時間とLEDの発光周期が対応しないとき、各行において露光期間内の発光期間が均一ではない場合が発生する。図26の例では、上から1行目や2行目の行においては、露光期間481内に1回目の発光の全期間が含まれる。しかしながら、上から15行目の行においては、露光期間481内に1回目の発光の全期間のうちの1/2(0.5)倍の期間482が含まれない。上から16行目の行においては、露光期間481内に1回目の発光の全期間のうちの0.8倍の期間483が含まれない。
 従って、ビデオカメラにより再撮された、上から15行目や16行目の行の画素の輝度は、上から1行目や2行目の行の画素の輝度に比べて低くなる。例えば、上から15行目の行の画素の輝度は、上から1行目や2行目の行の画素の輝度を1としたとき0.5となり、上から16行目の行の画素の輝度は、上から1行目や2行目の行の画素の輝度を1としたとき0.2となる。これにより、ビデオカメラにより再撮された映像のうち、上から15行目や16行目の行の映像が黒帯となる。以降の行においても周期的に同様の状況が発生することにより、ビデオカメラにより再撮された映像には、周期的に明暗が現れる。
<PCによる制御の説明>
 図27は、PC401による制御を説明する図である。
 図27に示すように、PC401の制御部132は、ビデオカメラ11の露光時間と発光周期とが対応するように、リフレッシュレートを決定する。具体的には、例えば、制御部132は、露光開始時刻とスキャン開始時刻を同期させ、露光時間が発光周期の整数倍となるように、リフレッシュレートを制御する。
 図27の例では、制御部132は、露光時間が発光周期の1倍となるように、リフレッシュレートを決定している。これにより、図26の場合と比べてスキャン速度が速くなり、全ての行において露光期間内のスキャン回数が1回となる。例えば、上から15行目の行においては、露光期間481内に1回目の発光の全期間が含まれる。上から16行目の行においては、露光期間481内に1回目の発光の全期間のうちの一部の期間491と、2回目の発光の全期間のうちの一部の期間492が含まれる。期間491と期間492の和は1回の発光の全期間である。従って、ビデオカメラ11により再撮された、全行の画素の輝度は同一になる。その結果、ビデオカメラ11により再撮されたフレーム単位の映像において、輝度が低い画素の行が発生せず、黒帯が発生しない。
 なお、上から16行目の行において、PWM幅が小さい場合には、2回目の発光による露光のみでも十分な輝度を得られる。
 以上のように、図26の場合と比べてスキャン速度を速めることにより黒帯の発生を防止する場合、図26の場合と比べて最後の32回目のスキャンの終了時刻が早くなる。従って、図26の場合と比べて最後のスキャンが終了してから次のフレームの表示が開始されるまでの期間493は期間494だけ長くなり、垂直ブランキング期間を期間494だけ長くする必要がある。即ち、リフレッシュレートに基づいて、垂直ブランキング期間を制御する必要がある。
 そこで、図23の制御部422は、リフレッシュレートに基づいて、そのリフレッシュレートに対応する1フレーム区間内のスキャンの回数だけスキャンが行われた後次のフレームの表示が開始されるまでの期間を計算し、垂直ブランキング期間に決定する。垂直ブランキング期間が長い場合、輝度が暗くなる場合がある。
 なお、露光期間481の傾きの横方向の距離(時間)は、最初の行の露光が開始されてから最後の行の露光が開始されるまでの時間である幕速を表す。この幕速は、ビデオカメラ11の撮影部の特性や画角によって異なる。
 図27の例では、図26の例に比べてリフレッシュレートが上昇するように制御されたが、リフレッシュレートは、露光時間と発光周期とが対応するように制御されればよく、図26の例に比べて低下するように制御されてもよい。
<垂直ブランキング期間制御処理の説明>
 図28は、図23の垂直ブランキング期間制御部420の垂直ブランキング期間制御処理を説明するフローチャートである。この垂直ブランキング期間制御処理は、例えば、リフレッシュレート制御部130の制御部132によりリフレッシュレートが決定されたとき、開始される。
 図28のステップS201において、取得部421は、制御部132からリフレッシュレートを取得し、そのリフレッシュレートを制御部422に供給する。
 ステップS202において、制御部422は、ステップS201で取得部421から供給されるリフレッシュレートに基づいて、そのリフレッシュレートに対応する1フレーム区間内のスキャンの回数だけスキャンが行われた後次のフレームの表示が開始されるまでの期間を計算し、垂直ブランキング期間に決定する。制御部422は、その垂直ブランキング期間を表す垂直ブランキング期間コマンドを生成し、送信制御部423に供給する。
 ステップS203において、送信制御部423は、ステップS202で制御部422から供給される垂直ブランキング期間コマンドを通信部109に供給し、ビデオウォールコントローラ402への送信を指示することにより、垂直ブランキング期間コマンドをビデオウォールコントローラ402に送信させる。そして、処理は終了する。
 以上のように、再撮システム400は、露光時間に基づいて、ビデオウォール403に表示される映像の垂直ブランキング期間を制御する。具体的には、再撮システム400は、露光時間に基づいて、露光時間が発光周期の整数倍となるようにリフレッシュレートを決定し、リフレッシュレートに基づいて垂直ブランキング期間を制御する。従って、ビデオウォール403を再撮する場合において黒帯の発生を防止することができる。
 上述した第1実施の形態および第2実施の形態では、露光期間は、1フレームの映像の表示期間内であったが、露光時間によっては、露光期間が2フレームの映像の表示期間に跨ぐ場合がある。即ち、露光期間に垂直ブランキング期間が含まれる場合がある。この場合、露光期間に含まれる垂直ブランキング期間の回数が行によって異なることにより、黒帯が発生する場合がある。以下に、第3の実施の形態として、このような黒帯の発生を防止する再撮システムについて説明する。
<第3実施の形態>
<再撮システムの構成例>
 図29は、本技術を適用した情報処理システムを含む再撮システムの第3実施の形態の構成例を示す図である。
 図29の再撮システム500において、図3の再撮システム10と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、再撮システム10と異なる部分に着目して説明する。
 図29の再撮システム500は、PC62、ビデオウォールコントローラ63、ビデオウォール12が、PC501、ビデオウォールコントローラ502、ビデオウォール503に代わる点が、再撮システム10と異なっており、その他は再撮システム10と同様に構成されている。
 具体的には、PC501(情報処理システム)は、一般的な汎用のコンピュータである。PC501は、ビデオウォールコントローラ502を制御する制御コマンドを生成し、ビデオウォールコントローラ502に送信することにより、ビデオウォールコントローラ502を制御する。
 例えば、PC501は、ビデオカメラ11の露光時間と幕速とに基づいて、ビデオウォール503に表示される映像の垂直ブランキング期間を制御する制御モードを設定し、その制御モードを表す制御モードコマンドをビデオウォールコントローラ502に送信することにより、垂直ブランキング期間を制御する。ビデオカメラ11の幕速は、例えば、ユーザにより入力される。
 ビデオウォールコントローラ502は、図7のビデオウォールコントローラ63と同様に構成されるが、表示制御信号が表す情報が異なる。具体的には、ビデオウォールコントローラ502は、ビデオウォールコントローラ63と同様に、ビデオサーバ61から供給されるフレーム単位の映像信号に所定の信号処理を施し、分割して、各表示ユニット511に送信する。ビデオウォールコントローラ502はまた、PC501から供給される制御モードコマンドが表す制御モード等を表す表示制御信号を各表示ユニット511に送信する。
 ビデオウォール503(表示部)は、n個の表示ユニット511-1乃至511-nがタイル状に配置された大型のLEDディスプレイである。図29では、nが6×24個である場合について図示している。なお、以下では、表示ユニット511-1乃至511-nを個々に区別する必要がない場合、単に、表示ユニット511と称する。
 表示ユニット511は、タイル状に配置されたm個のLEDアレイ51を含む。ビデオウォール503の各表示ユニット511は、ビデオウォールコントローラ502に接続される。ビデオウォール503は、ビデオウォールコントローラ502から供給されるフレーム単位の映像信号と表示制御信号に基づいて、その映像信号に対応する映像をフレーム単位で表示する。具体的には、各表示ユニット511に供給される映像信号は、その表示ユニット511のビデオウォール503上の位置に対応する映像信号である。各表示ユニット511が、その映像信号に基づく映像を表示制御信号にしたがって表示することにより、ビデオウォール503全体として1フレームの映像が表示される。
 以上のように構成される再撮システム500では、再撮システム10と同様に、各装置はゲンロック信号によりフレーム同期がとられている。
 なお、ビデオウォールコントローラ502とビデオウォール503とは、一体とした構成であってもよく、これらが一体となったディスプレイ装置であってもよい。また、PC501、ビデオウォールコントローラ502、およびビデオウォール503は、一体とした構成であってもよく、これらが一体となったディスプレイ装置であってもよい。
 <垂直ブランキング制御部の構成例>
 図29のPC501のハードウエア構成は、図5のPC62のハードウエア構成と同様であるので、説明は省略する。
 図30は、図29のPC501のCPUが垂直ブランキング期間を制御する垂直ブランキング期間制御処理を行う場合の、CPUの機能的構成例を示すブロック図である。
 PC501のCPUは垂直ブランキング期間制御処理を行う場合、図30の垂直ブランキング期間制御部520として機能する。垂直ブランキング期間制御部520は、取得部521、制御部522、および送信制御部523により構成される。
 取得部521は、ビデオカメラ11の設定部82から送信され、PC501の通信部を介して受信された露光時間を取得する。取得部521は、その露光時間を制御部522に供給する。
 制御部522は、取得部521から供給される露光時間とビデオカメラ11の幕速とに基づいて、垂直ブランキング期間の制御モードを設定する。制御部522は、その制御モードを表す制御モードコマンドを生成することにより、垂直ブランキング期間を制御する。制御部522は、制御モードコマンドを送信制御部523に出力する。
 送信制御部523は、制御部522から供給される制御モードコマンドをPC501の通信部に供給し、その制御モードコマンドのビデオウォールコントローラ502への送信を指示する。これにより、通信部は、その制御モードコマンドをLANケーブルなどの有線を介してビデオウォールコントローラ502に送信(出力)する。
<表示ユニットの詳細構成例>
 図31は、図29の表示ユニット511の詳細構成例を示すブロック図である。
 図31の表示ユニット511において、図8の表示ユニット41と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、表示ユニット41と異なる部分に着目して説明する。
 図31の表示ユニット511は、LEDブロック192の代わりにLEDブロック541が設けられる点が、表示ユニット41と異なっており、その他は表示ユニット41と同様に構成されている。
 LEDブロック541は、LEDドライバ221-1乃至221-mの代わりにLEDドライバ561-1乃至561-mが設けられる点が、LEDブロック192と異なっており、その他はLEDブロック192と同様に構成されている。
 LEDドライバ561-1乃至561-mは、ドライバ制御部191の信号出力IF214-1乃至214-mとそれぞれ接続するとともに、LEDアレイ51-1乃至51-mとそれぞれ接続されている。なお、以下では、LEDドライバ561-1乃至561-mを個々に区別する必要がない場合、単に、LEDドライバ561という。
 LEDドライバ561は、自分と接続する信号出力IF214から送信されてくる表示制御信号と表示信号に基づいて、自分と接続するLEDアレイ51を構成する各LED241の発光をPWM制御することにより、各LED241を駆動する。
 具体的には、LEDドライバ561は、表示制御信号が表す制御モードに基づいて、各フレームの発光開始タイミングを制御する。LEDドライバ561は、LEDアレイ51の各LED241が、1秒間に所定のリフレッシュレートだけ、そのLED241に対応する表示信号に基づく強度で発光するようにPWM信号を生成し、各LED241に供給する。その結果、LEDアレイ51には、ビデオサーバ61から出力されたフレーム単位の映像信号に対応する映像のうちの、そのLEDアレイ51のビデオウォール503上の位置に対応する映像が表示される。
<垂直ブランキング期間の説明>
 図32は、ビデオウォール503に表示される映像の垂直ブランキング期間を説明する図である。
 図32の上の図は、ビデオウォール503の上から1乃至135行目の各行におけるLED241の発光タイミングを表している。図32の上の図において、横軸は、発光時刻を表し、縦軸は、LED241の各行を表す。図32の例では、ビデオウォール503のフレームレートは120Hzであり、1フレーム区間は1/119.88秒である。LEDアレイ51を構成するLED241の行数は15行である。図32の下の図は、135行目の行のLED241の発光タイミングを線で示している。
 図32の上の図に示すように、1フレーム区間には、全スキャン終了後に垂直ブランキング期間(V-blanking)が設けられる。図32の上の図における、各行の発光タイミングを結ぶ斜線どうしの間隔は、1スキャンの時間である。
<露光時間と垂直ブランキング期間の説明>
 図33は、露光時間と垂直ブランキング期間を説明する図である。
 図33の左側の図は、ビデオカメラ11の撮影部85の受光面を表している。図33の右側の図は、撮影部85の受光面の各行の画素に対応する、ビデオウォール503に表示される映像を示す図である。図33の右側の図の横軸は、映像の表示時刻を表し、縦軸は、その表示時刻に表示される映像に対応する撮影部85の受光面の画素の行の上からの行数を表している。図33の例では、ビデオウォール503のフレームレートは120Hzであり、ビデオカメラ11のフレームレートは60Hzである。
 図33の例では、図33の右側の図に示すように、露光時間、即ち開角度が360度である場合、ビデオウォール503に表示される2フレーム分の映像に対応する光により露光が行われる。開角度が270度である場合1.5フレーム分の映像に対応する光により露光が行われ、開角度が180度である場合1フレーム分の映像に対応する光により露光が行われる。開角度が90度である場合、0.5フレーム分の映像に対応する光により露光が行われる。
 ここで、開角度は0度から360度までの範囲の角度であるので、ビデオカメラ11の露光に用いられる光に対応する映像は、0から2フレーム分の映像であり得る。即ち、露光期間には、0から2回までの垂直ブランキング期間が含まれる可能性がある。
<黒帯発生の原因の説明>
 図34は、垂直ブランキング期間が制御されない場合に再撮システムで再撮される映像において黒帯が発生する原因を説明する図である。
 図34の横軸は、映像の表示時刻を表し、縦軸は、その表示時刻に表示される映像に対応する撮影部の受光面の画素の行の上からの行数を表している。図34の例では、ビデオウォールのフレームレートは120Hzであり、ビデオカメラのフレームレートは60Hzである。
 図34の例では、開角度が270度である場合、撮影部の受光面のL行目より上の行では、露光期間571内に垂直ブランキング期間が1回含まれるが、L行目より下の行では、露光期間571内に垂直ブランキング期間が2回含まれる。開角度が90度である場合、撮影部85の受光面のL行目より上の行では、露光期間571内に垂直ブランキング期間が含まれないが、L行目より下の行では、露光期間571内に垂直ブランキング期間が1回含まれる。
 ここで、垂直ブランキング期間では発光が行われない。従って、開角度が270度または90度である場合、ビデオカメラにより再撮されたL行目より下の行の画素の輝度は、L行目より上の行の画素の輝度に比べて低くなる。その結果、ビデオカメラにより再撮された映像のうち、L行目より下の行の映像が黒帯(Blackbelt)となる。
 なお、開角度が270度または90度である場合、発光開始タイミングをずらしても、必ず、露光期間571または572に含まれる垂直ブランキングの数が、行によって異なる。その結果、ビデオカメラにより再撮された映像には黒帯が発生する。
 一方、開角度が180度である場合、撮影部の受光面の全行において、露光期間571内に垂直ブランキング期間が1回含まれる。図示は省略するが、開角度が360度である場合、撮影部85の受光面の全行において、露光期間571内に垂直ブランキング期間が2回含まれる。従って、開角度が180度または360度である場合、黒帯は発生しない。
<制御モードの説明>
 図35および図36は、制御モードを説明する図である。
 図35および図36の横軸は、映像の表示時刻を表し、縦軸は、その表示時刻に表示される映像に対応する光で露光される撮影部85の受光面の画素の行の上からの行数を表している。図35および図36の例では、ビデオウォール503のフレームレートは120Hzであり、ビデオカメラ11のフレームレートは60Hzである。
 図35に示すように、例えば開角度が90度であり、撮影部85の一部の行の露光期間が垂直ブランキング期間を跨がず、残りの行の露光期間が1回の垂直ブランキング期間を跨ぐ場合、制御部522は、制御モードを、撮影部85の全ての行の露光期間内に偶数フレームの垂直ブランキング期間を含めない第1のモードに設定する。
 制御モードが第1のモードに設定された場合、LEDドライバ561は、隣接するフレームのうちの一方の奇数フレーム(第1のフレーム)の次のフレームである偶数フレーム(第2のフレーム)の発光開始タイミング(映像の表示開始時刻)を早めることにより、奇数フレームの垂直ブランキング期間を削除する。これにより、奇数フレームの表示期間581が垂直ブランキング期間だけ短縮され、偶数フレームの表示期間582が垂直ブランキング期間だけ延長される。
 以上のように、奇数フレームの垂直ブランキング期間が削除される場合、撮影部85の上から1行目の露光が開始されてから、最後の行の露光が終了する(シャッターが解放される)までの期間T、即ち幕速と露光時間の和の期間には垂直ブランキング期間が含まれなくなる。従って、撮影部85の全ての行の露光期間内に垂直ブランキング期間が含まれなくなる。その結果、ビデオカメラ11により再撮されたフレーム単位の映像信号において、輝度が低い画素の行が発生せず、黒帯が発生しない。
 一方、図36に示すように、例えば開角度が270度であり、撮影部85の一部の行の露光期間が1回の垂直ブランキング期間を跨ぎ、残りの行の露光期間が2回の垂直ブランキング期間を跨ぐ場合、制御部522は、制御モードを、撮影部85の全ての行の露光期間内に偶数フレームの垂直ブランキング期間を含める第2のモードに設定する。
 制御モードが第2のモードに設定された場合、LEDドライバ561は、第1のモードの場合と同様に、奇数フレームの垂直ブランキング期間を削除する。これにより、奇数フレームの表示期間591が垂直ブランキング期間だけ短縮され、偶数フレームの表示期間592が垂直ブランキング期間だけ延長される。そして、撮影部85の全ての行の露光期間571内に偶数フレームの垂直ブランキング期間が含まれるように、全フレームの発光開始時刻(表示開始時刻)を時間Dだけ後ろになるように変更する。
 これにより、撮影部85の全ての行の露光期間571内に偶数フレームの垂直ブランキング期間が含まれる。その結果、ビデオカメラ11により再撮されたフレーム単位の映像信号において、輝度が低い画素の行が発生せず、黒帯が発生しない。
 なお、全フレームの発光開始時刻は、例えば1フレーム区間までずらすことができる。例えば、フレームレートが120Hzである場合、全フレームの発光開始時刻は1/120秒までずらすことができる。
 制御部522は、幕速と露光時間に基づいて、撮影部85の一部の行の露光期間のみが1回の垂直ブランキング期間を跨ぐか、2回の垂直ブランキング期間を跨ぐかを判定する。そして、制御部522は、一部の行の露光期間のみが1回の垂直ブランキング期間を跨ぐと判定した場合、制御モードを第1のモードに設定する。制御部522は、一部の行の露光期間のみが2回の垂直ブランキング期間を跨ぐと判定した場合、制御モードを第2のモードにする。
<垂直ブランキング期間制御処理の説明>
 図37は、図30の垂直ブランキング期間制御部520の垂直ブランキング期間制御処理を説明するフローチャートである。この垂直ブランキング期間制御処理は、例えば、ビデオカメラ11の設定部82から露光時間が送信されてきたとき、開始される。
 図37のステップS331において、取得部521は、設定部82から送信され、PC501の通信部を介して受信された露光時間を取得し、その露光時間を制御部522に供給する。
 ステップS332において、制御部522は、ステップS331の処理により取得部521から供給される露光時間とビデオカメラ11の幕速とに基づいて、垂直ブランキング期間を削除する必要があるかどうかを判定する。具体的には、制御部522は、露光時間と幕速とに基づいて、撮影部85の全部の行の露光期間内に含まれる垂直ブランキング期間が同一であるかどうかを判定する。制御部522は、全部の行の露光期間内に含まれる垂直ブランキング期間が同一ではないと判定した場合、垂直ブランキング期間を削除する必要があると判定し、処理をステップS33に進める。
 ステップS333において、制御部522は、露光時間と幕速とに基づいて制御モードを設定する。具体的には、制御部522は、露光時間と幕速とに基づいて、撮影部85の一部の行の露光期間が垂直ブランキング期間を跨がず、残りの行の露光期間が1回の垂直ブランキング期間を跨ぐかどうかを判定する。制御部522は、一部の行の露光期間が垂直ブランキング期間を跨がず、残りの行の露光期間が1回の垂直ブランキング期間を跨ぐと判定した場合、制御モードを第1のモードに設定する。一方、一部の行の露光期間が垂直ブランキング期間を跨がず、残りの行の露光期間が1回の垂直ブランキング期間を跨ぐのではないと判定された場合、即ち一部の行の露光期間が1回の垂直ブランキング期間を跨ぎ、残りの行の露光期間が2回の垂直ブランキング期間を跨ぐ場合、制御部522は、制御モードを第2のモードに設定する。
 制御部522は、設定された制御モードを表す制御モードコマンドを生成することにより、垂直ブランキング期間を制御する。制御部522は、制御モードコマンドを送信制御部523に出力する。
 ステップS334において、送信制御部523は、ステップS333で制御部522から供給される制御モードコマンドをPC501の通信部に供給し、ビデオウォールコントローラ502への送信を指示することにより、制御モードコマンドをビデオウォールコントローラ502に送信させる。そして、処理は終了する。
 一方、ステップS332において、制御部522は、全部の行の露光期間内に含まれる垂直ブランキング期間が同一であると判定した場合、処理は終了する。
 以上のように、再撮システム500は、露光時間に基づいて、ビデオウォール503に表示される映像の垂直ブランキング期間を制御する。従って、ビデオウォール503を再撮する場合において黒帯の発生を防止することができる。
 なお、再撮システム500は、リフレッシュレート制御処理を行わなかったが、リフレッシュレート制御処理を行うようにしてもよい。この場合、リフレッシュレート制御処理は、露光期間内に垂直ブランキング期間が含まれるかどうかによって異なる。以下に、そのリフレッシュレート制御処理について説明する。
<リフレッシュレート制御処理の説明>
 図38および図39は、再撮システム500がリフレッシュレート制御処理を行う場合のリフレッシュレート制御処理を説明する図である。
 図38および図39において、横軸は発光時刻を表している。一番上の段は、ビデオウォール503に表示される映像の垂直同期信号を表している。上から2番目以降の段は、ビデオウォール503の上から30行分のLED241の各行の発光タイミングを表しており、図38および図39では上からi行目の行をLine#iと表記している。図38および図39では、LEDアレイ51を構成するLED241の行数が15行である。
 垂直ブランキング制御処理後において露光期間601内に垂直ブランキング期間が含まれない場合、図38に示すように、PC501(制御部)は、露光時間がLED241の発光周期の整数倍となるように、リフレッシュレートを決定する。図38の例では、露光時間が発光周期の7倍となっている。
 一方、垂直ブランキング制御処理後において露光期間602内に垂直ブランキング期間が1回含まれる場合、図39に示すように、PC501は、露光時間がLED241の発光周期の整数倍(N倍)と1回の垂直ブランキング期間の和となるように、リフレッシュレートを決定する。図38の例では、露光時間が発光周期の34倍と1回の垂直ブランキング期間との和になっており、1フレーム区間内のスキャン回数は32回である。
 なお、図示は省略するが、露光期間内に垂直ブランキング期間が2回含まれる場合、露光時間がLED241の発光周期の整数倍と2回の垂直ブランキング期間の和となるように、リフレッシュレートが決定される。
 PC501が、以上のようなリフレッシュレート制御処理を行う場合、第2実施の形態と同様に、リフレッシュレートに基づいて垂直ブランキング期間をさらに制御するようにしてもよい。
<リフレッシュレートに基づく垂直ブランキング期間の制御の説明>
 図40は、この場合のPC501によるリフレッシュレートに基づく垂直ブランキング期間の制御を説明する図である。
 図40において、横軸は発光時刻を表している。一番上の段は、ビデオウォール503に表示される映像の垂直同期信号を表している。上から2番目以降の段は、ビデオウォール503の上から30行分のLED241の各行の発光タイミングを表しており、図40では上からi行目の行をLine#iと表記している。図40の例では、LEDアレイ51を構成するLED241の行数が15行である。
 図40に示すように、露光期間611内に1回の垂直ブランキング期間が含まれる場合、PC501は、露光期間がLED241の発光周期の整数倍と1回の垂直ブランキング期間の和となるように垂直ブランキング期間を制御する。
 具体的には、まず、PC501は、露光期間がLED241の発光周期の整数倍と1回の垂直ブランキング期間の和となるようにリフレッシュレートを決定する。
 図40の例では、PC501は、露光時間が発光周期の33倍と1回の垂直ブランキング期間の和となるように、リフレッシュレートを決定している。これにより、全ての行において露光期間内のスキャン回数が33回となる。例えば、上から17行目の行においては、露光期間611内に最初の発光の全期間のうちの一部の期間621と、最後の発光の全期間のうちの一部の期間622が含まれる。期間621と期間622の和は1回の発光の全期間である。従って、ビデオカメラ11により再撮された、全行の画素の輝度は同一になる。その結果、ビデオカメラ11により再撮されたフレーム単位の映像において、輝度が低い画素の行が発生せず、黒帯が発生しない。
 次に、PC501は、決定されたリフレッシュレートに基づいて、1フレーム区間内の最後のスキャンが終了してから次のフレームの表示(発光)が開始されるまでの期間623を計算し、その期間623を垂直ブランキング期間に決定することにより、垂直ブランキングを制御する。
 一方、図示は省略するが、露光期間内に垂直ブランキング期間が含まれない場合、第2実施の形態と同様に、露光期間がLED241の発光周期の整数倍となるように垂直ブランキング期間を制御する。具体的には、PC401は、露光期間がLED241の発光周期の整数倍となるように決定されたリフレッシュレートに基づいて垂直ブランキングを制御する。
 再撮システム500では、露光期間に含まれる垂直ブランキング期間の回数の最大値が2回であったが、この回数は2回に限定されない。露光期間に含まれる垂直ブランキング期間の回数の最大値が2回以上である場合であっても、2回の場合と同様の処理を行うことにより、黒帯の発生を防止することができる。
 再撮システム400(500)では、ビデオカメラ11からPC401(501)に露光時間が送信されたが、ユーザがPC401(501)の入力部を操作して、ビデオカメラ11の露光時間を入力し、リフレッシュレート制御部130(垂直ブランキング期間制御部520)が、その露光時間を取得するようにしてもよい。
 再撮システム400(500)では、PC401(501)がリフレッシュレートや垂直ブランキング期間を制御したが、ビデオカメラ11がビデオウォールコントローラ402(502)やビデオウォール403(503)に露光時間を送信し、ビデオウォールコントローラ402(502)やビデオウォール403(503)の少なくとも一部が、リフレッシュレート制御部130や垂直ブランキング期間制御部420(520)として機能するようにしてもよい。
 第1乃至第3実施の形態では、PC62(401,501)はビデオカメラ11と同軸ケーブルなどの有線を介して信号をやり取りするものとするが、無線通信でやり取りするようにしてもよい。同様にPC62(401,501)は、ビデオウォールコントローラ63(402,502)とLANケーブルなどの有線を介して信号をやり取りするものとするが、無線通信でやり取りするようにしてもよい。
 上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアによって実行することもできる。
 再撮システム10(400,500)は、複数のビデオウォールコントローラ63(402,502)を設け、各ビデオウォールコントローラ63(402,502)がビデオウォール12(403,503)を分割して制御するようにしてもよい。ビデオウォール12(403,503)が1つの表示ユニット41(411,511)から構成される場合には、ビデオウォールコントローラ63(402,502)は設けられなくてもよい。この場合、ビデオサーバ61から出力されるフレーム単位の映像信号とPC62(401,501)から出力される制御コマンドは、直接ビデオウォール12(403,503)に入力される。
 本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)、処理等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、1つの筐体の中に複数のモジュールが収納されている1つの装置、および複数の処理を行うプロセッシングユニットは、いずれも、システムである。
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である
 例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
 例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
 本技術は、以下の構成を取ることができる。
 (1)
 表示部を撮影する撮影部の露光時間に基づいて、前記表示部に表示される映像の垂直ブランキング期間を制御する制御部
 を備える情報処理システム。
 (2)
 前記制御部は、前記露光時間に基づいて、前記映像の隣接する2つのフレームのうちの一方のフレームである第1のフレームの前記垂直ブランキング期間を削除する
 ように構成された
 前記(1)に記載の情報処理システム。
 (3)
 前記制御部は、前記第1のフレームの次のフレームである第2のフレームの表示開始時刻を早めることにより、前記第1のフレームの前記垂直ブランキング期間を削除する
 ように構成された
 前記(2)に記載の情報処理システム。
 (4)
 前記制御部は、前記第2のフレームの前記垂直ブランキング期間を前記第1のフレームの前記垂直ブランキング期間だけ延長する
 ように構成された
 前記(3)に記載の情報処理システム。
 (5)
 前記制御部は、前記露光時間に基づいて、前記映像の全フレームの表示開始時刻を変更することにより、前記映像の全ての行の露光期間内に前記第2のフレームの前記垂直ブランキング期間を含める
 ように構成された
 前記(3)または(4)に記載の情報処理システム。
 (6)
 前記制御部は、前記撮影部の幕速と前記露光時間に基づいて、前記映像の全ての行の前記露光期間内に前記第2のフレームの前記垂直ブランキング期間を含める
 ように構成された
 前記(5)に記載の情報処理システム。
 (7)
 前記制御部は、前記撮影部の幕速と前記露光時間に基づいて、現在のモードを、前記映像の全ての行の前記露光期間内に前記第2のフレームの前記垂直ブランキング期間を含めない第1のモード、または、前記映像の全ての行の前記露光期間内に前記第2のフレームの前記垂直ブランキング期間を含める第2のモードに設定する
 ように構成された
 前記(6)に記載の情報処理システム。
 (8)
 前記制御部は、前記現在のモードを前記第2のモードに設定した場合、前記映像の全ての行の前記露光期間内に前記第2のフレームの前記垂直ブランキング期間を含める
 ように構成された
 前記(7)に記載の情報処理システム。
 (9)
 前記制御部は、前記露光時間が前記表示部の発光周期の整数倍となるように前記垂直ブランキング期間を制御する
 ように構成された
 前記(1)に記載の情報処理システム。
 (10)
 前記制御部は、前記撮影部の露光期間内に前記垂直ブランキング期間が含まれない場合、前記露光時間が前記表示部の発光周期の整数倍となるように前記垂直ブランキング期間を制御する
 ように構成された
 前記(9)に記載の情報処理システム。
 (11)
 前記制御部は、前記露光期間内に前記垂直ブランキング期間が含まれない場合、前記露光時間が前記表示部の発光周期の整数倍となるように前記表示部のリフレッシュレートを決定し、前記リフレッシュレートに基づいて前記垂直ブランキング期間を制御する
 ように構成された
 前記(10)に記載の情報処理システム。
 (12)
 前記制御部は、前記撮影部の露光期間内に前記垂直ブランキング期間が含まれる場合、前記露光時間が前記表示部の発光周期の整数倍と前記垂直ブランキング期間の和となるように前記垂直ブランキング期間を制御する
 ように構成された
 前記(9)または(10)に記載の情報処理システム。
 (13)
 前記制御部は、前記露光期間内に前記垂直ブランキング期間が含まれる場合、前記露光時間が前記表示部の発光周期の整数倍と前記垂直ブランキング期間の和となるようにリフレッシュレートを決定し、前記リフレッシュレートに基づいて前記垂直ブランキング期間を制御する
 ように構成された
 前記(12)に記載の情報処理システム。
 (14)
 前記露光時間を取得する取得部
 をさらに備える
 前記(1)乃至(13)のいずれかに記載の情報処理システム。
 (15)
 複数の表示ユニットから構成される前記表示部に表示するための映像信号を取得する入力部と、
 前記映像信号を、前記表示部のそれぞれの表示ユニットに表示するための映像信号へ分割する分割部と、
 前記垂直ブランキング期間を制御する制御信号と分割された前記映像信号を前記表示ユニットに出力する出力部と
 をさらに備え、
 前記制御部は、前記制御信号を生成することにより、前記垂直ブランキング期間を制御する
 ように構成された
 前記(1)乃至(14)のいずれかに記載の情報処理システム。
 (16)
 前記制御部は、第1の機器上に設けられ、
 前記入力部、前記分割部、および前記出力部は、前記第1の機器とは異なる第2の機器上に設けられ、
 前記制御部は、前記第2の機器に前記制御信号を出力する
 ように構成された
 前記(15)に記載の情報処理システム。
 (17)
 前記制御部、前記入力部、前記分割部、および前記出力部は、同一の機器上に設けられる
 ように構成された
 前記(15)に記載の情報処理システム。
 (18)
 前記制御部による前記垂直ブランキング期間の制御にしたがって駆動するように構成された前記表示部
 をさらに備える
 前記(1)乃至(17)のいずれかに記載の情報処理システム。
 (19)
 前記表示部は、パッシブマトリクス駆動方式で発光し、
 前記撮影部は、ローリングシャッタ方式で撮影を行う
 ように構成された
 前記(1)乃至(18)のいずれかに記載の情報処理システム。
 (20)
 情報処理システムが、
 表示部を撮影する撮影部の露光時間に基づいて、前記表示部に表示される映像の垂直ブランキング期間を制御する制御ステップ
 を含む情報処理方法。
 11 ビデオカメラ, 131 取得部, 152 HDMI端子, 153 DP端子, 154 DVI端子, 160 分配部, 161-1乃至161-n 信号出力IF, 400 再撮システム, 401 PC, 402 ビデオウォールコントローラ, 403 ビデオウォール, 411 表示ユニット, 422 制御部, 500 再撮システム, 501 PC, 502 ビデオウォールコントローラ, 503 ビデオウォール, 511 表示ユニット, 521 取得部, 522 制御部

Claims (20)

  1.  表示部を撮影する撮影部の露光時間に基づいて、前記表示部に表示される映像の垂直ブランキング期間を制御する制御部
     を備える情報処理システム。
  2.  前記制御部は、前記露光時間に基づいて、前記映像の隣接する2つのフレームのうちの一方のフレームである第1のフレームの前記垂直ブランキング期間を削除する
     ように構成された
     請求項1に記載の情報処理システム。
  3.  前記制御部は、前記第1のフレームの次のフレームである第2のフレームの表示開始時刻を早めることにより、前記第1のフレームの前記垂直ブランキング期間を削除する
     ように構成された
     請求項2に記載の情報処理システム。
  4.  前記制御部は、前記第2のフレームの前記垂直ブランキング期間を前記第1のフレームの前記垂直ブランキング期間だけ延長する
     ように構成された
     請求項3に記載の情報処理システム。
  5.  前記制御部は、前記露光時間に基づいて、前記映像の全フレームの表示開始時刻を変更することにより、前記撮影部の全ての行の露光期間内に前記第2のフレームの前記垂直ブランキング期間を含める
     ように構成された
     請求項3に記載の情報処理システム。
  6.  前記制御部は、前記撮影部の幕速と前記露光時間に基づいて、前記撮影部の全ての行の前記露光期間内に前記第2のフレームの前記垂直ブランキング期間を含める
     ように構成された
     請求項5に記載の情報処理システム。
  7.  前記制御部は、前記撮影部の幕速と前記露光時間に基づいて、現在のモードを、前記撮影部の全ての行の前記露光期間内に前記第2のフレームの前記垂直ブランキング期間を含めない第1のモード、または、前記撮影部の全ての行の前記露光期間内に前記第2のフレームの前記垂直ブランキング期間を含める第2のモードに設定する
     ように構成された
     請求項6に記載の情報処理システム。
  8.  前記制御部は、前記現在のモードを前記第2のモードに設定した場合、前記撮影部の全ての行の前記露光期間内に前記第2のフレームの前記垂直ブランキング期間を含める
     ように構成された
     請求項7に記載の情報処理システム。
  9.  前記制御部は、前記露光時間が前記表示部の発光周期の整数倍となるように前記垂直ブランキング期間を制御する
     ように構成された
     請求項1に記載の情報処理システム。
  10.  前記制御部は、前記撮影部の露光期間内に前記垂直ブランキング期間が含まれない場合、前記露光時間が前記表示部の発光周期の整数倍となるように前記垂直ブランキング期間を制御する
     ように構成された
     請求項9に記載の情報処理システム。
  11.  前記制御部は、前記露光期間内に前記垂直ブランキング期間が含まれない場合、前記露光時間が前記表示部の発光周期の整数倍となるように前記表示部のリフレッシュレートを決定し、前記リフレッシュレートに基づいて前記垂直ブランキング期間を制御する
     ように構成された
     請求項10に記載の情報処理システム。
  12.  前記制御部は、前記撮影部の露光期間内に前記垂直ブランキング期間が含まれる場合、前記露光時間が前記表示部の発光周期の整数倍と前記垂直ブランキング期間の和となるように前記垂直ブランキング期間を制御する
     ように構成された
     請求項9に記載の情報処理システム。
  13.  前記制御部は、前記露光期間内に前記垂直ブランキング期間が含まれる場合、前記露光時間が前記表示部の発光周期の整数倍と前記垂直ブランキング期間の和となるようにリフレッシュレートを決定し、前記リフレッシュレートに基づいて前記垂直ブランキング期間を制御する
     ように構成された
     請求項12に記載の情報処理システム。
  14.  前記露光時間を取得する取得部
     をさらに備える
     請求項1に記載の情報処理システム。
  15.  複数の表示ユニットから構成される前記表示部に表示するための映像信号を取得する入力部と、
     前記映像信号を、前記表示部のそれぞれの表示ユニットに表示するための映像信号へ分割する分割部と、
     前記垂直ブランキング期間を制御する制御信号と分割された前記映像信号を前記表示ユニットに出力する出力部と
     をさらに備え、
     前記制御部は、前記制御信号を生成することにより、前記垂直ブランキング期間を制御する
     ように構成された
     請求項1に記載の情報処理システム。
  16.  前記制御部は、第1の機器上に設けられ、
     前記入力部、前記分割部、および前記出力部は、前記第1の機器とは異なる第2の機器上に設けられ、
     前記制御部は、前記第2の機器に前記制御信号を出力する
     ように構成された
     請求項15に記載の情報処理システム。
  17.  前記制御部、前記入力部、前記分割部、および前記出力部は、同一の機器上に設けられる
     ように構成された
     請求項15に記載の情報処理システム。
  18.  前記制御部による前記垂直ブランキング期間の制御にしたがって駆動するように構成された前記表示部
     をさらに備える
     請求項1に記載の情報処理システム。
  19.  前記表示部は、パッシブマトリクス駆動方式で発光し、
     前記撮影部は、ローリングシャッタ方式で撮影を行う
     ように構成された
     請求項1に記載の情報処理システム。
  20.  情報処理システムが、
     表示部を撮影する撮影部の露光時間に基づいて、前記表示部に表示される映像の垂直ブランキング期間を制御する制御ステップ
     を含む情報処理方法。
PCT/JP2022/035333 2021-10-04 2022-09-22 情報処理システムおよび情報処理方法 WO2023058465A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CA3230091A CA3230091A1 (en) 2021-10-04 2022-09-22 Information processing system and information processing method
JP2023552794A JPWO2023058465A1 (ja) 2021-10-04 2022-09-22
KR1020247009183A KR20240073868A (ko) 2021-10-04 2022-09-22 정보 처리 시스템 및 정보 처리 방법
CN202280066068.2A CN118043877A (zh) 2021-10-04 2022-09-22 信息处理***和信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-163394 2021-10-04
JP2021163394 2021-10-04

Publications (1)

Publication Number Publication Date
WO2023058465A1 true WO2023058465A1 (ja) 2023-04-13

Family

ID=85804193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035333 WO2023058465A1 (ja) 2021-10-04 2022-09-22 情報処理システムおよび情報処理方法

Country Status (6)

Country Link
JP (1) JPWO2023058465A1 (ja)
KR (1) KR20240073868A (ja)
CN (1) CN118043877A (ja)
CA (1) CA3230091A1 (ja)
TW (1) TW202319825A (ja)
WO (1) WO2023058465A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184445A (ja) * 1997-12-24 1999-07-09 Hitachi Ltd ディスプレイ装置の表示画像撮像方法及び画像表示性能検査方法とその装置
JP2017083788A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 表示装置及び表示装置の制御方法
WO2018164105A1 (ja) 2017-03-06 2018-09-13 ソニーセミコンダクタソリューションズ株式会社 駆動装置および表示装置
JP2019134206A (ja) * 2018-01-29 2019-08-08 キヤノン株式会社 投影装置および投影装置の制御方法
CN112565620A (zh) * 2020-11-26 2021-03-26 京东方科技集团股份有限公司 显示屏幕的光学补偿方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184445A (ja) * 1997-12-24 1999-07-09 Hitachi Ltd ディスプレイ装置の表示画像撮像方法及び画像表示性能検査方法とその装置
JP2017083788A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 表示装置及び表示装置の制御方法
WO2018164105A1 (ja) 2017-03-06 2018-09-13 ソニーセミコンダクタソリューションズ株式会社 駆動装置および表示装置
JP2019134206A (ja) * 2018-01-29 2019-08-08 キヤノン株式会社 投影装置および投影装置の制御方法
CN112565620A (zh) * 2020-11-26 2021-03-26 京东方科技集团股份有限公司 显示屏幕的光学补偿方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
TW202319825A (zh) 2023-05-16
JPWO2023058465A1 (ja) 2023-04-13
CN118043877A (zh) 2024-05-14
CA3230091A1 (en) 2023-04-13
KR20240073868A (ko) 2024-05-27

Similar Documents

Publication Publication Date Title
US10547794B2 (en) Solid-state imaging apparatus and method of operating solid-state imaging apparatus to set a pluratlity of charge accumulation periods in accordance with a flicker period
US5408268A (en) Video imaging system and method using a single full frame sensor and sequential color object illumination
JP4948090B2 (ja) 撮像装置及び駆動制御方法
US20170329208A1 (en) Information processing apparatus and method
US7889238B2 (en) Multicamera system, image pickup apparatus, controller, image pickup control method, image pickup apparatus control method, and image pickup method
JP6950698B2 (ja) 撮像制御装置、撮像制御方法および撮像装置
JP2010114834A (ja) 撮像装置
WO2019225071A1 (ja) 信号処理装置及び信号処理方法、並びに撮像装置
JP2014032159A (ja) 投影撮像システム及び投影撮像システムの制御方法
US20170142383A1 (en) Projection apparatus, method for controlling the same, and projection system
WO2023058465A1 (ja) 情報処理システムおよび情報処理方法
WO2023047641A1 (ja) 情報処理システムおよび情報処理方法
JP2009135792A (ja) 撮像装置および画像信号処理方法
US9407822B2 (en) Image capturing apparatus capable of reducing time taken to display image on display and method of controlling the same
WO2023100680A1 (ja) 情報処理システムおよび情報処理方法
JP2011176622A (ja) 撮像装置
JP7234015B2 (ja) 撮像装置およびその制御方法
JP7209195B2 (ja) 表示装置および表示方法
JP2002244633A (ja) 大型映像表示装置
JP2016096551A (ja) 撮像装置
US20240203322A1 (en) Drive Control Device, Drive Control Method, Information Processing System, And Information Processing Method For Information Processing System
JP2000165752A (ja) 固体撮像装置の信号処理方法及び固体撮像装置
JP2012039231A (ja) 撮像装置
JP2023136450A (ja) 画像補正装置、撮像システム、制御方法、並びにプログラム
JP5846277B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878336

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 3230091

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2023552794

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022878336

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022878336

Country of ref document: EP

Effective date: 20240506