WO2011111296A1 - 撮影装置および情報検出方法 - Google Patents

撮影装置および情報検出方法 Download PDF

Info

Publication number
WO2011111296A1
WO2011111296A1 PCT/JP2011/000655 JP2011000655W WO2011111296A1 WO 2011111296 A1 WO2011111296 A1 WO 2011111296A1 JP 2011000655 W JP2011000655 W JP 2011000655W WO 2011111296 A1 WO2011111296 A1 WO 2011111296A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
light
information
shooting
image
Prior art date
Application number
PCT/JP2011/000655
Other languages
English (en)
French (fr)
Inventor
荒川 賢治
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180011633.7A priority Critical patent/CN102783134B/zh
Priority to JP2012504291A priority patent/JP5821019B2/ja
Publication of WO2011111296A1 publication Critical patent/WO2011111296A1/ja
Priority to US13/600,510 priority patent/US8982233B2/en
Priority to US14/617,029 priority patent/US9432573B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • the present invention relates to a photographing apparatus for photographing in an environment irradiated with illumination light.
  • Patent Document 1 discloses a photographing apparatus that restricts the use of the apparatus by restricting a photographing function with respect to a photographing target that emits a light pattern that changes with time (hereinafter, conventional photographing Device).
  • a conventional photographing apparatus controls the photographing apparatus by detecting a control ID as information superimposed on light.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a photographing apparatus or the like that can detect information superimposed on light at a low cost.
  • a photographing apparatus photographs a subject irradiated with illumination light on which information is superimposed.
  • the imaging device includes an imaging element unit that converts light from the subject into a video signal, and a light / dark pattern detected from the video signal converted by the imaging element unit, thereby obtaining the information superimposed on the illumination light.
  • a light pattern detection unit to detect, a comparison unit that compares the detection information that is the information detected by the light pattern detection unit with predetermined determination information, and a specific image according to a comparison result by the comparison unit
  • the display part which displays.
  • the image sensor section converts light from the subject into a video signal.
  • the light pattern detection unit detects information superimposed on the illumination light by detecting a light / dark pattern from the video signal. That is, a dedicated light receiving element for detecting information superimposed on the light is not required other than the image pickup element unit that converts light into a video signal. Therefore, detection of information superimposed on light can be realized at low cost.
  • the image pickup device unit converts light from the subject into the video signal using a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and the video signal indicates RAW data corresponding to a picture.
  • the light pattern detection unit calculates luminance values of a plurality of pixels constituting a picture corresponding to the RAW data using the RAW data, and the light pattern detection unit calculates a plurality of luminance values corresponding to the picture. Is detected as the light / dark pattern.
  • the image sensor unit converts light from the subject into the video signal using a CCD (Charge-Coupled Device) image sensor, and the video signal includes a plurality of pictures each corresponding to a plurality of pictures.
  • CCD Charge-Coupled Device
  • the light pattern detection unit calculates luminance values of a plurality of pixels constituting a picture corresponding to the RAW data using the RAW data, and the light pattern detection unit The state of each luminance value corresponding to each of the above is detected as the light / dark pattern.
  • the video signal indicates RAW data corresponding to a picture
  • the photographing apparatus further uses the RAW data to determine luminance values of a plurality of pixels constituting a picture corresponding to the RAW data.
  • An image processing unit for calculating is provided, and the light pattern detection unit detects a plurality of luminance value states corresponding to the picture as the light / dark pattern.
  • the comparison unit determines whether or not the detection information and the determination information match by comparing the detection information with the determination information, and the display unit includes the detection information. If the determination information matches the determination information, the specific image is displayed. If the detection information does not match the determination information, the specific image is not displayed.
  • a storage unit for storing the determination information is provided.
  • the determination information indicates an instruction for prohibiting photographing
  • the photographing apparatus further performs photographing as an operation mode of the photographing apparatus when the detection information matches the determination information.
  • a mode setting unit for setting a photographing prohibition mode that is not permitted is provided, and the specific image indicates that photographing is prohibited.
  • the photographing apparatus further includes a flash light emitting unit for emitting flash light, and the determination information indicates an instruction for prohibiting emission of the flash light at the time of photographing, and the photographing apparatus Further includes a light emission control unit that controls the flash light emission unit to turn off the light emission of the flash light at the time of shooting when the detection information matches the determination information, and the specific image is the flash Indicates that light emission is prohibited.
  • a flash light emitting unit for emitting flash light
  • the determination information indicates an instruction for prohibiting emission of the flash light at the time of photographing
  • the photographing apparatus Further includes a light emission control unit that controls the flash light emission unit to turn off the light emission of the flash light at the time of shooting when the detection information matches the determination information, and the specific image is the flash Indicates that light emission is prohibited.
  • the determination information indicates an instruction for increasing the ISO sensitivity at the time of shooting
  • the imaging device further sets the ISO sensitivity at the time of shooting when the detection information matches the determination information.
  • An ISO sensitivity changing unit that performs control to increase is provided.
  • the photographing apparatus further includes an auxiliary light unit that emits auxiliary light for assisting autofocus, and the determination information includes an instruction for turning off the auxiliary light during photographing.
  • the imaging apparatus further includes an auxiliary light control unit that controls the auxiliary light unit to turn off the emission of the auxiliary light during imaging when the detection information matches the determination information.
  • the determination information indicates an instruction for prohibiting shooting of a still image
  • the shooting apparatus further sets an operation mode of the shooting apparatus when the detection information matches the determination information.
  • a mode setting unit for setting a still image shooting prohibition mode in which still image shooting is not permitted.
  • the determination information indicates an instruction for prohibiting shooting of a moving image
  • the shooting apparatus further sets an operation mode of the shooting apparatus when the detection information and the determination information match.
  • a mode setting unit is provided for setting a moving image shooting prohibition mode in which moving image shooting is not permitted.
  • the determination information indicates an instruction for prohibiting the output of the shutter sound
  • the photographing apparatus further includes a speaker for outputting sound
  • the detection information matches the determination information.
  • a shutter sound control unit that controls the speaker not to output sound as the shutter sound.
  • the photographing apparatus further includes a mechanical shutter unit for changing an exposure time by opening and closing a mechanical shutter, and the determination information indicates an instruction for opening the mechanical shutter, and the photographing apparatus Further includes a mechanical shutter control unit that controls the mechanical shutter unit to open the mechanical shutter when the detection information matches the determination information.
  • the determination information indicates an instruction to reduce the luminance of the image
  • the photographing apparatus further determines the luminance of the image being displayed by the display unit when the detection information matches the determination information.
  • a display control unit that performs control to be lowered is provided.
  • the determination information indicates an instruction to lower the brightness of the image
  • the photographing apparatus further includes an EVF (Electronic View Finder) for displaying the image, and the detection information matches the determination information.
  • EVF Electronic View Finder
  • a display control unit that performs control to reduce brightness of an image being displayed at least one of the display unit and the EVF.
  • the imaging device further includes an operation unit that accepts an operation from outside, a status notification unit for emitting status light for notifying an operation state of the imaging device, and the operation unit, A status notification control unit that controls the status notification unit to blink the status light at a predetermined period corresponding to the operation state of the imaging device when an operation for notifying the operation state of the imaging device is received; Prepare.
  • the status notification unit can grasp the operation state of the photographing apparatus by blinking the status light at a predetermined cycle.
  • the determination information indicates an instruction for prohibiting shooting of a still image
  • the display unit displays a moving image as an operation mode of the shooting device when the detection information matches the determination information.
  • the specific image for prompting whether or not to set a moving image shooting mode for shooting is displayed.
  • the determination information indicates an instruction for prohibiting the shooting of a moving image
  • the display unit displays a still image as an operation mode of the shooting device when the detection information matches the determination information.
  • the specific image for prompting whether or not to set a still image shooting mode for shooting is displayed.
  • the information detection method is performed by a photographing apparatus that photographs a subject irradiated with illumination light on which information is superimposed.
  • the imaging apparatus includes an imaging element unit that converts light from the subject into a video signal and a display unit for displaying an image, and the information detection method includes the video signal converted by the imaging element unit.
  • all or some of a plurality of components constituting such an imaging apparatus may be realized as a system LSI (Large Scale Integration).
  • the present invention may be realized as an information detection method in which the operation of a characteristic component included in the photographing apparatus is a step.
  • the present invention may also be realized as a program that causes a computer to execute each step included in such an information detection method.
  • the present invention may be realized as a computer-readable recording medium that stores such a program.
  • the program may be distributed via a transmission medium such as the Internet.
  • detection of information superimposed on light can be realized at low cost.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging system according to the first embodiment.
  • FIG. 2 is a diagram for explaining light emitted by the straight tube fluorescent lamp.
  • FIG. 3 is a diagram for explaining a method of superimposing information on illumination light.
  • FIG. 4 is a block diagram illustrating a configuration of the photographing apparatus.
  • FIG. 5 is a diagram illustrating a determination information table as an example.
  • FIG. 6 is a diagram illustrating an instruction information table as an example.
  • FIG. 7 is a block diagram illustrating a functional configuration of the processing unit.
  • FIG. 8 is a flowchart of the illumination handling process.
  • FIG. 9 is a diagram illustrating a picture as an example.
  • FIG. 10 is a diagram for explaining a method of detecting information superimposed on illumination light using a plurality of pictures.
  • FIG. 11 is a flowchart of the imaging assistance control process.
  • FIG. 12 is a flowchart of the mode switching control process.
  • FIG. 13 is a diagram illustrating a specific image as an example.
  • FIG. 14 is a diagram illustrating a specific image as an example.
  • FIG. 15 is a flowchart of the display control process.
  • FIG. 16 is a block diagram illustrating a configuration of an imaging system according to a modification of the first embodiment.
  • FIG. 17 is a block diagram illustrating a configuration of the photographing apparatus.
  • FIG. 18 is a flowchart of the illumination handling process A.
  • FIG. 19 is a diagram for explaining a method of superimposing information on illumination light.
  • FIG. 19 is a diagram for explaining a method of superimposing information on illumination light.
  • FIG. 20 is a diagram for explaining a method of superimposing information on illumination light.
  • FIG. 21 is a diagram for explaining a method for detecting a light / dark pattern of a specific period superimposed on illumination light using a plurality of pictures.
  • FIG. 22 is a block diagram illustrating a characteristic functional configuration of the photographing apparatus.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging system 1000 according to the first embodiment.
  • the photographing system 1000 includes an illumination 50 and a photographing device 100.
  • the photographing apparatus 100 is a digital camera such as a digital still camera or a digital video camera.
  • the illumination 50 irradiates light superimposed with information, details of which will be described later.
  • the light irradiated by the illumination 50 is referred to as illumination light.
  • the illumination 50 is a straight tube fluorescent lamp that operates with an AC voltage.
  • the illumination light is applied to a subject (for example, a person) in the vicinity of the illumination 50.
  • the photographing apparatus 100 receives light L10 emitted from a subject irradiated with illumination light.
  • the illumination 50 is not limited to a straight tube fluorescent lamp, but may be an LED (Light Emitting Diode) illumination, an inverter type fluorescent lamp, etc., which will be described later.
  • the illumination 50 irradiates illumination light using an AC voltage supplied from a commercial power source (not shown).
  • FIG. 2 is a diagram for explaining light emitted by a straight tube fluorescent lamp.
  • FIG. 2A is a diagram showing a waveform of an AC voltage.
  • the frequency of the AC voltage is 60 Hz.
  • 60 Hz is the frequency of the AC power supply mainly supplied in the western Japan region.
  • the frequency of the AC voltage may be 24 Hz, 50 Hz, 59.94 Hz, 120 Hz, or the like.
  • FIG. 2B is a diagram showing a change in the amount of illumination light emitted by the straight tube fluorescent lamp operating with the AC voltage in FIG.
  • the period of change in the amount of illumination light emitted by the straight tube fluorescent lamp is referred to as a low frequency illumination period.
  • the low frequency illumination period corresponds to the power supply frequency (for example, 60 Hz) of the shooting location (for example, the western Japan region).
  • the low frequency illumination cycle is T / 2 seconds, where one cycle of the AC voltage in FIG. 2A is T seconds.
  • the light amount at the position intersecting the horizontal axis is not 0, but indicates a small amount of light. The same applies to the amount of light shown in the drawings described later.
  • FIG. 2 (c) is an image diagram showing the change in the amount of light in FIG. 2 (b).
  • the part near white shows that the light which a straight tube
  • the illumination 50 has a power supply control circuit (not shown).
  • a method of superimposing information on the illumination light when the illumination 50 is a straight tube fluorescent lamp will be described.
  • the power supply control circuit of the illumination 50 superimposes information on the illumination light by changing the waveform of the AC voltage used for irradiating light.
  • FIG. 3 is a diagram for explaining a method of superimposing information on illumination light.
  • FIG. 3A is a diagram illustrating an example of a waveform of an alternating voltage in which the waveform is changed.
  • the power supply control circuit of the illumination 50 can generate an AC voltage having a waveform as shown in FIG.
  • the power supply voltage in the period ⁇ is 0V.
  • the illumination 50 may generate an alternating voltage having a waveform as shown in FIG. 3A by a method of changing the light emission method.
  • FIG. 3B is a diagram showing a change in the amount of light irradiated by the illumination 50 using the AC voltage in FIG. 3B, for example, by defining a period in which the luminance is 0 as “1” and defining a period in which the luminance is not 0 as “0”, information can be superimposed on the illumination light.
  • the present invention is not limited to this, and information may be superimposed on illumination light by defining a period in which the luminance is 0 as “0” and a period in which the luminance is not 0 as “1”.
  • the illumination 50 can superimpose information on the illumination light by generating a waveform corresponding to the period ⁇ in FIG.
  • information may be superimposed on the illumination light in an arbitrary period, for example, other than defining the period in which the information is superimposed on the illumination light according to the period of the AC voltage.
  • FIG. 3 (c) is an image diagram showing the change in the amount of light in FIG. 3 (b).
  • FIG. 4 is a block diagram showing a configuration of the photographing apparatus 100.
  • the imaging apparatus 100 includes a mechanical shutter unit 111, an image sensor unit 112, an image processing unit 120, an EVF (Electronic View Finder) 131, a display unit 132, and a storage unit 143. Prepare.
  • the mechanical shutter unit 111 includes a mechanical shutter for blocking light from the outside.
  • the mechanical shutter unit 111 opens or closes the mechanical shutter according to an instruction from the outside.
  • the mechanical shutter unit 111 changes the exposure time by opening and closing the mechanical shutter.
  • the exposure time due to the operation of the mechanical shutter of the mechanical shutter unit 111 is referred to as a mechanical exposure time.
  • the image sensor unit 112 includes an image sensor and an AD conversion unit.
  • the image sensor is a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • the image sensor has an electronic shutter.
  • the image sensor unit 112 can change the exposure time by controlling the electronic shutter. Below, the exposure time by control of an electronic shutter is called electronic exposure time.
  • Each of the CMOS image sensor and the CCD image sensor includes a plurality of color filters arranged in a matrix.
  • the arrangement of the plurality of color filters is a Bayer arrangement.
  • the arrangement of the plurality of color filters is not limited to the Bayer arrangement, and may be another arrangement.
  • the AD converter converts analog signals into digital signals.
  • the image sensor of the image sensor unit 112 receives the light L10.
  • the image sensor unit 112 converts the received light L10 into an electric signal by an image sensor, and converts the electric signal into an s (natural number) bit digital signal (hereinafter referred to as a video signal) by an AD converter.
  • the video signal is a signal indicating RAW data corresponding to each of a plurality of pictures constituting a moving image.
  • the number of pictures per second in the moving image varies depending on the electronic exposure time. For example, when the electronic exposure time is 1/30 seconds, the number of pictures per second in the moving image is 30. In this case, the RAW data indicated by the video signal changes every 1/30 seconds.
  • the image sensor unit 112 transmits the video signal to the image processing unit 120 and the light pattern detection unit 141.
  • the image processing unit 120 performs image processing N.
  • the image processing unit 120 performs demosaic processing on each RAW data indicated by the received video signal. Thereby, the image processing unit 120 obtains RGB data corresponding to each RAW data. Then, the image processing unit 120 performs a color conversion process for obtaining a luminance signal and a color difference signal from each RGB data, thereby obtaining a luminance signal (Y) and a color difference signal (C) corresponding to each RGB data.
  • the image processing unit 120 transmits the luminance signal and the color difference signal to the EVF 131 and the display unit 132.
  • the image processing N processes such as white balance adjustment, gamma correction, gain correction, distortion correction, and enlargement / reduction zoom are performed as necessary.
  • the RGB data obtained by the image processing N may be transmitted to the EVF 131 and the display unit 132.
  • the EVF 131 has a small LCD (Liquid Crystal Display) that displays an image using a backlight.
  • the EVF 131 displays an image using the LCD.
  • the EVF 131 may have a display device other than the LCD.
  • the EVF 131 displays an image based on the luminance signal and the color difference signal (or RGB data) transmitted from the image processing unit 120.
  • the display unit 132 is an LCD that displays an image using a backlight.
  • the display unit 132 displays an image.
  • the display unit 132 may be a display device other than the LCD.
  • the display unit 132 displays an image based on the luminance signal and the color difference signal (or RGB data) transmitted from the image processing unit 120.
  • the storage unit 143 is a nonvolatile memory. Note that the storage unit 143 may be a volatile memory (for example, SRAM). The information stored in the storage unit 143 may be information read from a ROM (not shown) and stored in the storage unit 143.
  • the storage unit 143 stores a determination information table T100 for detecting information superimposed on the illumination light.
  • the process in which the determination information table T100 is stored in the storage unit 143 does not matter.
  • the determination information table T100 may be stored in the storage unit 143 via a recording medium.
  • the determination information table T100 transmitted via a communication line or the like may be stored in the storage unit 143.
  • the determination information table T100 input via the input device may be stored in the storage unit 143.
  • FIG. 5 is a diagram showing a determination information table T100 as an example.
  • “number” is a number for specifying “determination code”.
  • the “determination code” is determination information for detecting information superimposed on the illumination light.
  • the determination code is expressed as a binary number as an example.
  • the determination code is not limited to binary numbers, and may be expressed by other symbols (for example, alphabets).
  • instruction is an instruction corresponding to a corresponding determination code. Although details will be described later, the photographing apparatus 100 performs processing in accordance with the instruction.
  • the illumination 50 stores an instruction information table T50 indicating some or all of the plurality of instruction codes shown in the determination information table T100.
  • FIG. 6 is a diagram showing an instruction information table T50 as an example.
  • “number” is a number for specifying “instruction code”.
  • the “instruction code” is instruction information for controlling the photographing apparatus 100.
  • the instruction code is expressed by a binary number.
  • the instruction code is not limited to binary numbers, and may be expressed by other symbols (for example, alphabets).
  • instruction is an instruction corresponding to the corresponding instruction code.
  • the instruction information table T50 shows a plurality of instruction codes as instruction information, but only one instruction code may be shown.
  • the illumination 50 irradiates the illumination light by superimposing all the instruction codes shown in the instruction information table T50 on the illumination light, for example, by the method described in FIG. All the instruction codes shown in the instruction information table T50 are repeatedly superimposed on the illumination light emitted by the illumination 50 continuously in a predetermined cycle.
  • instruction code superimposed on the illumination light may be a part of the instruction codes instead of all the instruction codes shown in the instruction information table T50.
  • the imaging apparatus 100 further includes a light pattern detection unit 141, a comparison unit 142, a processing unit 150, an operation unit 170, a flash light emission unit 171, an auxiliary light unit 172, A speaker 181 and a status notification unit 182 are provided.
  • the light pattern detection unit 141 performs processing described later using a video signal received from the image sensor unit 112.
  • the comparison unit 142 performs processing described later using information received from the light pattern detection unit 141.
  • the processing unit 150 is an MPU (Micro Processing Unit). Note that the processing unit 150 is not limited to the MPU, and may be another circuit having an arithmetic function, a dedicated circuit for performing a specific process, or the like. The processing unit 150 performs various processes to be described later by executing a program stored in a memory (not shown).
  • MPU Micro Processing Unit
  • the operation unit 170 includes a plurality of buttons and a dial for the user to operate.
  • the operation unit 170 detects the operation state of the user with respect to a plurality of buttons and dials, and transmits operation information indicating the operation state to the processing unit 150.
  • the processing unit 150 performs processing corresponding to the received operation information. That is, the operation unit 170 is an interface for the user to operate the photographing apparatus 100. Hereinafter, the operation of the operation unit 170 performed by the user is also referred to as an operation U.
  • the flash light emission unit 171 emits the flash light at the time of shooting.
  • the auxiliary light unit 172 includes light emitting elements such as LEDs and infrared light bulbs.
  • the auxiliary light unit 172 emits auxiliary light using the light emitting element according to control by an auxiliary light control unit 154 described later.
  • the auxiliary light is, for example, light for assisting autofocus during shooting.
  • the amount of light L10 can be increased even when the amount of light L10 from the subject is small.
  • Speaker 181 outputs sound.
  • the status notification unit 182 has a light emitting element such as an LED.
  • the status notification unit 182 emits status light using the light emitting element according to control by a status notification control unit 160 described later.
  • the status light is light for notifying the operation state of the image capturing apparatus 100.
  • the status notification unit 182 notifies the operating state of the imaging apparatus 100 by setting the blinking cycle of the status light emitted from the light emitting element to a predetermined blinking cycle.
  • the operating state of the imaging device 100 is, for example, a shooting state.
  • the status notification unit 182 may have a plurality of light emitting elements. In this case, the operating state of the photographing apparatus 100 may be notified by a combination of light emitted from a plurality of light emitting elements.
  • the photographing apparatus 100 has, as operation modes, a still image photographing mode, a moving image photographing mode, a photographing prohibiting mode, a light emission prohibiting mode, a still image photographing prohibiting mode, and a moving image photographing prohibiting mode.
  • Each operation mode becomes valid when set, and becomes invalid when released.
  • the photographing apparatus 100 performs an operation corresponding to each of a plurality of set operation modes. For example, when a still image shooting mode and a light emission prohibition mode are set as the operation mode of the image capturing apparatus 100, the image capturing apparatus 100 performs an operation corresponding to each of the still image shooting mode and the light emission prohibition mode.
  • the still image shooting mode is a mode for shooting a still image.
  • the moving image shooting mode is a mode for shooting a moving image.
  • All or part of the light pattern detection unit 141 and the comparison unit 142 included in the imaging apparatus 100 may be configured by hardware such as an LSI (Large Scale Integration). Further, all or a part of the image processing unit 120, the light pattern detection unit 141, the comparison unit 142, and the processing unit 150 may be configured by hardware such as one LSI (Large Scale Integration). .
  • all or part of the light pattern detection unit 141, the comparison unit 142, and the image processing unit 120 may be a module of a program executed by a processor such as a CPU.
  • FIG. 7 is a block diagram showing a functional configuration of the processing unit 150.
  • the processing unit 150 includes a photographing prohibition setting unit 151, a light emission control unit 152, an image generation unit 153, an auxiliary light control unit 154, a mode setting unit 155, an operation determination unit 156, a shutter sound control unit 157, A mechanical shutter control unit 158, a display control unit 159, a status notification control unit 160, and an ISO sensitivity change unit 161 are included.
  • the mode setting unit 155 sets various modes to be described later as the operation mode of the photographing apparatus 100.
  • the ISO sensitivity changing unit 161 performs processing for extending the exposure time of the image sensor unit 112, processing for adjusting gain, processing for adjusting gain in the image processing unit 120, and the like.
  • the photographing prohibition setting unit 151, the light emission control unit 152, the image generation unit 153, the auxiliary light control unit 154, the mode setting unit 155, the operation determination unit 156, the shutter sound control unit 157, and the mechanical shutter control included in the processing unit 150 are included. All or part of the unit 158, the display control unit 159, the status notification control unit 160, and the ISO sensitivity change unit 161 may be configured by hardware such as an LSI.
  • All or part of the status notification control unit 160 and the ISO sensitivity changing unit 161 may be a module of a program executed by the processing unit 150.
  • the illumination handling process is performed when the still image shooting mode or the moving image shooting mode is set as the operation mode of the shooting apparatus 100.
  • Each of the still image shooting mode and the moving image shooting mode is set, for example, when an operation U for setting a corresponding shooting mode is performed.
  • the processing unit 150 When the still image shooting mode or the moving image shooting mode is set, the processing unit 150 performs control for shooting on each unit in the shooting apparatus 100. For example, the processing unit 150 transmits an instruction to open the shutter to the mechanical shutter unit 111. The mechanical shutter unit 111 opens the shutter according to the received instruction. Thereby, the image sensor of the image sensor unit 112 receives the light L10 from the subject.
  • the light L10 includes light emitted from a subject irradiated with illumination light from the illumination 50.
  • the light L10 includes illumination light from the illumination 50. That is, the light L10 is light on which information superimposed on illumination light is superimposed.
  • the image sensor unit 112 converts the received light L10 into an electric signal using an image sensor, and converts the electric signal into the video signal described above using an AD conversion unit.
  • the video signal is a signal indicating RAW data corresponding to each of a plurality of pictures constituting a moving image.
  • the number of pictures per second in the moving image varies depending on the electronic exposure time. For example, when the electronic exposure time is 1/30 seconds, the number of pictures per second in the moving image is 30. In this case, the RAW data indicated by the video signal changes every 1/30 seconds.
  • the image sensor unit 112 transmits the video signal to the image processing unit 120 and the light pattern detection unit 141.
  • the image processing unit 120 performs the image processing N described above. As a result, the luminance signal and the color difference signal are transmitted to the EVF 131 and the display unit 132. Each of the EVF 131 and the display unit 132 displays an image based on the received luminance signal and color difference signal.
  • each of the image processing unit 120 and the light pattern detection unit 141 receives a video signal from the image sensor unit 112. It is a process performed when
  • FIG. 8 is a flowchart of the illumination handling process.
  • step S110 information detection processing is performed.
  • the information detection process a process of detecting information superimposed on the light L10 from the video signal is performed. That is, processing for detecting information superimposed on the illumination light emitted by the illumination 50 is performed.
  • the light pattern detection unit 141 performs a signal conversion process.
  • the signal conversion processing the light pattern detection unit 141 performs demosaic processing on each RAW data indicated by the received video signal. Accordingly, the light pattern detection unit 141 obtains RGB data corresponding to each RAW data.
  • the light pattern detection unit 141 obtains a luminance signal and a color difference signal corresponding to each RGB data by performing a color conversion process for obtaining a luminance signal and a color difference signal from each RGB data.
  • the luminance signal indicates the luminance value of a plurality of pixels constituting a picture corresponding to each RAW data. That is, the light pattern detection unit 141 uses each RAW data to calculate the luminance values of a plurality of pixels constituting a picture corresponding to the RAW data.
  • the light pattern detection unit 141 detects information superimposed on the illumination light from each luminance value.
  • the illumination 50 is assumed to be a straight tube fluorescent lamp as an example.
  • the illumination 50 is assumed to operate with an AC voltage having a period T as an example. That is, the low frequency illumination cycle of the illumination 50 is T / 2 seconds.
  • the image sensor of the imaging element unit 112 is a CMOS image sensor.
  • the electronic exposure time is set equal to or shorter than the low frequency illumination period, or The electron exposure time needs to be at least twice as long as the low frequency illumination period.
  • the electronic exposure time is the same as the low frequency illumination cycle or shorter than the low frequency illumination cycle, a difference in brightness occurs in the field or frame unit as in the CCD image sensor.
  • the electronic exposure time is set to at least twice the low frequency illumination cycle.
  • the electronic exposure time is 2 T seconds, which is four times the low frequency illumination period T / 2 seconds.
  • one picture indicated by the luminance signal obtained by the light pattern detection unit 141 in the information detection process is as the following picture P100.
  • FIG. 9 is a diagram showing a picture P100 as an example. Note that although the subject image is actually displayed in the picture P100, the subject image is not shown for the sake of explanation.
  • the right side of the picture P100 shows a change in the amount of illumination light having a period of T / 2 seconds when the vertical direction of the picture P100 is time.
  • the light pattern detection unit 141 sets, in the picture P100, an area corresponding to a part where the amount of illumination light is equal to or greater than a predetermined value as a determination area.
  • the determination area is an area for detecting information.
  • k determination areas are set in the picture P100.
  • the interval between two adjacent determination areas in the vertical direction is constant.
  • determination regions R10.1, 10.2, 10.3, and 10.4 are set in the picture P100 as shown in FIG.
  • each of the determination regions R10.1, 10.2, 10.3, and 10.4 is also simply referred to as a determination region R10.
  • the picture P100 is a picture when information is not superimposed on the illumination light.
  • each determination region R10 is a high luminance region.
  • the high luminance region is a region in which the average value of the luminance values of a plurality of pixels in the determination region R10 is equal to or greater than a predetermined determination threshold value. That is, the high luminance area is a bright area.
  • the determination threshold is a threshold for detecting information.
  • the determination area in which the average of the luminance values of a plurality of pixels in the determination area is less than the determination threshold is referred to as a low luminance area.
  • each determination region R10 in the picture P100 is a high luminance region or a low luminance region.
  • the picture P100 shows a certain light / dark pattern.
  • the light pattern detection unit 141 determines whether the average value of the luminance values of the plurality of pixels in each determination region R10 in the picture P100 is greater than or equal to the determination threshold value, thereby determining “0” and “1”. ”Is detected. That is, the light pattern detection unit 141 detects information superimposed on the illumination light in units of at least two lines of the picture P100.
  • the light pattern detection unit 141 detects information superimposed on the illumination light by detecting the state of a plurality of luminance values corresponding to the picture P100 as a light / dark pattern.
  • Each luminance value is a value obtained from the video signal. That is, the light pattern detection unit 141 detects information superimposed on the illumination light by detecting a light / dark pattern from the video signal.
  • the determination areas R10.1, 10.2, 10.3, and 10.4 in the picture P100 are a low luminance area, a high luminance area, a high luminance area, and a high luminance area, respectively.
  • the light pattern detection unit 141 determines whether or not the average value of the luminance values of the plurality of pixels in each determination region R10 in the picture P100 is higher than the determination threshold, whereby the instruction code “1000” is set. To detect.
  • the light pattern detection unit 141 detects information superimposed on the illumination light by detecting a light / dark pattern from the video signal.
  • information is detected from one picture.
  • information may be detected from a plurality of pictures.
  • the value for detecting information is not limited to the average value of the luminance values of the plurality of pixels in the determination region R10, and may be a variance value of the luminance values of the plurality of pixels in the determination region R10.
  • the information detection method is not limited to the above method.
  • the information may be detected by calculating the number of occurrences of low-luminance area portions in a predetermined time.
  • the illumination 50 is assumed to be a straight tube fluorescent lamp as an example.
  • the illumination 50 is assumed to operate with an AC voltage having a period T as an example. That is, the low frequency illumination cycle of the illumination 50 is T / 2 seconds.
  • the image sensor of the imaging element unit 112 is a CCD image sensor.
  • the CCD image sensor is configured to read data in units of one picture, the exposure time (electronic exposure time) of each pixel in one picture is almost the same. Therefore, in order to detect information from the video signal, a plurality of pictures are required.
  • the electronic exposure time is T / 8 seconds which is 1/4 times the low frequency illumination period T / 2 seconds.
  • FIG. 10 is a diagram for explaining a method of detecting information superimposed on illumination light using a plurality of pictures.
  • FIG. 10A is a diagram showing a change in the amount of illumination light having a period of T / 2 seconds.
  • FIG. 10B is a diagram showing a part of a plurality of pictures indicated by the luminance signal obtained in the information detection process.
  • Some of the plurality of pictures are pictures P11, P12, P13, P14, and P15.
  • an image of the subject is actually displayed, but the image of the subject is not shown for the sake of explanation.
  • Pictures P11, P12, P13, P14, and P15 are generated in the order of pictures P11 to P15. That is, the picture P15 is a picture generated after the picture P11.
  • Each of the pictures P11, P12, P13, P14, and P15 corresponds to the time axis of FIG.
  • the light pattern detection unit 141 sets a picture corresponding to a portion where the amount of illumination light is a predetermined value or more as a determination picture.
  • the determination picture is a picture for detecting information.
  • the pictures P11, P12, P13, P14, and P15 in FIG. 10B are pictures when information is not superimposed on the illumination light.
  • an odd-numbered picture is set as a determination picture. That is, as an example, it is assumed that pictures P11, P13, and P15 are set as determination pictures.
  • the pictures P11, P13, and P15 are high-intensity pictures.
  • the high-intensity picture is an area where the average value of the luminance values of a plurality of pixels constituting the determination picture is equal to or greater than a predetermined determination threshold value P. That is, the high brightness picture is an overall bright picture.
  • the determination threshold value P is a threshold value for detecting information.
  • the determination picture in which the average of the luminance values of a plurality of pixels constituting the determination picture is less than the determination threshold value P is referred to as a low luminance picture.
  • FIG. 10C is a diagram showing each picture when information is superimposed on illumination light.
  • each determination picture is a high-intensity picture or a low-intensity picture.
  • the plurality of determination pictures show a certain light / dark pattern.
  • the light pattern detection unit 141 detects “0” and “1” by determining whether or not the average value of the luminance values of the plurality of pixels constituting each determination picture is equal to or greater than the determination threshold value P. To do.
  • the light pattern detection unit 141 detects information superimposed on the illumination light by detecting the state of each luminance value corresponding to each of the plurality of pictures as a light / dark pattern.
  • Each luminance value is a value obtained from the video signal. That is, the light pattern detection unit 141 detects information superimposed on the illumination light by detecting a light / dark pattern from the video signal.
  • the pictures P11, P13, and P15 as determination pictures are a low-intensity picture, a high-intensity picture, and a high-intensity picture, respectively.
  • the light pattern detection unit 141 determines whether or not the average value of the luminance values of a plurality of pixels constituting each determination picture (for example, the picture P11) is higher than the determination threshold value P, thereby indicating the instruction code “ 100 "is detected.
  • each picture is processed by the interlace method, each picture is an odd field or an even field. Therefore, information superimposed on the illumination light is detected in field units.
  • the low frequency illumination cycle is longer than the cycle of each field in the video signal. That is, in this case, the information superimposed on the illumination light can be detected by making the period of each field in the video signal shorter than the low frequency illumination period.
  • the low frequency illumination cycle is longer than the cycle of each frame in the video signal. That is, in this case, information superimposed on the illumination light can be detected by making the cycle of each frame in the video signal shorter than the low frequency illumination cycle.
  • the light pattern detection unit 141 detects information superimposed on the illumination light by detecting a light / dark pattern from the video signal.
  • the value for detecting information is not limited to the average value of the luminance values of a plurality of pixels constituting each determination picture, and is, for example, a variance value of the luminance values of a plurality of pixels constituting each determination picture. May be.
  • the information detection method is not limited to the above method.
  • the information may be detected by calculating the number of low-intensity pictures that appear in a predetermined time.
  • the light pattern detection unit 141 detects all instruction codes as instruction information superimposed on the illumination light by the method described above. Then, the light pattern detection unit 141 transmits all detected instruction codes to the comparison unit 142.
  • step S120 it is determined whether there is a photographing prohibition instruction for prohibiting photographing. Specifically, whether any of the received instruction codes (instruction information) matches the determination code corresponding to the “shooting prohibition” instruction shown in the determination information table T100 of FIG. Determine whether or not. That is, the comparison unit 142 determines whether or not the detection information matches the determination information by comparing all the instruction codes as the instruction information with the determination code as the determination information. That is, the process of step S120 is a process in which the comparison unit 142 compares the detection information that is information detected by the process of step S110 with predetermined determination information.
  • the determination code corresponding to the “shooting prohibition” instruction indicates an instruction for prohibiting shooting.
  • the determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S120 If NO in step S120, the process proceeds to step S200. On the other hand, if YES in step S120, the process proceeds to step S130 described later.
  • step S200 an imaging assistance control process is performed.
  • FIG. 11 is a flowchart of the imaging assistance control process.
  • step S210 it is determined whether or not there is a flash light prohibition instruction for prohibiting flash light emission. Specifically, whether or not any of the received instruction codes (instruction information) matches the determination code corresponding to the “flash light prohibition” instruction shown in the determination information table T100. Determine. The determination code corresponding to the instruction “prohibit flash light” indicates an instruction for prohibiting flash light emission during photographing. The determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S210 If YES in step S210, the process proceeds to step S211. On the other hand, if NO at step S210, the process proceeds to step S220 described later.
  • step S211 the light emission control unit 152 controls the flash light emission unit 171 to turn off the flash light emission during photographing. Specifically, as the operation mode of the photographing apparatus 100, a light emission prohibition mode in which flash light emission is not permitted is set. Accordingly, the flash light emitting unit 171 does not emit flash light during shooting.
  • step S212 flash photography prohibition notification processing is performed.
  • the image generation unit 153 generates a specific image A indicating a message indicating that flash light emission is prohibited.
  • the message is, for example, a message that “shooting using flash light is prohibited”.
  • the image generation unit 153 transmits the generated specific image A to the display unit 132.
  • the display unit 132 displays the received specific image A.
  • the specific image A may be displayed by the EVF 131.
  • the specific image (for example, the specific image A) may be displayed by being superimposed on the image being displayed by the display unit 132.
  • step S220 it is determined whether there is an auxiliary light-off instruction for turning off the emission of auxiliary light at the time of shooting. Specifically, whether or not any of the received instruction codes (instruction information) matches the determination code corresponding to the “auxiliary light off” instruction shown in the determination information table T100. Determine. The determination code corresponding to the “auxiliary light off” instruction indicates an instruction to turn off the emission of auxiliary light at the time of shooting. The determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S220 If YES in step S220, the process proceeds to step S221. On the other hand, if NO at step S220, the process proceeds to step S230 described later.
  • step S221 the auxiliary light control unit 154 transmits an instruction to turn off the auxiliary light to the auxiliary light unit 172.
  • the auxiliary light unit 172 turns off the emission of the auxiliary light by receiving the instruction.
  • the auxiliary light control unit 154 controls the auxiliary light unit 172 to turn off the emission of auxiliary light at the time of shooting.
  • step S222 an auxiliary light off notification process is performed.
  • the image generation unit 153 generates a specific image B indicating a message indicating that the emission of auxiliary light has been turned off.
  • the message is, for example, a message “Auxiliary light emission has been turned off”.
  • the image generation unit 153 transmits the generated specific image B to the display unit 132.
  • the display unit 132 displays the received specific image B.
  • the specific image B may be displayed by the EVF 131.
  • step S230 it is determined whether there is an ISO sensitivity increase instruction for increasing the ISO sensitivity at the time of shooting. Specifically, whether or not any of the received instruction codes (instruction information) matches the determination code corresponding to the “ISO sensitivity increase” instruction shown in the determination information table T100. Determine. The determination code corresponding to the “ISO sensitivity increase” instruction indicates an instruction for increasing the ISO sensitivity at the time of shooting. The determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S230 If YES in step S230, the process proceeds to step S231. On the other hand, if NO at step S230, the imaging assistance control process ends, the process returns to the illumination handling process, and the process proceeds to step S300.
  • the ISO sensitivity increase instruction is, for example, an instruction for compensating for a shortage of light quantity when there is a flash light prohibition instruction or the like.
  • step S231 ISO sensitivity increase processing is performed.
  • the ISO sensitivity changing unit 161 controls the image sensor unit 112 so that the exposure time in the image sensor unit 112 is longer than the exposure time set at the present time.
  • the ISO sensitivity changing unit 161 controls the image sensor unit 112 so as to increase the gain at the time of AD conversion. Furthermore, the ISO sensitivity changing unit 161 may control the image processing unit 120 so as to increase the gain in gamma correction or gain correction in the image processing N.
  • the ISO sensitivity changing unit 161 performs control to increase the ISO sensitivity at the time of shooting.
  • the ISO sensitivity changing unit 161 When there is an instruction to decrease the ISO sensitivity instead of the ISO sensitivity increase instruction, the ISO sensitivity changing unit 161 performs control to decrease the ISO sensitivity at the time of photographing of the photographing apparatus 100 according to the instruction. Also good.
  • step S232 an ISO sensitivity increase notification process is performed.
  • the image generation unit 153 generates a specific image C indicating a message indicating that the ISO sensitivity has been increased.
  • the message is, for example, a message “ISO sensitivity has been increased”.
  • the image generation unit 153 transmits the generated specific image C to the display unit 132.
  • the display unit 132 displays the received specific image C.
  • the specific image C may be displayed by the EVF 131.
  • the instruction code may indicate an instruction for correcting the video signal or the luminance signal. In this case, the influence of the luminance signal change due to flicker can be eliminated.
  • step S300 a mode switching control process is performed.
  • FIG. 12 is a flowchart of the mode switching control process.
  • step S310 the mode setting unit 155 determines whether or not the still image shooting mode is set as the operation mode of the shooting apparatus 100. If YES in step S310, the process proceeds to step S320. On the other hand, if NO at step S310, the process proceeds to step S340 described later.
  • step S320 it is determined whether or not there is a still image shooting prohibition instruction for prohibiting still image shooting.
  • the comparison unit 142 determines whether any of the received instruction codes (instruction information) matches the determination code corresponding to the “still image capturing prohibition” instruction shown in the determination information table T100. Determine whether.
  • the determination code corresponding to the instruction “prohibit still image shooting” indicates an instruction for prohibiting shooting of a still image.
  • the determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S320 If YES in step S320, the process proceeds to step S321. On the other hand, if NO at step S320, the process proceeds to step S360 described later.
  • step S321 the mode setting unit 155 sets a still image shooting prohibition mode in which still image shooting is not permitted as the operation mode of the shooting apparatus 100. In this case, the still image shooting mode setting is canceled. As a result, the photographing apparatus 100 is not permitted to capture a still image.
  • step S322 a still image shooting prohibition notification process is performed.
  • the image generation unit 153 generates the following specific image G100 indicating a message indicating that still image shooting is prohibited and a message prompting whether to set the moving image shooting mode.
  • the image generation unit 153 transmits the generated specific image G100 to the display unit 132.
  • the display unit 132 displays the received specific image G100.
  • FIG. 13 is a diagram showing a specific image G100 as an example.
  • the specific image G100 indicates a message indicating that still image shooting is prohibited.
  • the specific image G100 indicates a message that prompts whether or not to set a moving image shooting mode for shooting a moving image as the operation mode of the image capturing apparatus 100.
  • step S330 operation determination unit 156 determines whether or not a moving image shooting setting operation has been performed.
  • the moving image shooting setting operation is an operation U for setting the moving image shooting mode as the operation mode of the shooting apparatus 100.
  • the operation unit 170 accepts the moving image shooting setting operation, the operation unit 170 transmits operation information indicating the moving image shooting setting operation to the processing unit 150. Thereby, the operation determination unit 156 determines whether or not a moving image shooting setting operation has been performed.
  • step S330 If YES in step S330, the process proceeds to step S331. On the other hand, if NO at step S330, the process proceeds to step S130 described later.
  • step S331 the mode setting unit 155 sets the moving image shooting mode as the operation mode of the shooting apparatus 100. In this case, the still image shooting mode setting is canceled.
  • each operation of the mechanical shutter unit 111, the image sensor unit 112, and the image processing unit 120 is an operation for performing moving image shooting.
  • step S340 it is determined whether or not there is a moving image shooting prohibition instruction for prohibiting moving image shooting.
  • the comparison unit 142 determines whether any of the received instruction codes (instruction information) matches the determination code corresponding to the “movie shooting prohibited” instruction shown in the determination information table T100. Determine.
  • the determination code corresponding to the instruction “movie shooting prohibited” indicates an instruction for prohibiting movie shooting.
  • the determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S340 If YES in step S340, the process proceeds to step S341. On the other hand, if NO at step S340, the process proceeds to step S360 described later.
  • step S341 the mode setting unit 155 sets a moving image shooting prohibition mode in which shooting of moving images is not permitted as the operation mode of the shooting apparatus 100. In this case, the setting of the moving image shooting mode is cancelled. As a result, the photographing apparatus 100 is not permitted to shoot moving images.
  • step S342 a moving image shooting prohibition notification process is performed.
  • the image generation unit 153 generates the following specific image G200 indicating a message indicating that moving image shooting is prohibited and a message prompting whether to set the still image shooting mode.
  • the image generation unit 153 transmits the generated specific image G200 to the display unit 132.
  • the display unit 132 displays the received specific image G200.
  • FIG. 14 is a diagram illustrating a specific image G200 as an example.
  • the specific image G200 indicates a message indicating that moving image shooting is prohibited. Further, the specific image G200 indicates a message asking whether or not to set a still image shooting mode for shooting a still image as an operation mode of the image capturing apparatus 100.
  • step S350 operation determination unit 156 determines whether or not a still image shooting setting operation has been performed.
  • the still image shooting setting operation is an operation U for setting a still image shooting mode as an operation mode of the shooting apparatus 100.
  • the operation unit 170 receives a still image shooting setting operation, the operation unit 170 transmits operation information indicating the still image shooting setting operation to the processing unit 150. Thereby, the operation determination unit 156 determines whether or not a still image shooting setting operation has been performed.
  • step S350 the process proceeds to step S351.
  • step S350 the mode switching control process ends, the process returns to the illumination corresponding process in FIG. 8, and the process proceeds to step S130 described later.
  • step S351 the mode setting unit 155 sets the still image shooting mode as the operation mode of the shooting apparatus 100. In this case, the setting of the moving image shooting mode is cancelled.
  • the operations of the mechanical shutter unit 111, the image sensor unit 112, and the image processing unit 120 are operations for performing still image shooting.
  • step S310 is performed again.
  • step S320 If NO in step S320, the process proceeds to step S360.
  • step S120 when there is a still image shooting prohibition instruction and a moving image shooting prohibition instruction, there is a shooting prohibition instruction. Therefore, in this case, YES is determined in step S120, and the process proceeds to step S130. Therefore, in the mode switching control process, a state in which the processes of steps S321 and S341 are permanently repeated does not occur.
  • step S360 it is determined whether there is a shutter sound prohibition instruction for prohibiting the output of the shutter sound. Specifically, whether or not any of the received instruction codes (instruction information) matches the determination code corresponding to the “shutter sound prohibition” instruction shown in the determination information table T100. Determine. The determination code corresponding to the “shutter sound prohibition” instruction indicates an instruction for prohibiting the output of the shutter sound. The determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S360 If YES in step S360, the process proceeds to step S361. On the other hand, if NO at step S360, the process proceeds to step S370 to be described later.
  • step S361 shutter sound off processing is performed.
  • the shutter sound control unit 157 performs a process for preventing the shutter sound from being output from the speaker 181. This process is, for example, a process of setting the volume of the shutter sound transmitted to the speaker 181 to zero. Note that a process for silencing such as powering down the speaker 181 may be performed. That is, the shutter sound control unit 157 controls the speaker 181 not to output sound as shutter sound.
  • step S362 a shutter sound prohibition notification process is performed.
  • the image generation unit 153 generates a specific image D indicating a message indicating that the output of the shutter sound is prohibited.
  • the message is, for example, a message “Shutter sound output is prohibited”.
  • the image generation unit 153 transmits the generated specific image D to the display unit 132.
  • the display unit 132 displays the received specific image D.
  • the specific image D may be displayed by the EVF 131.
  • step S370 it is determined whether or not there is a mechanical shutter opening instruction for opening the mechanical shutter. Specifically, whether or not any of the received instruction codes (instruction information) matches the determination code corresponding to the “mechanical shutter release” instruction shown in the determination information table T100. Determine. The determination code corresponding to the “mechanical shutter release” instruction indicates an instruction for opening the mechanical shutter. The determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S370 If YES in step S370, the process proceeds to step S371. On the other hand, if NO in step S370, the mode switching control process ends, the process returns to the illumination corresponding process in FIG. 8, and the process proceeds to step S400.
  • step S371 the mechanical shutter control unit 158 controls the mechanical shutter unit 111 to open the mechanical shutter.
  • the electronic shutter in the image sensor unit 112 is also controlled.
  • a mechanical shutter release notification process is performed.
  • the image generation unit 153 generates a specific image E indicating a message indicating that the mechanical shutter is open.
  • the message is, for example, a message “Mechanical shutter is open”.
  • the image generation unit 153 transmits the generated specific image E to the display unit 132.
  • the display unit 132 displays the received specific image E.
  • the specific image E may be displayed by the EVF 131.
  • step S400 a display control process is performed.
  • FIG. 15 is a flowchart of the display control process.
  • step S410 it is determined whether or not there is an image display off instruction for turning off the image display. Specifically, whether or not any of the received instruction codes (instruction information) matches the determination code corresponding to the “image display off” instruction shown in the determination information table T100. Determine. The determination code corresponding to the “image display off” instruction indicates an instruction not to display an image. The determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S410 If YES in step S410, the process proceeds to step S411. On the other hand, if NO at step S410, the process proceeds to step S420.
  • step S411 an image display off notification process is performed.
  • the image generation unit 153 generates a specific image F indicating a message to hide the image.
  • the message is, for example, a message “Turn off image display”.
  • the image generation unit 153 transmits the generated specific image F to the display unit 132.
  • the display unit 132 displays the received specific image F.
  • the specific image F may be displayed by the EVF 131.
  • step S412 an image display off process is performed.
  • the display control unit 159 controls the image processing unit 120 not to transmit the luminance signal and the color difference signal to each of the EVF 131 and the display unit 132.
  • each of the EVF 131 and the display unit 132 does not display an image.
  • processing for setting the luminance value indicated by the luminance signal to 0 processing for turning off the power supplied to the EVF 131 and the display unit 132 may be performed.
  • step S420 it is determined whether or not there is an EVF switching instruction.
  • the comparison unit 142 determines whether any of the received instruction codes (instruction information) matches the determination code corresponding to the “EVF switching” instruction shown in the determination information table T100. judge.
  • the determination code corresponding to the “EVF switching” instruction indicates an instruction to switch the display target from the display unit 132 to the EVF 131.
  • the determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S420 If YES in step S420, the process proceeds to step S421. On the other hand, if NO at step S420, the process proceeds to step S430 described later.
  • step S421 EVF switching notification processing is performed.
  • the image generation unit 153 generates a specific image G that indicates a message indicating that the object to be displayed is switched to EVF.
  • the message is, for example, a message that “the object to display an image is switched from the main display device to the EVF”.
  • the image generation unit 153 transmits the generated specific image G to the display unit 132.
  • the display unit 132 displays the received specific image G.
  • the specific image G may be displayed by the EVF 131.
  • step S422 EVF switching processing is performed.
  • the display control unit 159 controls the image processing unit 120 not to transmit the luminance signal and the color difference signal to the display unit 132 but to only the EVF 131.
  • the display unit 132 does not display an image, and only the EVF 131 displays an image.
  • the display control unit 159 performs control so that power is not supplied to the display unit 132 with respect to a power source (not shown) that supplies power to the display unit 132.
  • the photographing apparatus 100 may include an OVF (Optical View Finder) instead of the EVF 131.
  • OVF Optical View Finder
  • the mechanical shutter unit 111 may be controlled so that the OVF can be used, and power may not be supplied to the display unit 132.
  • step S430 it is determined whether or not there is a luminance reduction instruction for reducing the luminance of the image.
  • the comparison unit 142 determines whether or not any of the received instruction codes (instruction information) matches the determination code corresponding to the “luminance reduction” instruction shown in the determination information table T100. judge.
  • the determination code corresponding to the instruction “decrease brightness” indicates an instruction to decrease the brightness of the image.
  • the determination result by the comparison unit 142 is notified to the processing unit 150.
  • step S430 If YES in step S430, the process proceeds to step S431. On the other hand, if NO at step S430, the process proceeds to step S440 described below.
  • a luminance reduction notification process is performed.
  • the image generation unit 153 generates a specific image H indicating a message indicating that the luminance of the image is reduced.
  • the message is, for example, a message that “the brightness of the image is reduced”.
  • the image generation unit 153 transmits the generated specific image H to the display unit 132.
  • the display unit 132 displays the received specific image H.
  • the specific image H may be displayed by the EVF 131.
  • step S432 display luminance reduction processing is performed.
  • the display control unit 159 controls the image processing unit 120 to reduce each luminance value indicated by the luminance signal by a predetermined ratio (for example, 30%). That is, the display control unit 159 performs control to lower the luminance of the image being displayed on at least one of the display unit 132 and the EVF 131.
  • the present invention is not limited to the above process, and for example, a process of reducing the amount of light of each backlight of the display unit 132 and the EVF 131 may be performed.
  • step S440 the operation determination unit 156 determines whether or not there has been a status display operation.
  • the status display operation is an operation U for notifying the operation state of the photographing apparatus 100.
  • the operation unit 170 receives the status display operation, the operation unit 170 transmits operation information indicating the status display operation to the processing unit 150. Thereby, the operation determination part 156 determines whether there was status display operation.
  • step S440 the process proceeds to step S441.
  • the status display operation is performed, for example, when the EVF 131 and the display unit 132 do not display an image by performing the process of step S412.
  • step S440 the display control process ends, the process returns to the illumination corresponding process in FIG. 8, and the process proceeds to step S510.
  • step S441 status display processing is performed.
  • the status notification control unit 160 controls the status notification unit 182 to blink the status light at a predetermined cycle corresponding to the operation state of the photographing apparatus 100.
  • the status notification unit 182 notifies the user of the operation state of the imaging device 100 by using a light emitting element to blink status light at a predetermined cycle. Note that the process in which the status notification unit 182 blinks the status light at a predetermined cycle is continued until, for example, an operation U for interrupting the process is performed.
  • the operating state of the photographing apparatus 100 is, for example, a state during exposure or a state where data is recorded on a recording medium.
  • the predetermined cycle is, for example, 0.1 seconds.
  • the predetermined cycle is, for example, 100 seconds. In this case, the light emitting element of the status notification unit 182 is almost continuously lit.
  • step S120 If YES in step S120, NO in step S330, or NO in step S350, the process proceeds to step S130.
  • step S130 shooting prohibition mode setting processing is performed.
  • the mode setting unit 155 sets a photographing prohibition mode in which photographing is not permitted as the operation mode of the photographing apparatus 100.
  • the operations of the mechanical shutter unit 111, the image sensor unit 112, the image processing unit 120, and the like used for photographing are stopped. As a result, the photographing apparatus 100 cannot perform an operation for photographing.
  • step S131 photographing prohibition notification processing is performed.
  • the image generation unit 153 generates a specific image J indicating a message indicating that shooting is prohibited.
  • the message is, for example, a message “Shooting is prohibited at this place”.
  • the image generation unit 153 transmits the generated specific image J to the display unit 132.
  • the display unit 132 displays the received specific image J.
  • the specific image J may be displayed by the EVF 131. Then, the process proceeds to step S510.
  • step S510 the operation determination unit 156 determines whether or not a shooting end operation has been performed.
  • the shooting end operation is, for example, an operation U for canceling the setting of a set shooting mode (moving image shooting mode or still image shooting mode).
  • the photographing end operation is, for example, an operation for setting a mode for browsing a still image or a moving image obtained by photographing as the operation mode of the photographing apparatus 100.
  • the operation unit 170 When the operation unit 170 accepts the photographing end operation, the operation unit 170 transmits operation information indicating the photographing end operation to the processing unit 150. Thereby, the operation determination unit 156 determines whether or not there has been a photographing end operation.
  • step S510 the mode setting unit 155 cancels the setting of the set shooting mode (moving image shooting mode or still image shooting mode), and the illumination processing ends. On the other hand, if NO at step S510, the process at step S120 is performed again.
  • the interrupt process is a process for turning off the power of the imaging apparatus 100, for example.
  • the light pattern detection unit 141 detects information superimposed on the illumination light by detecting a light / dark pattern from the video signal. That is, a dedicated light receiving element for detecting information superimposed on the light is not required other than the imaging element unit 112 that converts light into a video signal. Therefore, detection of information superimposed on light can be realized at low cost.
  • the photographing apparatus 100 performs various processes according to the instruction indicated by the determination code that matches the instruction code as the detected instruction information. Therefore, the photographing apparatus 100 can be controlled according to the place where the illumination 50 is installed, the situation, and the like, without taking time and effort to the user. That is, the convenience of the imaging device 100 can be improved.
  • the photographing apparatus 100 of the present embodiment for example, it is possible to prevent unintentional flash emission during photographing at a flash photographing prohibited place (such as a museum).
  • the present embodiment it is possible to detect a light / dark pattern from the luminance value calculated by the image processing unit. As a result, the number of target imaging devices can be increased.
  • the photographing apparatus 100 it is possible to prevent the photographing apparatus 100 from photographing the subject that emits the light L10.
  • the photographing apparatus 100 it is possible to prevent the photographing apparatus 100 from photographing with the flash light on the subject that emits the light L10.
  • the photographing apparatus 100 by increasing the ISO sensitivity at the time of photographing by the photographing apparatus 100, it is possible to compensate for the shortage of light amount and to perform good photographing.
  • the photographing apparatus 100 it is possible to prevent the photographing apparatus 100 from photographing a still image with respect to a subject that emits the light L10.
  • the photographing apparatus 100 it is possible to prevent the photographing apparatus 100 from photographing a moving image with respect to a subject that emits the light L10.
  • the photographing apparatus 100 it is possible to prevent the photographing apparatus 100 from outputting sound as shutter sound.
  • the mechanical shutter can be automatically opened in the photographing apparatus 100.
  • the luminance of the image being displayed on the display unit can be reduced in the photographing apparatus 100. Thereby, the light leakage to the surroundings can be reduced to the minimum.
  • the status notification unit blinks the status light at a predetermined cycle, so that the operation state of the photographing apparatus can be grasped.
  • the user can easily set the moving image shooting mode by displaying the specific image for prompting whether or not to set the moving image shooting mode.
  • the user can easily set the still image shooting mode by displaying the specific image for prompting whether or not to set the still image shooting mode.
  • the image is not displayed on the display unit 132 and the image is displayed only on the EVF 131. Thereby, the light leakage to the surroundings can be reduced to the minimum.
  • FIG. 16 is a block diagram illustrating a configuration of an imaging system 1000A according to a modification of the first embodiment.
  • the imaging system 1000A is different from the imaging system 1000 of FIG. 1 in that an imaging apparatus 100A is provided instead of the imaging apparatus 100. Since the other configuration of the imaging system 1000A is the same as that of the imaging system 1000, detailed description will not be repeated.
  • FIG. 17 is a block diagram showing a configuration of the image capturing apparatus 100A.
  • the configuration of the photographing apparatus 100A is the same as that of the photographing apparatus 100 in FIG.
  • the imaging device 100A differs from the imaging device 100 of FIG. 4 in the processing of the imaging element unit 112, the image processing unit 120, and the light pattern detection unit 141. Since the processing of each other part in the photographing apparatus 100A is the same as that of the photographing apparatus 100, detailed description will not be repeated.
  • the image sensor unit 112 transmits the video signal to the image processing unit 120.
  • the image processing unit 120 obtains a luminance signal and a color difference signal by performing the above-described image processing N.
  • the image processing unit 120 transmits the luminance signal and the color difference signal to the EVF 131 and the display unit 132 and transmits the luminance signal (Y) to the light pattern detection unit 141. Send.
  • illumination handling process A a specific process performed by the imaging apparatus 100A according to the present embodiment.
  • processing different from the first embodiment will be mainly described.
  • the illumination handling process A is performed when the still image shooting mode or the moving image shooting mode is set as the operation mode of the shooting apparatus 100A.
  • the processing unit 150 performs control for shooting on each unit in the shooting apparatus 100A.
  • the image sensor unit 112 transmits a video signal to the image processing unit 120.
  • the image processing unit 120 obtains a luminance signal and a color difference signal by performing the above-described image processing N.
  • the luminance signal indicates the luminance value of a plurality of pixels constituting a picture corresponding to each RAW data. That is, the image processing unit 120 uses the RAW data to calculate the luminance values of a plurality of pixels constituting a picture corresponding to the RAW data.
  • the image processing unit 120 transmits the luminance signal (Y) to the light pattern detection unit 141 every time the luminance signal and the color difference signal are obtained.
  • the following illumination handling process A is performed when the light pattern detection unit 141 receives a luminance signal (Y) from the image processing unit 120 in the image capturing apparatus 100A in which the still image capturing mode or the moving image capturing mode is set. It is a process performed.
  • FIG. 18 is a flowchart of the illumination handling process A.
  • the process with the same step number as the step number of FIG. 8 is performed in the same way as the process described in the first embodiment, so detailed description will not be repeated.
  • the illumination handling process A is different from the illumination handling process of FIG. 8 in that step S110A is performed instead of step S110.
  • the information detection process A in step S110A is different from the information detection process in step S110 in that no signal conversion process is performed. Since the other processes are the same as those in step S110, detailed description will not be repeated.
  • the light pattern detection unit 141 detects information superimposed on the illumination light from each luminance value indicated by the luminance signal received from the image processing unit 120. Note that the process of detecting information is the same as the process of step S110, and therefore detailed description will not be repeated. Thereby, the light pattern detection unit 141 detects information superimposed on the illumination light by detecting the state of a plurality of luminance values corresponding to the picture as a light / dark pattern.
  • step S110A Since the processing after step S110A is the same as the processing described in the first embodiment, detailed description will not be repeated.
  • the same effect as that of the first embodiment can be obtained. That is, detection of information superimposed on light can be realized at low cost.
  • the illumination 50 may be, for example, LED (Light Emitting Diode) illumination, an inverter type fluorescent lamp, or the like.
  • LED lighting converts an AC voltage supplied from a commercial power source into a DC voltage, and irradiates illumination light using the DC voltage.
  • the power supply control circuit of the illumination 50 superimposes information on the illumination light by changing the waveform of the DC voltage used for irradiating light.
  • FIG. 19 is a diagram for explaining a method of superimposing information on illumination light.
  • FIG. 19 (a) is a diagram showing the same AC voltage waveform as FIG. 2 (a).
  • the LED illumination has a constant brightness and does not have a period of change in light quantity.
  • the amount of illumination light can be changed as shown in FIG. That is, a bright / dark cycle can be generated in the illumination light.
  • Information can be superimposed on the illumination light by generating a waveform corresponding to the period ⁇ in FIG.
  • FIG. 19 (d) is an image diagram showing a change in the amount of light in FIG. 19 (c).
  • FIG. 20 (a) is a diagram showing the same AC voltage waveform as FIG. 2 (a).
  • the inverter type fluorescent lamp uses an AC voltage supplied from a commercial power source (not shown) to generate a higher frequency AC voltage (hereinafter referred to as a high frequency AC voltage). Therefore, when the inverter type fluorescent lamp uses a high-frequency AC voltage, the illumination light of the inverter type fluorescent lamp maintains a substantially constant brightness as shown in FIG.
  • the amount of illumination light can be changed greatly. That is, a bright / dark cycle can be generated in the illumination light.
  • Information can be superimposed on the illumination light by generating a waveform corresponding to the period ⁇ in FIG.
  • FIG. 20 (d) is an image diagram showing a change state of the light amount in FIG. 20 (c).
  • the illumination 50 is an inverter type fluorescent lamp
  • a method for detecting a light / dark pattern with a specific period superimposed on illumination light using a plurality of pictures will be described with reference to FIG.
  • FIG. 21A is a diagram showing a change in light amount when information of a 5-bit specific period ⁇ is placed (superposed) on illumination light having a frequency of 120 Hz.
  • the horizontal direction of Fig.21 (a) shows a time-axis.
  • FIG. 21B is a diagram illustrating a part of a plurality of pictures indicated by the luminance signal obtained in the information detection process.
  • Some of the plurality of pictures are pictures P201, P202, P203, P204, and P205.
  • an image of the subject is actually displayed, but the image of the subject is not shown for the sake of explanation.
  • Pictures P201, P202, P203, P204, and P205 are generated in the order of pictures P201 to P205. That is, the picture P205 is a picture generated after the picture P201.
  • Each of the pictures P201, P202, P203, P204, and P205 corresponds to the time axis of FIG.
  • the light pattern detection unit 141 sets, in the pictures P201 to P205, a picture corresponding to a portion where the amount of illumination light is a predetermined value or more as a determination picture.
  • the determination picture is a picture for detecting information.
  • pictures of P201 and P204 are set as determination pictures as an example of the specific period information.
  • the pictures P202, P203, and P205 are high-intensity pictures.
  • the high luminance picture is defined as “0” and the low luminance picture is defined as “1”.
  • the light pattern detection unit 141 detects “0” and “1” by determining whether or not the average value of the luminance values of the plurality of pixels constituting each determination picture is equal to or greater than the determination threshold value P. To do.
  • the light pattern detection unit 141 can determine that the instruction code “10010” as the instruction information of the specific period is superimposed.
  • the comparison unit 142 reads the instruction code from the storage unit 143 and returns the content that matches the instruction code “10010” to the processing unit 150. For example, when the instruction code is “10010”, the instruction corresponding to the instruction code is prohibited from flash light from FIG.
  • the light pattern detection unit 141 detects information of a specific period superimposed on the illumination light by detecting a light / dark pattern from the video signal.
  • the method of superimposing information on the illumination light is not limited to the above method.
  • the power control circuit of the illumination 50 may control the voltage so that the light time and the dark time are not equal.
  • two periods of the specific time are defined as “1”, and one period of the specific time is defined as “0”, so that the information corresponding to the discontinuous period in the illumination light is held. It may be allowed.
  • Each of the image capturing apparatuses 100 and 100A includes the EVF 131 and does not include the OVF, but may include the OVF.
  • each of the image capturing apparatuses 100 and 100A includes the flash light emitting unit 171, but the present invention is not limited to this.
  • Each of the imaging devices 100 and 100A may include a flash light emitting unit 171 outside.
  • each of the imaging devices 100 and 100A may not include the flash light emitting unit 171. In that case, the process related to the flash in the imaging auxiliary control process of FIG. 11 may not be performed.
  • each of the imaging devices 100 and 100A includes the auxiliary light unit 172, but may not include the auxiliary light unit 172. In that case, the process related to the auxiliary light unit 172 of the imaging auxiliary control process may not be performed.
  • the user in the automatic switching process, may not be notified in advance of the switching. However, the user may be notified using the display unit 132 or the EVF 131 that the user is to be switched before switching.
  • FIG. 22 is a block diagram illustrating a characteristic functional configuration of the image capturing apparatus 200.
  • the imaging device 200 corresponds to the imaging device 100 or the imaging device 100A. That is, FIG. 22 is a block diagram showing main functions related to the present invention among the functions of the image capturing apparatus 100 or the image capturing apparatus 100A.
  • the photographing apparatus 200 photographs a subject irradiated with illumination light on which information is superimposed.
  • the imaging apparatus 200 functionally includes an imaging element unit 210, a light pattern detection unit 220, a comparison unit 230, and a display unit 240.
  • the image sensor unit 210 converts light from the subject into a video signal.
  • the image sensor unit 210 corresponds to the image sensor unit 112.
  • the light pattern detection unit 220 detects the information superimposed on the illumination light by detecting a light / dark pattern from the video signal converted by the image sensor unit 210.
  • the light pattern detection unit 220 corresponds to the light pattern detection unit 141.
  • the comparison unit 230 compares the detection information, which is the information detected by the light pattern detection unit 220, with predetermined determination information.
  • the comparison unit 230 corresponds to, for example, the comparison unit 142 that performs the process of step S120 of FIG.
  • the display unit 240 displays a specific image according to the comparison result by the comparison unit 230.
  • the display unit 240 corresponds to, for example, the display unit 132 that displays the specific image J in step S131 of FIG.
  • imaging element unit 210 the light pattern detection unit 220, and the comparison unit 230 included in the imaging apparatus 200 may be configured by hardware such as an LSI (Large Scale Integration). Good.
  • all or a part of the image sensor unit 210, the light pattern detection unit 220, and the comparison unit 230 may be a module of a program executed by a processor such as a CPU.
  • the imaging device 100 or the imaging device 100A in the present invention has been described based on the embodiments, the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out various deformation
  • all or some of the plurality of components constituting the photographing apparatus 100 or the photographing apparatus 100A may be configured by hardware. Further, all or a part of the constituent elements constituting the photographing apparatus 100 or the photographing apparatus 100A may be a module of a program executed by a CPU (Central Processing Unit) or the like.
  • a CPU Central Processing Unit
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip. Specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is a computer system comprised including.
  • the image processing unit 120, the light pattern detection unit 141, the comparison unit 142, and the processing unit 150 may be configured by one system LSI.
  • the number of units that execute the above-described processing may be one or plural. That is, centralized processing may be performed, or distributed processing may be performed.
  • the present invention may be realized as an information detection method in which the operation of a characteristic component included in the imaging device 100 or the imaging device 100A is a step.
  • the information detection method according to the present invention corresponds to all or part of the illumination handling process A in FIG. 8 or the illumination handling process A in FIG. 18 (for example, steps S110, S120, S131, etc.).
  • the information detection method according to the present invention does not necessarily include all corresponding steps in FIG. 8 or FIG. That is, the information detection method according to the present invention need only include the minimum steps that can realize the effects of the present invention.
  • the minimum steps that can realize the effect of the present invention are, for example, steps S110, S120, and S131 of FIG.
  • the present invention may be realized as a program that causes a computer to execute each step included in such an information detection method. Further, the present invention may be realized as a computer-readable recording medium that stores such a program. The program may be distributed via a transmission medium such as the Internet.
  • the present invention can be used as a photographing apparatus capable of detecting information superimposed on light at a low cost.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

 被写体からの光を映像信号に変換する撮像素子部(112)と、撮像素子部(112)により変換された映像信号から明暗パターンを検出することにより、照明光に重畳された情報を検出する光パターン検出部(141)と、光パターン検出部(141)により検出された情報である検出情報と予め定められた判定情報とを比較する比較部(142)と、比較部(142)による比較結果に応じて、特定画像を表示する表示部(132)とを備える。

Description

撮影装置および情報検出方法
 本発明は、照明光が照射される環境において撮影する撮影装置に関する。
 近年、デジタルスチルカメラ、デジタルビデオカメラ等のデジタルカメラの撮影画像の高画質化が進んでいる。また、デジタルカメラの小型化が進んでいる。そのため、ユーザーは、デジタルカメラを使用することにより、様々な場面において高画質な画像を容易に撮影することができるようになった。
 その一方、美術館、講演会場等のような撮影が禁止されている場所において、ユーザーがデジタルカメラにより、撮影禁止の映像および画像を無断で撮影するという問題があった。また、撮影が禁止されている場所において、ユーザーがデジタルカメラにより、撮影が禁止されていることに気づかずにうっかり撮影してしまう恐れがあった。また、デジタルカメラが使用される際、フラッシュ撮影禁止の場面でうっかりフラッシュが使用されてしまうという問題があった。
 上記問題を解決するために、特許文献1には、時間的に変化する光パターンを発光する撮影対象に対して撮影機能を制限することで装置の使用を制限する撮影装置(以下、従来の撮影装置という)が開示されている。従来の撮影装置は、光に重畳された情報としての制御IDを検出することにより、当該撮影装置を制御する。
特開2009-177254号公報(第8頁、図3等)
 しかしながら、従来の撮影装置では、撮像素子としてのCCD(Charge Coupled Device)に加え、光に重畳された情報を検出するための専用の受光素子が別途必要であった。そのため、当該撮影装置のコストが高くなるという問題があった。
 本発明は、上述の問題点を解決するためになされたものであって、その目的は、光に重畳された情報の検出を低コストで実現可能な撮影装置等を提供することである。
 上述の課題を解決するために、この発明のある局面に従う撮影装置は、情報が重畳された照明光が照射される被写体を撮影する。撮影装置は、前記被写体からの光を映像信号に変換する撮像素子部と、前記撮像素子部により変換された前記映像信号から明暗パターンを検出することにより、前記照明光に重畳された前記情報を検出する光パターン検出部と、前記光パターン検出部により検出された前記情報である検出情報と予め定められた判定情報とを比較する比較部と、前記比較部による比較結果に応じて、特定画像を表示する表示部とを備える。
 すなわち、撮像素子部が、被写体からの光を映像信号に変換する。光パターン検出部が、映像信号から明暗パターンを検出することにより、照明光に重畳された情報を検出する。すなわち、光を映像信号に変換する撮像素子部以外に、光に重畳された情報を検出するための専用の受光素子が不要である。したがって、光に重畳された情報の検出を低コストで実現することができる。
 また、好ましくは、前記撮像素子部は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを使用して前記被写体からの光を前記映像信号に変換し、前記映像信号は、ピクチャに対応するRAWデータを示し、前記光パターン検出部は、前記RAWデータを用いて該RAWデータに対応するピクチャを構成する複数の画素の輝度値を算出し、前記光パターン検出部は、該ピクチャに対応する複数の輝度値の状態を、前記明暗パターンとして検出する。
 また、好ましくは、前記撮像素子部は、CCD(Charge Coupled Device)イメージセンサを使用して前記被写体からの光を前記映像信号に変換し、前記映像信号は、複数のピクチャにそれぞれ対応する複数のRAWデータを示し、前記光パターン検出部は、前記各RAWデータを用いて該RAWデータに対応するピクチャを構成する複数の画素の輝度値を算出し、前記光パターン検出部は、前記複数のピクチャの各々に対応する各輝度値の状態を前記明暗パターンとして検出する。
 また、好ましくは、前記映像信号は、ピクチャに対応するRAWデータを示し、前記撮影装置は、さらに、前記RAWデータを用いて、該RAWデータに対応するピクチャを構成する複数の画素の輝度値を算出する画像処理部を備え、前記光パターン検出部は、該ピクチャに対応する複数の輝度値の状態を、前記明暗パターンとして検出する。
 また、好ましくは、前記比較部は、前記検出情報と前記判定情報とを比較することにより、前記検出情報と前記判定情報とが一致するか否かを判定し、前記表示部は、前記検出情報と前記判定情報とが一致する場合、前記特定画像を表示し、前記検出情報と前記判定情報とが一致しない場合、前記特定画像を表示しない。
 また、好ましくは、前記判定情報を記憶する記憶部を備える。
 また、好ましくは、前記判定情報は、撮影を禁止するための指示を示し、前記撮影装置は、さらに、前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、撮影が許可されない撮影禁止モードを設定するモード設定部を備え、前記特定画像は、撮影が禁止されている旨を示す。
 また、好ましくは、前記撮影装置は、さらに、フラッシュ光を発光するためのフラッシュ発光部を備え、前記判定情報は、撮影時における前記フラッシュ光の発光を禁止するための指示を示し、前記撮影装置は、さらに、前記検出情報と前記判定情報とが一致する場合、撮影時における前記フラッシュ光の発光をオフにするよう前記フラッシュ発光部を制御する発光制御部を備え、前記特定画像は、前記フラッシュ光の発光が禁止されている旨を示す。
 また、好ましくは、前記判定情報は、撮影時におけるISO感度を増加させるための指示を示し、前記撮影装置は、さらに、前記検出情報と前記判定情報とが一致する場合、撮影時におけるISO感度を増加させる制御を行うISO感度変更部を備える。
 これにより、撮影時におけるISO感度を増加させることにより、光量不足を補い、良好な撮影をすることができる。
 また、好ましくは、前記撮影装置は、さらに、オートフォーカスを補助するための補助光を発光する補助光部を備え、前記判定情報は、撮影時における前記補助光の発光をオフにするための指示を示し、前記撮影装置は、さらに、前記検出情報と前記判定情報とが一致する場合、撮影時における前記補助光の発光をオフにするよう前記補助光部を制御する補助光制御部を備える。
 また、好ましくは、前記判定情報は、静止画の撮影を禁止するための指示を示し、前記撮影装置は、さらに、前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、静止画の撮影が許可されない静止画撮影禁止モードを設定するモード設定部を備える。
 また、好ましくは、前記判定情報は、動画の撮影を禁止するための指示を示し、前記撮影装置は、さらに、前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、動画の撮影が許可されない動画画撮影禁止モードを設定するモード設定部を備える。
 また、好ましくは、前記判定情報は、シャッター音の出力を禁止するための指示を示し、前記撮影装置は、さらに、音声を出力するためのスピーカーと、前記検出情報と前記判定情報とが一致する場合、前記スピーカーに前記シャッター音としての音声を出力させないよう制御するシャッター音制御部とを備える。
 また、好ましくは、前記撮影装置は、さらに、メカシャッターの開閉により露光時間を変更するためのメカシャッター部を備え、前記判定情報は、前記メカシャッターを開放するための指示を示し、前記撮影装置は、さらに、前記検出情報と前記判定情報とが一致する場合、前記メカシャッターを開放させるよう前記メカシャッター部を制御するメカシャッター制御部を備える。
 また、好ましくは、前記判定情報は、画像の輝度を下げる指示を示し、前記撮影装置は、さらに、前記検出情報と前記判定情報とが一致する場合、前記表示部が表示中の画像の輝度を下げさせる制御を行う表示制御部を備える。
 また、好ましくは、前記判定情報は、画像の輝度を下げる指示を示し、前記撮影装置は、さらに、画像を表示するためのEVF(Electronic View Finder)と、前記検出情報と前記判定情報とが一致する場合、前記表示部および前記EVFの少なくとも一方の表示中の画像の輝度を下げさせる制御を行う表示制御部とを備える。
 また、好ましくは、前記撮影装置は、さらに、外部からの操作を受付ける操作部と、前記撮影装置の動作状態を報知するためのステータス光を発光するためのステータス報知部と、前記操作部が、前記撮影装置の動作状態を報知するための操作を受付けた場合、前記ステータス報知部に前記撮影装置の動作状態に対応する所定の周期で前記ステータス光を点滅させる制御を行うステータス報知制御部とを備える。
 これにより、ステータス報知部が、所定の周期でステータス光を点滅させることにより、撮影装置の動作状態を把握することができる。
 また、好ましくは、前記判定情報は、静止画の撮影を禁止するための指示を示し、前記表示部は、前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、動画を撮影するための動画撮影モードを設定するか否かを促すための前記特定画像を表示する。
 また、好ましくは、前記判定情報は、動画の撮影を禁止するための指示を示し、前記表示部は、前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、静止画を撮影するための静止画撮影モードを設定するか否かを促すための前記特定画像を表示する。
 この発明の他の局面に従う情報検出方法は、情報が重畳された照明光が照射される被写体を撮影する撮影装置が行う。前記撮影装置は、前記被写体からの光を映像信号に変換する撮像素子部と、画像を表示するための表示部とを備え、前記情報検出方法は、前記撮像素子部により変換された前記映像信号から明暗パターンを検出することにより、前記照明光に重畳された前記情報を検出する検出ステップと、前記検出ステップにより検出された前記情報である検出情報と予め定められた判定情報とを比較する比較ステップと、前記表示部が、前記比較ステップによる比較結果に応じて特定画像を表示するステップとを備える。
 なお、本発明は、このような撮影装置を構成する複数の構成要素の全てまたは一部を、システムLSI(Large Scale Integration:大規模集積回路)として実現してもよい。
 また、本発明は、撮影装置が備える特徴的な構成部の動作をステップとする情報検出方法として実現してもよい。また、本発明は、そのような情報検出方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。
 本発明により、光に重畳された情報の検出を低コストで実現することができる。
図1は、第1の実施の形態における撮影システムの構成を示すブロック図である。 図2は、直管型蛍光灯が照射する光を説明するための図である。 図3は、照明光に情報を重畳させる方法を説明するための図である。 図4は、撮影装置の構成を示すブロック図である。 図5は、一例としての判定情報テーブルを示す図である。 図6は、一例としての指示情報テーブルを示す図である。 図7は、処理部の機能構成を示すブロック図である。 図8は、照明対応処理のフローチャートである。 図9は、一例としてのピクチャを示す図である。 図10は、複数のピクチャを利用して、照明光に重畳された情報の検出方法を説明するための図である。 図11は、撮像補助制御処理のフローチャートである。 図12は、モード切替制御処理のフローチャートである。 図13は、一例としての特定画像を示す図である。 図14は、一例としての特定画像を示す図である。 図15は、表示制御処理のフローチャートである。 図16は、第1の実施の形態の変形例における撮影システムの構成を示すブロック図である。 図17は、撮影装置の構成を示すブロック図である。 図18は、照明対応処理Aのフローチャートである。 図19は、照明光に情報を重畳させる方法を説明するための図である。 図20は、照明光に情報を重畳させる方法を説明するための図である。 図21は、複数のピクチャを利用して、照明光に重畳された特定周期の明暗パターンの検出方法を説明するための図である。 図22は、撮影装置の特徴的な機能構成を示すブロック図である。
 以下、図面を参照しつつ、本発明の実施の形態について説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
 <第1の実施の形態>
 図1は、第1の実施の形態における撮影システム1000の構成を示すブロック図である。
 図1に示されるように、撮影システム1000は、照明50と、撮影装置100とを含む。
 撮影装置100は、デジタルスチルカメラまたはデジタルビデオカメラ等のデジタルカメラである。
 照明50は、詳細は後述するが、情報を重畳した光を照射する。以下においては、照明50が照射する光を、照明光という。照明50は、交流電圧で動作する直管型蛍光灯である。照明光は、照明50の近傍の被写体(例えば、人物)に照射される。撮影装置100は、照明光が照射される被写体が発する光L10を受光する。
 なお、照明50は、直管型蛍光灯に限定されず、後述のLED(Light Emitting Diode)照明、インバーター式蛍光灯等であってもよい。照明50は、図示しない商用電源から供給される交流電圧を使用して照明光を照射する。
 図2は、直管型蛍光灯が照射する光を説明するための図である。
 図2(a)は、交流電圧の波形を示す図である。当該交流電圧の周波数は、一例として60Hzであるとする。60Hzは、主に西日本地域で供給されている交流電源の周波数である。なお、当該交流電圧の周波数は、24Hz、50Hz、59.94Hz、120Hzなどであってもよい。
 図2(b)は、図2(a)の交流電圧で動作する直管型蛍光灯が照射する照明光の光量の変化を示す図である。以下においては、直管型蛍光灯が照射する照明光の光量の変化の周期を、低周波照明周期という。低周波照明周期は、撮影地(例えば、西日本地域)の電源周波数(例えば、60Hz)に対応する。
 図2(b)に示されるように、低周波照明周期は、図2(a)の交流電圧の1周期をT秒とすると、T/2秒である。なお、光量を示す縦軸において、横軸と交わる位置の光量は0ではなく少量の光量を示す。後述の図に示される光量についても同様である。
 図2(c)は、図2(b)の光量の変化の状態を示すイメージ図である。図2(c)において、白に近い部分程、直管型蛍光灯が照射する光が明るいことを示す。また、黒は、直管型蛍光灯が照射する光が暗いことを示す。黒に近い部分程、直管型蛍光灯が照射する光が暗いことを示す。
 照明50は、電源制御回路(図示せず)を有する。ここで、照明50が、直管型蛍光灯である場合において、照明光に情報を重畳させる方法について説明する。この場合、照明50の電源制御回路は、光を照射するために使用する交流電圧の波形を変化させることにより、照明光に情報を重畳させる。
 図3は、照明光に情報を重畳させる方法を説明するための図である。
 図3(a)は、波形を変化させた交流電圧の波形の一例を示す図である。照明50の電源制御回路は、一例として図3(a)のような波形の交流電圧を生成することができる。図3(a)では、一例として、期間αの電源電圧が0Vであることを示す。
 なお、照明50は、発光方式を変更する方法等により、図3(a)のような波形の交流電圧を生成してもよい。
 図3(b)は、図3(a)の交流電圧を使用した照明50が照射する光の量の変化を示す図である。図3(b)において、例えば、輝度が0である期間を“1”とし、輝度が0でない期間を“0”と定義することにより、照明光に情報を重畳させることができる。
 なお、これに限定されず、輝度が0である期間を“0”とし、輝度が0でない期間を“1”と定義することにより、照明光に情報を重畳させてもよい。
 照明50は、図3(a)の期間αに対応する波形を、特定周期で発生させることにより、照明光に情報を重畳させることができる。
 なお、上記のように、交流電圧の周期に応じて照明光に情報を重畳させる期間を規定する以外に、例えば、任意の期間で照明光に情報を重畳させるようにしてもよい。
 図3(c)は、図3(b)の光量の変化の状態を示すイメージ図である。
 図4は、撮影装置100の構成を示すブロック図である。
 図4に示されるように、撮影装置100は、メカシャッター部111と、撮像素子部112と、画像処理部120と、EVF(Electronic View Finder)131と、表示部132と、記憶部143とを備える。
 メカシャッター部111は、外部からの光を遮断するためのメカシャッターを含む。メカシャッター部111は、外部からの指示に応じて、メカシャッターを開放したり、閉じたりする。メカシャッター部111は、メカシャッターの開閉により露光時間を変更する。以下においては、メカシャッター部111のメカシャッターの動作による露光時間を、メカ露光時間という。
 撮像素子部112は、イメージセンサと、AD変換部とを含む。イメージセンサは、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサまたはCCD(Charge Coupled Device)イメージセンサである。イメージセンサは、電子シャッターを有する。撮像素子部112は、電子シャッターを制御して露光時間を変化させることができる。以下においては、電子シャッターの制御による露光時間を、電子露光時間という。
 CMOSイメージセンサおよびCCDイメージセンサの各々は、行列状に配列された複数のカラーフィルタを含む。複数のカラーフィルタの配列は、ベイヤー配列である。なお、当該複数のカラーフィルタの配列はベイヤー配列に限定されず、他の配列であってもよい。
 CMOSイメージセンサおよびCCDイメージセンサの各々は、周知なセンサであるので詳細な処理の説明は行わない。
 AD変換部は、アナログ信号をデジタル信号に変換する。
 メカシャッター部111のシャッターが開いている場合、撮像素子部112のイメージセンサは、光L10を受光する。撮像素子部112は、受光した光L10をイメージセンサにより電気信号に変換し、当該電気信号をAD変換部によりs(自然数)ビットのデジタル信号(以下、映像信号という)に変換する。
 当該映像信号は、動画像を構成する複数のピクチャの各々に対応するRAWデータを示す信号である。当該動画像における1秒当たりのピクチャの数は、電子露光時間によって変化する。例えば、電子露光時間が、1/30秒である場合、当該動画像における1秒当たりのピクチャの数は、30枚となる。この場合、映像信号が示すRAWデータは、1/30秒毎に変化する。
 撮像素子部112は、映像信号を、画像処理部120および光パターン検出部141へ送信する。
 画像処理部120は、画像処理Nを行う。画像処理Nでは、画像処理部120が、受信した映像信号が示す各RAWデータに対し、デモザイク処理を行う。これにより、画像処理部120は、各RAWデータに対応するRGBデータを得る。そして、画像処理部120は、各RGBデータから、輝度信号および色差信号を得るための色変換処理を行うことにより、各RGBデータに対応する輝度信号(Y)および色差信号(C)を得る。
 画像処理部120は、輝度信号および色差信号を得る毎に、当該輝度信号および色差信号を、EVF131および表示部132へ送信する。
 なお、画像処理Nでは、必要に応じて、ホワイトバランス調整、ガンマ補正、ゲイン補正、歪曲補正、拡大縮小ズーム等の処理も行われる。なお、画像処理Nで得られたRGBデータがEVF131および表示部132へ送信されてもよい。
 EVF131は、バックライトを使用して画像を表示する小型のLCD(Liquid Crystal Display)を有する。EVF131は、当該LCDを使用して画像を表示する。なお、EVF131は、LCD以外の表示装置を有してもよい。EVF131は、画像処理部120から送信される輝度信号および色差信号(もしくはRGBデータ)に基づく画像を表示する。
 表示部132は、バックライトを使用して画像を表示するLCDである。表示部132は、画像を表示する。なお、表示部132は、LCD以外の表示装置であってもよい。表示部132は、画像処理部120から送信される輝度信号および色差信号(もしくはRGBデータ)に基づく画像を表示する。
 記憶部143は、不揮発性のメモリである。なお、記憶部143は、揮発性のメモリ(例えば、SRAM)であってもよい。なお、記憶部143に記憶される情報は、図示しないROMから読み出され、記憶部143に記憶された情報であってもよい。
 記憶部143は、照明光に重畳された情報を検出するための判定情報テーブルT100を記憶する。
 なお、記憶部143に判定情報テーブルT100が記憶される過程は問わない。例えば、記録媒体を介して判定情報テーブルT100が記憶部143に記憶されてもよい。また、通信回線等を介して送信された判定情報テーブルT100が記憶部143に記憶されてもよい。また、入力デバイスを介して入力された判定情報テーブルT100が記憶部143に記憶されてもよい。
 図5は、一例としての判定情報テーブルT100を示す図である。
 図5において、「番号」は、「判定コード」を特定するための番号である。「判定コード」とは、照明光に重畳された情報を検出するための判定情報である。判定コードは、一例として、2進数の数字で表現される。なお、判定コードは、2進数の数字に限定されず、他の記号(例えば、アルファベット)で表現されてもよい。
 図5において、「指示」とは、対応する判定コードに対応する指示である。詳細は後述するが、撮影装置100は、当該指示に応じた処理を行う。
 照明50は、判定情報テーブルT100に示される複数の指示コードの一部または全てを示す指示情報テーブルT50を記憶している。
 図6は、一例としての指示情報テーブルT50を示す図である。
 図6において、「番号」は、「指示コード」を特定するための番号である。「指示コード」とは、撮影装置100を制御するための指示情報である。指示コードは、一例として、2進数の数字で表現される。なお、指示コードは、2進数の数字に限定されず、他の記号(例えば、アルファベット)で表現されてもよい。
 図6において、「指示」とは、対応する指示コードに対応する指示である。指示情報テーブルT50には、指示情報としての複数の指示コードが示されるが、1つの指示コードのみが示されてもよい。
 照明50は、例えば、図3で説明した方法により、指示情報テーブルT50に示される全ての指示コードを照明光に重畳させ、当該照明光を照射する。照明50が照射する照明光には、指示情報テーブルT50に示される全ての指示コードが所定の周期で連続して繰り返し重畳される。
 なお、照明光に重畳される指示コードは、指示情報テーブルT50に示される全ての指示コードでなく、一部の指示コードであってもよい。
 再び、図4を参照して、撮影装置100は、さらに、光パターン検出部141と、比較部142と、処理部150と、操作部170と、フラッシュ発光部171と、補助光部172と、スピーカー181と、ステータス報知部182とを備える。
 光パターン検出部141は、詳細は後述するが、撮像素子部112から受信する映像信号を利用して、後述の処理を行う。
 比較部142は、詳細は後述するが、光パターン検出部141から受信する情報を使用して後述する処理を行う。
 処理部150は、MPU(Micro Processing Unit)である。なお、処理部150は、MPUに限定されることなく、演算機能を有するその他の回路、特定の処理を行う専用回路等であってもよい。処理部150は、図示しないメモリに記憶されているプログラムを実行することにより、後述する各種処理を行う。
 操作部170は、ユーザーが操作するための複数のボタンおよびダイヤルを含む。操作部170は、複数のボタンおよびダイヤルに対するユーザーの操作状態を検知し、当該操作状態を示す操作情報を、処理部150へ送信する。
 処理部150は、受信した操作情報に対応する処理を行う。すなわち、操作部170は、ユーザーが撮影装置100を操作するためのインターフェースである。以下においては、ユーザーにより行われる、操作部170の操作を、操作Uともいう。
 フラッシュ発光部171は、フラッシュ光の発光が許可されている場合、撮影時にフラッシュ光を発光する。
 補助光部172は、LED、赤外線電球等の発光素子を有する。補助光部172は、後述の補助光制御部154による制御に従って、当該発光素子を使用して補助光を発光する。当該補助光は、例えば、撮影時におけるオートフォーカスを補助するための光である。
 補助光が被写体に照射されることにより、被写体からの光L10の光量が小さい場合でも、光L10の光量を大きくすることができる。
 スピーカー181は、音声を出力する。
 ステータス報知部182は、LED等の発光素子を有する。ステータス報知部182は、後述のステータス報知制御部160による制御に従って、当該発光素子を使用してステータス光を発光する。ステータス光とは、撮影装置100の動作状態を報知するための光である。ステータス報知部182は、発光素子が発光するステータス光の点滅周期を、所定の点滅周期にすることにより、撮影装置100の動作状態を報知する。撮影装置100の動作状態は、例えば、撮影状態である。
 なお、ステータス報知部182は、複数の発光素子を有していてもよい。この場合、複数の発光素子が発する光の組み合わせ等により、撮影装置100の動作状態を報知してもよい。
 撮影装置100は、動作モードとして、静止画撮影モード、動画撮影モード、撮影禁止モード、発光禁止モード、静止画撮影禁止モードおよび動画撮影禁止モードを有する。各動作モードは、設定された場合に有効になり、解除された場合に無効となる。
 撮影装置100は、設定された複数の動作モードの各々に対応する動作を行う。例えば、撮影装置100の動作モードとして、静止画撮影モードおよび発光禁止モードが設定された場合、撮影装置100は、当該静止画撮影モードおよび発光禁止モードの各々に対応する動作を行う。
 静止画撮影モードは、静止画を撮影するためのモードである。動画撮影モードは、動画を撮影するためのモードである。
 撮影装置100に含まれる光パターン検出部141および比較部142の全てまたは一部は、LSI(Large Scale Integration:大規模集積回路)等のハードウエアで構成されてもよい。また、画像処理部120、光パターン検出部141、比較部142および処理部150の全てまたは一部は、1つのLSI(Large Scale Integration:大規模集積回路)等のハードウエアで構成されてもよい。
 また、光パターン検出部141、比較部142、画像処理部120の全てまたは一部は、CPU等のプロセッサにより実行されるプログラムのモジュールであってもよい。
 図7は、処理部150の機能構成を示すブロック図である。
 処理部150は、撮影禁止設定部151と、発光制御部152と、画像生成部153と、補助光制御部154と、モード設定部155と、操作判定部156と、シャッター音制御部157と、メカシャッター制御部158と、表示制御部159と、ステータス報知制御部160と、ISO感度変更部161とを含む。
 処理部150に含まれる各部の詳細な動作は後述する。
 モード設定部155は、撮影装置100の動作モードとして、後述する各種モードを設定する。ISO感度変更部161は、撮像素子部112の露光時間を長くするための処理、ゲインを調整する処理、画像処理部120におけるゲインを調整するための処理等を行う。
 なお、処理部150に含まれる、撮影禁止設定部151、発光制御部152、画像生成部153、補助光制御部154、モード設定部155、操作判定部156、シャッター音制御部157、メカシャッター制御部158、表示制御部159、ステータス報知制御部160およびISO感度変更部161の全てまたは一部は、LSI等のハードウエアで構成されてもよい。
 また、撮影禁止設定部151、発光制御部152、画像生成部153、補助光制御部154、モード設定部155、操作判定部156、シャッター音制御部157、メカシャッター制御部158、表示制御部159、ステータス報知制御部160およびISO感度変更部161の全てまたは一部は、処理部150により実行されるプログラムのモジュールであってもよい。
 次に、本実施の形態における撮影装置100が行う具体的な処理(以下、照明対応処理という)について説明する。照明対応処理は、撮影装置100の動作モードとして、静止画撮影モードまたは動画撮影モードが設定されている場合に行われる。静止画撮影モードまたは動画撮影モードの各々は、例えば、対応する撮影モードを設定するための操作Uが行われた場合に設定される。
 静止画撮影モードまたは動画撮影モードが設定されると、処理部150は、撮影のための制御を、撮影装置100内の各部に対し行う。例えば、処理部150は、シャッターを開放させる指示を、メカシャッター部111へ送信する。メカシャッター部111は、受信した指示に従いシャッターを開放させる。これにより、撮像素子部112のイメージセンサは、被写体からの光L10を受光する。
 ここで、光L10は、照明50からの照明光が照射される被写体が発する光を含む。すなわち、光L10は、照明50からの照明光を含む。つまり、光L10は、照明光に重畳された情報が重畳された光である。
 撮像素子部112は、受光した光L10をイメージセンサにより電気信号に変換し、当該電気信号をAD変換部により前述した映像信号に変換する。
 当該映像信号は、動画像を構成する複数のピクチャの各々に対応するRAWデータを示す信号である。当該動画像における1秒当たりのピクチャの数は、電子露光時間によって変化する。例えば、電子露光時間が、1/30秒である場合、当該動画像における1秒当たりのピクチャの数は、30枚となる。この場合、映像信号が示すRAWデータは、1/30秒毎に変化する。
 撮像素子部112は、映像信号を、画像処理部120および光パターン検出部141へ送信する。
 画像処理部120は、前述した画像処理Nを行う。これにより、輝度信号および色差信号が、EVF131および表示部132へ送信される。EVF131および表示部132の各々は、受信した輝度信号および色差信号に基づく画像を表示する。
 以下の照明対応処理は、静止画撮影モードまたは動画撮影モードが設定されている撮影装置100において、画像処理部120および光パターン検出部141の各々が、撮像素子部112から、映像信号を受信しているときに行われる処理である。
 図8は、照明対応処理のフローチャートである。
 ステップS110では、情報検出処理が行われる。情報検出処理では、映像信号から、光L10に重畳された情報を検出する処理が行われる。すなわち、照明50が照射する照明光に重畳された情報を検出する処理が行われる。
 情報検出処理では、光パターン検出部141が、信号変換処理を行う。信号変換処理では、光パターン検出部141が、受信した映像信号が示す各RAWデータに対し、デモザイク処理を行う。これにより、光パターン検出部141は、各RAWデータに対応するRGBデータを得る。
 そして、光パターン検出部141は、各RGBデータから、輝度信号および色差信号を得るための色変換処理を行うことにより、各RGBデータに対応する輝度信号および色差信号を得る。当該輝度信号は、各RAWデータに対応するピクチャを構成する複数の画素の輝度値を示す。すなわち、光パターン検出部141は、各RAWデータを用いて該RAWデータに対応するピクチャを構成する複数の画素の輝度値を算出する。
 そして、光パターン検出部141は、各輝度値から、照明光に重畳された情報を検出する。
 ここで、CMOSイメージセンサを使用した、照明光に重畳された情報の検出方法について説明する。
 ここで、照明50は、一例として、直管型蛍光灯であるとする。また、照明50は、一例として、周期Tの交流電圧で動作するとする。すなわち、照明50の低周波照明周期は、T/2秒である。また、撮像素子部112のイメージセンサは、CMOSイメージセンサであるとする。
 CMOSイメージセンサは、1画素単位でデータの読出しを行うことが可能な構成のため、1枚のピクチャにおいて、各画素からのデータの読出しタイミングが異なる。そこで、CMOSイメージセンサを使用して直管型蛍光灯が照射する照明光の変化を検知するためには、電子露光時間を低周波照明周期と同じまたは低周波照明周期より短くするか、もしくは、電子露光時間を少なくとも低周波照明周期の2倍以上にする必要がある。電子露光時間が低周波照明周期と同じまたは低周波照明周期より短い場合は、前述のCCDイメージセンサと同様に、フィールド、もしくはフレーム単位で明暗差が生じる。
 ここでは、電子露光時間を、少なくとも低周波照明周期の2倍以上にする場合について説明する。説明を簡単にするために、電子露光時間は、低周波照明周期T/2秒の4倍の2T秒であるとする。
 この場合、光パターン検出部141が情報検出処理において得られた輝度信号が示す1枚のピクチャは、以下のピクチャP100のようになる。
 図9は、一例としてのピクチャP100を示す図である。なお、ピクチャP100には、実際には被写体の画像も表示されるが、説明のために被写体の画像は示していない。
 図9において、ピクチャP100の右側には、当該ピクチャP100の垂直方向を時間とした場合の、周期がT/2秒の照明光の光量の変化を示す。
 ここで、光パターン検出部141は、ピクチャP100において、照明光の光量が所定値以上である部分に対応する領域を判定領域に設定する。判定領域は、情報を検出するための領域である。
 電子露光時間が、低周波照明周期のk(2以上の整数)倍である場合、ピクチャP100には、k個の判定領域が設定される。k個の判定領域において、垂直方向に各隣合う2つの判定領域の間隔は、一定である。
 例えば、kが4の場合、ピクチャP100には、図9のように、判定領域R10.1,10.2,10.3,10.4が設定される。以下においては、判定領域R10.1,10.2,10.3,10.4の各々を、単に、判定領域R10とも表記する。
 なお、電子露光時間が、例えば、低周波照明周期の8倍である場合、ピクチャP100には、8個の判定領域が設定される。
 ここで、ピクチャP100は、照明光に情報が重畳されていない場合のピクチャであるとする。
 この場合、各判定領域R10は、高輝度領域である。ここで、高輝度領域は、当該判定領域R10内の複数の画素の輝度値の平均値が、所定の判定閾値以上である領域である。すなわち、高輝度領域は、明るい領域である。ここで、判定閾値とは、情報を検出するための閾値である。
 以下においては、判定領域内の複数の画素の輝度値の平均が判定閾値未満である当該判定領域を、低輝度領域という。
 照明光に情報が重畳されている場合、ピクチャP100内の各判定領域R10は、高輝度領域または低輝度領域である。この場合、ピクチャP100は、ある明暗パターンを示す。
 ここで、高輝度領域を“0”と定義し、低輝度領域を“1”と定義したとする。この場合、光パターン検出部141は、ピクチャP100内の各判定領域R10内の複数の画素の輝度値の平均値が、判定閾値以上であるか否かを判定することにより“0”、“1”を検出する。すなわち、光パターン検出部141は、ピクチャP100の少なくとも2つ以上のライン単位で、照明光に重畳された情報を検出する。
 つまり、光パターン検出部141は、ピクチャP100に対応する複数の輝度値の状態を、明暗パターンとして検出することにより、照明光に重畳された情報を検出する。当該各輝度値は、映像信号から得られた値である。つまり、光パターン検出部141は、映像信号から明暗パターンを検出することにより、照明光に重畳された情報を検出する。
 ここで、照明光に、例えば、指示情報としての指示コード“1000”が重畳されていたとする。この場合、ピクチャP100における判定領域R10.1,10.2,10.3,10.4は、それぞれ、低輝度領域、高輝度領域、高輝度領域および高輝度領域となる。
 この場合、光パターン検出部141は、ピクチャP100内の各判定領域R10内の複数の画素の輝度値の平均値が、判定閾値より高いか否かを判定することにより、指示コード“1000”を検出する。
 以上のような方法により、光パターン検出部141は、映像信号から明暗パターンを検出することにより、照明光に重畳された情報を検出する。なお、上記説明では、1枚のピクチャから情報を検出する例を説明したが、照明光に重畳された情報が多い場合、複数のピクチャから情報が検出される場合もある。
 なお、情報を検出するための値は、判定領域R10内の複数の画素の輝度値の平均値に限定されず、判定領域R10内の複数の画素の輝度値の分散値であってもよい。また、情報の検出方法は上記方法に限定されない。例えば、所定時間において、低輝度領域の部分が発生した数を算出することにより、情報を検出してもよい。
 次に、CCDイメージセンサを使用した、照明光に重畳された情報の検出方法の他の例について説明する。
 ここで、照明50は、一例として、直管型蛍光灯であるとする。また、照明50は、一例として、周期Tの交流電圧で動作するとする。すなわち、照明50の低周波照明周期は、T/2秒である。また、撮像素子部112のイメージセンサは、CCDイメージセンサであるとする。
 CCDイメージセンサは、1枚のピクチャ単位でデータの読出しを行う構成のため、1枚のピクチャにおける各画素の露光時間(電子露光時間)はほぼ同じである。そのため、映像信号から情報を検出するためには、複数のピクチャが必要である。
 そこで、CCDイメージセンサを使用して直管型蛍光灯が照射する照明光の変化を検知するためには、電子露光時間を、少なくとも低周波照明周期の1/2以下にする必要がある。ここでは、説明を簡単にするために、電子露光時間は、低周波照明周期T/2秒の1/4倍のT/8秒であるとする。
 この場合、光パターン検出部141が情報検出処理において得られた輝度信号が示す複数のピクチャは、図10に示すようになる。
 図10は、複数のピクチャを利用して、照明光に重畳された情報の検出方法を説明するための図である。
 図10(a)は、周期がT/2秒の照明光の光量の変化を示す図である。
 図10(b)は、情報検出処理において得られた輝度信号が示す複数のピクチャの一部を示す図である。当該複数のピクチャの一部は、ピクチャP11,P12,P13,P14,P15である。なお、ピクチャP11~P15の各々には、実際には被写体の画像も表示されるが、説明のために被写体の画像は示していない。
 ピクチャP11,P12,P13,P14,P15は、ピクチャP11~P15の順で生成される。すなわち、ピクチャP15は、ピクチャP11よりも後に生成されるピクチャである。
 ピクチャP11,P12,P13,P14,P15の各々は、図10(a)の時間軸と対応する。
 ここで、光パターン検出部141は、ピクチャP11,P12,P13,P14,P15において、照明光の光量が所定値以上である部分に対応するピクチャを判定ピクチャに設定する。判定ピクチャは、情報を検出するためのピクチャである。ここで、図10(b)のピクチャP11,P12,P13,P14,P15は、照明光に情報が重畳されていない場合のピクチャであるとする。
 ここでは、一例として、奇数番目のピクチャが、判定ピクチャに設定されたとする。すなわち、一例として、ピクチャP11,P13,P15が判定ピクチャに設定されたとする。
 この場合、各ピクチャP11,P13,P15は、高輝度ピクチャである。ここで、高輝度ピクチャは、当該判定ピクチャを構成する複数の画素の輝度値の平均値が、所定の判定閾値P以上である領域である。すなわち、高輝度ピクチャは、全体的に明るいピクチャである。ここで、判定閾値Pとは、情報を検出するための閾値である。
 以下においては、判定ピクチャを構成する複数の画素の輝度値の平均が判定閾値P未満である当該判定ピクチャを、低輝度ピクチャという。
 図10(c)は、照明光に情報が重畳されている場合の各ピクチャを示す図である。
 照明光に情報が重畳されている場合、各判定ピクチャは、高輝度ピクチャまたは低輝度ピクチャである。この場合、複数の判定ピクチャは、ある明暗パターンを示す。
 ここで、高輝度ピクチャを“0”と定義し、低輝度ピクチャを“1”と定義したとする。この場合、光パターン検出部141は、各判定ピクチャを構成する複数の画素の輝度値の平均値が、判定閾値P以上であるか否かを判定することにより“0”、“1”を検出する。
 すなわち、光パターン検出部141は、複数のピクチャの各々に対応する各輝度値の状態を明暗パターンとして検出することにより、照明光に重畳された情報を検出する。当該各輝度値は、映像信号から得られた値である。つまり、光パターン検出部141は、映像信号から明暗パターンを検出することにより、照明光に重畳された情報を検出する。
 ここで、照明光に、例えば、指示情報としての指示コード“100”が重畳されていたとする。この場合、判定ピクチャとしてのピクチャP11,P13,P15は、それぞれ、低輝度ピクチャ、高輝度ピクチャおよび高輝度ピクチャとなる。
 この場合、光パターン検出部141は、各判定ピクチャ(例えば、ピクチャP11)を構成する複数の画素の輝度値の平均値が、判定閾値Pより高いか否かを判定することにより、指示コード“100”を検出する。
 なお、各ピクチャがインタレース方式で処理される場合、各ピクチャは、奇数フィールドまたは偶数フィールドである。そのため、フィールド単位で、照明光に重畳された情報が検出される。この場合、低周波照明周期は、映像信号における各フィールドの周期よりも長い。すなわち、この場合、映像信号における各フィールドの周期を、低周波照明周期より短くすることで、照明光に重畳された情報を検出することができる。
 また、各ピクチャがプログレッシブ方式で処理される場合、フレーム単位で、照明光に重畳された情報が検出される。この場合、低周波照明周期は、映像信号における各フレームの周期よりも長い。すなわち、この場合、映像信号における各フレームの周期を、低周波照明周期より短くすることで、照明光に重畳された情報を検出することができる。
 以上のような方法により、光パターン検出部141は、映像信号から明暗パターンを検出することにより、照明光に重畳された情報を検出する。
 なお、情報を検出するための値は、各判定ピクチャを構成する複数の画素の輝度値の平均値に限定されず、例えば、各判定ピクチャを構成する複数の画素の輝度値の分散値であってもよい。
 また、情報の検出方法は上記方法に限定されない。例えば、所定時間において表れる低輝度ピクチャの数を算出することにより、情報を検出してもよい。
 以上の方法により、CMOSイメージセンサまたはCCDイメージセンサを使用して、照明光に重畳された情報が検出される。
 図8のステップS110の情報検出処理では、光パターン検出部141が、前述した方法により、照明光に重畳された指示情報としての全ての指示コードを検出する。そして、光パターン検出部141は、検出した全ての指示コードを、比較部142へ送信する。
 そして、処理はステップS120に移行する。
 ステップS120では、撮影を禁止するための撮影禁止指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、図5の判定情報テーブルT100に示される「撮影禁止」の指示に対応する判定コードと一致するか否かを判定する。すなわち、比較部142は、指示情報としての全ての指示コードと、判定情報としての判定コードとを比較することにより、検出情報と判定情報とが一致するか否かを判定する。つまり、ステップS120の処理は、比較部142が、ステップS110の処理により検出された情報である検出情報と予め定められた判定情報とを比較する処理である。
 「撮影禁止」の指示に対応する判定コードは、撮影を禁止するための指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS120において、NOならば、処理はステップS200に移行する。一方、ステップS120において、YESならば、処理は後述のステップS130に移行する。
 撮影禁止指示がある場合は、後述の静止画撮影禁止指示および動画撮影禁止指示の両方がある。一方、撮影禁止指示がない場合は、後述の静止画撮影禁止指示および動画撮影禁止指示の少なくとも一方がある場合がある。
 ステップS200では、撮像補助制御処理が行われる。
 図11は、撮像補助制御処理のフローチャートである。
 ステップS210では、フラッシュ光の発光を禁止するためのフラッシュ光禁止指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「フラッシュ光禁止」の指示に対応する判定コードと一致するか否かを判定する。「フラッシュ光禁止」の指示に対応する判定コードは、撮影時におけるフラッシュ光の発光を禁止するための指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS210において、YESならば、処理はステップS211に移行する。一方、ステップS210において、NOならば、処理は後述のステップS220に移行する。
 ステップS211では、発光制御部152が、撮影時におけるフラッシュ光の発光をオフにするようフラッシュ発光部171を制御する。具体的には、撮影装置100の動作モードとして、フラッシュ光の発光が許可されない発光禁止モードを設定する。これにより、フラッシュ発光部171は、撮影時において、フラッシュ光の発光を行わない。
 ステップS212では、フラッシュ撮影禁止報知処理が行われる。フラッシュ撮影禁止報知処理では、画像生成部153が、フラッシュ光の発光が禁止されている旨のメッセージを示す特定画像Aを生成する。当該メッセージは、例えば、「フラッシュ光を利用した撮影は禁止されています」というメッセージである。
 画像生成部153は、生成した特定画像Aを、表示部132へ送信する。表示部132は、受信した特定画像Aを表示する。なお、特定画像Aは、EVF131が表示してもよい。
 なお、特定画像(例えば、特定画像A)は、表示部132が表示中の画像に重畳して表示されてもよい。
 ステップS220では、撮影時における補助光の発光をオフにするための補助光オフ指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「補助光オフ」の指示に対応する判定コードと一致するか否かを判定する。「補助光オフ」の指示に対応する判定コードは、撮影時における補助光の発光をオフにするための指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS220において、YESならば、処理はステップS221に移行する。一方、ステップS220において、NOならば、処理は後述のステップS230に移行する。
 ステップS221では、補助光制御部154が、補助光部172に、補助光をオフにさせる指示を送信する。補助光部172は、当該指示を受信することにより、補助光の発光をオフにする。すなわち、補助光制御部154は、撮影時における補助光の発光をオフにするよう補助光部172を制御する。
 ステップS222では、補助光オフ報知処理が行われる。補助光オフ報知処理では、画像生成部153が、補助光の発光がオフにされた旨のメッセージを示す特定画像Bを生成する。当該メッセージは、例えば「補助光の発光がオフにされました」というメッセージである。画像生成部153は、生成した特定画像Bを、表示部132へ送信する。表示部132は、受信した特定画像Bを表示する。なお、特定画像Bは、EVF131が表示してもよい。
 ステップS230では、撮影時におけるISO感度を増加させるためのISO感度増加指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「ISO感度増加」の指示に対応する判定コードと一致するか否かを判定する。「ISO感度増加」の指示に対応する判定コードは、撮影時におけるISO感度を増加させるための指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS230において、YESならば、処理はステップS231に移行する。一方、ステップS230において、NOならば、この撮像補助制御処理は終了し、照明対応処理に戻り、処理はステップS300に移行する。
 ISO感度増加指示は、例えば、フラッシュ光禁止指示等があった場合において光量不足を補うための指示である。
 ステップS231では、ISO感度増加処理が行われる。ISO感度増加処理では、ISO感度変更部161は、撮像素子部112における露光時間を、現時点で設定されている露光時間より長くするように撮像素子部112を制御する。
 もしくは、ISO感度変更部161が、AD変換時のゲインをあげるように、撮像素子部112を制御する。また、さらには画像処理Nでのガンマ補正やゲイン補正において、ゲインをあげるようにISO感度変更部161が画像処理部120を制御してもよい。
 すなわち、ISO感度変更部161は、撮影時におけるISO感度を増加させる制御を行う。
 これにより、光L10の光量が不足していても、良好な撮影をすることができる。
 なお、ISO感度増加指示の代わりに、ISO感度を低下させるための指示があった場合、当該指示に従って、ISO感度変更部161は、撮影装置100の撮影時のISO感度を低下させる制御を行ってもよい。
 ステップS232では、ISO感度増加報知処理が行われる。ISO感度増加報知処理では、画像生成部153が、ISO感度が増加された旨のメッセージを示す特定画像Cを生成する。当該メッセージは、例えば「ISO感度が増加されました」というメッセージである。
 画像生成部153は、生成した特定画像Cを、表示部132へ送信する。表示部132は、受信した特定画像Cを表示する。なお、特定画像Cは、EVF131が表示してもよい。
 なお、指示コードは、映像信号または輝度信号の補正を行う指示を示してもよい。この場合、フリッカによる輝度信号変化による影響をなくすことができる。
 そして、この撮像補助制御処理は終了し、図8の照明対応処理に戻り、処理はステップS300に移行する。
 ステップS300では、モード切替制御処理が行われる。
 図12は、モード切替制御処理のフローチャートである。
 ステップS310では、モード設定部155が、撮影装置100の動作モードとして、静止画撮影モードが設定されているか否かを判定する。ステップS310において、YESならば、処理はステップS320に移行する。一方、ステップS310において、NOならば、処理は後述のステップS340に移行する。
 ステップS320では、静止画の撮影を禁止するための静止画撮影禁止指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「静止画撮影禁止」の指示に対応する判定コードと一致するか否かを判定する。「静止画撮影禁止」の指示に対応する判定コードは、静止画の撮影を禁止するための指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS320において、YESならば、処理はステップS321に移行する。一方、ステップS320において、NOならば、処理は後述のステップS360に移行する。
 ステップS321では、モード設定部155が、撮影装置100の動作モードとして、静止画の撮影が許可されない静止画撮影禁止モードを設定する。この場合、静止画撮影モードの設定は解除される。これにより、撮影装置100は、静止画の撮影が許可されない。
 ステップS322では、静止画撮影禁止報知処理が行われる。静止画撮影禁止報知処理では、画像生成部153が、静止画撮影が禁止されている旨のメッセージおよび動画撮影モードを設定するか否かを促すメッセージを示す以下の特定画像G100を生成する。画像生成部153は、生成した特定画像G100を、表示部132へ送信する。表示部132は、受信した特定画像G100を表示する。
 図13は、一例としての特定画像G100を示す図である。特定画像G100は、静止画撮影が禁止されている旨のメッセージを示す。また、特定画像G100は、撮影装置100の動作モードとして、動画を撮影するための動画撮影モードを設定するか否かを促すメッセージを示す。
 再び、図12を参照して、ステップS330では、操作判定部156が、動画撮影設定操作があったか否かを判定する。動画撮影設定操作とは、撮影装置100の動作モードとして、動画撮影モードを設定するための操作Uである。操作部170は、動画撮影設定操作を受付けた場合、当該動画撮影設定操作を示す操作情報を、処理部150へ送信する。これにより、操作判定部156は、動画撮影設定操作があったか否かを判定する。
 ステップS330において、YESならば、処理はステップS331に移行する。一方、ステップS330において、NOならば、処理は後述のステップS130に移行する。
 ステップS331では、モード設定部155が、撮影装置100の動作モードとして、動画撮影モードを設定する。この場合、静止画撮影モードの設定は解除される。動画撮影モードが設定されると、メカシャッター部111、撮像素子部112および画像処理部120の各々の動作が、動画撮影を行うための動作となる。
 ステップS340では、動画の撮影を禁止するための動画撮影禁止指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「動画撮影禁止」の指示に対応する判定コードと一致するか否かを判定する。「動画撮影禁止」の指示に対応する判定コードは、動画の撮影を禁止するための指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS340において、YESならば、処理はステップS341に移行する。一方、ステップS340において、NOならば、処理は後述のステップS360に移行する。
 ステップS341では、モード設定部155が、撮影装置100の動作モードとして、動画の撮影が許可されない動画画撮影禁止モードを設定する。この場合、動画撮影モードの設定は解除される。これにより、撮影装置100は、動画の撮影が許可されない。
 ステップS342では、動画撮影禁止報知処理が行われる。動画撮影禁止報知処理では、画像生成部153が、動画撮影が禁止されている旨のメッセージおよび静止画撮影モードを設定するか否かを促すメッセージを示す以下の特定画像G200を生成する。画像生成部153は、生成した特定画像G200を、表示部132へ送信する。表示部132は、受信した特定画像G200を表示する。
 図14は、一例としての特定画像G200を示す図である。特定画像G200は、動画撮影が禁止されている旨のメッセージを示す。また、特定画像G200は、撮影装置100の動作モードとして、静止画を撮影するための静止画撮影モードを設定するか否かを促すメッセージを示す。
 再び、図12を参照して、ステップS350では、操作判定部156が、静止画撮影設定操作があったか否かを判定する。静止画撮影設定操作とは、撮影装置100の動作モードとして、静止画撮影モードを設定するための操作Uである。操作部170は、静止画撮影設定操作を受付けた場合、当該静止画撮影設定操作を示す操作情報を、処理部150へ送信する。これにより、操作判定部156は、静止画撮影設定操作があったか否かを判定する。
 ステップS350において、YESならば、処理はステップS351に移行する。一方、ステップS350において、NOならば、このモード切替制御処理は終了し、図8の照明対応処理に戻り、処理は後述のステップS130に移行する。
 ステップS351では、モード設定部155が、撮影装置100の動作モードとして、静止画撮影モードを設定する。この場合、動画撮影モードの設定は解除される。静止画撮影モードが設定されると、メカシャッター部111、撮像素子部112および画像処理部120の各々の動作が、静止画撮影を行うための動作となる。
 そして、再度、ステップS310の処理が行われる。
 ステップS320において、NOならば、処理はステップS360に移行する。
 なお、前述したように、静止画撮影禁止指示および動画撮影禁止指示がある場合、撮影禁止指示がある。そのため、この場合、ステップS120でYESと判定され処理はステップS130へ移行する。そのため、モード切替制御処理において、ステップS321,S341の処理が永久に繰り返される状態は発生しない。
 ステップS360では、シャッター音の出力を禁止するためのシャッター音禁止指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「シャッター音禁止」の指示に対応する判定コードと一致するか否かを判定する。「シャッター音禁止」の指示に対応する判定コードは、シャッター音の出力を禁止するための指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS360において、YESならば、処理はステップS361に移行する。一方、ステップS360において、NOならば、処理は後述のステップS370に移行する。
 ステップS361では、シャッター音オフ処理が行われる。シャッター音オフ処理では、シャッター音制御部157が、スピーカー181からシャッター音を出力させないための処理を行う。当該処理は、例えば、スピーカー181へ送信されるシャッター音の音量を0にするという処理である。なお、スピーカー181のパワーダウンといった無音化のための処理が行われてもよい。すなわち、シャッター音制御部157は、スピーカー181にシャッター音としての音声を出力させないよう制御する。
 ステップS362では、シャッター音禁止報知処理が行われる。シャッター音禁止報知処理では、画像生成部153が、シャッター音の出力が禁止されている旨のメッセージを示す特定画像Dを生成する。当該メッセージは、例えば、「シャッター音の出力が禁止されています」というメッセージである。画像生成部153は、生成した特定画像Dを、表示部132へ送信する。表示部132は、受信した特定画像Dを表示する。なお、特定画像Dは、EVF131が表示してもよい。
 ステップS370では、メカシャッターを開放するためのメカシャッター開放指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「メカシャッター開放」の指示に対応する判定コードと一致するか否かを判定する。「メカシャッター開放」の指示に対応する判定コードは、メカシャッターを開放するための指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS370において、YESならば、処理はステップS371に移行する。一方、ステップS370において、NOならば、このモード切替制御処理は終了し、図8の照明対応処理に戻り、処理はステップS400に移行する。
 ステップS371では、メカシャッター制御部158が、メカシャッターを開放させるようメカシャッター部111を制御する。なお、この場合、メカシャッターの開放により生じる被写体ぶれ、または、適正露光を制御するために、撮像素子部112での電子シャッターの制御も行われる。
 ステップS372では、メカシャッター開放報知処理が行われる。メカシャッター開放報知処理では、画像生成部153が、メカシャッターが開放されている旨のメッセージを示す特定画像Eを生成する。当該メッセージは、例えば、「メカシャッターが開放されています」というメッセージである。画像生成部153は、生成した特定画像Eを、表示部132へ送信する。表示部132は、受信した特定画像Eを表示する。なお、特定画像Eは、EVF131が表示してもよい。
 そして、このモード切替制御処理は終了し、図8の照明対応処理に戻り、処理はステップS400に移行する。
 ステップS400では、表示制御処理が行われる。
 図15は、表示制御処理のフローチャートである。
 ステップS410では、画像表示をオフするための画像表示オフ指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「画像表示オフ」の指示に対応する判定コードと一致するか否かを判定する。「画像表示オフ」の指示に対応する判定コードは、画像の表示を行わないようにする指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS410において、YESならば、処理はステップS411に移行する。一方、ステップS410において、NOならば、処理はステップS420に移行する。
 ステップS411では、画像表示オフ報知処理が行われる。画像表示オフ報知処理では、画像生成部153が、画像を非表示にする旨のメッセージを示す特定画像Fを生成する。当該メッセージは、例えば「画像表示をオフにします」というメッセージである。画像生成部153は、生成した特定画像Fを、表示部132へ送信する。表示部132は、受信した特定画像Fを表示する。なお、特定画像Fは、EVF131が表示してもよい。
 ステップS412では、画像表示オフ処理が行われる。画像表示オフ処理では、表示制御部159が、輝度信号および色差信号をEVF131および表示部132の各々へ送信しないよう画像処理部120を制御する。これにより、EVF131および表示部132の各々は、画像の表示を行わない。なお、上記処理の代わりに、例えば、輝度信号が示す輝度値を0にする処理、EVF131および表示部132へ供給される電力をオフにする処理が行われてもよい。
 ステップS420では、EVF切替え指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「EVF切替え」の指示に対応する判定コードと一致するか否かを判定する。「EVF切替え」の指示に対応する判定コードは、画像を表示する対象を、表示部132からEVF131へ切替えるための指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS420において、YESならば、処理はステップS421へ移行する。一方、ステップS420において、NOならば、処理は後述のステップS430へ移行する。
 ステップS421では、EVF切替え報知処理が行われる。EVF切替え報知処理では、画像生成部153が、画像を表示する対象を、EVFへ切替える旨のメッセージを示す特定画像Gを生成する。当該メッセージは、例えば「画像を表示する対象を、メインの表示装置からEVFへ切替えます」というメッセージである。画像生成部153は、生成した特定画像Gを、表示部132へ送信する。表示部132は、受信した特定画像Gを表示する。なお、特定画像Gは、EVF131が表示してもよい。
 ステップS422では、EVF切替え処理が行われる。EVF切替え処理では、表示制御部159が、輝度信号および色差信号を、表示部132へ送信せず、EVF131のみへ送信するよう画像処理部120を制御する。これにより、表示部132は画像の表示を行わないようになり、EVF131のみが画像を表示する。また、表示制御部159が、表示部132へ電力を供給する図示しない電源に対し、表示部132へ電力を供給しないように制御する。
 これにより、周囲への明かり漏れを最小限に減らすことができる。
 ここで、撮影装置100は、EVF131の代わりにOVF(Optical View Finder)を備えていてもよい。この場合、OVFでの被写体確認を可能とするために、OVFが使用可能な状態にメカシャッター部111を制御し、表示部132へ電力が供給されないようにしてもよい。
 ステップS430では、画像の輝度を下げるための輝度低減指示があるか否かが判定される。具体的には、比較部142が、受信した全ての指示コード(指示情報)のいずれかが、判定情報テーブルT100に示される「輝度低減」の指示に対応する判定コードと一致するか否かを判定する。「輝度低減」の指示に対応する判定コードは、画像の輝度を下げる指示を示す。比較部142による判定結果は、処理部150に通知される。
 ステップS430において、YESならば、処理はステップS431へ移行する。一方、ステップS430において、NOならば、処理は後述のステップS440へ移行する。
 ステップS431では、輝度低減報知処理が行われる。輝度低減報知処理では、画像生成部153が、画像の輝度を低減する旨のメッセージを示す特定画像Hを生成する。当該メッセージは、例えば「画像の輝度を低減します」というメッセージである。画像生成部153は、生成した特定画像Hを、表示部132へ送信する。表示部132は、受信した特定画像Hを表示する。なお、特定画像Hは、EVF131が表示してもよい。
 ステップS432では、表示輝度低減処理が行われる。表示輝度低減処理では、表示制御部159が、輝度信号が示す各輝度値を所定の割合(例えば、30%)だけ低減させるよう、画像処理部120を制御する。すなわち、表示制御部159は、表示部132および前記EVF131の少なくとも一方の表示中の画像の輝度を下げさせる制御を行う。
 これにより、表示部132およびEVF131の各々が表示する画像の輝度が低下する。なお、上記処理に限定されず、例えば、表示部132およびEVF131の各々のバックライトの光量を減少させる処理が行われてもよい。
 ステップS440では、操作判定部156が、ステータス表示操作があったか否かを判定する。ステータス表示操作とは、撮影装置100の動作状態を報知するための操作Uである。操作部170は、ステータス表示操作を受付けた場合、当該ステータス表示操作を示す操作情報を、処理部150へ送信する。これにより、操作判定部156は、ステータス表示操作があったか否かを判定する。
 ステップS440において、YESならば、処理はステップS441に移行する。ステータス表示操作が行われる場合は、例えば、ステップS412の処理が行われることにより、EVF131および表示部132の各々が画像の表示を行わないようになった場合である。一方、ステップS440において、NOならば、この表示制御処理は終了し、図8の照明対応処理に戻り、処理はステップS510に移行する。
 ステップS441では、ステータス表示処理が行われる。ステータス表示処理では、ステータス報知制御部160が、ステータス報知部182に撮影装置100の動作状態に対応する所定の周期でステータス光を点滅させる制御を行う。
 すなわち、ステータス報知部182は、発光素子を使用して、所定の周期でステータス光を点滅させることにより、撮影装置100の動作状態をユーザーに報知する。なお、ステータス報知部182が、所定の周期でステータス光を点滅させる処理は、例えば、当該処理を中断するための操作Uが行われるまで継続される。
 撮影装置100の動作状態は、例えば、露光中の状態、記録媒体にデータを記録している状態である。記録媒体にデータを記録している状態の場合、当該所定の周期は、例えば、0.1秒である。露光中の状態の場合、当該所定の周期は、例えば、100秒である。この場合、ステータス報知部182の発光素子は、ほぼ、点灯し続けていることになる。
 そして、この表示制御処理は終了し、図8の照明対応処理に戻り、処理はステップS510に移行する。
 ステップS120でYESの場合、ステップS330でNOの場合、または、ステップS350でNOの場合、処理はステップS130に移行する。
 ステップS130では、撮影禁止モード設定処理が行われる。撮影禁止モード設定処理では、モード設定部155が、撮影装置100の動作モードとして、撮影が許可されない撮影禁止モードを設定する。撮影禁止モードが設定されると、撮影するために使用される、メカシャッター部111、撮像素子部112、画像処理部120等の動作が停止される。これにより、撮影装置100は、撮影のための動作ができなくなる。
 ステップS131では、撮影禁止報知処理が行われる。撮影禁止報知処理では、画像生成部153が、撮影が禁止されている旨のメッセージを示す特定画像Jを生成する。当該メッセージは、例えば「この場所では、撮影は禁止されています」というメッセージである。画像生成部153は、生成した特定画像Jを、表示部132へ送信する。表示部132は、受信した特定画像Jを表示する。なお、特定画像Jは、EVF131が表示してもよい。そして、処理はステップS510に移行する。
 ステップS510では、操作判定部156が、撮影終了操作があったか否かを判定する。撮影終了操作とは、例えば、設定されている撮影モード(動画撮影モードまたは静止画撮影モード)の設定を解除するため操作Uである。撮影終了操作は、例えば、撮影装置100の動作モードとして、撮影により得られた静止画または動画を閲覧するためのモードを設定するための操作である。
 操作部170は、撮影終了操作を受付けた場合、当該撮影終了操作を示す操作情報を、処理部150へ送信する。これにより、操作判定部156は、撮影終了操作があったか否かを判定する。
 ステップS510において、YESならば、モード設定部155が、設定されている撮影モード(動画撮影モードまたは静止画撮影モード)の設定を解除し、この照明対応処理は終了する。一方、ステップS510において、NOならば、再度、ステップS120の処理が行われる。
 なお、図8、図11、図12、図15の処理が行われているときに、照明対応処理を終了するための割り込み処理があった場合、照明対応処理は終了する。当該割り込み処理は、例えば、撮影装置100の電源をオフにするための処理である。
 以上説明したように、本実施の形態によれば、光パターン検出部141が、映像信号から明暗パターンを検出することにより、照明光に重畳された情報を検出する。すなわち、光を映像信号に変換する撮像素子部112以外に、光に重畳された情報を検出するための専用の受光素子が不要である。したがって、光に重畳された情報の検出を低コストで実現することができる。
 また、検出した指示情報としての指示コードと一致する判定コードが示す指示に従って、撮影装置100は各種処理を行う。したがって、ユーザーに手間をかけることなく、照明50が設置される場所、状況等に応じて撮影装置100を制御することができる。すなわち、撮影装置100の利便性を向上させることができる。
 本実施の形態の撮影装置100によれば、例えば、フラッシュの撮影禁止場所(美術館など)での撮影で、意図せずフラッシュ発光をしてしまうことを防止することができる。
 また、撮像素子部112以外の専用の受光素子を必要としないため、機能追加時のコストアップを防ぐことができる。さらには、照明側の構造をシンプルにすることができる。
 また、本実施の形態によれば、光L10を発する被写体に対して撮影装置100の撮影機能を制限することができる。
 また、本実施の形態によれば、画像処理部が算出した輝度値から、明暗パターンを検出することができる。その結果、対象とする撮影装置を増やすことができる。
 また、本実施の形態によれば、光L10を発する被写体に対して撮影装置100が撮影できないようにすることができる。
 また、本実施の形態によれば、光L10を発する被写体に対して撮影装置100がフラッシュ光を使用した撮影ができないようにすることができる。
 また、本実施の形態によれば、撮影装置100の撮影時におけるISO感度を増加させることにより、光量不足を補い、良好な撮影をすることができる。
 また、本実施の形態によれば、撮影装置100における、光L10を発する被写体に対する補助光の発光を自動的にオフにすることができる。
 また、本実施の形態によれば、撮影装置100が光L10を発する被写体に対して静止画の撮影ができないようにすることができる。
 また、本実施の形態によれば、撮影装置100が光L10を発する被写体に対して動画の撮影ができないようにすることができる。
 また、本実施の形態によれば、撮影装置100にシャッター音としての音声を出力させないようにすることができる。
 また、本実施の形態によれば、撮影装置100にメカシャッターを自動で開放させることができる。
 また、本実施の形態によれば、撮影装置100に表示部が表示中の画像の輝度を下げさせることができる。これにより、周囲への明かり漏れを最小限に減らすことができる。
 また、本実施の形態によれば、ステータス報知部が所定の周期でステータス光を点滅させることにより、撮影装置の動作状態を把握することができる。
 また、本実施の形態によれば、動画撮影モードを設定するか否かを促すための特定画像を表示することにより、ユーザーは、容易に、動画撮影モードを設定することができる。
 また、本実施の形態によれば、静止画撮影モードを設定するか否かを促すための特定画像を表示することにより、ユーザーは、容易に、静止画撮影モードを設定することができる。
 また、本実施の形態によれば、表示部132に画像の表示を行わせないようにし、EVF131のみに画像を表示させる。これにより、周囲への明かり漏れを最小限に減らすことができる。
 <第1の実施の形態の変形例>
 図16は、第1の実施の形態の変形例における撮影システム1000Aの構成を示すブロック図である。
 撮影システム1000Aは、図1の撮影システム1000と比較して、撮影装置100の代わりに撮影装置100Aを備える点が異なる。それ以外の撮影システム1000Aの構成は、撮影システム1000と同様なので詳細な説明は繰り返さない。
 図17は、撮影装置100Aの構成を示すブロック図である。
 撮影装置100Aの構成は、図4の撮影装置100の構成と同じである。撮影装置100Aは、図4の撮影装置100と比較して、撮像素子部112、画像処理部120および光パターン検出部141の処理が異なる。撮影装置100Aにおけるそれ以外の各部の処理は、撮影装置100と同様なので詳細な説明は繰り返さない。
 撮像素子部112は、映像信号を、画像処理部120へ送信する。画像処理部120は、前述の画像処理Nを行うことにより、輝度信号および色差信号を得る。
 そして、画像処理部120は、輝度信号および色差信号を得る毎に、当該輝度信号および色差信号を、EVF131および表示部132へ送信するとともに、当該輝度信号(Y)を、光パターン検出部141へ送信する。
 次に、本実施の形態における撮影装置100Aが行う具体的な処理(以下、照明対応処理Aという)について説明する。なお、以下においては、第1の実施の形態と異なる処理を主に説明する。
 照明対応処理Aは、撮影装置100Aの動作モードとして、静止画撮影モードまたは動画撮影モードが設定されている場合に行われる。
 静止画撮影モードまたは動画撮影モードが設定されると、第1の実施の形態と同様、処理部150は、撮影をするための制御を、撮影装置100A内の各部に対し行う。
 前述したように、撮像素子部112は、映像信号を、画像処理部120へ送信する。画像処理部120は、前述の画像処理Nを行うことにより、輝度信号および色差信号を得る。当該輝度信号は、各RAWデータに対応するピクチャを構成する複数の画素の輝度値を示す。すなわち、画像処理部120は、RAWデータを用いて、該RAWデータに対応するピクチャを構成する複数の画素の輝度値を算出する。
 また、画像処理部120は、輝度信号および色差信号を得る毎に、当該輝度信号(Y)を、光パターン検出部141へ送信する。
 以下の照明対応処理Aは、静止画撮影モードまたは動画撮影モードが設定されている撮影装置100Aにおいて、光パターン検出部141が、画像処理部120から、輝度信号(Y)を受信しているときに行われる処理である。
 図18は、照明対応処理Aのフローチャートである。図18において、図8のステップ番号と同じステップ番号の処理は、第1の実施の形態で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。
 照明対応処理Aは、図8の照明対応処理と比較して、ステップS110の代わりにステップS110Aが行われる点が異なる。
 ステップS110Aの情報検出処理Aは、ステップS110の情報検出処理と比較して、信号変換処理が行われない点が異なる。それ以外の処理は、ステップS110と同様なので詳細な説明は繰り返さない。
 光パターン検出部141は、画像処理部120から受信する輝度信号が示す各輝度値から、照明光に重畳された情報を検出する。なお、情報を検出する処理は、ステップS110の処理と同様なので詳細な説明は繰り返さない。これにより、光パターン検出部141は、ピクチャに対応する複数の輝度値の状態を、明暗パターンとして検出することにより、照明光に重畳された情報を検出する。
 なお、ステップS110A以降の処理は、第1の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。
 以上説明したように、本実施の形態の変形例によれば、第1の実施の形態と同じ効果が得られる。すなわち、光に重畳された情報の検出を低コストで実現することができる。
 (照明光について)
 第1の実施の形態および第1の実施の形態の変形例では、照明50が直管型蛍光灯である場合について説明したが、本発明はこれに限定されない。照明50は、例えば、LED(Light Emitting Diode)照明、インバーター式蛍光灯等であってもよい。
 次に、照明50が、LED照明である場合において、照明光に情報を重畳させる方法について説明する。LED照明は、商用電源から供給される交流電圧を直流電圧に変換し、当該直流電圧を使用して照明光を照射する。照明50の電源制御回路は、光を照射するために使用する直流電圧の波形を変化させることにより、照明光に情報を重畳させる。
 図19は、照明光に情報を重畳させる方法を説明するための図である。
 図19(a)は、図2(a)と同じ交流電圧の波形を示す図である。
 図19(b)に示されるようにLED照明は、明るさが一定であり、光量の変化の周期を持たない。
 そのため、照明50の電源制御回路が、LED照明に供給する電圧を制御することにより、図19(c)に示されるように、照明光の光量を変化させることができる。すなわち、照明光において、明暗の周期を発生させることができる。
 図19(c)の期間βに対応する波形を、特定周期で発生させることで、照明光に情報を重畳させることができる。
 図19(d)は、図19(c)の光量の変化の状態を示すイメージ図である。
 次に、照明50が、インバーター式蛍光灯である場合において、照明光に情報を重畳させる方法について説明する。
 図20(a)は、図2(a)と同じ交流電圧の波形を示す図である。
 インバーター式蛍光灯は、図示しない商用電源から供給される交流電圧を使用して、さらに高周波な交流電圧(以下、高周波交流電圧という)を生成して使用する。そのため、インバーター式蛍光灯が高周波交流電圧を使用する場合、インバーター式蛍光灯の照明光は、図20(b)に示されるようにほぼ一定の明るさを保つ。
 そのため、照明50の電源制御回路が、インバーター式蛍光灯に供給する電圧を制御することにより、図20(c)に示されるように、照明光の光量を大きく変化させることができる。すなわち、照明光において、明暗の周期を発生させることができる。
 図20(c)の期間γに対応する波形を、特定周期で発生させることで、照明光に情報を重畳させることができる。
 図20(d)は、図20(c)の光量の変化の状態を示すイメージ図である。
 図19、図20のような、情報が重畳された照明光を使用した場合でも、単位時間当たりの明暗の周期、一定期間内の明暗の不連続回数などを、明暗パターンとして検出することにより、照明光に重畳された情報を検出することができる。
 次に、照明50がインバーター式蛍光灯である場合において、複数のピクチャを利用して、照明光に重畳された特定周期の明暗パターンを検出する方法を、図21を用いて説明する。
 図21(a)は、周波数が120Hzである照明光に5bitの特定周期θの情報をのせた(重畳した)場合の光量の変化を示す図である。図21(a)の横方向は、時間軸を示す。
 図21(b)は、情報検出処理において得られた輝度信号が示す複数のピクチャの一部を示す図である。当該複数のピクチャの一部は、ピクチャP201,P202,P203,P204,P205である。なお、ピクチャP201~P205の各々には、実際には被写体の画像も表示されるが、説明のために被写体の画像は示していない。
 ピクチャP201,P202,P203,P204,P205は、ピクチャP201~P205の順で生成される。すなわち、ピクチャP205は、ピクチャP201よりも後に生成されるピクチャである。
 ピクチャP201,P202,P203,P204,P205の各々は、図21(a)の時間軸と対応する。
 ここで、光パターン検出部141は、ピクチャP201~P205において、照明光の光量が所定値以上である部分に対応するピクチャを判定ピクチャに設定する。判定ピクチャは、情報を検出するためのピクチャである。
 ここでは、特定周期情報の一例として、P201,P204のピクチャが、判定ピクチャに設定されたとする。
 この場合、各ピクチャP202,P203,P205は、高輝度ピクチャである。ここで、高輝度ピクチャを“0”と定義し、低輝度ピクチャを“1”と定義したとする。この場合、光パターン検出部141は、各判定ピクチャを構成する複数の画素の輝度値の平均値が、判定閾値P以上であるか否かを判定することにより“0”、“1”を検出する。
 ここで、光パターン検出部141は、特定周期の指示情報としての指示コード“10010”が重畳されていることを判別することができる。比較部142は、記憶部143から指示コードを読み出し、指示コード“10010”と一致する内容を処理部150へ返す。例えば、指示コードが“10010”である場合、当該指示コードに対応する指示は、図6より、フラッシュ光禁止である。
 以上のような方法により、光パターン検出部141は、映像信号から明暗パターンを検出することにより、照明光に重畳された特定周期の情報を検出する。
 照明光に情報を重畳させる方法は、上記方法に限定されない。例えば、照明光において、明時間と暗時間とが均等にならないよう、照明50の電源制御回路が電圧を制御してもよい。
 また、照明光において、特定時間の2周期分を“1”と定義し、特定時間の1周期分を“0”と定義することにより、照明光における不連続期間に対応する部分に情報を持たせてもよい。
 (その他の変形例)
 撮影装置100,100Aの各々は、EVF131を備えており、OVFを備えていないが、OVFを備えていてもよい。
 また、撮影装置100,100Aの各々は、フラッシュ発光部171を備えているが、これに限定されない。撮影装置100,100Aの各々は、フラッシュ発光部171を外部に備えてもよい。さらには、撮影装置100,100Aの各々は、フラッシュ発光部171を備えていなくてもよい。その場合は、図11の撮像補助制御処理のフラッシュに関わる処理を行わないようにすればよい。
 また、撮影装置100,100Aの各々は、補助光部172を備えているが、補助光部172を備えていなくてもよい。その場合は、撮像補助制御処理の補助光部172に関わる処理を行わないようにすればよい。
 また、第1の実施の形態およびその変形例において、自動的に切り替える処理では、切替える旨を、事前にユーザーに知らせない場合がある。しかしながら、切り替える前にユーザーに切り替える旨を、表示部132またはEVF131を使用して報知してもよい。
 (機能ブロック図)
 図22は、撮影装置200の特徴的な機能構成を示すブロック図である。撮影装置200は、撮影装置100又は撮影装置100Aに相当する。つまり、図22は、撮影装置100又は撮影装置100Aの有する機能のうち、本発明に関わる主要な機能を示すブロック図である。
 撮影装置200は、情報が重畳された照明光が照射される被写体を撮影する。
 撮影装置200は、機能的には、撮像素子部210と、光パターン検出部220と、比較部230と、表示部240とを備える。
 撮像素子部210は、前記被写体からの光を映像信号に変換する。撮像素子部210は、撮像素子部112に相当する。光パターン検出部220は、撮像素子部210により変換された前記映像信号から明暗パターンを検出することにより、前記照明光に重畳された前記情報を検出する。光パターン検出部220は、光パターン検出部141に相当する。
 比較部230は、前記光パターン検出部220により検出された前記情報である検出情報と予め定められた判定情報とを比較する。比較部230は、例えば、図8のステップS120の処理を行う比較部142に相当する。
 表示部240は、前記比較部230による比較結果に応じて、特定画像を表示する。表示部240は、例えば、図8のステップS131において特定画像Jを表示する表示部132に相当する。
 なお、撮影装置200に含まれる、撮像素子部210、光パターン検出部220および比較部230の全てまたは一部は、LSI(Large Scale Integration:大規模集積回路)等のハードウエアで構成されてもよい。また、撮像素子部210、光パターン検出部220および比較部230の全てまたは一部は、CPU等のプロセッサにより実行されるプログラムのモジュールであってもよい。
 以上、本発明における撮影装置100又は撮影装置100Aについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
 また、上記の撮影装置100又は撮影装置100Aを構成する複数の構成要素の全てまたは一部は、ハードウエアで構成されてもよい。また、上記の撮影装置100又は撮影装置100Aを構成する構成要素の全てまたは一部は、CPU(Central Processing Unit)等により実行されるプログラムのモジュールであってもよい。
 また、上記の撮影装置100又は撮影装置100Aを構成する複数の構成要素の全てまたは一部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されてもよい。システムLSIは、複数の構成要素を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)及びRAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。
 例えば、図4において、画像処理部120、光パターン検出部141、比較部142および処理部150は、1個のシステムLSIから構成されてもよい。
 また、前述した処理を実行する各部は、1つであってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
 また、本発明は、撮影装置100又は撮影装置100Aが備える特徴的な構成部の動作をステップとする情報検出方法として実現してもよい。
 また、本発明に係る情報検出方法は、図8の照明対応処理または図18の照明対応処理Aの全てまたは一部(例えば、ステップS110,S120,S131等)に相当する。本発明に係る情報検出方法は、図8または図18における、対応する全てのステップを必ずしも含む必要はない。すなわち、本発明に係る情報検出方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。ここで、本発明の効果を実現できる最小限のステップは、例えば、図8のステップS110,S120,S131である。
 また、本発明は、そのような情報検出方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。
 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
 本発明は、光に重畳された情報の検出を低コストで実現可能な撮影装置として、利用することができる。
50 照明
100,100A,200 撮影装置
111 メカシャッター部
112,210 撮像素子部
120 画像処理部
131 EVF
132,240 表示部
141,220 光パターン検出部
142,230 比較部
143 記憶部
150 処理部
151 撮影禁止設定部
152 発光制御部
153 画像生成部
154 補助光制御部
155 モード設定部
156 操作判定部
157 シャッター音制御部
158 メカシャッター制御部
159 表示制御部
160 ステータス報知制御部
161 ISO感度変更部
170 操作部
171 フラッシュ発光部
172 補助光部
181 スピーカー
182 ステータス報知部
1000,1000A 撮影システム
 

Claims (20)

  1.  情報が重畳された照明光が照射される被写体を撮影する撮影装置であって、
     前記被写体からの光を映像信号に変換する撮像素子部と、
     前記撮像素子部により変換された前記映像信号から明暗パターンを検出することにより、前記照明光に重畳された前記情報を検出する光パターン検出部と、
     前記光パターン検出部により検出された前記情報である検出情報と予め定められた判定情報とを比較する比較部と、
     前記比較部による比較結果に応じて、特定画像を表示する表示部とを備える
     撮影装置。
  2.  前記撮像素子部は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを使用して前記被写体からの光を前記映像信号に変換し、
     前記映像信号は、ピクチャに対応するRAWデータを示し、
     前記光パターン検出部は、前記RAWデータを用いて該RAWデータに対応するピクチャを構成する複数の画素の輝度値を算出し、
     前記光パターン検出部は、該ピクチャに対応する複数の輝度値の状態を、前記明暗パターンとして検出する
     請求項1に記載の撮影装置。
  3.  前記撮像素子部は、CCD(Charge Coupled Device)イメージセンサを使用して前記被写体からの光を前記映像信号に変換し、
     前記映像信号は、複数のピクチャにそれぞれ対応する複数のRAWデータを示し、
     前記光パターン検出部は、前記各RAWデータを用いて該RAWデータに対応するピクチャを構成する複数の画素の輝度値を算出し、
     前記光パターン検出部は、前記複数のピクチャの各々に対応する各輝度値の状態を前記明暗パターンとして検出する
     請求項1に記載の撮影装置。
  4.  前記映像信号は、ピクチャに対応するRAWデータを示し、
     前記撮影装置は、さらに、
      前記RAWデータを用いて、該RAWデータに対応するピクチャを構成する複数の画素の輝度値を算出する画像処理部を備え、
     前記光パターン検出部は、該ピクチャに対応する複数の輝度値の状態を、前記明暗パターンとして検出する
     請求項1に記載の撮影装置。
  5.  前記比較部は、前記検出情報と前記判定情報とを比較することにより、前記検出情報と前記判定情報とが一致するか否かを判定し、
     前記表示部は、前記検出情報と前記判定情報とが一致する場合、前記特定画像を表示し、前記検出情報と前記判定情報とが一致しない場合、前記特定画像を表示しない
     請求項1~4のいずれか1項に記載の撮影装置。
  6.  前記判定情報を記憶する記憶部を備える、
     請求項1~5のいずれか1項に記載の撮影装置。
  7.  前記判定情報は、撮影を禁止するための指示を示し、
     前記撮影装置は、さらに、
      前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、撮影が許可されない撮影禁止モードを設定するモード設定部を備え、
     前記特定画像は、撮影が禁止されている旨を示す
     請求項1~6のいずれか1項に記載の撮影装置。
  8.  前記撮影装置は、さらに、
      フラッシュ光を発光するためのフラッシュ発光部を備え、
     前記判定情報は、撮影時における前記フラッシュ光の発光を禁止するための指示を示し、
     前記撮影装置は、さらに、
      前記検出情報と前記判定情報とが一致する場合、撮影時における前記フラッシュ光の発光をオフにするよう前記フラッシュ発光部を制御する発光制御部を備え、
     前記特定画像は、前記フラッシュ光の発光が禁止されている旨を示す
     請求項1~6のいずれか1項に記載の撮影装置。
  9.  前記判定情報は、撮影時におけるISO感度を増加させるための指示を示し、
     前記撮影装置は、さらに、
      前記検出情報と前記判定情報とが一致する場合、撮影時におけるISO感度を増加させる制御を行うISO感度変更部を備える
     請求項1~6のいずれか1項に記載の撮影装置。
  10.  前記撮影装置は、さらに、
      オートフォーカスを補助するための補助光を発光する補助光部を備え、
     前記判定情報は、撮影時における前記補助光の発光をオフにするための指示を示し、
     前記撮影装置は、さらに、
      前記検出情報と前記判定情報とが一致する場合、撮影時における前記補助光の発光をオフにするよう前記補助光部を制御する補助光制御部を備える、
     請求項1~6のいずれか1項に記載の撮影装置。
  11.  前記判定情報は、静止画の撮影を禁止するための指示を示し、
     前記撮影装置は、さらに、
      前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、静止画の撮影が許可されない静止画撮影禁止モードを設定するモード設定部を備える
     請求項1~6のいずれか1項に記載の撮影装置。
  12.  前記判定情報は、動画の撮影を禁止するための指示を示し、
     前記撮影装置は、さらに、
      前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、動画の撮影が許可されない動画画撮影禁止モードを設定するモード設定部を備える
     請求項1~6のいずれか1項に記載の撮影装置。
  13.  前記判定情報は、シャッター音の出力を禁止するための指示を示し、
     前記撮影装置は、さらに、
      音声を出力するためのスピーカーと、
      前記検出情報と前記判定情報とが一致する場合、前記スピーカーに前記シャッター音としての音声を出力させないよう制御するシャッター音制御部とを備える
     請求項1~6のいずれか1項に記載の撮影装置。
  14.  前記撮影装置は、さらに、
      メカシャッターの開閉により露光時間を変更するためのメカシャッター部を備え、
     前記判定情報は、前記メカシャッターを開放するための指示を示し、
     前記撮影装置は、さらに、
      前記検出情報と前記判定情報とが一致する場合、前記メカシャッターを開放させるよう前記メカシャッター部を制御するメカシャッター制御部を備える
     請求項1~6のいずれか1項に記載の撮影装置。
  15.  前記判定情報は、画像の輝度を下げる指示を示し、
     前記撮影装置は、さらに、
      前記検出情報と前記判定情報とが一致する場合、前記表示部が表示中の画像の輝度を下げさせる制御を行う表示制御部を備える
     請求項1~6のいずれか1項に記載の撮影装置。
  16.  前記判定情報は、画像の輝度を下げる指示を示し、
     前記撮影装置は、さらに、
      画像を表示するためのEVF(Electronic View Finder)と、
      前記検出情報と前記判定情報とが一致する場合、前記表示部および前記EVFの少なくとも一方の表示中の画像の輝度を下げさせる制御を行う表示制御部とを備える
     請求項1~6のいずれか1項に記載の撮影装置。
  17.  前記撮影装置は、さらに、
      外部からの操作を受付ける操作部と、
      前記撮影装置の動作状態を報知するためのステータス光を発光するためのステータス報知部と、
      前記操作部が、前記撮影装置の動作状態を報知するための操作を受付けた場合、前記ステータス報知部に前記撮影装置の動作状態に対応する所定の周期で前記ステータス光を点滅させる制御を行うステータス報知制御部とを備える
     請求項1~6のいずれか1項に記載の撮影装置。
  18.  前記判定情報は、静止画の撮影を禁止するための指示を示し、
     前記表示部は、前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、動画を撮影するための動画撮影モードを設定するか否かを促すための前記特定画像を表示する、
     請求項1~6のいずれか1項に記載の撮影装置。
  19.  前記判定情報は、動画の撮影を禁止するための指示を示し、
     前記表示部は、前記検出情報と前記判定情報とが一致する場合、前記撮影装置の動作モードとして、静止画を撮影するための静止画撮影モードを設定するか否かを促すための前記特定画像を表示する、
     請求項1~6のいずれか1項に記載の撮影装置。
  20.  情報が重畳された照明光が照射される被写体を撮影する撮影装置が行う情報検出方法であって、
     前記撮影装置は、
      前記被写体からの光を映像信号に変換する撮像素子部と、
      画像を表示するための表示部とを備え、
     前記情報検出方法は、
      前記撮像素子部により変換された前記映像信号から明暗パターンを検出することにより、前記照明光に重畳された前記情報を検出する検出ステップと、
     前記検出ステップにより検出された前記情報である検出情報と予め定められた判定情報とを比較する比較ステップと、
     前記表示部が、前記比較ステップによる比較結果に応じて特定画像を表示するステップとを備える、
     情報検出方法。
PCT/JP2011/000655 2010-03-09 2011-02-07 撮影装置および情報検出方法 WO2011111296A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180011633.7A CN102783134B (zh) 2010-03-09 2011-02-07 摄影装置以及信息检测方法
JP2012504291A JP5821019B2 (ja) 2010-03-09 2011-02-07 撮影装置および情報検出方法
US13/600,510 US8982233B2 (en) 2010-03-09 2012-08-31 Imaging apparatus for imaging an object subject to illuminating light on which information is overlaid and information detection method
US14/617,029 US9432573B2 (en) 2010-03-09 2015-02-09 Apparatus for detecting information overlaid on light and system including the apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-052198 2010-03-09
JP2010052198 2010-03-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/600,510 Continuation US8982233B2 (en) 2010-03-09 2012-08-31 Imaging apparatus for imaging an object subject to illuminating light on which information is overlaid and information detection method

Publications (1)

Publication Number Publication Date
WO2011111296A1 true WO2011111296A1 (ja) 2011-09-15

Family

ID=44563134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000655 WO2011111296A1 (ja) 2010-03-09 2011-02-07 撮影装置および情報検出方法

Country Status (4)

Country Link
US (2) US8982233B2 (ja)
JP (2) JP5821019B2 (ja)
CN (2) CN102783134B (ja)
WO (1) WO2011111296A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5564632B1 (ja) * 2012-12-27 2014-07-30 パナソニック株式会社 情報通信方法
JP5564630B1 (ja) * 2012-12-27 2014-07-30 パナソニック株式会社 情報通信方法
JP2015097381A (ja) * 2012-12-27 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 制御方法、情報通信装置、およびプログラム
JP2020178353A (ja) * 2012-12-27 2020-10-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America プログラム、装置および制御方法
US11372615B2 (en) 2018-06-19 2022-06-28 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905739A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 电子设备控制方法及电子设备
JP5974913B2 (ja) * 2013-01-25 2016-08-23 富士通株式会社 撮像方法、撮像装置及び撮像プログラム
JP6210772B2 (ja) * 2013-07-22 2017-10-11 キヤノン株式会社 情報処理装置、撮像装置、制御方法、及びプログラム
CN105657162B (zh) * 2015-12-28 2019-05-14 Oppo广东移动通信有限公司 移动终端拍照快门的音量控制方法及装置
CN109599050B (zh) * 2019-01-31 2022-04-05 合肥鑫晟光电科技有限公司 一种显示面板画质改善方法及其装置、显示装置
US11271747B2 (en) 2019-09-16 2022-03-08 Lawrence Livermore National Security, Llc Optical authentication of images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005174877A (ja) * 2003-12-15 2005-06-30 Matsushita Electric Works Ltd 放電灯点灯装置、照明器具並びに照明システム
JP2007043579A (ja) * 2005-08-04 2007-02-15 Advanced Telecommunication Research Institute International 対象物識別システム及び検出装置
JP2007096556A (ja) * 2005-09-28 2007-04-12 Pentax Corp フリッカノイズ低減装置
JP2008005438A (ja) * 2006-06-26 2008-01-10 Canon Inc 撮像装置及び撮像方法
JP2008078845A (ja) * 2006-09-20 2008-04-03 Casio Comput Co Ltd 情報記録装置及び情報記録制御プログラム
JP2009177254A (ja) * 2008-01-21 2009-08-06 Ricoh Co Ltd 撮影装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152217A (ja) * 1998-11-09 2000-05-30 Toshiba Corp 映像取得制限システム、映像取得許否信号送信装置および映像取得制限装置
US7619657B2 (en) * 2000-10-04 2009-11-17 Fujifilm Corp. Recording apparatus, communications apparatus, recording system, communications system, and methods therefor for setting the recording function of the recording apparatus in a restricted state
JP2005136535A (ja) * 2003-10-29 2005-05-26 Hitachi Ltd 情報処理装置、携帯電子機器および撮影制限システム
JP4440926B2 (ja) 2003-11-19 2010-03-24 パナソニック株式会社 デジタルカメラシステム
JP2005333482A (ja) * 2004-05-20 2005-12-02 Fuji Photo Film Co Ltd 撮影制限システム、撮影装置及び撮影制限方法
JP2006301417A (ja) * 2005-04-22 2006-11-02 Fuji Photo Film Co Ltd 撮影システム及び光通信装置並びに撮影装置
JP2008294654A (ja) * 2007-05-23 2008-12-04 Sony Corp 撮像システム、撮像装置、撮像方法、撮像制御方法、プログラム
JP5170646B2 (ja) * 2008-02-04 2013-03-27 カシオ計算機株式会社 情報記録システム、情報記録装置及び情報記録制御プログラム
JP2009188865A (ja) * 2008-02-08 2009-08-20 Casio Comput Co Ltd 画像処理装置、及び、プログラム
US20090268023A1 (en) * 2008-04-27 2009-10-29 Wen-Hsiung Hsieh Surveillance camera device with a light source
JP4730402B2 (ja) 2008-06-30 2011-07-20 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
US8463072B2 (en) * 2008-08-29 2013-06-11 Adobe Systems Incorporated Determining characteristics of multiple light sources in a digital image
JP5493455B2 (ja) * 2009-05-01 2014-05-14 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8737842B2 (en) * 2009-07-03 2014-05-27 Koninklijke Philips N.V. Method and system for asynchronous lamp identification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005174877A (ja) * 2003-12-15 2005-06-30 Matsushita Electric Works Ltd 放電灯点灯装置、照明器具並びに照明システム
JP2007043579A (ja) * 2005-08-04 2007-02-15 Advanced Telecommunication Research Institute International 対象物識別システム及び検出装置
JP2007096556A (ja) * 2005-09-28 2007-04-12 Pentax Corp フリッカノイズ低減装置
JP2008005438A (ja) * 2006-06-26 2008-01-10 Canon Inc 撮像装置及び撮像方法
JP2008078845A (ja) * 2006-09-20 2008-04-03 Casio Comput Co Ltd 情報記録装置及び情報記録制御プログラム
JP2009177254A (ja) * 2008-01-21 2009-08-06 Ricoh Co Ltd 撮影装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5564632B1 (ja) * 2012-12-27 2014-07-30 パナソニック株式会社 情報通信方法
JP5564636B1 (ja) * 2012-12-27 2014-07-30 パナソニック株式会社 情報通信方法
JP5564630B1 (ja) * 2012-12-27 2014-07-30 パナソニック株式会社 情報通信方法
JP5564631B1 (ja) * 2012-12-27 2014-07-30 パナソニック株式会社 情報通信方法
JP2015046860A (ja) * 2012-12-27 2015-03-12 パナソニック株式会社 情報通信方法
JP2015046862A (ja) * 2012-12-27 2015-03-12 パナソニック株式会社 情報通信方法
JP2015097381A (ja) * 2012-12-27 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 制御方法、情報通信装置、およびプログラム
JP2015097376A (ja) * 2012-12-27 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 情報通信方法
JP2020178353A (ja) * 2012-12-27 2020-10-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America プログラム、装置および制御方法
US11372615B2 (en) 2018-06-19 2022-06-28 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus

Also Published As

Publication number Publication date
US20120327262A1 (en) 2012-12-27
US20150156411A1 (en) 2015-06-04
CN102783134B (zh) 2015-08-12
JP5821019B2 (ja) 2015-11-24
US9432573B2 (en) 2016-08-30
CN102783134A (zh) 2012-11-14
JP2015136194A (ja) 2015-07-27
JPWO2011111296A1 (ja) 2013-06-27
CN105007419B (zh) 2018-05-08
US8982233B2 (en) 2015-03-17
CN105007419A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
JP5821019B2 (ja) 撮影装置および情報検出方法
US7711257B2 (en) Image quality in cameras using flash
JP2007300541A (ja) 撮像装置及びそのプログラム
JP4912113B2 (ja) 光源状態検出装置及び方法並びに撮像装置
JP2007174537A (ja) 撮像装置
US10560638B2 (en) Imaging apparatus and imaging method
US10057503B2 (en) Image processing apparatus and method for applying a virtual light source to an image
JP2009077057A (ja) 撮像装置、撮像装置の制御方法
JP2007316599A (ja) 表示制御装置、及び、表示制御プログラム
WO2015127594A1 (zh) 一种拍摄补光的控制方法、装置及终端
JP2011166753A (ja) 撮像装置
JP2006080942A (ja) 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
JP2012119840A (ja) 撮像装置
JP4003657B2 (ja) 電子カメラ
JP2007060327A (ja) 撮像装置
JP2006042000A (ja) デジタルカメラ用クレードルおよびデジタルカメラシステム
JP5984533B2 (ja) 撮像装置、その制御方法およびプログラム
JP2009276610A (ja) 画像表示装置,画像表示方法及び撮像装置
JP2008098805A (ja) デジタルカメラ装置およびそのフリッカ補正方法
JPH1169217A (ja) 電子カメラ及びその電子シャッター制御方法
JP2012134585A (ja) カメラ
JP5846856B2 (ja) カメラ付インターホン装置
WO2020071108A1 (ja) 画像処理装置および画像処理方法
JP2006222806A (ja) 撮影装置、撮影装置の制御方法及び制御プログラム
JP2020061726A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180011633.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11752964

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012504291

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11752964

Country of ref document: EP

Kind code of ref document: A1