WO2022201737A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2022201737A1 WO2022201737A1 PCT/JP2022/000227 JP2022000227W WO2022201737A1 WO 2022201737 A1 WO2022201737 A1 WO 2022201737A1 JP 2022000227 W JP2022000227 W JP 2022000227W WO 2022201737 A1 WO2022201737 A1 WO 2022201737A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vibration
- information
- imaging device
- information processing
- photographer
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 91
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims abstract description 321
- 238000012545 processing Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 19
- 238000003825 pressing Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 36
- 230000035807 sensation Effects 0.000 abstract description 15
- 230000001133 acceleration Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 38
- 230000002265 prevention Effects 0.000 description 28
- 230000007246 mechanism Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 230000035945 sensitivity Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000000428 dust Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 240000001973 Ficus microcarpa Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 201000010041 presbyopia Diseases 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
Definitions
- the present technology relates to an information processing device, an information processing method, and a program.
- Patent Literature 1 describes an imaging apparatus that provides information on photography to the photographer using bone vibration transmission means that transmits vibration to the bones of the photographer.
- the bone vibration transmitting means is provided at a position corresponding to the cheek of the photographer when using the electronic viewfinder.
- an object of the present technology is to provide an information processing device, an information processing method, and a program capable of appropriately presenting information related to an imaging device with a sense of touch.
- an information processing apparatus includes a control unit.
- the control unit controls shooting environment information in an imaging device including a camera body that includes an imaging device that captures an image of a subject and a vibration device that presents vibrations to a photographer, shooting setting information set by the photographer, and controlling vibration of the vibration device based on at least one piece of state information of the imaging device.
- the vibration may indicate information related to the imaging device.
- the information related to the image pickup device includes at least one of operation information of the image pickup device, alert information, operation information of an accessory device attached to the camera body, and image pickup information acquired by the image pickup device. good too.
- the operation information of the imaging device may include information on the state of focus on the subject, information on the start of exposure in the imaging element, and information on the end of exposure.
- the imaging device has a shutter button that is operated by half-pressing and full-pressing
- the control unit controls vibration of the vibrating device indicating a state of focus on the subject performed in response to half-pressing of the shutter button, and starts and controls the exposure performed in response to full-pressing of the shutter button. Vibration of the vibrating device may be controlled to indicate respective terminations.
- the control unit may vary the vibration indicating the focus state by the vibration device according to the focal length.
- the imaging information includes information as to whether the captured image acquired by the imaging device is a normal image or an error image
- the control unit may control the vibration of the vibrating device such that the vibration indicating that the error image has been obtained is different from the vibration indicating that the normal image has been obtained.
- the control unit may control the vibration of the vibration device to be OFF during the exposure of the imaging device.
- the vibration drive signal indicating the alert information includes a signal that is hidden when the vibration mode of the vibration device is off or a signal that is visible when the vibration mode is off, and
- the control unit is When the attention calling information having a signal that is hidden when the vibration mode is off is received during exposure of the image pickup device, vibration indicating the attention calling information is generated after the end of exposure of the image pickup device. , which controls the vibrating device above, When receiving the alert information having a signal that appears when the vibration mode is off during exposure of the imaging device, vibration indicating the alert information is generated during exposure of the imaging device.
- the vibrating device may be controlled.
- the alerting information may include at least one of information related to the remaining battery level, which is the driving power source of the imaging device, and information related to the shooting environment information.
- the control unit may control the vibration of the vibration device so that the vibration indicating the operation information of each of the attached devices differs for each of the plurality of attached devices.
- the control unit may control the first vibration and the second vibration indicating different information related to the imaging device so that the photographer can distinguish between the first vibration and the second vibration.
- the shooting setting information may include at least one of shutter speed setting, frame rate setting, single shooting mode or continuous shooting mode setting, and shooting environment setting.
- the state information of the imaging device includes type information of the accessory device attached to the camera body, form information of the accessory device, information on the gripping state of the imaging device by the photographer, and remaining driving power supply of the imaging device. and at least one of power consumption information of the camera body.
- the imaging device has a zoom lens
- the control unit may control the vibration of the vibration device, taking into account the vibration during driving of the zoom lens.
- the control unit may control the vibration of the vibration device taking into consideration the vibration sound caused by the vibration device.
- the imaging device has a mechanical shutter
- the control unit may control the vibration of the vibration device in consideration of vibration during operation of the mechanical shutter.
- the control unit may use the vibration information of the imaging device to control the next vibration of the vibration device.
- An information processing method provides imaging environment information in an imaging apparatus including an imaging device that captures an image of a subject and a vibration device that presents vibrations to a photographer, Vibration of the vibration device is controlled based on at least one of setting information and state information of the imaging device.
- a program includes shooting environment information in an imaging apparatus including an imaging device that captures an image of a subject and a vibration device that presents vibrations to a photographer, and shooting setting information set by the photographer. and, based on at least one of the state information of the imaging device, the information processing device is caused to execute a process of controlling the vibration of the vibration device.
- FIG. 1A and 1B are a front view and a side view of an imaging device according to an embodiment of the present technology
- FIG. 1 is a block diagram showing the functions and configuration of an imaging device according to an embodiment of the present technology
- FIG. 1 is a schematic internal configuration diagram of an imaging device in which a lens unit is attached to a camera body, according to an embodiment of the present technology
- FIG. 2 is a front view showing a state where an image sensor, a mechanical front curtain, and a mechanical rear curtain are observed along the optical axis direction from the lens side in the mechanical shutter mechanism of the imaging device according to the embodiment of the present technology
- FIG. It is a figure which shows typically an example of the vibration presentation in the imaging device which concerns on embodiment of this technique.
- FIG. 1 is a block diagram showing the functions and configuration of an imaging device according to an embodiment of the present technology
- FIG. 1 is a schematic internal configuration diagram of an imaging device in which a lens unit is attached to a camera body, according to an embodiment of the present technology
- FIG. 5 is a diagram illustrating an example of vibration presentation according to the length of exposure time and frame rate in the imaging device according to the embodiment of the present technology
- FIG. 10 is a diagram illustrating a vibration presentation example that takes into consideration the vibration derived from a mechanical shutter in the imaging device according to the embodiment of the present technology
- FIG. 10 is a diagram illustrating a vibration presentation example that takes into consideration the sound of the vibrating device in the imaging device according to the embodiment of the present technology
- FIG. 10 is a diagram illustrating a vibration presentation example that takes into consideration the sound of the vibrating device in the imaging device according to the embodiment of the present technology
- FIG. 5 is a diagram illustrating an example of vibration presentation that takes into consideration vibrations derived from lens driving in the imaging device according to the embodiment of the present technology
- FIG. 5 is a diagram illustrating an example of vibration presentation that takes into consideration the remaining battery level and the power consumption of the camera body in the imaging device according to the embodiment of the present technology; It is a figure which shows typically an example of the vibration presentation in the imaging device which concerns on embodiment of this technique.
- FIG. 10 is a flow diagram illustrating basic timing of turning off the vibration mode in vibration presentation in the imaging device according to the embodiment of the present technology;
- FIG. 10 is a flow diagram when alerting information having a non-display signal is received when the vibration mode is off in vibration presentation in the imaging device according to the embodiment of the present technology;
- FIG. 10 is a flow diagram when alerting information having a signal that is expressed when the vibration mode is off is received in vibration presentation in the imaging device according to the embodiment of the present technology; It is a figure explaining the vibration presentation example which considered the imaging information in the imaging device which concerns on embodiment of this technique.
- FIG. 10 is a diagram illustrating an example of vibration presentation that takes into account the focal length (the state of focus on a subject) in the imaging device according to the embodiment of the present technology;
- FIG. 7 is a diagram illustrating a vibration presentation example when a plurality of attached devices are attached to the imaging device according to the embodiment of the present technology;
- FIG. 10 is a diagram illustrating vibration presentation that takes into account the type of attachment device to be worn in the imaging device according to the embodiment of the present technology;
- FIG. 10 is a diagram illustrating vibration presentation that takes into account the type of attachment device to be worn in the imaging device according to the embodiment of the present technology
- FIG. 10 is a diagram illustrating vibration presentation that takes into account the type of attachment device to be worn in the imaging device according to the embodiment of the present technology
- FIG. 5 is a diagram illustrating vibration presentation that takes into account the type of lens used and the gripping state in the imaging device according to the embodiment of the present technology
- FIG. 10 is a diagram illustrating vibration presentation that takes into account the zoom state and grip state of the lens used in the imaging device according to the embodiment of the present technology
- FIG. 10 is a diagram illustrating vibration presentation in consideration of a gripping state of a lens to be used in the imaging device according to the embodiment of the present technology
- FIG. 5 is a diagram illustrating vibration presentation that takes into account the orientation (orientation) when the imaging device according to the embodiment of the present technology is used;
- FIG. 10 is a diagram illustrating vibration presentation that takes into account the occurrence of camera shake when using the imaging device according to the embodiment of the present technology; It is a flow figure explaining an information processing method concerning vibration presentation in an imaging device concerning an embodiment of this art.
- FIG. 4 is a diagram illustrating a processing example of audio data acquired by a microphone of an imaging device according to an embodiment of the present technology; It is a figure explaining other examples of a vibrating device used for an imaging device concerning an embodiment of this art.
- 1 is an example of a vibrating device (voice coil motor) used in an imaging device according to an embodiment of the present technology;
- FIG. 1 an interchangeable lens type digital camera is shown as an imaging device 1 as an example of an imaging device, but the imaging device is not limited to such an example.
- the imaging device may be a lens-integrated digital camera, a film camera, a video camera, or any other device capable of capturing still images.
- FIG. 1 is an external configuration diagram of an imaging device 1 according to an embodiment.
- FIG. 1(A) is a front view of the imaging device 1
- FIG. 1(B) is a side view thereof.
- FIG. 2 is a block diagram mainly showing the functions and internal configuration of the imaging device 1.
- FIG. 3 is a schematic internal configuration diagram of an imaging device in which a lens unit is attached to a camera body.
- the imaging device 1 includes a camera body 2 as an information processing device and a lens unit 81 as an interchangeable lens.
- a lens unit 81 is a photographing lens that can be attached to and detached from the camera body 2 .
- the camera body 2 has a ring-shaped mount section to which the lens unit 81 is attached at substantially the center of the front surface, and a detach button for attaching and detaching the lens unit 81 near the ring-shaped mount section.
- the camera body 2 has a housing 20.
- the housing 20 has a grip portion 21 on the front left end portion (on the right side as viewed from the back) to be gripped by the photographer.
- a shutter button 39 for instructing the start of exposure or the like is provided on the front side of the upper surface of the grip portion 21 .
- a mode dial 38 is provided on the upper surface of the camera body 2 .
- the mode dial 38 By turning the mode dial 38, the photographer can select a desired shooting mode.
- the mode dial 38 has, for example, a single shooting mode, a continuous shooting mode, an automatic setting shooting mode, a shooting mode in which only the exposure (shutter speed and aperture) is automatically set, an aperture priority mode, a manual exposure mode, and the like.
- the shutter button 39 is composed of a push-down switch capable of detecting a "half-pressed state" where it is pushed halfway and a "full-pressed state” where it is further pushed.
- preparatory operations for photographing the subject are executed.
- this preparatory operation for example, exposure control value setting, focus detection, and the like are assumed.
- a photographing operation is performed.
- this photographing operation a series of operations are assumed in which an imaging device, which will be described later, is exposed, and image data obtained by the exposure is subjected to predetermined image processing and recorded on a recording medium.
- An electronic viewfinder 22 is provided on the upper part of the center of the rear surface of the camera body 2 .
- a subject image from the lens unit 81 is guided to the electronic viewfinder 22 .
- the photographer can visually recognize the subject by looking through the electronic viewfinder 22 .
- a display 53 which will be described later, is provided at substantially the center of the rear surface of the camera body 2 (more specifically, at a slightly left position).
- the display 53 is configured as, for example, a color liquid crystal display.
- the display 53 can display through images, captured images, reproduced images, and the like.
- the display 53 can display a user interface screen for mode setting and the like other than when shooting.
- a touch sensor 34 which will be described later, is arranged on the display 53 to enable touch operations, so that the photographer can perform input operations such as mode setting on the display 53 . For example, by touching the display 53, it is possible to set the shooting environment such as selecting an underwater shooting mode as a setting of camera shooting image quality, selecting a glove mode as a setting of touch panel sensitivity, and the like.
- the vibration mode is a method that allows information about the imaging device to be fed back to the photographer as vibrotactile feedback using a vibration device, which will be described later.
- a vibration device 51 is provided inside the housing 20 of the camera body 2 . By driving and vibrating the vibrating device 51 , a vibratory tactile sensation is presented to the photographer holding the imaging device 1 .
- information related to the image pickup apparatus 1 such as operation information of the image pickup apparatus 1, alert information, operation information of the attached device 8, and image pickup information acquired by the image pickup apparatus 1, is sent to the photographer via the vibration device 51. It is fed back as a vibrotactile sensation using The photographer can intuitively grasp the information related to the imaging device 1 by the tactile presentation by vibration. Details will be described later.
- various accessory devices can be detachably attached to the camera body 2.
- the imaging device 1 includes a camera body 2 and an accessory device 8. As shown in FIG. 2, the imaging device 1 includes a camera body 2 and an accessory device 8. As shown in FIG. 2, the imaging device 1 includes a camera body 2 and an accessory device 8. As shown in FIG. 2, the imaging device 1 includes a camera body 2 and an accessory device 8. As shown in FIG. 2, the imaging device 1 includes a camera body 2 and an accessory device 8. As shown in FIG. 2, the imaging device 1 includes a camera body 2 and an accessory device 8. As shown in FIG.
- the accessory device 8 is a device configured to be detachable from the camera body 2 .
- the accessory device 8 includes, for example, a lens unit 81, a support 82 such as a tripod, a gimbal 83, an external flash 84, a monitor 85, a high-sensitivity microphone 86, and the like. Two or more of these accessory devices 8 can be used in combination as needed.
- Attached devices 8 each include a communication section configured to be communicable with a communication section 6 (described later) of camera body 2 .
- the camera body 2 includes an input system device 3, a control section 4, an output system device 5, a communication section 6, a storage section 7, a mode dial 38, a shutter button 39, a battery 74, and a monitoring section 75. , an attached device database (hereinafter referred to as an attached device DB) 71 , an environment information database (hereinafter referred to as an environment information DB) 72 , and a user attribute and camera spec information section 73 .
- an attached device database hereinafter referred to as an attached device DB
- an environment information database hereinafter referred to as an environment information DB
- the input system device 3 includes an imaging element 31, an acceleration sensor 32, a gyro sensor 33, a touch sensor 34, a pressure sensor 35, an infrared sensor 36, a microphone 37, and the like.
- the imaging element 31 has a plurality of light receiving elements for photographing.
- the imaging element 31 is configured by a CMOS (Complementary Metal Oxide Semiconductor) sensor, a CCD (Charge Coupled Device), or the like.
- the imaging device 31 captures an image of a subject.
- surrounding information of the imaging device 1, that is, imaging environment information can be acquired.
- Imaging information (imaging data) acquired by the imaging device 31 is transmitted to the control unit 4 .
- the acceleration sensor 32 is fixedly arranged inside the camera body 2 and detects acceleration generated in the imaging device 1 .
- the gyro sensor 33 is fixedly arranged inside the camera body 2 and detects the angular velocity generated in the imaging device 1 . Vibration information of the imaging device 1 can be detected using the sensing result of the gyro sensor 33 . As a result, it is possible to obtain vibration information of the imaging device, such as how the imaging device 1 vibrates due to camera shake or vibration of the vibrating device.
- the sensing result of the acceleration sensor 32 can be used to calculate the acceleration distribution in the imaging device 1 and estimate the gripping state of the imaging device 1 by the photographer.
- An IMU Inertial Measurement Unit having an acceleration sensor and a gyro sensor may be used. Acceleration information (acceleration data) and angular velocity information (angular velocity data) acquired by the acceleration sensor 32 and the gyro sensor 33 are transmitted to the control unit 4 . Further, the sensing results of the acceleration sensor 32 and the gyro sensor 33 may be reflected in the generation of the next vibration output waveform. For example, the control unit 4 may determine from the sensing result that the gripping force of the photographer is large and thus the vibration is not easily transmitted to the photographer, and may control the vibration so as to increase the vibration in the next vibration. In this way, the sensing result of the sensor may be fed back to the next vibration waveform.
- the touch sensor 34 is a sensor that enables touch operation of the display 53 .
- the touch sensor 34 receives an input operation from the photographer. Input operation information detected by the touch sensor 34 is transmitted to the control unit 4 .
- the pressure sensor 35 detects, for example, the gripping force of the photographer.
- the detected pressure value is sent to the controller 4 .
- the sensing result of the pressure sensor 35 it is possible to grasp how much force the photographer is holding the imaging device 1 with.
- the gripping state information of the photographer acquired using the sensing result of the pressure sensor 35 may be reflected in the generation of the next vibration output waveform.
- the infrared sensor 36 is arranged near the electronic viewfinder 22 .
- the infrared sensor 36 detects whether or not the photographer's eyes are close to the electronic viewfinder 22 .
- a detection result of the infrared sensor 36 is transmitted to the control unit 4 .
- Information on the use of the electronic viewfinder 22 by the photographer can be obtained from the detection result of the infrared sensor 36 .
- the usage information is shooting environment information.
- the microphone 37 collects surrounding sounds.
- the collected sound data is transmitted to the control unit 4 .
- Shooting environment information (surrounding information) of the imaging device 1 can be obtained from audio data collected by the microphone 37 .
- a battery 74 is a driving power source for the imaging device 1, and is, for example, four AA dry batteries.
- the battery 74 is stored, for example, in a battery storage chamber located inside the grip portion 21 of the camera body 2 .
- a monitoring unit 75 monitors the remaining amount of the battery 74 and the power consumption of the camera body 2 . Information obtained by the monitoring unit 75 is output to the control unit 4 .
- the controller 4 is powered by a battery 74 .
- the control unit 4 controls the operation of the imaging device 1 as a whole.
- the control unit 4 controls vibration of the vibration device 51 based on at least one of shooting environment information in the imaging device 1 , shooting setting information set by the photographer, and state information of the imaging device 1 .
- This control of vibration includes not only adjustment of the vibration waveform but also control of non-vibration.
- the control unit 4 acquires shooting environment information based on sensing results from the input device 3 .
- the control unit 4 uses the sensing results to obtain information such as information that the shooting location is a snowy mountain or downtown, information that the location is quiet or noisy, usage information of the electronic viewfinder 22 by the photographer, and the like. obtain shooting environment information.
- the control unit 4 acquires input operation information by the photographer using the touch-operable display 53, the mode dial 38, etc., and acquires shooting setting information.
- the state information of the imaging device includes type information of the attached device 8 attached to the camera body 2, form information of the attached device 8, information on the holding state of the imaging device 1 by the photographer, and a battery as a driving power source of the imaging device 1. At least one of 74 remaining amount information is included.
- a specific vibration control example according to the state information of the imaging device will be described later.
- the control unit 4 provides an audio signal for driving the speaker 52 so that at least one of the operation information of the imaging device 1, the alert information, the operation information of the attached device, and the imaging information acquired by the imaging device 1 is presented by voice. may be generated.
- the control unit 4 may acquire information on the remaining amount of the battery 74 and the power consumption of the camera body 2 from the monitoring unit 75, and control the vibration of the vibration device 51 based on the information.
- the output system device 5 includes a vibration device 51, a speaker 52, a display 53, and the like.
- the vibration device 51 is supported by the housing 20 and arranged inside the housing 20 .
- a linear vibration actuator, a voice coil motor, or the like can be used for the vibration device 51 . This makes it possible to easily present various tactile sensations.
- a voice coil motor as the vibration device 51 will be given.
- a voice coil motor is a vibration actuator for tactile presentation, and is a linear vibration actuator equipped with a vibrator that vibrates linearly.
- a linear vibration actuator can present various tactile sensations by appropriately controlling the amplitude and vibration frequency of a linearly moving vibrator.
- the linear vibration actuator in addition to the voice coil motor, it is possible to use an actuator capable of providing a tactile sensation by pressure, an LRA (Linear Resonant Actuator), an actuator using a piezoelectric element, or the like.
- LRA Linear Resonant Actuator
- actuators are examples of vibration devices according to the present embodiment.
- FIG. 30 is a schematic diagram showing a configuration example of a voice coil motor as the vibration device 51.
- the vibration device 51 has a vibrator 56 and a stator 57 .
- the vibration device 51 is a linear actuator that generates vibration by reciprocating the vibrator 56 with respect to the stator 57 along a predetermined direction.
- the direction in which the vibrator 56 moves (horizontal direction in the figure) is referred to as the vibration direction.
- the vibrator 56 has, for example, a columnar shape whose axis is the vibration direction.
- a coil 54 is formed by winding an electric wire or the like around the side surface of the vibrator 56 .
- the stator 57 is fixed to the housing 20 and has a cylindrical space that accommodates the vibrator 56 so as to be movable along the vibrating direction.
- a magnet 55 is arranged on the inner surface of the cylindrical space with one magnetic pole (S pole or N pole) facing the vibrator 56 side.
- the vibrator 56 and the stator 57 are connected to each other via an elastic body such as a spring (not shown).
- the vibrator 56 reciprocates along the vibration direction.
- the reaction force generated by this reciprocating motion acts on the housing 20 of the camera body 2, causing the camera body 2 itself to vibrate.
- the vibration device (voice coil motor) 51 is driven, for example, by voltage drive.
- a voltage signal (hereinafter referred to as a drive signal) for driving the vibrating device 51 is applied to the coil 54 from a battery 74 as a drive source.
- This drive signal is generated by the controller 4 .
- the vibration device (voice coil motor) 51 for example, by controlling the width and period of the reciprocating motion of the vibrator 56, it is possible to generate vibration with arbitrary amplitude over a wide frequency band. Therefore, it can be said that the voice coil motor is a broadband actuator that generates broadband vibration. As a result, it is possible to significantly improve the expressive power of haptics.
- the specific configuration of the vibration device (voice coil motor) 51 is not limited.
- a moving coil type motor in which a coil 54 is formed in a vibrator 56 as shown in FIG. 30
- a moving magnet type motor in which a magnet 55 is arranged in a vibrator 56 may be used.
- a configuration in which the stator 57 is provided inside the vibrator 56 may be adopted.
- the size, shape, etc. of the voice coil motor may be appropriately set according to, for example, the size of the camera body 2 to be mounted.
- the speaker 52 outputs audio based on the audio signal generated by the controller 4 .
- a speaker using a piezoelectric element can be used as the speaker 52 .
- the display 53 can display through images, captured images, reproduced images, shooting mode setting screens, etc., as described above.
- the communication unit 6 communicates with a device different from the camera body 2, such as an accessory device 8, and is configured to be capable of transmitting and receiving various types of information.
- the storage unit 7 stores data necessary for processing in the camera body 2 as an information processing device.
- the storage unit 7 stores digital data (image data) captured by an image sensor.
- the storage unit 7 stores, for example, a program related to vibration control of a vibrating device, which implements the functions of the control unit 4 by being executed by a CPU (Central Processing Unit).
- the storage unit 7 is implemented by combining storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory), and removable storage media such as optical discs, magnetic discs, and semiconductor memories as necessary. Therefore, the above program may be downloaded from a network (not shown) and stored in a storage device, or may be stored in a removable storage medium in advance.
- the attached device DB 71 stores information about attached devices such as the weight of the attached device 8 .
- the environment information DB 72 stores information in which environment information estimated from the sensing result of the input device 3 is associated with the drive signal (vibration waveform) of the vibration device suitable for the environment.
- the user attribute and camera spec information section 73 stores user attribute information and spec information of the camera body 2 .
- the user attribute information is information such as the age and gender of the photographer. In general, since sensitivity differs depending on age and gender, the user attribute information can be used to finely adjust the intensity of vibration in the vibrating device.
- FIG. 3 shows the main internal configuration of the camera body 2, including a mode dial 38, a shutter button 39, an attached device DB 71, an environment information DB 72, a user attribute and camera spec information section 73, a battery 74, and a monitor. Illustrations of the input system devices other than the unit 75, the imaging device 31, and the output system devices other than the vibration device 51 are omitted.
- the lens unit 81 has a photographing lens 814, a lens control section 811, a lens driving section 812, an aperture driving section 813, an aperture 815, a zoom driving mechanism 816, a zoom position detecting section 817, and a communication section 810.
- Lens units include a single focus lens unit that has a fixed focal length and cannot zoom, and a zoom lens unit that can zoom. In the following description of the lens unit, an example using a zoom lens will be described.
- the photographing lens 814 is movable in the optical axis direction.
- the photographing lens 814 is represented as one lens, but in reality it is composed of a plurality of lenses such as a focus lens and a zoom lens.
- a lens control unit 811 controls driving of a photographing lens 814 via a lens driving unit 812, drives an aperture 815 via an aperture driving unit 813, and controls the aperture in accordance with subject brightness during shooting operation.
- the position of the zoom lens can be moved by manually operating the zoom drive mechanism 816, for example, by the photographer.
- the position (focal length) of the moved zoom lens is detected by a zoom position detection unit 817 and sent to the lens control unit 811 . As shown in FIG.
- the communication section 810 of the lens unit 81 is connected to the communication section 6 built in the camera body 2 via the communication contacts A of the lens unit 81 and the camera body 2 .
- the lens unit 81 and the camera body 2 can exchange information with each other.
- the lens control unit 811 transmits zoom information such as the type of the lens unit 81, the focal length, and the focal position (focus position) via the communication units 810 and 6 to the control unit.
- Attached devices other than the lens unit also have a communication unit, and the camera body and the attached device are connected via communication contacts so that information can be transmitted and received between them.
- the control unit 4 of the camera body 2 can acquire the type of attached accessory device and the operation information of the attached device.
- the operation information of the attached device is, for example, charging completion information of the external flash attached to the camera body, input operation information on the monitor attached to the camera body, and the like.
- the connection between the camera body and the accessory device through the communication contact may be referred to as "electrical connection”.
- the camera body 2 includes a communication section 6, a mechanical shutter 11, an imaging element 31, a control section 4, and a vibration device 51.
- the subject light flux that has passed through the imaging lens 814 and the diaphragm 815 of the lens unit 81 travels toward the imaging device 31 configured by a CMOS sensor, CCD, or the like.
- Each pixel of the imaging device 31 photoelectrically converts the subject optical image formed by the lens unit 81 according to the amount of light while being exposed, and accumulates the obtained charge.
- the accumulated electric charge is sent to a signal processing section (not shown) of the camera body 2 , and the imaging data generated in real time by the signal processing section is displayed on the electronic viewfinder 22 and the display 53 . Thereby, the photographer can observe the subject image through the electronic viewfinder 22 and the display 53 .
- a focal plane shutter (hereinafter referred to as a mechanical shutter) 11, which is a mechanical shutter, is arranged on the object side (lens side) of the imaging device 31.
- the mechanical shutter 11 has a front curtain (hereinafter referred to as a mechanical front curtain) composed of a plurality of light shielding blades and a rear curtain (hereinafter referred to as a mechanical rear curtain) composed of a plurality of light shielding blades.
- an imaging apparatus having a mechanical shutter mechanism that performs a shooting operation using the mechanical front curtain and the mechanical rear curtain of the mechanical shutter 11 will be described as an example, but the present invention is not limited to this.
- the present technology can also be applied to an imaging device having a hybrid shutter mechanism that includes an electronic front curtain and a mechanical rear curtain performed by an image sensor, or an electronic shutter mechanism that includes an electronic front curtain and an electronic rear curtain performed by an image sensor. can be applied.
- one imaging apparatus may be configured to be able to use any of a mechanical shutter mechanism, an electronic shutter mechanism, and a hybrid shutter mechanism. A hybrid shutter mechanism and an electronic shutter mechanism will be described later.
- FIG. 4 is a front view showing how the imaging device 31, the mechanical front curtain 111, and the mechanical rear curtain 112 are observed from the lens side along the optical axis direction.
- FIG. 4 shows a state in which the mechanical front curtain 111 and the mechanical rear curtain 112 of the mechanical shutter 11 shield a partial area of the image sensor 31 from light.
- a mechanical shutter 11 constitutes a front curtain and a rear curtain.
- a mechanical front curtain 111 covering the image pickup device 31 is run to open the light incident on the image pickup device 31 , and then a mechanical rear curtain 112 is run to block the light incident on the image pickup device 31 . This realizes an imaging operation (mechanical shutter operation) by the mechanical shutter.
- the charge accumulation area 310 formed by the slit between the edge 111 a of the mechanical front curtain 111 and the edge 112 a of the mechanical rear curtain 112 is shielded by the mechanical front curtain 111 and the mechanical rear curtain 112 .
- This is an area where electric charges are accumulated by exposure in the imaging device 31 .
- the charge accumulation area 310 moves in the direction of the arrow 113 as the mechanical front curtain 111 and the mechanical rear curtain 112 run.
- the time from when the edge 111a of the mechanical front curtain 111 passes through, that is, when light is released to enter the image sensor 31, to when the mechanical rear curtain 112 enters a light shielding state, is the charge accumulation time due to pixel exposure. becomes. Therefore, by adjusting the slit width a, the charge accumulation region 310 can be changed and the exposure time can be adjusted.
- a vibrating device 51 is mounted on the camera body 2, and information related to the imaging device is fed back to the photographer as a vibrotactile sensation by the vibrating device 51.
- the information related to the imaging device includes at least one of operation information of the imaging device 1 , alert information, operation information of the attached device 8 , and imaging information acquired by the imaging device 1 .
- Information related to the imaging device is fed back to the photographer as vibrotactile sensation by the vibrating device 51, so that the photographer can intuitively grasp the information related to the imaging device.
- FIG. 5 shows an example of presenting operation information of the imaging device 1 to the photographer by means of sound and vibration.
- S1 indicates the in-focus time
- S2 indicates the shutter time.
- Focus completion indicates the state of focus on the object.
- the shutter button 39 When the shutter button 39 is fully pressed, a photographing operation is performed.
- the start of photographing that is, the start of exposure in the imaging element 31 is fed back to the photographer by the vibration 62 of the vibrating device 51 along with the sound of "ka".
- a vibration 62 indicates that the mechanical front curtain 111 starts running.
- the end of photographing that is, the end of exposure in the imaging device 31 is fed back to the photographer by the vibration 63 of the vibrating device 51 together with the sound of "Shang”.
- a vibration 63 indicates that the mechanical trailing curtain 112 has finished running.
- the photographer can intuitively grasp the operation of the imaging device 1 .
- the audio mode can be set to off. Even if such audio presentation is not possible, it is possible to present the operation of the imaging device 1 to the photographer by means of vibration.
- the vibration 61 indicating completion of focusing, the vibration 62 indicating the start of exposure, and the vibration 63 indicating the end of exposure are presented so that the photographer perceives that they are different vibrations. It is possible to accurately grasp the state of the imaging device.
- the vibration waveforms of the vibrations 61-63 may be different from each other. As a result, the photographer can distinguish different pieces of operation information in the imaging device 1 and grasp them more accurately.
- two or more of the vibration waveforms of the vibrations 61 to 63 may have the same vibration waveform.
- the vibration 61 occurs after the shutter button 39 is half-pressed, and the vibrations 62 and 63 occur after the shutter button 39 is fully pressed. Since it is possible to intuitively grasp whether it is the one at the time of focusing or the one at the time of shutter, the vibration waveforms may be the same.
- Vibration feedback indicating the alerting information, the operation information of the attached device 8, and the imaging information acquired by the imaging device 1 will be described later.
- Vibration control mainly indicating operation information of the imaging apparatus by the control unit 4 will be described as an example.
- the example of vibration control described below is also applied to control of vibration indicating each of alerting information, operation information of the attached device 8, and imaging information acquired by the imaging apparatus 1, which will be described later.
- the vibration control examples given below can be used alone or in combination.
- information related to the image capturing apparatus such as operation information of the image capturing apparatus 1, alert information, operation information of the attached device 8, and image capturing information, is transmitted to the photographer by vibration of the vibration device 51 mounted on the camera body 2.
- the information related to the imaging device is fed back to the photographer as a vibrotactile sensation
- the information indicated by each vibration is presented in a perceptible manner to the photographer.
- the vibration 62 indicating the start of exposure and the vibration 63 indicating the end of exposure may be continuous depending on the shutter speed (length of exposure time) and frame rate, and the photographer may not be able to distinguish between them. be.
- the process of making intermittent vibrations so that the two first vibrations and the second vibrations indicating different information related to the imaging device are connected and not perceived as continuous vibrations is referred to as connection prevention. called processing.
- the connection prevention processing allows the photographer to distinguish between the first vibration and the second vibration, and to appropriately determine what information the presented vibration indicates.
- connection prevention processing will be described by exemplifying two different operations in the image capturing apparatus 1, that is, two vibrations indicating the start of exposure and the end of exposure, but is not limited to this.
- the connection prevention processing can be applied to prevent connection of vibrations indicating two different pieces of information.
- the vibration indicating the two pieces of information may be, for example, the vibration indicating the operation of the imaging device and the vibration indicating the alert, or the vibration indicating the operation of the imaging device and the vibration indicating the operation of the attached device.
- vibration indicating the operation of the imaging device and vibration indicating imaging information may be used.
- the vibration indicating the above two pieces of information may be a vibration indicating alert and a vibration indicating operation of the attached device, or may be a vibration indicating alert and vibration indicating imaging information. Vibration indicating the operation of the device and vibration indicating imaging information may be used. Moreover, both of the vibrations indicating the above two pieces of information may be vibrations indicating a call for attention, and both may be vibrations indicating the operation of the attached device.
- FIGS. 6(A) and (C) show examples of vibration waveforms of the vibration device 51 in this embodiment
- FIGS. 6(B) and (D) show examples of vibration waveforms of the vibration device 51 in the comparative example.
- the horizontally extending axis indicates the time axis.
- the vibration 62 indicating the start of exposure and the vibration 63 indicating the end of exposure are intermittent vibrations, and the photographer distinguishes between them. can be perceived separately.
- the vibration 62 indicating the start of exposure and the vibration 63 indicating the end of exposure become continuous vibration 640. The photographer cannot distinguish between the two.
- the vibration waveform can be changed according to the exposure time.
- the vibration 62 and the vibration 63 are separated so that the photographer can perceive the vibration 62 indicating the start of exposure and the vibration 63 indicating the end of exposure as separate vibrations.
- 63 generates vibration so as to form an intermittent vibration waveform.
- vibration waveforms different from those when the exposure time is long for example vibration waveforms with a shorter driving time, are used to generate vibration 62' indicating the start of exposure and vibration 63' indicating the end of exposure.
- each vibration is controlled so that the vibration 62' and the vibration 63' become intermittent vibration waveforms, and the photographer can separately generate the vibration 62' indicating the start of exposure and the vibration 63' indicating the end of exposure. can be perceived to exist.
- the vibration device By controlling the vibration device so that the vibration waveform differs according to the exposure time, the photographer can perceive both vibrations separately.
- the vibration 62 indicating the start of exposure and the vibration 63 indicating the end of exposure become intermittent. It can be perceived separately.
- the vibration 62 indicating the start of exposure and the vibration 63 indicating the end of exposure are continuous. The vibration becomes 640, and the photographer cannot distinguish between the two.
- the vibration waveform can be changed according to the numerical value of the frame rate.
- the vibration 62 indicating the start of exposure and the vibration 63 indicating the end of exposure can be perceived by the photographer as separate vibrations.
- the vibration 62 and the vibration 63 generate intermittent vibration waveforms.
- the numerical value of the frame rate is large, vibration is generated with a vibration waveform different from that when the numerical value of the frame rate is small, for example, a vibration waveform with a shorter driving time.
- each vibration is controlled so that the vibration 62' and the vibration 63' become intermittent vibration waveforms, and the photographer can separately generate the vibration 62' indicating the start of exposure and the vibration 63' indicating the end of exposure. can be perceived to exist.
- the vibration device By controlling the vibration device so that the vibration waveform differs according to the frame rate, the photographer can perceive both vibrations separately.
- the photographer Based on at least one of the shutter speed and frame rate set by the photographer, in other words, based on the shooting setting information, by controlling the vibration waveform indicating the start of exposure and the vibration waveform indicating the end of exposure, the photographer can vibration can be distinguished and perceived.
- the driving signal for driving the vibrating device 51 is input to the vibrating device 51, as shown in the lower diagrams of FIGS.
- the shooting setting information is, for example, single shooting mode or continuous shooting mode, shutter speed, frame rate during continuous shooting, and the like.
- connection prevention processing may be performed based on the shooting setting information by the photographer.
- vibration waveform information may be prepared in advance so that the photographer can distinguish and perceive two different vibrations (in this example, the vibration at the start of exposure and the vibration at the end of exposure) for each shutter speed and frame rate. good.
- the waveforms do not overlap and form an intermittent waveform, but when output from the vibrating device, the waveforms overlap and become a continuous waveform.
- To In this case To ⁇ 0.
- the difference between Ti and To changes depending on the characteristics of the vibrating device and the operating frequency.
- the difference between Ti and To can be obtained in advance by combining the vibrating device and the camera body 2 on which the vibrating device is mounted.
- the weight and center of gravity of the entire imaging apparatus differ depending on the type and number of attached devices attached to the camera body 2 and the form of the attached devices.
- the difference between Ti and To can be obtained in advance for each type and number of attachment devices to be attached, and for each form of attachment device.
- connection prevention process may be performed using the previously obtained difference between Ti and To.
- connection prevention processing may be performed based on the state information of the imaging device.
- the difference between Ti and To may change in real time depending on how the photographer grips the imaging device 1 and how hard it is gripped.
- the vibration information of the imaging device is acquired using the sensing results of the pressure sensor 35, the acceleration sensor 32, the gyro sensor 33, etc., and the difference between Ti and To is corrected using the vibration information, and the next vibration is detected. may be reflected in the generation of the output waveform of
- the human's temporal two-point discrimination ability is roughly 10 ms to 50 ms.
- Th by controlling the vibration by adjusting the interval time between the two vibrations so that To>Th, the photographer can sense different temporally. It is possible to perceive the two vibrations generated at the same time as intermittent vibrations.
- vibration waveform information may be prepared in advance based on the characteristics of the vibration device 51 so that the photographer can perceive two different vibrations as intermittent vibrations. .
- connection prevention processing that makes it difficult to perceive two different vibrations as continuous vibrations is given below. The following examples can be combined as appropriate.
- Connection prevention processing can be performed by changing the interval time (interval), drive time, intensity (amplitude), and frequency in the vibration waveform input to the vibration device.
- the interval time is short, two different vibrations are connected and easily perceived as continuous vibrations. Therefore, by changing the waveform so as to lengthen the interval time, it becomes easier to perceive two different vibrations.
- the driving time is long, two different vibrations are connected and easily perceived as continuous vibrations. Therefore, by changing the waveform so as to shorten the drive time, it is easier to perceive two different vibrations.
- the intensity is weak, two different vibrations are connected and easily perceived as a continuous vibration. Therefore, by changing the waveform so as to increase the intensity, it becomes easier to perceive two different vibrations.
- the frequency depends on human sensitivity characteristics. Since the sensitivity is high at frequencies of 200 Hz to 250 Hz, two different vibrations are likely to be connected and perceived as continuous vibrations. Therefore, by setting the frequency outside the above range, it becomes easier to perceive two different vibrations.
- the vibration waveform can be changed to perform connection prevention processing.
- the type and form of the accessory device 8 in the imaging device 1 are status information of the imaging device.
- the two different vibrations are likely to join together and be perceived as a continuous vibration. Therefore, by changing the interval time (interval), drive time, intensity (amplitude), frequency, etc. of the vibration waveforms input to the vibration device, as described above, two different vibrations can be generated according to the weight of the attached device. It becomes easy to perceive that it is.
- the shape of the attached device differs depending on the type of attachment device, and the way of gripping the typical imaging device differs. A lens unit will be described as an example.
- the photographer When holding an image pickup apparatus equipped with a single focal length lens unit, the photographer typically holds the camera body with both left and right hands.
- the left hand of the photographer When holding an image pickup apparatus equipped with a zoom lens unit, the left hand of the photographer typically holds the zoom lens unit so as to support it, and the right hand holds the camera body.
- the contact area between the camera body and the photographer's hand changes depending on the difference in gripping state for each attached device.
- the contact area is small, two different vibrations are likely to be connected and perceived as continuous vibrations. Therefore, by changing the interval time (interval), drive time, intensity (amplitude), frequency, etc. of the vibration waveform input to the vibration device, as described above, two different vibrations can be generated according to the type of attached device. It becomes easy to perceive that it is. In this way, connection prevention processing may be performed based on the state information of the imaging device.
- Connection prevention processing can be performed by changing the vibration waveform according to the characteristics of the vibration device 51 .
- the vibration waveform can be changed according to the frequency-acceleration characteristics of the vibrating device. For example, when the input frequency is close to the resonance frequency, the vibration tends to linger even after the vibration caused by driving the vibrating device, and the vibration is likely to be perceived as a combination of two different vibrations. Also, the start-up of the vibrating device is delayed. Therefore, by setting the input frequency to be different from the resonance frequency, it becomes easier to perceive two different vibrations.
- the vibration waveform can be changed according to the time response of the vibration device. For example, if the ice rises slowly due to vibration, it is likely to be perceived as vibration in which two different vibrations are connected.
- the vibration waveform may be changed in consideration of the time responsiveness of the vibrating device. Since the characteristics of the vibration device can be obtained in advance, vibration waveform information may be prepared in advance based on the characteristics of the vibration device 51 so that the photographer can perceive the vibration as intermittent vibration. Information about what characteristics the vibration device 51 has in the camera body 2 is included in the state information of the imaging device. In this way, connection prevention processing may be performed based on the state information of the imaging device.
- Connection prevention processing can be performed by changing the vibration waveform according to information that can change in real time, such as how the photographer grips the imaging device and the overload of the vibration device. For example, when the photographer grips the camera body 2 strongly, vibration is less likely to occur, and the vibration is likely to be perceived as a combination of two different vibrations. Therefore, as described above, the interval time (interval), drive time, strength (amplitude), frequency, etc. of the vibration waveform input to the vibration device can be changed according to the strength with which the photographer grips the camera body 2. are more likely to be perceived as two different vibrations.
- Information on the grip of the imaging device 1 by the photographer is detected using the sensing results of the input system device 3 such as an acceleration sensor, a gyro sensor, and a pressure sensor. can be done.
- the gripping information is included in the state information of the imaging device 1 .
- the interval time (interval), drive time, strength (amplitude), frequency, etc. of the vibration waveform input to the vibration device according to the state of the vibration device two different vibrations can be obtained. It becomes easy to perceive that it is.
- Information related to the vibration device is included in the state information of the imaging device 1 . In this way, connection prevention processing may be performed based on the state information of the imaging device.
- connection prevention processing is performed to control vibrations so that vibrations indicating a plurality of different operations in the imaging device can be perceived as intermittent vibrations.
- the vibration of the vibration device may be controlled so as not to perform the connection prevention process based on the shooting setting information. For example, when the underwater shooting mode is selected, the photographer perceives the vibration of the camera body 2 by the vibration device 51 to be smaller when shooting underwater than when shooting on the ground. Also, when the glove mode is selected, the photographer perceives the vibration of the camera body 2 due to the vibration device 51 to be smaller than that of shooting with bare hands.
- the vibrating device may be controlled to maximize the strength of the vibration, as it may be perceived as a vibration.
- the photographer can intuitively grasp the operation of the imaging device from the vibrations even in a situation where it is difficult to feel the vibrations.
- vibration of the vibration device 51 may be controlled based on shooting setting information set by the photographer.
- vibrations indicating two different information are intermittently perceived.
- the vibrations are controlled so that the photographer can perceive the vibrations indicating the two different information separately. good too.
- the intensity of both vibrations can be changed to such an extent that the photographer can perceive that the two vibrations indicate different information.
- the imaging device 1 of this embodiment has a mechanical shutter mechanism.
- the vibration 62 indicating the start of exposure is presented by driving the vibration device 51 .
- vibration 63 indicating the end of exposure is presented by driving the vibration device 51 .
- the control unit 4 may generate pseudo tactile vibrations so that the vibrations 62 and 63 presented to the photographer have desired vibration waveforms, taking into account the vibrations caused by the operation of the mechanical shutter. As shown in the schematic diagram of FIG. 7, the control unit 4 generates a pseudo tactile vibration 621 to be generated in accordance with the vibration waveform 114 originating from the mechanical shutter so that the vibration 62 has a desired vibration waveform. The control unit 4 generates a pseudo tactile vibration 631 to be generated in accordance with the vibration waveform 115 originating from the mechanical shutter so that the vibration 63 has a desired vibration waveform. In this way, when presenting a vibrotactile sensation in an imaging device having a mechanical shutter mechanism, a vibration waveform may be generated in consideration of the amount of vibration derived from the mechanical shutter.
- FIG. 8 shows an example of vibration sound emitted from the imaging device 1, where the horizontal axis represents frequency and the vertical axis represents sound pressure level (decibel).
- vibration noise hereinafter sometimes referred to as ringing
- the degree of sound generation varies depending on not only the frequency band but also the magnitude of the sound pressure of the frequency component, the duration, and the like. For example, as shown in FIG.
- the vibration of the vibrating device may be controlled so as to adjust the sound caused by the vibration of the vibrating device in accordance with the imaging environment information and the imaging setting information set by the photographer.
- noise prevention processing such processing for preventing noise due to vibration of the vibrating device is referred to as noise prevention processing.
- the vibrating sound emitted from the vibrating device 51 may bother the photographer.
- the vibrating sound caused by the vibrating device 51 does not include a clearly audible frequency component so that the animal cannot escape.
- the sound including the high frequency band sound in the audible band shown in FIG. As described above, it is possible to perform noise prevention processing for cutting high-frequency band components. Also, in a scene in the city, it is sufficient that the noise level is such that only the photographer himself/herself can hear it. can be processed.
- the vibration of the vibrating device may be controlled by varying the frequency threshold when using the low-pass filter for noise prevention processing based on the imaging environment information.
- the shooting environment information can be calculated using sensing results of the input device 3 . More specifically, the scene can be estimated by recognizing the through image (captured data) acquired by the imaging device 31 . Furthermore, the scene can be estimated with higher accuracy by adding audio data such as surrounding environmental sounds sensed by the microphone. In addition, it is possible to acquire ambient environmental sounds with a microphone and adjust the operating band and sound pressure of the vibration device 51 . A scene and a frequency threshold value used for noise prevention processing suitable for that scene may be associated with each other and stored in a database.
- the behavior of the photographer may be learned, and information on combinations of mutually linked scenes and frequency thresholds may be automatically generated, and the database may be updated. For example, if the photographer always turns off the vibration mode in a particular scene, the database may store information that combines the specific scene and the vibration mode off.
- the vibration of the vibrating device may be controlled so as not to perform the noise prevention process based on the shooting setting information set by the photographer.
- FIG. 9 shows an audio waveform of vibration sound of the vibration device.
- the horizontal axis represents time, and the vertical axis represents frequency.
- an area B surrounded by a dashed line contains almost no high-frequency band components, so no noise prevention processing is performed.
- Area C contains a slightly large amount of high frequency components. In this case, noise prevention processing is performed to cut high-frequency band components with a gentle low-pass filter.
- Area D contains a considerable amount of high frequency band components. In this case, noise prevention processing is performed to cut all high-frequency components.
- FIG. 10A shows a basic state in which the lens drive variable L1 is smaller than the drive threshold L.
- FIG. 10B shows a state in which the lens drive variable L1 is greater than the drive threshold L.
- t1 indicates the lens driving time.
- t2 indicates an interval between the end of lens driving and the occurrence of vibration 61 indicating completion of focusing.
- g1 indicates the acceleration of the imaging device 1 during lens driving, and g2 indicates the acceleration of the vibrating device 51 generated during focusing.
- g0 indicates the acceleration of the vibrating device at the basic time and is set in advance.
- a and b are coefficients.
- the acceleration of the imaging device can be measured using the acceleration sensor 32, IMU, and microphone 37 mounted on the camera body 2.
- FIG. 10A shows a basic state in which the lens drive variable L1 is smaller than the drive threshold L.
- FIG. 10B shows a state in
- the acceleration g2 of the vibration device 51 that generates vibration indicating completion of focusing is set to g0. Vibration by the vibration device 51 is generated after the lens is driven. In the basic state, the vibration of the vibrating device 51 is controlled so that the vibration due to driving the lens and the vibration 61 indicating the completion of focusing are separately perceived by the photographer.
- the acceleration g2 of the vibration device 51 that generates vibration indicating completion of focusing is made greater than g0.
- an interval t2 is provided.
- the acceleration g2 of the vibration device 51 is made larger than g0, and an interval t2 is provided. This makes it easier for the photographer to distinguish between the vibration due to driving the lens and the vibration 61 indicating completion of focusing.
- the vibration of the vibrating device 51 may be controlled in consideration of the vibration during driving of the lens.
- the control unit 4 may determine whether or not vibration feedback is necessary according to the imaging environment information, the imaging setting information, and the like, and dynamically switch on/off of the vibration feedback (vibration mode).
- vibration feedback from the vibration device it may be better to control the vibration feedback from the vibration device so that it is dynamically turned on and off.
- the type of shooting environment is determined by image recognition of through-the-lens images (image data) acquired by the image sensor 31, voice recognition of voice data collected by the microphone 37, and global navigation satellite system (Global Navigation Satellite System).
- GNSS Global Navigation Satellite System
- System can be estimated from position information detected by a positioning unit such as a GNSS (GNSS) signal receiver.
- the GNSS signal receiver may be mounted on the camera body 2, for example.
- the control unit 4 uses the sensing result of the input device 3 to estimate that the scene is one in which the eyes or glasses of the photographer are near the imaging apparatus 1, and controls the vibration of the vibration device 51 to weaken. or control to turn off the vibration mode. As a result, it is possible to prevent the occurrence of injury to the photographer's eyes, damage to the spectacles, etc., which may startle the photographer due to the vibration.
- the infrared sensor 36 can detect whether the eye is close to the electronic viewfinder 22 , that is, usage information of the electronic viewfinder. In addition to the infrared sensor 36, a proximity sensor, millimeter wave sensor, pressure sensor, or other sensor capable of detecting distance or area may be used.
- the usage information of the electronic viewfinder is shooting environment information.
- the vibration of the vibration device 51 may be dynamically controlled based on the shooting environment information.
- the control unit 4 may control the vibration of the vibration device 51 according to the monitoring result of the remaining battery level and the power consumption of the camera body by the monitoring unit 75 .
- Information on the remaining battery level and the power consumption of the camera body is included in the state information of the imaging device.
- FIG. 11A is a diagram showing the relationship between remaining battery level and allowable power consumption.
- the allowable power consumption is 1.0 when the remaining battery capacity is 100%.
- the power consumption of the vibrating device 51 is, for example, about 1 W, which is relatively large.
- the top diagram in FIG. 11B shows the vibration waveform of the vibrating device 51 when the allowable power consumption based on the remaining battery power is equal to or greater than the sum of the peak power consumption of the camera body and the power consumption of the vibrating device.
- the lower two diagrams in FIG. 11B show vibration waveforms of the vibrating device 51 when the allowable commodity power based on the remaining battery power is smaller than the sum of the peak power consumption of the camera body and the power consumption of the vibrating device.
- the signal of the vibrating device is controlled so that the magnitude of the vibration becomes smaller.
- the power consumption can be reduced, and the camera body 2 does not shut down due to exceeding the permissible power consumption at the moment of vibration.
- control is performed so that the vibration generation timing is shifted so that the vibration device 51 vibrates after the peak power consumption of the camera body 2 has passed. This prevents the camera body 2 from shutting down due to exceeding the permissible power consumption at the moment of vibration. In this way, the vibration of the vibrating device 51 may be controlled based on the power consumption information of the remaining battery level camera body.
- the operation information of the imaging apparatus 1 such as focus completion, exposure start, and exposure end
- the operation information of the imaging apparatus 1 is fed back to the photographer by vibrotactile sensation of the vibrating device 51.
- a vibration device 51 may be used to present vibration 65 indicating alert information.
- the vibrating 65 indicating the alert may be presented together with the voice alert.
- the warning includes, for example, notification of low battery level, notification of dangerous surroundings such as an approaching dangerous object, and the like.
- the low battery level notification is issued when the battery level 74 is low.
- the information on the remaining battery level is information related to the remaining battery level of the battery 74 that is the driving power source of the imaging device 1 . It can be estimated using the sensing result of the input system device 3 that the surroundings are dangerous. More specifically, from the image recognition of the through image (image data) acquired by the image pickup device 31, the position information detected by the GNSS signal receiver, etc., the vehicle is approaching the photographer, the photographer is on a cliff, and so on. It is possible to estimate a scene such as being near a person. Furthermore, the scene can be estimated with higher accuracy by adding audio information such as surrounding environmental sounds sensed by the microphone.
- the vibration drive signal indicating the alert information includes a signal that is hidden when the vibration mode is off or a signal that is visible when the vibration mode is off.
- the vibration driving signal indicating information about the low battery level includes a signal that is hidden when the vibration mode is off.
- the vibration drive signal indicating that the surroundings are dangerous includes a signal that appears when the vibration mode is off.
- FIG. 13 is a processing flow explaining basic control of the vibrating device during exposure in the imaging apparatus 1 .
- the control unit 4 acquires information that the shutter button 39 is fully pressed (ST1), it controls the image sensor 31 to start shooting, and during exposure (shooting). turns off the vibration of the vibrating device 51 (vibration mode off state) so as not to drive the vibrating device 51 .
- control unit 4 When the control unit 4 acquires information that the exposure (ST2) in the imaging element 31 is finished and the imaged data has been sent to the signal processing unit, it cancels the vibration mode OFF state (ST3). This suppresses blurring of the captured image caused by vibration of the vibrating device during exposure.
- FIG. 14 is a processing flow for explaining the control of the vibrating device when the control unit 4 receives information on low battery level, which is alerting information, during exposure.
- the control unit 4 receives information that the shutter button 39 has been fully pressed (ST1), it controls the image sensor 31 to start shooting, and during exposure (shooting). puts the vibration mode off so as not to drive the vibration device 51 .
- the control unit 4 receives information about the low battery level during exposure (ST4). Since the signal indicating the low battery level includes a signal that is hidden when the vibration mode is off, the control unit 4 does not drive the vibration device 51 during the vibration mode off state during exposure.
- control unit 4 When the control unit 4 receives the information that the exposure (ST2) in the image sensor 31 is finished and the image data has been sent to the signal processing unit, it cancels the vibration mode off state and generates vibration indicating that the remaining battery level is low. A drive signal is transmitted to the vibration device 51 so as to cause it to move (ST5). The vibration device 51 vibrates based on the drive signal (ST6). As a result, it is possible to quickly notify the photographer that the remaining battery level is low while suppressing blurring of the captured image caused by vibrations during exposure.
- FIG. 15 is a processing flow explaining control of the vibrating device when the control unit 4 receives information that the surroundings are dangerous during exposure.
- the control unit 4 receives information that the shutter button is fully pressed (ST1), it controls the image sensor 31 to start shooting, and during exposure (shooting)
- the vibration mode is turned off so that the vibration device 51 is not driven.
- the control unit 4 receives information that the surroundings are dangerous during exposure. Since the signal indicating danger includes a signal that is hidden when the vibration mode is off, the control unit 4 generates vibration indicating that the surroundings are dangerous even during the vibration mode off state.
- a drive signal is transmitted to the vibration device 51 so as to cause it to move (ST7).
- the vibration device 51 vibrates based on the drive signal (ST8).
- the photographer can recognize that the situation is dangerous due to the vibration.
- the control unit 4 receives the information that the exposure (ST2) in the imaging device 31 is completed and the imaged data has been sent to the signal processing unit, it cancels the vibration mode OFF state (ST9).
- the occurrence of serious damage such as an accident can be prevented, and the photographer can take pictures in a safe environment.
- the imaging information includes information as to whether the captured image acquired by the imaging device 31 is a normal image or an error image.
- the control unit 4 may control the vibrating device 51 so that the vibration indicating that the error image has been obtained differs from the vibration indicating that the normal image has been obtained.
- An error image is an image in which a subject's eyes are closed, an image in which the subject is blurred, or the like.
- a normal image is an image in which the subject's eyes are not closed and the subject is not blurred.
- FIG. 16 shows the vibration presented at the time of shutter after the shutter button is fully pressed.
- FIG. 16A shows an example of a vibration waveform when the photographed image is a normal image.
- FIG. 16B shows an example of a vibration waveform when the captured image is an error image.
- the control unit 4 performs image analysis on the imaging data and determines whether it is a normal image or an error image. For example, it is possible to determine whether blurring occurs in an image by edge detection. When the subject is a person, it is possible to determine whether or not the subject is blinking by facial image recognition. As shown in FIG.
- the control section 4 presents to the photographer that the exposure is finished by one vibration of the vibrating device 51 .
- the control unit 4 notifies the photographer that the exposure has ended by vibrating the vibrating device 51 a plurality of times, for example, three times. , to indicate that the captured image is an error image.
- the vibration of the vibrating device 51 may be controlled according to the imaging information. As a result, the photographer can recognize that the image is an error image by the vibration without looking at the preview screen.
- FIG. 17 is a schematic diagram for explaining the vibration indicating completion of focusing after the shutter button is half-pressed. Also, in FIG. 17, the circle indicated by reference numeral 15 indicates the position to be focused.
- FIG. 17A shows an example of vibration waveforms when the focus is relatively close, that is, when the focal length is short.
- FIG. 17B shows an example of vibration waveforms when the focus is relatively far, that is, when the focal length is long. As shown in FIGS.
- the control unit 4 controls the vibration of the vibrating device 51 so that the vibration increases when the focal length is short and the vibration decreases when the focal length is long. may be controlled. This allows the photographer to intuitively grasp the length of the focal length.
- the vibration indicating the difference in the length of the focal length is shown as the vibration 61 at the time of completion of focusing. A vibration may be presented.
- control unit 4 performs image analysis of the imaging data acquired after the focus operation, and if it determines that the image data is out of focus, the control unit 4 vibrates a plurality of times, for example, three times, to notify the photographer that the image is out of focus. may be presented to
- FIG. 18 is a perspective view of the imaging apparatus 1 to which a plurality of accessory devices are attached.
- the imaging apparatus 1 shown in FIG. 18 includes a camera body 2 , a lens unit 81 as an accessory device 8 , an external flash 84 , a monitor 85 and a high-sensitivity microphone 86 .
- Each accessory device 8 is attached to the camera body 2 directly or indirectly.
- each accessory device When a plurality of accessory devices are attached to the camera body 2, actions performed by each accessory device may be fed back as vibrotactile feedback. At this time, different vibrations may be generated for each attached device so that the photographer can perceive the motion by distinguishing it by the vibration of which attached device.
- the monitor 85 may be configured to be touch-operable, and vibration having a 200-Hz SIN wave and a two-pulse vibration waveform indicating that a touch operation has been performed may be emitted from the vibration device 51 .
- the vibration waveform is a waveform similar to the feeling of pressing a button. Vibration having a 300 Hz SIN wave, 10-pulse vibration waveform may be emitted from the vibration device 51 to indicate that charging of the external flash 84 is complete. A vibration having a 150 Hz SIN wave, 3-pulse vibration waveform, indicating that the microphone level of the sensitive microphone 86 has exceeded the maximum may be emitted from the vibration device 51 . In this way, by changing the vibration waveform for each different accessory device, the photographer can intuitively grasp which accessory device's operation the vibration indicates.
- the control unit 4 may turn the vibration mode on or off, or change the vibration waveform when the vibration mode is on, according to the type of accessory device attached to the camera body 2 .
- Information about what accessory devices are attached to the camera body 2 is included in the state information of the imaging apparatus.
- the control section 4 can determine the type of the accessory device 8 from the electrical connection information.
- Information such as the weight of each attached device 8 is information known in advance depending on the type of the attached device 8 . For example, as the attachment device 8 becomes heavier, even if the vibration waveform is the same, the vibration tends to be less likely to be transmitted to the photographer.
- control unit 4 can acquire state information of the imaging device 1 from the sensing results of the acceleration sensor and the gyro sensor when the attachment device 8 is attached.
- FIG. 19 is a perspective view of the imaging apparatus 1 to which a gimbal 83 is attached in addition to the lens unit 81 as the attachment device 8.
- FIG. 21 is a perspective view of the imaging apparatus 1 to which a support 82 such as a tripod is attached in addition to a lens unit 81 having a giant lens as an accessory device 8 .
- the control unit 4 determines that the gimbal 83 and the support 82 are attached based on the electrical connection information and the sensing results of the acceleration sensor and the gyro sensor, it sets the vibration mode to off.
- the gimbal 83 or support 82 is used, the camera body 2 is often not held by the photographer, so the vibration mode is turned off.
- the controller 4 may turn off the vibration mode and switch to sound feedback control, that is, turn on the voice mode.
- the vibration mode is turned off.
- the external shutter is, for example, a wired or wireless shutter remote control.
- the control unit 4 determines that the support 82 is attached as the attached device 8 and determines that the support 82 is placed in an unstable place, it generates a vibration that calls attention to consider the location of the support 82.
- the vibrating device may be controlled to do so.
- the determination that the post 82 is placed in an unstable place can be made, for example, by estimating that the position of the camera body 2 is not fixed from the sensing results of the imaging device, acceleration sensor, and gyro sensor. can be done.
- the control section 4 may control the vibration of the vibrating device 51 according to the type of the lens unit 81 .
- the typical way of holding the imaging device differs.
- the lens unit is a single-focus lens
- the photographer often does not hold the lens, and often holds the camera body 2 with both hands.
- the lens unit is a normal size zoom lens
- the photographer 10 often holds the lens with the left hand and the camera body 2 with the right hand, as shown in FIG.
- FIGS. 20 and 21 when the lens unit 81 is a giant lens, the photographer 10 supports the lens with the left hand as shown in FIG. 20 and holds the camera body 2 with the right hand, or Posts 82 are used as shown.
- the control section 4 can determine the type of the lens unit 81 when the lens unit 81 is attached to the camera body 2 .
- the control unit 4 determines that a large lens that tends to cause camera shake is attached, the control unit 4 automatically sets the vibration mode to OFF. As a result, it is possible to prevent the vibration of the vibrating device from aggravating camera shake caused by the giant lens.
- the control unit 4 determines that the lens unit 81 with a single focus lens is mounted and further determines that the distribution of acceleration in the camera body 2 is biased, the vibration waveform of the vibration device 51 is changed to that of the distribution of acceleration.
- the drive signal may be controlled to be uniform or different.
- the distribution of acceleration in the camera body 2 can be calculated using sensing results from the acceleration sensor. Based on the distribution result of the acceleration, for example, the control unit 4 sets the hand that feels the vibration weakly as a reference among the left and right hands holding the imaging device 1, and determines the acceleration generated by the vibrating device with respect to the reference sensitivity threshold.
- the drive signal for the vibrating device 51 may be controlled so as to weaken the generated acceleration.
- the control unit 4 determines that the lens unit 81 of the normal size zoom lens is mounted and further determines that the distribution of acceleration in the camera body 2 is uneven, the vibration waveform of the vibration device 51 is changed to the acceleration.
- the drive signal may be controlled such that the distribution of is different from the case where is uniform.
- the control unit 4 uses the sensitivity of the left hand side as a reference for the vibration related to the lens operation such as the vibration 61 indicating the completion of focusing, and the vibration related to the shutter such as the vibration 62 and 63 indicating the start/end of exposure.
- the drive signal for the vibration device 51 may be controlled based on the sensitivity of the right hand side.
- the controller 4 may turn off the vibration mode because the giant lens is likely to cause camera shake. .
- the controller 4 determines that the lens unit 81 of the giant lens is mounted and further determines that the support 82 is also mounted, the controller 4 sets the vibration mode to OFF or reduces the vibration so that the vibration is weakened.
- Device 51 may be controlled.
- the vibration of the vibrating device 51 may be controlled in consideration of the type of lens unit and the gripping state of the photographer.
- FIGS. 23A to 23C show forms with different zoom states.
- the photographer 10 holds the camera body 2 with his right hand and his left hand along the lens unit 81 .
- reference numeral 17 indicates the vibration generation position by the vibration device 51
- reference numeral 18 indicates the contact position between the hand of the photographer 10 and the lens unit 81 .
- FIG. 23A shows a state in which the lens zoom is not performed, and the contact position 17 between the hand of the photographer 10 and the lens unit 81 is located near the vibration generating position 18.
- FIG. FIGS. 23B and 23C show states during lens zooming, and it is assumed that (C) has a higher zoom ratio than (B).
- (C) has a higher zoom ratio than (B).
- FIG. 23B the position of the hand is the same as in FIG.
- FIG. 23C the position of the hand is different from that in FIG.
- the contact position 17 between the hand of the photographer 10 and the lens unit 81 is located away from the vibration generating position 18 .
- the controller 4 turns on the vibration mode when the zoom ratio z1 in the lens unit 81 is within the first threshold value Zh1.
- the vibration acceleration of the vibration feedback may be controlled to weaken in accordance with the zoom rate, and blurring can be reduced.
- the controller 4 turns off the vibration mode when the zoom ratio z1 in the lens unit 81 exceeds the first threshold value Zh1. This makes it possible to reduce blurring.
- FIG. 23A the controller 4 turns on the vibration mode when the zoom ratio z1 in the lens unit 81 is within the first threshold value Zh1.
- the vibration acceleration of the vibration feedback may be controlled to weaken in accordance with the zoom rate, and blurring can be reduced.
- the controller 4 turns off the vibration mode when the zoom ratio z1 in the lens unit 81 exceeds the first threshold value Zh1. This makes it possible to reduce blurring.
- the controller 4 holds the lens with the left hand of the photographer 10 and touches the lens. It is assumed that the position 17 and the vibration generation position 18 are located apart.
- the control unit 4 controls the drive signal to strengthen the vibration of the vibration device 51 in order to reliably give vibration feedback to the left hand holding the lens.
- the control unit 4 may control the vibration of the vibration device 51 according to the dynamically changing gripping state of the photographer 10 gripping the imaging device 1 .
- the gripping state may change.
- the force for gripping the lens unit 81 is weakened due to ergonomics, and a gap is likely to be created between the lens unit 81 and the palm.
- the contact area tends to be smaller because the fingers are more often in contact than the entire palm.
- the control unit 4 may change the vibration intensity, frequency, and vibration pattern of the vibration device according to the gripping state. Specifically, the controller 4 determines whether the photographer 10 is gripping the lens unit 81 from below as shown in FIG. 24(A) or from the side as shown in FIG. determine whether you are For example, when it is determined that the device is being held from the side, the acceleration is stronger than the vibration of the vibration device when the device is held from below, the vibration presentation time (driving time) is relatively long, and the frequency with high sensitivity is selected. The driving signal of the vibrating device is controlled so as to become the band. As a result, even if the gripping state changes, the strength of the vibration perceived by the photographer does not change so much, and stable vibration presentation is possible.
- a contact sensor or the like may be mounted on the lens unit to detect the gripping state by the hand.
- initial hand position information may be obtained, and the gripping state of the photographer's hands may be estimated from the zoom ratio.
- the photographer 10 may hold the camera body 2 horizontally as shown in FIG. 25(A), or may hold the camera body 2 vertically as shown in FIG. 24(B).
- the grasping state may change.
- the vibration device 51 is mounted on the camera body 2 so that its vibration direction is the height direction of the camera body 2 (the Z-axis direction in FIG. 1).
- the direction of vibration presented to the photographer by the vibrating device 51 changes depending on whether the imaging apparatus 1 is held horizontally or vertically.
- the sensitivity of the human hand also changes according to the vibration direction.
- the control unit 4 may change the drive signal for the vibration device 51 according to the orientation of the camera body 2 .
- the vibration emitted from the vibrating device may be stronger than when oriented horizontally.
- two orientations of the camera body 2 horizontal and vertical, are taken as examples, but there are cases in which the camera body 2 is held in an oblique direction for use. includes vertical orientation, horizontal orientation, and oblique orientation.
- the orientation of the camera body 2 can be estimated from a through-the-lens image captured by the image pickup device 31, posture information of the camera body 2 estimated using sensing results from the acceleration sensor 32, the gyro sensor 33, and the like.
- the vibrating device 51 is mounted on the camera body 2 so that the vibrating direction of the vibrating device 51 is aligned with the height direction of the camera body 2 is given, but the present invention is not limited to this.
- the vibration device may be mounted on the camera body so that the vibration directions are the X-axis direction and the Y-axis direction in FIG.
- the control unit 4 may control the drive signal of the vibration device 51 according to the dynamic posture shake of the photographer 10 holding the imaging device 1 .
- FIG. 26A is a diagram of the photographer 10 who is unable to fix and hold the imaging apparatus 1 well due to the open armpit.
- FIG. 26(B) is a diagram of the photographer 10 holding the imaging device 1 well by tightening his armpits.
- the fact that the imaging device 1 cannot be fixed and held and that the photographer 10 has caused dynamic blurring in the imaging device 1 can be determined using the through image by the imaging device 31 and the sensing results of the acceleration sensor 32, the gyro sensor 33, and the like. can be estimated by Dynamic blurring by the photographer 10 can be said to be camera shake.
- the control unit 4 When the sum of the camera shake amount of the photographer 10 and the vibration amount of the vibration device is smaller than the camera shake correction allowable vibration amount, the control unit 4 turns on the vibration mode, and the vibration of the vibration device 51 is generated with the basic vibration waveform. Vibrations 62 and 63 presented at the time of shutter are controlled so as to be vibrations. When the sum of the camera shake amount of the photographer and the vibration amount of the vibration device is greater than or equal to the camera shake correction allowable vibration amount, the control unit 4 turns off the vibration mode, or turns on the vibration mode so that the vibration waveform is larger than the basic vibration waveform. Vibrations 62 and 63 presented at the time of shutter are controlled so that vibrations are small.
- the imaging environment information in the imaging device 1, the imaging setting information set by the photographer, and the state information of the imaging device 1 Vibration of the vibration device 51 mounted on the camera body 2 is controlled based on at least one of .
- information related to the imaging device 1 is appropriately presented to the photographer through vibrotactile sensation.
- Changing the vibration waveform of the vibrating device includes not only changing the vibration waveform, but also a form in which the vibrating device does not vibrate.
- the control unit 4 determines whether or not sensing results, which serve as surrounding shooting environment information, can be acquired from the input system device 3 (ST101).
- the sensing result is, for example, image data acquired by the imaging device 31, audio data detected by a microphone, or the like.
- the control unit 4 determines that the sensing result cannot be acquired (NO), it returns to the start and repeats the processing.
- the process proceeds to ST102.
- the control unit 4 acquires surrounding shooting environment information based on the sensing result.
- the control unit 4 determines whether or not it is necessary to change the vibration waveform of the vibration device according to the shooting environment information (ST103). If the control unit 4 determines that it is necessary to change (YES), it proceeds to ST111. When the control unit 4 determines that there is no need to change (NO), it returns to the start and repeats the process.
- the control section 4 determines whether or not there is an attached device 8 attached to the camera body 2 (ST104). When the control unit 4 determines that the attached device 8 is not present (NO), it returns to the start and repeats the processing. When the control section 4 determines that there is an attached device 8 (YES), the process proceeds to ST105.
- the control unit 4 acquires the type information of the attached device 8 from the electrical connection information between the camera body 2 and the attached device 8 . In ST105, the control unit 4 uses the attached device DB 71 to obtain information on attached attached devices. Next, the control unit 4 acquires lens state information such as the zoom state of the zoom lens of the lens unit 81 (ST106).
- the control unit 4 acquires the gripping state of the photographer based on the sensing result of the input device 3 (ST107).
- the control section 4 determines whether or not it is necessary to change the vibration waveform based on the attached device information, the lens state information, and the gripping state information (ST108).
- the control unit 4 determines that it is necessary to change (YES)
- it proceeds to ST111.
- the control unit 4 determines that there is no need to change (NO), it returns to the start and repeats the process.
- Attached device information, lens state information, and gripping state information are state information of the imaging device.
- the control unit 4 acquires input operation information performed by the photographer (ST109).
- the input operation information is shooting setting information set by the input operation of the photographer.
- the control unit 4 determines whether or not it is necessary to change the vibration waveform based on the acquired input operation information (ST110). If the control unit 4 determines that it is necessary to change (YES), it proceeds to ST111. When the control unit 4 determines that there is no need to change (NO), it returns to the start and repeats the process.
- the control unit 4 acquires usage information of the electronic viewfinder (EVF) 22 by the photographer based on the sensing result of the input device 3.
- EVF electronic viewfinder
- the control unit 4 uses the shooting environment information, the state information of the imaging device 1, the shooting setting information by the photographer, the usage information of the electronic viewfinder 22, the user attributes, and the information stored in the camera specification information unit 73.
- a vibration waveform (driving signal) for the vibration device 51 is generated (ST112), and the setting value of the vibration waveform currently set is changed and set (ST113).
- control unit 4 determines whether or not the drive signal includes a signal that is hidden when the vibration mode is turned off (ST114). If the control unit 4 determines that it is not included (NO), it proceeds to ST116. If the control unit 4 determines that it is included (YES), it determines whether or not the vibration mode is set to off (ST115). When the control unit 4 determines that the vibration mode is set to OFF (YES), the process proceeds to ST118. When the control unit 4 determines that the vibration mode is not set to OFF (NO), the process proceeds to ST116.
- the control unit 4 acquires sensing results (output information) of the input system device 3, such as acceleration and sound pressure detected by the imaging device 1.
- FIG. Next, based on the acquired output information, the control unit 4 determines whether or not to feed back the acquired output information to the next vibration of the vibration device 51 (ST117). If the control unit 4 determines to feed back (YES), it proceeds to ST118. When the controller 4 determines not to feed back (NO), it returns to the start and repeats the process. In ST118, the control unit 4 changes and sets the currently set value of the vibration waveform (driving signal). After that, return to the start and repeat the process.
- the information processing method of the present embodiment based on at least one of the shooting environment information in the imaging device 1, the shooting setting information set by the photographer, and the state information of the imaging device 1, the camera main body to control the vibration of the vibration device mounted on the Accordingly, it is possible to appropriately present the information related to the imaging device to the photographer using the vibrotactile sensation.
- the vibration device may be provided in each of the camera body and the lens unit.
- the number of vibrating devices may be one or more, and for example, a plurality of vibrating devices may be mounted on the camera body. In this way, when a plurality of vibrating devices are provided in the entire imaging apparatus, the characteristics of the vibrating devices such as the difference in gripping state due to the difference in the type of lens unit, the timing of vibration generation, acceleration, frequency band, and vibration direction are taken into consideration. to select and determine which vibration device is to be vibrated and how.
- control unit 4 for controlling the vibration of the vibration device 51 is provided in the camera body 2, and the camera body 2 functions as an information processing device. It may be provided in a different information processing device.
- vibration feedback may be performed during moving image shooting.
- the vibration sound of the vibrating device may be recorded in the captured moving image.
- a filter can be applied so as to cut the frequency band of the vibration sound (vibration frequency in the figure).
- the opposite phase 28 of the vibration sound frequency 27 may be added to the recorded data 26 .
- FIG. 29(A) is a diagram illustrating an anti-dust system.
- the anti-dust system uses a piezo element to vibrate the filter 311 mounted on the entire surface of the imaging device 31 with ultrasonic waves of 70,000 times/second or more, and removes dust attached by changing the oscillation method of the filter 311. It removes dirt and dust.
- the piezoelectric element used in the anti-dust system may realize the function of the vibrating device described above. In this case, it is preferable to use a low frequency piezo element.
- a piezo element (vibration device) may have both the function of vibration feedback and the function of an anti-dust system.
- FIG. 29B is a perspective view of the imaging device 1.
- the imaging device 1 has a camera body 2 and a lens unit 81 .
- the camera body 2 includes a housing 20 and an opening/closing section 23 connected to the housing 20 via a connecting section (not shown).
- the opening/closing part 23 is connected to the camera body 2 by a connecting part so as to be openable and closable about an opening and closing axis along the height direction of the camera body 2 and rotatable about a rotation axis orthogonal to the opening and closing axis.
- a display 53 is mounted on the opening/closing portion 23 .
- the example shown in FIG. 29B shows a state in which the opening/closing portion 23 is opened.
- the opening/closing part 23 can be closed so as to overlap with the housing 20 .
- a magnet 381 is provided in the opening/closing section 23 and a magnetic sensor 380 is provided in the housing 20 .
- a magnetic sensor 380 may be provided in the opening/closing portion 23 and a magnet 381 may be provided in the housing 20 .
- Magnetic sensor 380 detects the strength of the magnetic field. Since the magnetic sensor 380 and the magnet 381 are close to each other when the opening/closing portion 23 is closed, the magnetic sensor 380 can detect the magnet 381 . In this manner, the magnet 381 and the magnetic sensor 380 can be used as an open/close detection section that detects the open/closed state of the open/close section 23 .
- the magnet of the vibration device VCM
- the vibration device may have both the function of vibration feedback and the function of the opening/closing detector of the opening/closing portion.
- Imaging environment information in an imaging device that includes an imaging device that captures an image of a subject and a vibration device that presents vibrations to a photographer, imaging setting information set by the photographer, and information about the imaging device.
- An information processing apparatus comprising: a control unit that controls vibration of the vibration device based on at least one piece of state information.
- the information processing device according to (1) above The information processing device, wherein the vibration indicates information related to the imaging device.
- the information processing device according to (2) above, The information related to the image pickup device includes at least one of operation information of the image pickup device, alert information, operation information of an accessory device attached to the camera body, and image pickup information acquired by the image pickup device. processing equipment.
- the information processing device wherein the operation information of the imaging device includes information on the state of focusing on the subject, information on the start of exposure in the imaging device, and information on the end of exposure.
- the imaging device has a shutter button that is operated by half-pressing and full-pressing,
- the control unit controls vibration of the vibrating device indicating a state of focus on the subject performed in response to half-pressing of the shutter button, and starts and controls the exposure performed in response to full-pressing of the shutter button.
- An information processing apparatus for controlling vibration of the vibrating device indicating each end.
- the information processing device (6) The information processing device according to (4) above, The information processing apparatus, wherein the control section causes the vibrating device to vary the vibration indicating the in-focus state according to a focal length.
- the imaging information includes information as to whether the captured image acquired by the imaging device is a normal image or an error image, The information processing apparatus, wherein the control unit controls the vibration of the vibration device so that the vibration indicating that the error image has been obtained is different from the vibration indicating that the normal image has been obtained.
- the information processing device controls vibration of the vibration device to be OFF during exposure of the imaging element.
- the vibration drive signal indicating the alert information includes a signal that is hidden when the vibration mode of the vibrating device is off or a signal that is visible when the vibration mode is off
- the control unit When the alert information having a signal that is hidden when the vibration mode is off is received during exposure of the imaging device, vibration indicating the alert information is generated after the exposure of the imaging device is completed. , controlling said vibrating device; When the alert information having a signal that appears when the vibration mode is off is received during exposure of the imaging device, vibration indicating the alert information is generated during exposure of the imaging device, An information processing device that controls the vibration device.
- the information processing device according to any one of (3) to (9) above, The information processing apparatus, wherein the alert information includes at least one of information related to the remaining battery level, which is a driving power source of the imaging device, and information related to the imaging environment information.
- the imaging device is equipped with a plurality of attachment devices different from each other, The information processing apparatus, wherein the control section controls the vibration of the vibration device so that the vibration indicating operation information of each of the attached devices differs for each of the plurality of attached devices.
- the information processing device according to any one of (2) to (11) above, The information processing device, wherein the control unit controls first vibration and second vibration indicating different information related to the imaging device so that the photographer can distinguish between the first vibration and the second vibration.
- the information processing device includes at least one of shutter speed setting, frame rate setting, single shooting mode or continuous shooting mode setting, and shooting environment setting.
- the state information of the imaging device includes type information of an attached device attached to the camera body, form information of the attached device, information on the holding state of the imaging device by the photographer, and remaining power supply for driving the imaging device. and information on power consumption of the camera body.
- the imaging device has a zoom lens, The information processing apparatus, wherein the control unit controls vibration of the vibration device in consideration of vibration during driving of the zoom lens.
- the information processing apparatus controls the vibration of the vibration device in consideration of the vibration sound caused by the vibration device.
- the imaging device has a mechanical shutter, The information processing apparatus, wherein the control unit controls vibration of the vibration device in consideration of vibration during operation of the mechanical shutter.
- the information processing device according to any one of (1) to (17) above, The information processing apparatus, wherein the control unit controls the next vibration of the vibration device using the vibration information of the imaging device.
- An information processing method comprising controlling vibration of the vibration device based on at least one piece of state information.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
Description
上記制御部は、被写体の像を撮像する撮像素子と撮影者に対して振動を提示する振動デバイスとを備えるカメラ本体を含む撮像装置における撮影環境情報、上記撮影者により設定された撮影設定情報、及び、上記撮像装置の状態情報の少なくとも1つに基づいて、上記振動デバイスの振動を制御する。
上記撮像装置に係る情報には、上記撮像装置の動作情報、注意喚起情報、上記カメラ本体に装着する付属デバイスの動作情報、及び、上記撮像素子により取得される撮像情報の少なくとも1つが含まれてもよい。
上記制御部は、上記シャッタボタンの半押しに応じて行われる上記被写体への合焦状態を示す上記振動デバイスの振動を制御し、上記シャッタボタンの全押しに応じて行われる上記露光の開始及び終了それぞれを示す上記振動デバイスの振動を制御してもよい。
上記制御部は、上前記エラー画像が取得されたことを示す振動を、上記正常画像が取得されたことを示す振動と異なるように、上記振動デバイスの振動を制御してもよい。
上記制御部は、
上記撮像素子の露光中に、上記振動モードオフ時で非表出となる信号を有する上記注意喚起情報を受信すると、上記撮像素子の露光終了後に、上記注意喚起情報を示す振動が発生するように、上記振動デバイスを制御し、
上記撮像素子の露光中に、上記振動モードオフ時で表出となる信号を有する上記注意喚起情報を受信すると、上記撮像素子の露光中に、上記注意喚起情報を示す振動が発生するように、上記振動デバイスを制御してもよい。
上記制御部は、上記付属デバイスそれぞれの動作情報を示す振動を、複数の上記付属デイバス毎に異なるように、上記振動デバイスの振動を制御してもよい。
上記制御部は、上記ズームレンズ駆動時の振動を加味して上記振動デバイスの振動を制御してもよい。
上記制御部は、上記メカシャッタの動作時の振動を加味して上記振動デバイスの振動を制御してもよい。
図1~図3を用いて、撮像装置の構成について説明する。
尚、本明細書において、撮像装置の一例として、レンズ交換式デジタルカメラを撮像装置1として示しているが、撮像装置はかかる例に限定されない。例えば、撮像装置は、レンズ一体型のデジタルカメラ、銀塩カメラ、ビデオカメラ、その他静止画を撮影できる装置であってもよい。
図2は、撮像装置1の機能及び内部構成を主に示すブロック図である。
図3は、カメラ本体にレンズユニットが装着された撮像装置の概略内部構成図である。
図1(A)及び(B)に示すように、撮像装置1は、情報処理装置としてのカメラ本体2と、交換レンズであるレンズユニット81とを備えている。レンズユニット81は、カメラ本体2に着脱自在な撮影レンズである。
カメラ本体2は、レンズユニット81が装着される円環状のマウント部を正面略中央に備え、レンズユニット81を着脱するための着脱ボタンを円環状のマウント部付近に備えている。
撮影モードにおいてシャッタボタン39が半押し状態になると、被写体を撮影するための準備動作が実行される。この準備動作としては、例えば、露出制御値の設定や焦点検出等が想定される。
また、シャッタボタン39が全押し状態になると、撮影動作が行われる。この撮影動作としては、後述する撮像素子において露光が行われ、その露光によって得られた撮像データに所定の画像処理を施して記録媒体に記録するという一連の動作が想定される。
ディスプレイ53に後述するタッチセンサ34が配置され、タッチ操作が可能とされることにより、撮影者はディスプレイ53上で、モード設定等の入力操作を行うことができる。例えば、ディスプレイ53のタッチ操作により、カメラ撮影画質の設定として水中撮影モードを選択したり、タッチパネル感度の設定として手袋モードを選択したり等、撮影環境設定が可能である。また、ディスプレイ53のタッチ操作により、シャッタスピード、連写時におけるフレームレート、シャッタ機構の選択、音声モードのオン、オフ、振動モードのオン、オフ等を設定することができる。
振動モードとは、撮影者に対して、撮像装置に係る情報を、後述する振動デバイスを用いて、振動触覚としてフィードバックすることが可能な方式である。
撮像装置1において、撮像装置1の動作情報、注意喚起情報、付属デバイス8の動作情報、撮像装置1により取得される撮像情報といった撮像装置1に係る情報が、撮影者に対して、振動デバイス51を用いた振動触覚としてフィードバックされる。
撮影者は、振動による触覚提示により、撮像装置1に係る情報を直感的に把握することができる。
詳細については後述する。
図2に示すように、撮像装置1は、カメラ本体2と、付属デバイス8を備える。
付属デバイス8は、カメラ本体2に対して着脱可能に構成されるデバイスである。
付属デバイス8には、例えば、レンズユニット81、三脚等の支柱82、ジンバル83、外付けフラッシュ84、モニタ85、高感度マイク86等がある。必要に応じて、これら付属デバイス8を2以上組み合わせて用いることができる。
付属デバイス8は、それぞれ、カメラ本体2の通信部6(後述する)と通信可能に構成される通信部を備える。
カメラ本体2は、入力系デバイス3と、制御部4と、出力系デバイス5と、通信部6と、記憶部7と、モードダイヤル38と、シャッタボタン39と、電池74と、監視部75と、付属デバイスデータベース(以下、付属デバイスDBという。)71と、環境情報データベース(以下、環境情報DBという。)72と、ユーザ属性及びカメラスペック情報部73を備える。
入力系デバイス3は、撮像素子31、加速度センサ32、ジャイロセンサ33、タッチセンサ34、圧力センサ35、赤外線センサ36、マイク37等を含む。
撮像素子31により取得される撮像情報(撮像データ)は制御部4に送信される。
加速度センサ及びジャイロセンサを有するIMU(Inertial Measurement Unit)を用いてもよい。
加速度センサ32及びジャイロセンサ33により取得される加速度情報(加速度データ)及び角速度情報(角速度データ)は制御部4に送信される。
また、加速度センサ32及びジャイロセンサ33のセンシング結果を、次回の振動の出力波形の生成に反映されるようにしてもよい。例えば、制御部4は、センシング結果から、撮影者による把持力が大きいため振動が撮影者に伝わりにくいと判定し、次回の振動ではより振動を強くするように振動を制御してもよい。このように、センサのセンシング結果が次回の振動波形にフィードバックされてもよい。
電池74は、撮像装置1の駆動電源であり、例えば4本の単3形乾電池である。電池74は、例えばカメラ本体2のグリップ部21の内部に位置する電池収納室に収納される。
監視部75は、電池74の残量とカメラ本体2の消費電力を監視する。監視部75で得られた情報は制御部4に出力される。
制御部4は、電池74から電力を供給される。制御部4は、撮像装置1全体の動作を制御する。
出力系デバイス5には、振動デバイス51、スピーカ52、ディスプレイ53等がある。
ディスプレイ53は、上述したように、スルー画、撮影済み画像、再生画像、撮影モード設定画面等を表示することができる。
通信部6は、付属デバイス8等のカメラ本体2とは異なる装置と通信し、各種情報の送受信が可能に構成される。
記憶部7には、情報処理装置としてのカメラ本体2における処理に必要なデータが格納される。例えば、記憶部7には、撮像素子によって撮像されたデジタルデータ(撮像データ)が格納される。また、記憶部7には、CPU(Central Processing Unit)に実行させることによって制御部4の機能を実現する、例えば振動デバイスの振動の制御に係るプログラムが格納されている。記憶部7は、ROM(Read Only Memory)、RAM(Random Access Memory)などの記憶装置、および光ディスク、磁気ディスク、半導体メモリなどのリムーバブル記憶媒体を必要に応じて組み合わせて実装される。従って、上記のプログラムは、ネットワーク(図示せず)からダウンロードされて記憶装置に格納されるものでもよく、また予めリムーバブル記憶媒体に格納されたものでもよい。
付属デバイスDB71は、付属デバイス8の重量等の付属デバイスに関する情報を格納する。
環境情報DB72は、入力系デバイス3でのセンシング結果から推定される環境情報と該環境に適した振動デバイスの駆動信号(振動波形)とが紐づけられた情報を格納する。
ユーザ属性及びカメラスペック情報部73は、ユーザ属性情報及びカメラ本体2のスペック情報を格納する。ユーザ属性情報は、撮影者の年齢や性別等の情報である。一般に、年齢や性別により感度は異なるため、ユーザ属性情報を用いて振動デバイスにおける振動の強さ等を微調整することができる。
次に、図3を用いて、カメラ本体2にレンズユニット81が装着された撮像装置1の構成について説明する。レンズユニット81の構成、及び、上記で説明していないカメラ本体2の内部構成を中心に説明する。図3において、カメラ本体2の内部構成については、主だった構成を図示し、モードダイヤル38、シャッタボタン39、付属デバイスDB71、環境情報DB72、ユーザ属性及びカメラスペック情報部73、電池74、監視部75、撮像素子31以外の入力系デバイス、振動デバイス51以外の出力系デバイスの図示を省略している。
レンズユニット81内の構成について説明する。
図3に示すように、レンズユニット81は、撮影レンズ814、レンズ制御部811、レンズ駆動部812、絞り駆動部813、絞り815、ズーム駆動機構816、ズーム位置検出部817及び通信部810を有する。
レンズユニットには、焦点距離が固定されてズームできない単焦点レンズユニットと、ズームができるズームレンズユニットがある。以下のレンズユニットの説明では、ズームレンズを用いる例をあげて説明する。
レンズ制御部811は、レンズ駆動部812を介して撮影レンズ814の駆動を制御すると共に、絞り駆動部813を介して絞り815を駆動し、撮影動作時の被写体輝度に応じた絞りの制御を行う。
また、ズーム駆動機構816を例えば撮影者が手動操作することによりズームレンズの位置を動かすことができる。動かされたズームレンズの位置(焦点距離)はズーム位置検出部817により検出され、レンズ制御部811に送られる。
図3に示すように、レンズユニット81の通信部810は、カメラ本体2に内蔵された通信部6と、レンズユニット81及びカメラ本体2の通信接点Aを介して接続されている。これにより、レンズユニット81及びカメラ本体2は、互いに情報を送受信できるようになっている。
通信接点Aを介して接続されることにより、レンズ制御部811は、通信部810及び6を介して、レンズユニット81の種類や、焦点距離、焦点位置(フォーカス位置)等のズーム情報を制御部4に通知する。
また、レンズユニット以外の付属デバイスにおいても通信部を備えており、カメラ本体と該付属デバイスとは通信接点を介して接続され、互いに情報を送受信できるようになっている。そして、通信接点を介して接続されることにより、カメラ本体2の制御部4は、装着された付属デバイスの種類や付属デバイスの動作情報を取得することができる。付属デバイスの動作情報とは、例えば、カメラ本体に装着された外付けフラッシュの充電完了情報や、カメラ本体に装着されたモニタでの入力操作情報等である。
以下、通信接点によるカメラ本体と付属デバイスとの接続を、「電気的接続」ということがある。
図3に示すように、カメラ本体2は、通信部6と、メカニカルシャッタ11と、撮像素子31と、制御部4と、振動デバイス51とを備える。
図4に示すように、メカシャッタ機構では、メカニカルシャッタ11により先幕と後幕が構成される。撮像素子31を覆うメカ先幕111を走行させることで撮像素子31への光の入射を開放し、次いでメカ後幕112を走行させることで撮像素子31への光の入射を遮断する。これによりメカニカルシャッタによる撮像動作(メカシャッタ動作)が実現される。
本技術では、カメラ本体2に振動デバイス51が搭載され、撮像装置に係る情報が、撮影者に対して、振動デバイス51による振動触覚としてフィードバックされる。
上記撮像装置に係る情報には、撮像装置1の動作情報、注意喚起情報、付属デバイス8の動作情報、撮像装置1により取得される撮像情報の少なくとも1つの情報が含まれる。撮影者に対して、撮像装置に係る情報が、振動デバイス51による振動触覚としてフィードバックされることにより、撮影者は、直感的に撮像装置に係る情報を把握することができる。
図5を用いて、撮像装置1の動作情報を振動触覚提示する例について説明する。
撮像装置の動作情報には、被写体への合焦状態の情報、撮像素子における露光開始の情報、及び露光終了の情報が含まれる。
図5は、撮像装置1の動作情報を、音声及び振動によって撮影者に対して提示する例である。図5、後述する図10及び12において、S1は合焦時を示し、S2はシャッタ時を示す。
更に、撮影の終了、すなわち撮像素子31における露光の終了が、撮影者に対して「シャン」という音声と共に、振動デバイス51の振動63によってフィードバックされる。振動63は、メカ後幕112の走行終了を示す。
また、撮像装置1において、撮影環境が音をだしてはいけいない環境である場合、音声モードをオフに設定することができる。このような音声提示が不可能な場合においても、振動によって撮像装置1の動作を撮影者に対して提示することが可能となる。
振動61~63の振動波形は互いに異なっていてもよい。これにより、撮影者は、撮像装置1における互いに異なる動作情報を区別して、より正確に把握することができる。
また、振動61~63の振動波形のうち2つ以上が同じ振動波形であってもよい。例えば、本実施形態では、シャッタボタン39の半押しの後に振動61が発生し、全押しの後に振動62及び63が発生するので、撮影者は自身の操作の流れに伴って発生する振動が合焦時のものなのか、シャッタ時のものなのかを直感的に把握が可能であるので、振動波形が同じであってもよい。
制御部4による、主に撮像装置の動作情報を示す振動の制御を例にあげて説明する。以下に示す振動制御例は、後述する注意喚起情報、付属デバイス8の動作情報、撮像装置1により取得される撮像情報それぞれを示す振動の制御にも適用される。
以下に示す振動制御例は単独又は組み合わせて用いることができる。
これにより、撮像装置1の動作情報、注意喚起情報、付属デバイス8の動作情報、撮像情報といった撮像装置に係る情報を、撮影者に対して、カメラ本体2に搭載される振動デバイス51による振動によって適切に提示することができる。換言すると、撮像装置に係る情報が、撮影者に対して振動触覚としてフィードバックされる際、各振動が示す情報が何の情報であるかを撮影者が知覚可能に提示される。
露光の開始を示す振動62と露光の終了を示す振動63は、シャッタスピード(露光時間の長さ)やフレームレートによっては、両者の振動が連続し、撮影者が両者を区別して知覚できない場合がある。本明細書において、このような撮像装置に係る異なる情報を示す2つの第1の振動と第2の振動とがつながって連続した振動として知覚されないように断続的な振動とする処理を、つながり防止処理という。つながり防止処理により、撮影者は、第1の振動と第2の振動を区別して知覚することができ、提示される振動が何の情報を示すかを適切に判断することができる。
ここでは、撮像装置1における互いに異なる動作、すなわち露光開始と露光終了を示す2つの振動を例にあげてつながり防止処理について説明するが、これに限られない。つながり防止処理は、異なる2つの情報を示す振動のつながり防止に適用することができる。該2つの情報を示す振動は、例えば、撮像装置の動作を示す振動と注意喚起を示す振動であってもよいし、撮像装置の動作を示す振動と付属デバイスの動作を示す振動であってもよいし、撮像装置の動作を示す振動と撮像情報を示す振動であってもよい。また、上記2つの情報を示す振動は、注意喚起を示す振動と付属デバイスの動作を示す振動であってもよいし、注意喚起を示す振動と撮像情報を示す振動であってもよいし、付属デバイスの動作を示す振動と撮像情報を示す振動であってもよい。また、上記2つの情報を示す振動は、いずれも注意喚起を示す振動であってもよいし、いずれも付属デバイスの動作を示す振動であってもよい。
図6(A)に示すように、露光時間が長い場合、撮影者が露光の開始を示す振動62と露光の終了を示す振動63を別々の振動であると知覚できるように、振動62と振動63とが断続的な振動波形となるように振動を発生させる。
一方、露光時間が短い場合、露光時間が長い場合と異なる振動波形、例えば駆動時間がより短い振動波形で、露光開始を示す振動62´と、露光終了を示す振動63´を発生させる。これによって、振動62´と振動63´とが断続的な振動波形となるように各振動が制御され、撮影者は露光開始を示す振動62´と露光終了を示す振動63´を別々の振動であると知覚することができる。
このように露光時間に応じて振動波形が異なるように振動デバイスを制御することによって、撮影者は両者の振動を区別して知覚することができる。
図6(C)に示すように、本実施形態において、フレームレートの数値が小さい場合、撮影者が露光開始を示す振動62と露光終了を示す振動63を別々の振動であると知覚できるように、振動62と振動63とが断続的な振動波形となるように振動を発生させる。
フレームレートの数値が大きい場合、フレームレートの数値が小さい場合と異なる振動波形、例えば駆動時間がより短い振動波形で、振動を発生させる。これによって、振動62´と振動63´とが断続的な振動波形となるように各振動が制御され、撮影者は露光開始を示す振動62´と露光終了を示す振動63´を別々の振動であると知覚することができる。
このようにフレームレートに応じて振動波形が異なるように振動デバイスを制御することによって、撮影者は両者の振動を区別して知覚することができる。
以下の説明において、入力時における一方の振動と他方の振動との間隔時間(インターバル)をTiとする。出力時における一方の振動と他方の振動との間隔時間(インターバル)をToとする。
このような入力時点で2つの振動波形が重なって連なるケースは、撮影者によって設定される撮影設定情報から予め推定することができる。撮影設定情報は、例えば、単写モードであるか連写モードであるか、シャッタスピードや連写時におけるフレームレート等である。このように、撮影者による撮影設定情報に基づいてつながり防止処理がなされてもよい。
また、シャッタスピードやフレームレート毎に、撮影者が異なる2つの振動(本例では、露光開始の振動と露光終了の振動)を区別して知覚できるように、振動波形の情報を予め準備してもよい。
TiとToとの差分は、振動デバイスの特性や使用周波数によって変化する。振動デバイスと該振動デバイスが搭載されるカメラ本体2との組み合わせにより、TiとToとの差分を予め取得することができる。また、カメラ本体2に装着される付属デバイスの種類や数、付属デバイスの形態によって、撮像装置全体の重さや重心が異なる。装着される付属デバイスの種類や数、付属デバイスの形態毎に、TiとToとの差分を予め取得することができる。この予め取得したTiとToとの差分を用いて、つながり防止処理がなされてもよい。
このように、撮像装置の状態情報に基づいてつながり防止処理がなされてもよい。
尚、撮影者による撮像装置1の把持の仕方や握る強さ等によって、TiとToとの差分はリアルタイムに変化する可能性もある。この場合、圧力センサ35、加速度センサ32やジャイロセンサ33等のセンシング結果を用いて撮像装置の振動情報を取得し、該振動情報を用いて、TiとToとの差分を補正し、次回の振動の出力波形の生成に反映させてもよい。
条件によって異なるが、ヒトの時間的2点弁別能は概ね10ms~50msである。例えばヒトの時間的2点弁別能の閾値をThとしたとき、To>Thとなるように、2つの振動の間隔時間を調整して振動を制御することにより、撮影者に、時間的に異なって発生する2つの振動を断続した振動として知覚させることができる。
間隔時間が短いと2つの異なる振動がつながって連続した振動のように知覚されやすい。このため、間隔時間を長くするように波形を変化させることによって、2つの異なる振動であると知覚されやすくなる。
駆動時間が長いと2つの異なる振動がつながって連続した振動のように知覚されやすい。このため、駆動時間を短くするように波形を変化させることによって、2つの異なる振動であると知覚されやすくなる。
強度が弱いと2つの異なる振動がつながって連続した振動のように知覚されやすい。このため、強度を強くするように波形を変化させることによって、2つの異なる振動であると知覚されやすくなる。
周波数は、ヒトの感度特性に依存する。周波数200Hz~250Hzでは感度が高くなるため、2つの異なる振動がつながって連続した振動のように知覚されやすい。このため、周波数を上記範囲外とすることによって、2つの異なる振動であると知覚されやすくなる。
付属デバイスの重量が重いと、2つの異なる振動がつながって連続した振動のように知覚されやすい。このため、付属デバイスの重量に応じて、上述したように、振動デバイスに入力する振動波形の間隔時間(インターバル)、駆動時間、強度(振幅)、周波数等を変化させることにより、2つの異なる振動であると知覚されやすくなる。
また、付属デバイスの種類によってその形状は異なり、典型的な撮像装置の把持の仕方が異なってくる。レンズユニットを例にあげて説明する。単焦点レンズユニットが装着された撮像装置を把持する場合、典型的には、撮影者は左右の手でカメラ本体を把持する。一方、ズームレンズユニットが装着された撮像装置を把持する場合、典型的には、撮影者の左手はズームレンズユニットを支えるように把持し、右手はカメラ本体を把持する。このように付属デバイス毎の把持状態の違いによって、カメラ本体と撮影者の手との接触面積が変わってくる。接触面積が少ない場合、2つの異なる振動がつながって連続した振動のように知覚されやすい。このため、付属デバイスの種類に応じて、上述したように、振動デバイスに入力する振動波形の間隔時間(インターバル)、駆動時間、強度(振幅)、周波数等を変化させることにより、2つの異なる振動であると知覚されやすくなる。
このように、撮像装置の状態情報に基づいてつながり防止処理がなされてもよい。
例えば、振動デバイスの周波数-加速度特性に応じて振動波形を変化させることができる。例えば、入力周波数が共振周波数に近い場合、振動デバイスの駆動による振動後も振動の余韻が残りやすく、2つの異なる振動がつながった振動に知覚されやすい。また、振動デバイスの立ち上がりも遅くなる。このため共振周波数とは異なる入力周波数とすることにより、2つの異なる振動であると知覚されやすくなる。
また、振動デバイスの時間応答性に応じて振動波形を変化させることができる。例えば、振動でアイスの立ち上がりが遅いと、2つの異なる振動が繋がった振動に知覚されやすい。このため、振動デバイスの時間応答性を加味して、振動波形を変化させてもよい。
上記の振動デバイスの特性は予め取得できるため、振動デバイス51の特性に基づいて、撮影者が断続した振動として知覚できるように振動波形の情報を予め準備してもよい。
カメラ本体2がどのような特性の振動デバイス51を備えているかという情報は、撮像装置の状態情報に含まれる。
このように、撮像装置の状態情報に基づいてつながり防止処理がなされてもよい。
例えば、撮影者がカメラ本体2を強く握ると、振動が発生しづらくなり、2つの異なる振動が繋がった振動に知覚されやすい。このため、撮影者のカメラ本体2を握る強さに応じて、上述したように、振動デバイスに入力する振動波形の間隔時間(インターバル)、駆動時間、強度(振幅)、周波数等を変化させることにより、2つの異なる振動であると知覚されやすくなる。
撮影者の握る力の強さ、どのように把持しているかといった撮影者による撮像装置1の把持情報は、加速度センサ、ジャイロセンサ、圧力センサといった入力系デバイス3のセンシング結果を用いて検出することができる。把持情報は、撮像装置1の状態情報に含まれる。
例えば、振動デバイスを長時間駆動させた場合、熱を持ち、振動を発生させづらくなる場合があり、このような場合、2つの異なる振動がつながった振動に知覚されやすい。このため、振動デバイスの状態に応じて、上述したように、振動デバイスに入力する振動波形の間隔時間(インターバル)、駆動時間、強度(振幅)、周波数等を変化させることにより、2つの異なる振動であると知覚されやすくなる。振動デバイスに係る情報は、撮像装置1の状態情報に含まれる。
このように、撮像装置の状態情報に基づいてつながり防止処理がなされてもよい。
例えば、水中撮影モードが選択されている場合、水中での撮影では、撮影者には、振動デバイス51によるカメラ本体2の振動が地上での撮影と比較して小さく知覚される。また、手袋モードが選択されている場合、撮影者には、振動デバイス51によるカメラ本体2の振動が素手での撮影と比較して小さく知覚される。
撮影者が振動を感じにくい水中撮影モードや手袋モードに撮影設定されている場合、振動が撮影者に伝わることを優先し、上記のようなつながり防止処理を実施せず、2つの異なる振動がつながって知覚されてもよいので、振動の強さが最大となるように振動デバイスが制御されてもよい。これにより、撮影者は、振動が感じにくい状況においても、振動により撮像装置の動作を直感的に把握することができる。
このように、撮影者により設定された撮影設定情報に基づいて、振動デバイス51の振動が制御されてもよい。
これに対し、例えば2つの異なる情報を示す振動が連なってひとつながりの振動に知覚されたとしても、2つの異なる情報を示す振動を撮影者が区別して知覚できるように、振動が制御されていてもよい。例えば、ひとつながりの振動に知覚されても、両者が異なる情報を示す振動であると撮影者が知覚可能な程度に両者の振動の強度を変更することができる。
本実施形態の撮像装置1はメカシャッタ機構を備える。メカ先幕及びメカ後幕の走行時、カメラ本体2からメカ先幕及びメカ後幕の動作に起因する振動が発生する。
上述したように、本実施形態では、振動デバイス51の駆動により露光開始を示す振動62が提示される。また、振動デバイス51の駆動により露光終了を示す振動63が提示される。
図7に示す模式図のように、制御部4は、所望の振動波形の振動62となるように、メカシャッタ由来の振動波形114にあわせて発生させる疑似触覚振動621を生成する。制御部4は、所望の振動波形の振動63となるように、メカシャッタ由来の振動波形115にあわせて発生させる疑似触覚振動631を生成する。
このように、メカシャッタ機構を備える撮像装置において振動触覚を提示する場合、メカシャッタ由来の振動量を考慮し、振動波形が生成されてもよい。
電子シャッタ機構の撮像装置においては、メカシャッタ由来の振動はないため、メカシャッタ由来の振動を加味した疑似触覚振動の生成は不要である。
図8の各図は撮像装置1から発する振動音の一例を示し、横軸は周波数、縦軸は音圧レベル(デシベル)を表す。
比較的高い周波数帯域まで加速度がでる振動デバイスを用いることにより、多彩な振動を撮影者に与えることができる。その一方で、振動デバイス51に起因する振動音(以下、音鳴りということがある。)が生じやすい。また、周波数帯域だけでなく、周波数成分の音圧の大小、継続時間等でも音鳴りの程度は変わってくる。例えば、図8(C)に示すように、可聴帯域の高周波数成分に、強いスペクトルがなく、薄く分布している場合、音鳴りが小さくなる。
このような振動デバイスの振動による音鳴りを、撮影環境情報や撮影者により設定された撮影設定情報に応じて調整するように、振動デバイスの振動を制御してもよい。本明細書において、このような振動デバイスの振動による音鳴りを防止する処理を、音鳴り防止処理という。
例えば、雪山で動物を撮影するという場面では、動物に逃げられないように、振動デバイス51に起因する振動音に、はっきりと聞こえる周波数成分が含まれないことが好ましい。このような場合、図8(A)に示す可聴帯域に高周波数帯域の音を含む音を、ローパスフィルタを用いて、図8(B)に示すように周波数閾値F1以下の帯域の音となるように、高周波数帯域成分をカットする音鳴り防止処理を行うことができる。
また、街中の場面では、音鳴りが、撮影者自身にしか聞こえない程度の大きさとすればよいとして、周波数閾値F2以下の帯域の音となるように、高周波数帯域成分をカットする音鳴り防止処理を行うことができる。
撮影環境情報は、入力系デバイス3のセンシング結果を用いて算出され得る。より具体的には、撮像素子31により取得されるスルー画(撮像データ)を画像認識することにより場面を推定することができる。更に、マイクによりセンシングされる周囲の環境音等の音声データを加味して場面をより高精度に推定することができる。また、マイクで周囲の環境音を取得し、振動デバイス51の使用帯域や音圧を調整することができる。
場面と、その場面に適した音鳴り防止処理に用いる周波数閾値とは、互いに紐づけられてデータベースに格納されてもよい。また、撮影者の行動が学習され、互いに紐づけられる場面と周波数閾値との組み合わせの情報が自動で生成され、データベースが更新されてもよい。例えば、撮影者がある特定の場面では常に振動モードをオフにする場合、該特定の場面と振動モードオフとが組み合わされた情報がデータベースに格納されてもよい。
このように、撮影者により設定された撮影設定情報に基づいて、音鳴り防止処理を行わないように、振動デバイスの振動を制御してもよい。
図9は、振動デバイスの振動音の音声波形を示す。横軸は時間、縦軸は周波数を表す。
図9に示すように、例えば破線で囲んだ領域Bは高周波数帯域成分がほとんど含まれていないので、音鳴り防止処理を行わない。
領域Cでは、高周波数成分がやや多く含まれている。この場合、ゆるやかなローパスフィルタで高周波数帯域成分をカットする音鳴り防止処理を行う。
領域Dは、高周波数帯域成分がかなり多く含まれている。この場合、高周波域成分を全てカットする音鳴り防止処理を行う。
上述したように、撮像装置1において、シャッタボタン39が半押し状態になると、被写体を撮影するための準備動作が実行され、ズームレンズユニットではレンズが光軸方向に移動するように駆動する。このレンズが駆動する際に、撮影者が知覚できる程度の大きさの振動が発生する場合がある。このようなレンズ駆動で発生する振動を加味して、合焦完了を示す振動61が撮影者によって知覚しやすい振動となるように、制御されてもよい。
図10(A)はレンズ駆動変数L1が駆動閾値Lよりも小さい基本時の状態を示す。
図10(B)はレンズ駆動変数L1が駆動閾値Lよりも大きい状態を示す。
図中、t1はレンズ駆動時間を示す。t2は、レンズ駆動が終了してから、合焦完了を示す振動61が発生するまでの間隔時間(インターバル)を示す。g1はレンズ駆動時の撮像装置1の加速度、g2は合焦時に発生させる振動デバイス51の加速度を示す。g0は基本時の振動デバイスの加速度を示し、予め設定される。a、bは係数である。
レンズ駆動変数L1は次式で求められる。
L1=a・g1+b・t1
撮像装置の加速度は、カメラ本体2に搭載される加速度センサ32やIMU、マイク37を用いて、測定することができる。
制御部4は、撮影環境情報や撮影設定情報等に応じて、振動フィードバックが必要か否かを判定し、振動フィードバック(振動モード)のオン、オフを動的に切り替えてもよい。
撮影環境がどのような場面であるかは、撮像素子31により取得されるスルー画(撮像データ)の画像認識、マイク37で集音された音声データの音声認識、全球測位衛星システム(Global Navigation Satellite System :GNSS)信号受信機等の測位部で検出された位置情報から、推定することができる。GNSS信号受信器は例えばカメラ本体2に搭載されてよい。
制御部4は、入力系デバイス3でのセンシング結果を用いて、撮影者の目や眼鏡が撮像装置1の近くにある場面であると推定すると、振動デバイス51による振動が弱くなるように制御する、或いは、振動モードをオフにするように制御する。これにより、振動によって撮影者を驚かせる、撮影者の目の怪我、眼鏡の傷つき等の発生を防止することができる。電子ビューファインダ22に眼が近接しているか、すなわち電子ビューファインダの利用情報は、赤外線センサ36により検出することができる。赤外線センサ36の他、近接センサ、ミリ波センサ、圧力センサ等の距離や面積を検出できるものを用いてもよい。電子ビューファインダの利用情報は撮影環境情報である。
制御部4は、監視部75での電池残量とカメラ本体の消費電力の監視結果に応じて、振動デバイス51の振動を制御してもよい。電池の残量とカメラ本体の消費電力の情報は、撮像装置の状態情報に含まれる。
振動デバイス51の消費電力は例えば1W程度であり、比較的大きい。図11(A)に示すように、カメラ本体2の電池74の容量が少なくなると、それに比例して許容消費電力も小さくなる。このため、振動デバイス51が振動した瞬間だけ消費電力をオーバーし、カメラ本体2がシャットダウンする場合がある。
図11(B)の一番上の図は、電池残量による許容消費電力が、カメラ本体のピーク消費電力と振動デバイスの消費電力との和以上の場合の振動デバイス51の振動波形を示す。図11(B)の下2つの図は、電池残量による許容商品電力が、カメラ本体のピーク消費電力と振動デバイスの消費電力との和より小さい場合の振動デバイス51の振動波形を示す。
又は、図11(B)の下の図に示すように、カメラ本体2のピーク消費電力が過ぎてから振動デバイス51を振動させるように、振動発生のタイミングがずれるように制御する。これにより、振動した瞬間に許容消費電力をオーバーしてカメラ本体2がシャットダウンするということがない。
このように、電池残量カメラ本体の消費電力の情報に基づいて、振動デバイス51の振動を制御してもよい。
[注意喚起情報を示す振動提示例]
上述の実施形態では、主に、合焦完了、露光の開始、露光の終了といった、撮像装置1の動作情報を、振動デバイス51による振動触覚によって撮影者にフィードバックする例をあげたが、これに限られない。
例えば、図12に示すように、撮像装置1の動作情報を撮影者に振動提示するのに加え、振動デバイス51によって注意喚起情報を示す振動65を提示してもよい。また、注意喚起を示す振動65の提示と併せて音声による注意喚起を行ってもよい。
電池残量低下の知らせは、電池74の残量が低下したときに発せられる。電池残量低下の情報は、撮像装置1の駆動電源である電池74の電池残量に係る情報である。
周囲が危険であることは、入力系デバイス3のセンシング結果を用いて推定され得る。より具体的には、撮像素子31により取得されるスルー画(撮像データ)の画像認識、GNSS信号受信機等で検出された位置情報等から、車が撮影者に近づいている、撮影者は崖のそばにいる等の場面を推定することができる。更に、マイクによりセンシングされる周囲の環境音等の音声情報を加味して場面をより高精度に推定することができる。
電池残量低下の情報を示す振動の駆動信号には、振動モードオフ時で非表出となる信号が含まれる。
一方、危険物接近といった周囲が危険であることを示す振動の駆動信号には、振動モードオフ時で表出となる信号が含まれる。
図13は、撮像装置1における、基本的な、露光中の振動デバイスの制御を説明する処理フローである。
図13に示すように、制御部4は、シャッタボタン39が全押し状態となったという情報を取得すると(ST1)、撮影開始するように撮像素子31を制御するとともに、露光中(撮影中)は振動デバイス51を駆動しないように、振動デバイスの振動をオフ状態(振動モードオフ状態)とする。
制御部4は、撮像素子31における露光(ST2)が終了し、撮像データが信号処理部に送られたという情報を取得すると、振動モードオフ状態を解除する(ST3)。
これにより、露光中の振動デバイスの振動により生じる撮影画像のブレなどの発生が抑制される。
図14に示すように、制御部4は、シャッタボタン39が全押し状態となったという情報を受信すると(ST1)、撮影開始するように撮像素子31を制御するとともに、露光中(撮影中)は振動デバイス51を駆動しないように振動モードオフ状態とする。
制御部4は、露光中、電池残量低下の情報を受信する(ST4)。電池残量低下を示す信号には、振動モードオフ時で非表出となる信号が含まれるので、制御部4は、露光中の振動モードオフ状態の間は、振動デバイス51を駆動しない。
制御部4は、撮像素子31における露光(ST2)が終了し、撮像データが信号処理部に送られたという情報を受信すると、振動モードオフ状態を解除し、電池残量低下を示す振動を発生させるように振動デバイス51に駆動信号を送信する(ST5)。振動デバイス51は、駆動信号に基づき、振動する(ST6)。
これにより、露光中の振動により生じる撮影画像のブレなどの発生を抑制しつつ、電池残量が低下していることを速やかに撮影者に対して提示することができる。
図15に示すように、制御部4は、シャッタボタンが全押し状態となったという情報を受信すると(ST1)、撮影開始するように撮像素子31を制御するとともに、露光中(撮影中)は振動デバイス51を駆動しないように振動モードオフ状態とする。
制御部4は、露光中、周囲が危険であるという情報を受信する。危険を示す信号には、振動モードオフ時で非表出となる信号が含まれるので、制御部4は、振動モードオフ状態の間であっても、周囲が危険であることを示す振動を発生させるように振動デバイス51に駆動信号を送信する(ST7)。振動デバイス51は、駆動信号に基づき、振動する(ST8)。撮影者は、振動により危険な状況であることを認識することができる。
制御部4は、撮像素子31における露光(ST2)が終了し、撮像データが信号処理部に送られたという情報を受信すると、振動モードオフ状態を解除する(ST9)。
これにより、事故等の重大な被害の発生が防止され、撮影者は安全な環境下で撮影を行うことができる。
ここでは、撮像素子31により取得される撮像情報に応じた振動提示について説明する。
撮像情報は、撮像素子31により取得される撮影画像が正常画像であるかエラー画像であるかの情報を含む。
制御部4は、エラー画像が取得されたことを示す振動と、正常画像が取得されたことを示す振動とが異なるように振動デバイス51を制御してもよい。
図16(A)は、撮影画像が正常画像の場合の振動波形例を示す。
図16(B)は、撮影画像がエラー画像の場合の振動波形例を示す。
図16の各図に示すように、撮像装置1において、露光開始を示す振動62の発生後、露光が行われ撮像データが取得される。制御部4は、該撮像データの画像解析を行い、正常画像であるかエラー画像であるかを判定する。例えば、画像においてエッジ検出によりブレの発生の有無を判定することができる。被写体が人である場合、顔画像認識により目つぶりの有無を判定することができる。
図16(A)に示すように、正常画像の場合、制御部4は、撮影者に対して、振動デバイス51による1回の振動によって、露光終了であることを提示する。
図16(B)に示すように、エラー画像の場合、制御部4は、撮影者に対して、振動デバイス51による、複数回、例えば3回の振動によって、露光終了であることを提示するとともに、撮影画像がエラー画像であることを提示する。
このように撮像情報に応じて、振動デバイス51の振動が制御されてもよい。これにより、撮影者は、振動により、プレビュー画面を見ずともエラー画像であることを認識できる。
合焦完了を示す振動61を提示する際、焦点距離に応じて異なる振動が提示されてもよい。焦点距離の長さの違いを示す振動は、合焦状態を示す振動である。
図17を用いて説明する。図17の各図は、シャッタボタンが半押しされた後の合焦完了を示す振動を説明する模式図である。また、図17において、符号15で示す円は、ピントをあわせる位置を示す。
図17(A)は、ピントが相対的に近い場合、すなわち焦点距離が短い場合の振動波形例を示す。
図17(B)は、ピントが相対的に遠い場合、すなわち焦点距離が長い場合の振動波形例を示す。
図17の各図に示すように、撮像装置1において、シャッタボタンが半押しされ、レンズが駆動し(フォーカス操作)、合焦が完了すると、合焦の完了を示す振動が発生される。図17(A)及び(B)に示すように、制御部4は、焦点距離が短い場合は振動が大きくなるように、焦点距離が長い場合は振動が小さくなるように、振動デバイス51の振動を制御してもよい。これにより、撮影者は、直感的に焦点距離の長さを把握することができる。
尚、ここでは、焦点距離の長さの違いを示す振動を、合焦完了時の振動61として示す例をあげたが、露光開始を示す振動62の提示の際に、焦点距離に応じて異なる振動を提示してもよい。
また、制御部4は、フォーカス操作後に取得される撮像データの画像解析を行い、ピントがあっていないと判定した場合、複数回、例えば3回の振動によって、ピントがあっていないことを撮影者に提示してもよい。
図18は、複数の付属デバイスが装着された撮像装置1の斜視図である。
図18に示す撮像装置1は、カメラ本体2と、付属デバイス8としてのレンズユニット81、外付けフラッシュ84、モニタ85、及び高感度マイク86とを備える。各付属デバイス8は、直接又は間接的にカメラ本体2に装着される。
外付けフラッシュ84の充電が完了したことを示す、300HzのSIN波、10パルスの振動波形を有する振動が、振動デバイス51から発せられてもよい。
高感度マイク86のマイクレベルが最大を超えたことを示す、150HzのSIN波、3パルスの振動波形を有する振動が、振動デバイス51から発せられてもよい。
このように、異なる付属デバイス毎に振動波形を変えることで、振動がどの付属デバイスの動作を示すかを撮影者は直感的に把握することができる。
[付属デバイスの種類に応じた振動制御例]
制御部4は、カメラ本体2に装着される付属デバイスの種類に応じて、振動モードのオン、オフや、振動モードオン時の振動波形を変形してもよい。カメラ本体2にどのような付属デバイスが装着されているかの情報は、撮像装置の状態情報に含まれる。
制御部4は、付属デバイス8がカメラ本体2に装着された際に、電気的接続情報から、付属デバイス8の種類を判別可能である。各付属デバイス8の重量等の情報は付属デバイス8の種類によって予めわかる情報である。例えば、付属デバイス8の重量が重くなるほど、同じ振動波形であっても、撮影者に振動が伝わりにくい傾向となる。このため、付属デバイスの重量に応じて、振動デバイスの駆動時間、強度(振幅)、周波数等を変化させることにより、撮影者が知覚しやすい振動とすることができる。
また、制御部4は、付属デバイス8が装着されたときの加速度センサ及びジャイロセンサでのセンシング結果から、撮像装置1の状態情報を取得することができる。
図21は、付属デバイス8として、巨大レンズを有するレンズユニット81の他、三脚等の支柱82が装着された撮像装置1の斜視図である。
制御部4は、電気的な接続情報や、加速度センサやジャイロセンサでのセンシング結果に基づいて、ジンバル83や支柱82が装着されたと判定すると、振動モードをオフに設定する。ジンバル83や支柱82を用いる使用形態では、カメラ本体2を撮影者が把持しないことが多いため、振動モードをオフとする。
また、制御部4は、付属デバイス8として、例えば外付けシャッタが装着されたと判定すると、振動モードをオフにし、音によるフィードバック制御に切り替える、すなわち音声モードをオンにしてもよい。外付けシャッタが装着される使用形態では、カメラ本体2を撮影者が把持しないことが多いため、振動モードをオフにする。外付けシャッタは、例えば、有線または無線のシャッタリモートコントローラである。
ここで、岩場等の足場が悪い場所に支柱82を用いてカメラ本体2が支持される場合がある。制御部4は、付属デバイス8として支柱82が装着されたと判定し、支柱82が不安定な場所に配置されていると判定すると、支柱82の配置場所を検討するよう注意喚起を示す振動を発生するように、振動デバイスを制御してもよい。支柱82が不安定な場所に配置されているとの判定は、例えば、撮像素子、加速度センサ及びジャイロセンサでのセンシング結果からカメラ本体2の位置が固定されていないことを推定することによって行うことができる。
制御部4は、レンズユニット81の種類に応じて、振動デバイス51の振動を制御してもよい。上述したように、レンズユニット81の種類に応じて、撮像装置における典型的な把持の仕方が異なる。
例えば、レンズユニットが単焦点レンズの場合、撮影者は、レンズを把持しない場合が多く、両手でカメラ本体2を把持することが多い。
レンズユニットが、通常のサイズのズームレンズの場合、図22に示すように、撮影者10は、左手をレンズにそえ、右手はカメラ本体2を把持することが多い。
図20及び図21に示すように、レンズユニット81が巨大レンズの場合、撮影者10は、図20に示すように左手でレンズを支え、右手はカメラ本体2を把持する、又は、図21に示すように支柱82を用いる。巨大レンズの場合、支柱82を用いることが一般的である。
制御部4は、手振れしやすい巨大レンズが装着されていると判定すると、振動モードをオフに自動設定する。これにより、振動デバイスによる振動によって巨大レンズによる手振れが助長されるといったことを防止することができる。
カメラ本体2における加速度の分布は、加速度センサでのセンシング結果を用いて算出され得る。
制御部4は、加速度の分布結果に基づいて、例えば、撮像装置1を把持する左右の手のうち、振動を弱く感じる手の方を基準とし、基準の感度閾値に対し、振動デバイスによる発生加速度を強くするように駆動信号を制御してもよい。また、制御部4は、加速度の分布結果に基づいて、撮像装置1を把持する左右の手の感度の差を算出し、該感度の差がある閾値以上になったら、振動モードをオフにする、或いは、発生加速度を弱めるように、振動デバイス51の駆動信号を制御してもよい。
レンズユニット81が通常のサイズのズームレンズである場合、図22に示すように、撮影者は、左手をレンズにそえ、右手はカメラ本体2を把持することが多い。制御部4は、加速度の分布結果に基づいて、合焦完了を示す振動61といったレンズ操作に係る振動については左手側の感度を基準とし、露光の開始・終了を示す振動62及び63といったシャッタに関する振動については右手側の感度を基準として、振動デバイス51の駆動信号を制御してもよい。
制御部4は、巨大レンズのレンズユニット81が装着されていると判定し、更に、支柱82も装着されていると判定すると、振動モードをオフに設定、又は、振動が弱くなるように、振動デバイス51を制御してもよい。
レンズユニットがズームレンズの場合、制御部4は、レンズユニット81のズーム状態に応じて、振動デバイス51の駆動信号を制御してもよい。
図23(A)~(C)はズーム状態が異なる形態を示している。図23(A)~(C)において、撮影者10は、右手でカメラ本体2を把持し、左手をレンズユニット81に沿えている。図中、符号17は振動デバイス51による振動発生位置を示し、符号18は撮影者10の手とレンズユニット81との接触位置を示す。
図23(A)は、レンズズームを行っていない状態を示し、撮影者10の手とレンズユニット81との接触位置17は、振動発生位置18の近くに位置する。
図23(B)及び(C)はレンズズーム時の状態を示し、(C)は(B)よりもズーム率が高いとする。図23(B)では、手の位置が図23(A)と同じであり、撮影者10の手とレンズユニット81との接触位置17は、振動発生位置18の近くに位置する。図23(C)では、手の位置が図23(A)と異なり、手はカメラ本体2から離れたところに位置する。図23(C)において、撮影者10の手とレンズユニット81との接触位置17は、振動発生位置18から離れて位置する。
図23(A)に示すように、制御部4は、レンズユニット81におけるズーム率z1が、第1閾値Zh1以内の場合は、振動モードをオンとする。この場合、ズーム率に応じて、振動フィードバックの振動の加速度を弱めるように制御してもよく、ブレを軽減させることができる。
図23(B)に示すように、制御部4は、レンズユニット81におけるズーム率z1が、第1閾値Zh1を超えた場合は、振動モードをオフにする。これにより、ブレを軽減することができる。
図23(C)に示すように、制御部4は、レンズユニット81におけるズーム率z1が、第2閾値Zh2(Zh2>Zh1)を超えた場合、撮影者10は左手でレンズを把持し、接触位置17と振動発生位置18とが離れて位置すると推定する。制御部4は、レンズを把持する左手に対して振動フィードバックを確実に与えるために、振動デバイス51による振動を強めるように駆動信号を制御する。
制御部4は、撮像装置1を把持する撮影者10の動的に変化する把持状態に応じて、振動デバイス51の振動を制御してもよい。
図24(A)から(B)のように把持状態が変化すると、人間工学特性により、レンズユニット81を把持する力が弱くなり、レンズユニット81と掌に隙間が空きやすくなる。また、掌全体でなく指が接触することが多くなり、接触面積が小さくなる傾向にある。
具体的には、制御部4は、撮影者10が、図24(A)に示すようにレンズユニット81を下から把持しているのか、或いは、図24(B)に示すように横から把持しているのかを判定する。例えば、横から把持していると判定した場合、下から把持している場合の振動デバイスの振動よりも加速度を強くし、振動提示時間(駆動時間)を相対的に長くし、感度の高い周波数帯域となるように、振動デバイスの駆動信号を制御する。これにより、把持状態が変わっても、撮影者が知覚される振動の強さ等があまり変化せず、安定した振動提示が可能となる。
撮影者の把持状態は、例えばレンズユニットに接触センサ等を搭載し、手による把持状態を検出してもよい。或いは、初期値の手の位置情報を取得し、ズーム率から撮影者の手の把持状態を推測してもよい。
例えば、振動デバイス51は、その振動方向がカメラ本体2の高さ方向(図1におけるZ軸方向)となるようにカメラ本体2に搭載される。横向きで撮像装置1を把持する場合と、縦向きで撮像装置1を把持する場合とでは、振動デバイス51により撮影者に提示される振動方向が変わってくる。また、人の手の感度も振動方向に応じて変わってくる。
制御部4は、カメラ本体2の向きに応じて、振動デバイス51の駆動信号を変更してもよい。例えば、縦向きの場合、振動デバイスから発せられる振動を横向きの場合よりも強くしてもよい。尚、ここでは、カメラ本体2を横向きか縦向きかの2つの向きを例にあげたが、カメラ本体2が斜めの向きで構えられて使用される場合もあり、「カメラ本体の向き」には、縦向き、横向きの他、斜め向きも含まれる。
カメラ本体2の向きは、撮像素子31によるスルー画像、加速度センサ32及びジャイロセンサ33等のセンシング結果を用いて推定されるカメラ本体2の姿勢情報等から、推測することができる。
ここでは、振動デバイス51の振動方向がカメラ本体2の高さ方向となるようにカメラ本体2に搭載される例をあげたが、これに限定されない。振動方向が図1におけるX軸方向、Y軸方向となるように振動デバイスがカメラ本体に搭載されてもよい。
制御部4は、撮像装置1を把持する撮影者10による動的な姿勢のブレに応じて、振動デバイス51の駆動信号を制御してもよい。
図26(A)は、脇があいて、うまく撮像装置1を固定して保持できない撮影者10の図である。一方、図26(B)は、脇をしめ、うまく撮像装置1を固定して保持できている撮影者10の図である。
撮像装置1を固定して保持できず、撮影者10により動的なブレが撮像装置1に生じていることは、撮像素子31によるスルー画像、加速度センサ32及びジャイロセンサ33等のセンシング結果を用いて推定することができる。撮影者10による動的なブレは、手振れといえる。
制御部4は、撮影者の手振れ量と振動デバイスの振動量との和が、手振れ補正許容振動量以上の場合、振動モードをオフとする、又は、振動モードをオンにし基本の振動波形よりも小さい振動での振動とするように、シャッタ時に提示する振動62及び63を制御する。
図27を用いて、制御部4による振動デバイスの制御に係る情報処理方法の流れについて説明する。「振動デバイスの振動波形の変更」には、振動波形の変更の他、振動デバイスの振動を行わない形態も含まれる。
図27に示すように、振動デバイスの制御処理がスタートすると、制御部4は、入力系デバイス3から周囲の撮影環境情報となるセンシング結果を取得できるか否かを判定する(ST101)。該センシング結果は、例えば撮像素子31で取得される画像データやマイクで検出される音声データ等である。
制御部4は、センシング結果を取得できないと判定すると(NO)、スタートに戻り、処理を繰り返す。
制御部4は、センシング結果が取得できると判定すると(YES)、ST102に進む。ST102にて、制御部4は、センシング結果に基づいて周囲の撮影環境情報を取得する。
次に、制御部4は、環境情報DB72を用いて、撮影環境情報に応じて、振動デバイスの振動波形を変更する必要があるか否かを判定する(ST103)。
制御部4は、変更する必要があると判定すると(YES)、ST111に進む。制御部4は、変更する必要がないと判定すると(NO)、スタートに戻り処理を繰り返す。
制御部4は、付属デバイス8がないと判定すると(NO)、スタートに戻り、処理を繰り返す。
制御部4は、付属デバイス8があると判定すると(YES)、ST105に進む。制御部4は、カメラ本体2と付属デバイス8との電気的接続情報から、付属デバイス8の種類情報を取得する。
ST105にて、制御部4は、付属デバイスDB71を用いて、装着されている付属デバイスの情報を取得する。
次に、制御部4は、レンズユニット81の、ズームレンズのズーム状態といったレンズ状態の情報を取得する(ST106)。
次に、制御部4は、入力系デバイス3でのセンシング結果に基づいて、撮影者の把持状態を取得する(ST107)。
次に、制御部4は、付属デバイス情報、レンズ状態情報、把持状態情報に基づいて、振動波形を変更する必要があるか否かを判定する(ST108)。
制御部4は、変更する必要があると判定すると(YES)、ST111に進む。
制御部4は、変更する必要がないと判定すると(NO)、スタートに戻り処理を繰り返す。
付属デバイス情報、レンズ状態情報、把持状態情報は、撮像装置の状態情報である。
次に、制御部4は、取得した入力操作情報に基づいて、振動波形を変更する必要があるか否かを判定する(ST110)。
制御部4は、変更する必要があると判定すると(YES)、ST111に進む。
制御部4は、変更する必要がないと判定すると(NO)、スタートに戻り処理を繰り返す。
次に、制御部4は、撮影環境情報、撮像装置1の状態情報、撮影者による撮影設定情報、電子ビューファインダ22の利用情報、ユーザ属性及びカメラスペック情報部73に格納されている情報を用いて、振動デバイス51の振動波形(駆動信号)を生成し(ST112)、現設定の振動波形の設定値を変更し、セットする(ST113)。
制御部4は、含まれていないと判定すると(NO)、ST116に進む。
制御部4は、含まれると判定すると(YES)、振動モードオフに設定されているか否かを判定する(ST115)。
制御部4は、振動モードオフに設定されていると判定すると(YES)、ST118に進む。
制御部4は、振動モードオフに設定されていないと判定すると(NO)、ST116に進む。
次に、制御部4は、取得した出力情報に基づいて、次回の振動デバイス51による振動に、取得した出力情報をフィードバックさせるか否かを判定する(ST117)。
制御部4は、フィードバックさせると判定すると(YES)、ST118に進む。
制御部4は、フィードバックさせないと判定すると(NO)、スタートに戻り処理を繰り返す。
ST118では、制御部4は、現設定の振動波形(駆動信号)の設定値を変更し、セットする。その後、スタートに戻り処理を繰り返す。
以上、本発明の実施形態について説明したが、本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
以下、他の実施形態について説明する。
このように、撮像装置全体で複数の振動デバイスが設けられる場合、レンズユニットの種類の違いによる把持状態の違い、振動を発生させるタイミング、加速度、周波数帯域、振動方向といった振動デバイスの特性を加味して、どの振動デバイスをどのように振動させるかを適宜選択決定する。
これに対し、図28(A)に示すように、振動音の周波数(図中、振動周波数)帯域をカットするようにフィルタをかけることができる。或いは、図28(B)に示すように、振動音の周波数27の逆位相28を、録音データ26に追加してもよい。これにより、振動音が除かれた音声を有する動画とすることができる。
アンチダストシステムは、撮像素子31の全面に搭載したフィルタ311を、ピエゾ素子を用いて70,000回/秒以上の超音波で振動させ、フィルタ311の揺動方法を変更することで付着したごみやほこりを除去するものである。
アンチダストシステムに用いられるピエゾ素子によって、上述の振動デバイスの機能を実現してもよい。この場合、周波数の低いピエゾ素子を用いることが好ましい。
このように、ピエゾ素子(振動デバイス)が、振動フィードバックの機能と、アンチダストシステムの機能の両方を備えていてもよい。
開閉部23は、連結部により、カメラ本体2の高さ方向に沿った開閉軸周りに開閉可能に、かつ、開閉軸と直交する回転軸周りに回転可能に、カメラ本体2と連結されている。開閉部23には、ディスプレイ53が搭載されている。図29(B)に示す例では、開閉部23が開けられた状態を示す。開閉部23は、筐体20と重なるように閉じることが可能となっている。
図29(B)に示す例では、開閉部23に磁石381が設けられ、筐体20に磁気センサ380が設けられる。尚、開閉部23に磁気センサ380が設けられ、筐体20に磁石381が設けられていてもよい。磁気センサ380は磁界の強さを検出する。開閉部23を閉じたときに磁気センサ380と磁石381とは近接するので、磁気センサ380は磁石381を検知することができる。このように、磁石381及び磁気センサ380を開閉部23の開閉状態を検出する開閉検出部として用いることができる。そして、開閉検出部に用いる磁石381として、上記の振動デバイス(VCM)の磁石を用いてもよい。
このように、振動デバイスが、振動フィードバックの機能と、開閉部の開閉検出部の機能の両方を備えていてもよい。
(1) 被写体の像を撮像する撮像素子と撮影者に対して振動を提示する振動デバイスとを備える撮像装置における撮影環境情報、前記撮影者により設定された撮影設定情報、及び、前記撮像装置の状態情報の少なくとも1つに基づいて、前記振動デバイスの振動を制御する制御部
を具備する情報処理装置。
(2) 上記(1)に記載の情報処理装置であって、
前記振動は、前記撮像装置に係る情報を示す
情報処理装置。
(3) 上記(2)に記載の情報処理装置であって、
前記撮像装置に係る情報には、前記撮像装置の動作情報、注意喚起情報、前記カメラ本体に装着する付属デバイスの動作情報、及び、前記撮像素子により取得される撮像情報の少なくとも1つが含まれる
情報処理装置。
(4) 上記(3)に記載の情報処理装置であって、
前記撮像装置の動作情報には、前記被写体への合焦状態の情報、前記撮像素子における露光開始の情報、及び露光終了の情報が含まれる
情報処理装置。
(5) 上記(4)に記載の情報処理装置であって、
前記撮像装置は半押しと全押しとに操作されるシャッタボタンを備え、
前記制御部は、前記シャッタボタンの半押しに応じて行われる前記被写体への合焦状態を示す前記振動デバイスの振動を制御し、前記シャッタボタンの全押しに応じて行われる前記露光の開始及び終了それぞれを示す前記振動デバイスの振動を制御する
情報処理装置。
(6) 上記(4)に記載の情報処理装置であって、
前記制御部は、前記振動デバイスによる前記合焦状態を示す振動を、焦点距離に応じて異ならせる
情報処理装置。
(7) 上記(3)~(6)のいずれか1つに記載の情報処理装置であって、
前記撮像情報は、前記撮像素子により取得される撮影画像が正常画像であるかエラー画像であるかの情報を含み、
前記制御部は、前記エラー画像が取得されたことを示す振動を、前記正常画像が取得されたことを示す振動と異なるように、前記振動デバイスの振動を制御する
情報処理装置。
(8) 上記(3)~(7)のいずれか1つに記載の情報処理装置であって、
前記制御部は、前記撮像素子の露光中は、前記振動デバイスの振動をオフに制御する
情報処理装置。
(9) 上記(3)~(8)のいずれか1つに記載の情報処理装置であって、
前記注意喚起情報を示す振動の駆動信号は、前記振動デバイスの振動モードオフ時で非表出となる信号又は振動モードオフ時で表出となる信号を含み、
前記制御部は、
前記撮像素子の露光中に、前記振動モードオフ時で非表出となる信号を有する前記注意喚起情報を受信すると、前記撮像素子の露光終了後に、前記注意喚起情報を示す振動が発生するように、前記振動デバイスを制御し、
前記撮像素子の露光中に、前記振動モードオフ時で表出となる信号を有する前記注意喚起情報を受信すると、前記撮像素子の露光中に、前記注意喚起情報を示す振動が発生するように、前記振動デバイスを制御する
情報処理装置。
(10) 上記(3)~(9)のいずれか1つに記載の情報処理装置であって、
前記注意喚起情報には、前記撮像装置の駆動電源となる電池残量に係る情報及び前記撮影環境情報に係る情報の少なくとも1つが含まれる
情報処理装置。
(11) 上記(3)~(10)のいずれか1つに記載の情報処理装置であって、
前記撮像装置には、互いに異なる複数の前記付属デバイスが装着され、
前記制御部は、前記付属デバイスそれぞれの動作情報を示す振動を、複数の前記付属デイバス毎に異なるように、前記振動デバイスの振動を制御する
情報処理装置。
(12) 上記(2)~(11)のいずれか1つに記載の情報処理装置であって、
前記制御部は、互いに異なる前記撮像装置に係る情報を示す第1の振動と第2の振動が前記撮影者により区別可能に制御する
情報処理装置。
(13) 上記(1)~(12)のいずれか1つに記載の情報処理装置であって、
前記撮影設定情報には、シャッタスピードの設定、フレームレートの設定、単写モード又は連写モードの設定、及び、撮影環境設定の少なくとも1つが含まれる
情報処理装置。
(14) 上記(1)~(13)のいずれか1つに記載の情報処理装置であって、
前記撮像装置の状態情報には、前記カメラ本体に装着する付属デバイスの種類情報、前記付属デバイスの形態情報、前記撮影者の前記撮像装置の把持状態情報、及び、前記撮像装置の駆動電源の残量と前記カメラ本体の消費電力の情報、の少なくとも1つが含まれる
情報処理装置。
(15) 上記(1)~(14)のいずれか1つに記載の情報処理装置であって、
前記撮像装置はズームレンズを有し、
前記制御部は、前記ズームレンズ駆動時の振動を加味して前記振動デバイスの振動を制御する
情報処理装置。
(16) 上記(1)~(15)のいずれか1つに記載の情報処理装置であって、
前記制御部は、前記振動デバイスに起因する振動音を加味して前記振動デバイスの振動を制御する
情報処理装置。
(17) 上記(1)~(16)のいずれか1つに記載の情報処理装置であって、
前記撮像装置はメカシャッタを備え、
前記制御部は、前記メカシャッタの動作時の振動を加味して前記振動デバイスの振動を制御する
情報処理装置。
(18) 上記(1)~(17)のいずれか1つに記載の情報処理装置であって、
前記制御部は、前記撮像装置の振動情報を用いて、次回の前記振動デバイスの振動を制御する
情報処理装置。
(19) 被写体の像を撮像する撮像素子と撮影者に対して振動を提示する振動デバイスとを備える撮像装置における撮影環境情報、前記撮影者により設定された撮影設定情報、及び、前記撮像装置の状態情報の少なくとも1つに基づいて、前記振動デバイスの振動を制御する
情報処理方法。
(20) 被写体の像を撮像する撮像素子と撮影者に対して振動を提示する振動デバイスとを備える撮像装置における撮影環境情報、前記撮影者により設定された撮影設定情報、及び、前記撮像装置の状態情報の少なくとも1つに基づいて、前記振動デバイスの振動を制御する
処理を情報処理装置に実行させるプログラム。
2…カメラ本体
3…入力系デバイス
4…制御部
8…付属デバイス
10…撮影者
11…メカシャッタ
31…撮像素子
39…シャッタボタン
51…振動デバイス
61合焦状態を示す振動
62露光の開始情報を示す振動
63露光の終了情報を示す振動
74…電池(駆動電源)
81…レンズユニット(付属デバイス)
82…支柱(付属デバイス)
83…ジンバル(付属デバイス)
84…外付けフラッシュ(付属デバイス)
85…モニタ(付属デバイス)
86…高感度マイク(付属デバイス)
Claims (20)
- 被写体の像を撮像する撮像素子と撮影者に対して振動を提示する振動デバイスとを備えるカメラ本体を含む撮像装置における撮影環境情報、前記撮影者により設定された撮影設定情報、及び、前記撮像装置の状態情報の少なくとも1つに基づいて、前記振動デバイスの振動を制御する制御部
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記振動は、前記撮像装置に係る情報を示す
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記撮像装置に係る情報には、前記撮像装置の動作情報、注意喚起情報、前記カメラ本体に装着する付属デバイスの動作情報、及び、前記撮像素子により取得される撮像情報の少なくとも1つが含まれる
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記撮像装置の動作情報には、前記被写体への合焦状態の情報、前記撮像素子における露光開始の情報、及び露光終了の情報が含まれる
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記撮像装置は半押しと全押しとに操作されるシャッタボタンを備え、
前記制御部は、前記シャッタボタンの半押しに応じて行われる前記被写体への合焦状態を示す前記振動デバイスの振動を制御し、前記シャッタボタンの全押しに応じて行われる前記露光の開始及び終了それぞれを示す前記振動デバイスの振動を制御する
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記制御部は、前記振動デバイスによる前記合焦状態を示す振動を、焦点距離に応じて異ならせる
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記撮像情報は、前記撮像素子により取得される撮影画像が正常画像であるかエラー画像であるかの情報を含み、
前記制御部は、前記エラー画像が取得されたことを示す振動を、前記正常画像が取得されたことを示す振動と異なるように、前記振動デバイスの振動を制御する
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記制御部は、前記撮像素子の露光中は、前記振動デバイスの振動をオフに制御する
情報処理装置。 - 請求項8に記載の情報処理装置であって、
前記注意喚起情報を示す振動の駆動信号は、前記振動デバイスの振動モードオフ時で非表出となる信号又は振動モードオフ時で表出となる信号を含み、
前記制御部は、
前記撮像素子の露光中に、前記振動モードオフ時で非表出となる信号を有する前記注意喚起情報を受信すると、前記撮像素子の露光終了後に、前記注意喚起情報を示す振動が発生するように、前記振動デバイスを制御し、
前記撮像素子の露光中に、前記振動モードオフ時で表出となる信号を有する前記注意喚起情報を受信すると、前記撮像素子の露光中に、前記注意喚起情報を示す振動が発生するように、前記振動デバイスを制御する
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記注意喚起情報には、前記撮像装置の駆動電源となる電池残量に係る情報及び前記撮影環境情報に係る情報の少なくとも1つが含まれる
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記撮像装置には、互いに異なる複数の前記付属デバイスが装着され、
前記制御部は、前記付属デバイスそれぞれの動作情報を示す振動を、複数の前記付属デイバス毎に異なるように、前記振動デバイスの振動を制御する
情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記制御部は、互いに異なる前記撮像装置に係る情報を示す第1の振動と第2の振動が前記撮影者により区別可能に制御する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記撮影設定情報には、シャッタスピードの設定、フレームレートの設定、単写モード又は連写モードの設定、及び、撮影環境設定の少なくとも1つが含まれる
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記撮像装置の状態情報には、前記カメラ本体に装着する付属デバイスの種類情報、前記付属デバイスの形態情報、前記撮影者の前記撮像装置の把持状態情報、及び、前記撮像装置の駆動電源の残量と前記カメラ本体の消費電力の情報、の少なくとも1つが含まれる
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記撮像装置はズームレンズを有し、
前記制御部は、前記ズームレンズ駆動時の振動を加味して前記振動デバイスの振動を制御する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記制御部は、前記振動デバイスに起因する振動音を加味して前記振動デバイスの振動を制御する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記撮像装置はメカシャッタを備え、
前記制御部は、前記メカシャッタの動作時の振動を加味して前記振動デバイスの振動を制御する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記制御部は、前記撮像装置の振動情報を用いて、次回の前記振動デバイスの振動を制御する
情報処理装置。 - 被写体の像を撮像する撮像素子と撮影者に対して振動を提示する振動デバイスとを備える撮像装置における撮影環境情報、前記撮影者により設定された撮影設定情報、及び、前記撮像装置の状態情報の少なくとも1つに基づいて、前記振動デバイスの振動を制御する
情報処理方法。 - 被写体の像を撮像する撮像素子と撮影者に対して振動を提示する振動デバイスとを備える撮像装置における撮影環境情報、前記撮影者により設定された撮影設定情報、及び、前記撮像装置の状態情報の少なくとも1つに基づいて、前記振動デバイスの振動を制御する
処理を情報処理装置に実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280021774.5A CN117015742A (zh) | 2021-03-25 | 2022-01-06 | 信息处理装置、信息处理方法和程序 |
JP2023508646A JPWO2022201737A1 (ja) | 2021-03-25 | 2022-01-06 | |
DE112022001717.1T DE112022001717T5 (de) | 2021-03-25 | 2022-01-06 | Datenverarbeitungseinrichtung, datenverarbeitungsverfahren und programm |
US18/550,358 US20240163552A1 (en) | 2021-03-25 | 2022-01-06 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-051433 | 2021-03-25 | ||
JP2021051433 | 2021-03-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022201737A1 true WO2022201737A1 (ja) | 2022-09-29 |
Family
ID=83396704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/000227 WO2022201737A1 (ja) | 2021-03-25 | 2022-01-06 | 情報処理装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240163552A1 (ja) |
JP (1) | JPWO2022201737A1 (ja) |
CN (1) | CN117015742A (ja) |
DE (1) | DE112022001717T5 (ja) |
WO (1) | WO2022201737A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003302692A (ja) * | 2002-04-12 | 2003-10-24 | Fuji Photo Film Co Ltd | カメラ |
JP2005173038A (ja) * | 2003-12-09 | 2005-06-30 | Sony Corp | カメラ |
JP2006136865A (ja) * | 2004-11-15 | 2006-06-01 | Sony Corp | 振動発生装置、触覚機能付きの入出力装置及びその電子機器 |
JP2010054820A (ja) * | 2008-08-28 | 2010-03-11 | Canon Inc | カメラ |
JP2015055807A (ja) * | 2013-09-13 | 2015-03-23 | カシオ計算機株式会社 | 報知装置、報知方法及びプログラム |
JP2019185023A (ja) * | 2018-04-03 | 2019-10-24 | キヤノン株式会社 | 電子機器、電子機器の制御方法およびプログラム |
JP2019191434A (ja) * | 2018-04-27 | 2019-10-31 | キヤノン株式会社 | 撮像装置 |
WO2020008862A1 (ja) * | 2018-07-02 | 2020-01-09 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理装置可読記録媒体 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007199259A (ja) | 2006-01-25 | 2007-08-09 | Fujifilm Corp | 撮像装置 |
-
2022
- 2022-01-06 JP JP2023508646A patent/JPWO2022201737A1/ja active Pending
- 2022-01-06 CN CN202280021774.5A patent/CN117015742A/zh active Pending
- 2022-01-06 US US18/550,358 patent/US20240163552A1/en active Pending
- 2022-01-06 DE DE112022001717.1T patent/DE112022001717T5/de active Pending
- 2022-01-06 WO PCT/JP2022/000227 patent/WO2022201737A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003302692A (ja) * | 2002-04-12 | 2003-10-24 | Fuji Photo Film Co Ltd | カメラ |
JP2005173038A (ja) * | 2003-12-09 | 2005-06-30 | Sony Corp | カメラ |
JP2006136865A (ja) * | 2004-11-15 | 2006-06-01 | Sony Corp | 振動発生装置、触覚機能付きの入出力装置及びその電子機器 |
JP2010054820A (ja) * | 2008-08-28 | 2010-03-11 | Canon Inc | カメラ |
JP2015055807A (ja) * | 2013-09-13 | 2015-03-23 | カシオ計算機株式会社 | 報知装置、報知方法及びプログラム |
JP2019185023A (ja) * | 2018-04-03 | 2019-10-24 | キヤノン株式会社 | 電子機器、電子機器の制御方法およびプログラム |
JP2019191434A (ja) * | 2018-04-27 | 2019-10-31 | キヤノン株式会社 | 撮像装置 |
WO2020008862A1 (ja) * | 2018-07-02 | 2020-01-09 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理装置可読記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20240163552A1 (en) | 2024-05-16 |
CN117015742A (zh) | 2023-11-07 |
DE112022001717T5 (de) | 2024-01-18 |
JPWO2022201737A1 (ja) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103647892B (zh) | 数字相机、相机机身、相机***及该数字相机的控制方法 | |
US8136952B2 (en) | Image capturing apparatus | |
JP4778580B2 (ja) | 振動装置及びそれを用いた画像機器 | |
US8830353B2 (en) | Camera body, and camera system | |
JP2014123141A (ja) | 交換レンズ、カメラボディ及びカメラシステム | |
JP2011166756A (ja) | 撮影装置及び撮影システム | |
JP2010171935A (ja) | 振動装置及びそれを用いた画像機器 | |
JP2008131448A (ja) | カメラ | |
WO2022201737A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11442340B2 (en) | Electronic apparatus, electronic apparatus control method and storage medium | |
JP2006323076A (ja) | 画像機器、カメラ及び塵挨画像防止装置並びに撮像装置 | |
JP2007288530A (ja) | 撮像装置及びその装置による異物除去方法 | |
US11500466B2 (en) | Image pickup apparatus with vibration device | |
JP2004104652A (ja) | 撮像装置 | |
JP6286951B2 (ja) | 撮影装置及びその調整制御方法 | |
JP2009159479A (ja) | 撮像装置及びその加振制御方法 | |
JP2021131441A (ja) | 電子機器 | |
JP5294917B2 (ja) | 撮像装置 | |
JP7309432B2 (ja) | 振動デバイスを有する光学機器 | |
US11297235B2 (en) | Optical apparatus having vibration device | |
JP2010114641A (ja) | デジタルカメラ | |
JP7500214B2 (ja) | レンズ装置、撮像装置、カメラシステム、およびプログラム | |
JP5482548B2 (ja) | 撮像装置 | |
JP7210256B2 (ja) | 撮像装置及び表示制御方法 | |
JP2012129816A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22774542 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 18550358 Country of ref document: US Ref document number: 2023508646 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202280021774.5 Country of ref document: CN |
|
WWE | Wipo information: entry into national phase |
Ref document number: 112022001717 Country of ref document: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 22774542 Country of ref document: EP Kind code of ref document: A1 |