JP6444025B2 - Optical equipment - Google Patents
Optical equipment Download PDFInfo
- Publication number
- JP6444025B2 JP6444025B2 JP2013238331A JP2013238331A JP6444025B2 JP 6444025 B2 JP6444025 B2 JP 6444025B2 JP 2013238331 A JP2013238331 A JP 2013238331A JP 2013238331 A JP2013238331 A JP 2013238331A JP 6444025 B2 JP6444025 B2 JP 6444025B2
- Authority
- JP
- Japan
- Prior art keywords
- optical
- optical system
- image stabilization
- tilt
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Lens Barrels (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、光学防振（像振れ補正）機能やあおり撮像機能を有する光学機器に関する。 The present invention relates to an optical apparatus having an optical image stabilization (image shake correction) function and a tilt imaging function.
手振れ等のカメラ振れに起因する像振れを補正する光学防振機能を持つデジタルカメラでは、検出したカメラ振れ量に応じて光学素子（光学系）や撮像素子の位置や姿勢を変化させることにより、像振れを補正（低減）する。さらに、複数の光学素子を用いてそれぞれ独立な方向に位置や姿勢を変化させることにより、補正可能な振れ量を増加させることもできる。 In digital cameras with an optical image stabilization function that corrects image blur caused by camera shake such as camera shake, by changing the position and orientation of the optical element (optical system) and image sensor according to the detected camera shake amount, Correct (reduce) image blur. Furthermore, the amount of shake that can be corrected can be increased by changing the position and orientation in independent directions using a plurality of optical elements.
特許文献１には、固定部材を挟んで前後に、第１の光学素子を保持する第１の可動鏡筒と、第２の光学素子を保持する第２の可動鏡筒とを配置することで、それぞれの可動鏡筒を独立して駆動して像振れを補正する方法が開示されている。また、特許文献２には、光学素子を光軸上の１点を中心として弧を描くようにティルト方向に駆動して像振れを補正する方法が開示されている。 In Patent Document 1, a first movable lens barrel that holds the first optical element and a second movable lens barrel that holds the second optical element are arranged before and after the fixed member. A method for correcting image blur by independently driving each movable lens barrel is disclosed. Patent Document 2 discloses a method of correcting image blur by driving an optical element in a tilt direction so as to draw an arc around one point on the optical axis.
一方、あおり撮像機能を有するデジタルカメラでは、光学素子を保持するレンズ鏡筒に対して、光学素子の姿勢をユーザが変化させることができる駆動機構を有し、光学素子を撮像面に対してシフトまたはティルトさせて撮像することが可能である。このあおり撮像により、ビル等の建築物を見上げる撮像でも、中央だけでなくビルの上下にもピントを合わせることができる。また、広角では通常湾曲して撮像されてしまうビルの縁などを直線的に撮像することができる。 On the other hand, a digital camera having a tilt imaging function has a drive mechanism that allows the user to change the attitude of the optical element relative to the lens barrel that holds the optical element, and shifts the optical element relative to the imaging surface. Alternatively, it is possible to image by tilting. With this tilt imaging, it is possible to focus not only on the center but also on the top and bottom of the building, even when looking up at buildings such as buildings. In addition, the edge of a building that is usually curved and imaged at a wide angle can be imaged linearly.
しかしながら、従来の光学防振機能を有するデジタルカメラにおいて、あおり撮像機能を併せ持つものはほとんど提案されておらず、防振用の光学素子の姿勢をユーザが任意に変化させることはできない。また、あおり撮像機能を有するデジタルカメラにおいても、光学防振機能を併せ持つものはほとんど知られていない。さらに、ユーザがあおり撮像用の光学素子の位置や姿勢を変化させる駆動部を持つ構成は、機構的に大きなサイズになるため、コンパクトなデジタルカメラに採用するのは困難である。 However, few conventional digital cameras having an optical image stabilization function have a tilt image capturing function, and the user cannot arbitrarily change the posture of the image stabilization optical element. Also, few digital cameras having a tilt imaging function have an optical image stabilization function. Furthermore, a configuration having a drive unit that allows the user to change the position and orientation of the imaging optical element is mechanically large in size, so that it is difficult to employ it in a compact digital camera.
本発明は、簡単なかつコンパクトに構成することができ、光学防振機能とあおり撮像機能とを併せ持つ光学機器を提供する。 The present invention provides an optical apparatus that can be configured in a simple and compact manner and has both an optical image stabilization function and a tilt image capturing function.
本発明の一側面としての光学機器は、光軸上の中心回りで回動してティルト方向に移動可能な第１の防振光学系および前記光軸に直交するシフト方向に移動可能な第２の防振光学系を含む撮像光学系と、前記第１の防振光学系および前記第２の防振光学系のうち少なくとも一方の防振光学系を駆動して光学防振を行わせる制御手段とを有し、前記制御手段は、前記第１の防振光学系を前記光軸に対して前記ティルト方向に位置するあおり撮像位置において移動させることなく前記第２の防振光学系を前記シフト方向に駆動して前記光学防振を行わせるか、前記第１の防振光学系を前記あおり撮像位置において前記ティルト方向に駆動して前記光学防振を行わせるかを選択することを特徴とする。 An optical apparatus according to an aspect of the present invention includes a first vibration-proof optical system that can rotate around a center on an optical axis and move in a tilt direction, and a second that can move in a shift direction orthogonal to the optical axis. And an image pickup optical system including the image stabilization optical system, and a control unit that drives at least one of the first image stabilization optical system and the second image stabilization optical system to perform optical image stabilization. And the control means shifts the second image stabilizing optical system without moving the first image stabilizing optical system at the tilt imaging position located in the tilt direction with respect to the optical axis. characterized in that selects whether to drive in a direction to perform the optical image stabilization, the prior SL first antivibration optical system is driven in the tilt direction in the tilt imaging position causes the optical image stabilization And
また、本発明の一側面としての光学機器は、光軸上の中心回りで回動してティルト方向に移動可能な第１の防振光学系および前記光軸に直交するシフト方向に移動可能な第２の防振光学系を含む撮像光学系と、前記第１の防振光学系および前記第２の防振光学系のうち少なくとも一方の防振光学系を駆動して光学防振を行わせる制御手段とを有し、前記制御手段は、前記第２の防振光学系を前記光軸に対して前記シフト方向に位置するあおり撮像位置において移動させることなく前記第１の防振光学系を前記ティルト方向に駆動して前記光学防振を行わせるか、前記第２の防振光学系を前記あおり撮像位置において前記シフト方向に駆動して前記光学防振を行わせるかを選択することを特徴とする。 An optical apparatus according to an aspect of the present invention can move in a shift direction orthogonal to the first anti-vibration optical system that can rotate around the center on the optical axis and move in the tilt direction. An image pickup optical system including a second image stabilization optical system, and at least one of the first image stabilization optical system and the second image stabilization optical system is driven to perform optical image stabilization. Control means, and the control means moves the first anti-vibration optical system without moving the second anti-vibration optical system at the tilt imaging position located in the shift direction with respect to the optical axis. selecting whether the or driven in the tilt direction causes the optical image stabilization, the prior SL second antivibration optical system is driven in the shift direction in the tilt imaging position causes the optical image stabilization It is characterized by.
本発明によれば、第１の防振光学系のティルト方向への駆動や第２の防振光学系のシフト方向への駆動をおおり撮像位置への駆動としたり光学防振のための駆動としたりすることができる。したがって、簡単かつコンパクトな構成でありながら、光学防振機能とあおり撮像機能とを併せ持つ光学機器を実現することができる。 According to the present invention, the driving of the first image stabilizing optical system in the tilt direction and the driving of the second image stabilizing optical system in the shift direction can be used as driving to the imaging position or driving for optical image stabilizing. It can be done. Therefore, it is possible to realize an optical device having both an optical image stabilization function and a tilt imaging function while having a simple and compact configuration.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図２には、本発明の実施例１であるカメラ（光学機器）の構成を示している。２２０はズームレンズ（変倍レンズ）であり、２００は第１の防振光学系としての第１の補正レンズである。２０１は第２の防振光学系としての第２補正のレンズである。２０３は絞りである。これらレンズ２２０，２００，２０１および絞り２０３により撮像光学系が構成される。ズームレンズ２２０は撮像光学系の光軸方向に移動することで該撮像光学系の焦点距離を広角（ＷＩＤＥ）端から望遠（ＴＥＬＥ）端までの間で変更する（変倍を行う）ことができる。 FIG. 2 shows the configuration of a camera (optical apparatus) that is Embodiment 1 of the present invention. Reference numeral 220 denotes a zoom lens (magnification changing lens), and reference numeral 200 denotes a first correction lens as a first image stabilizing optical system. Reference numeral 201 denotes a second correction lens as a second image stabilizing optical system. Reference numeral 203 denotes an aperture. These lenses 220, 200, 201 and the diaphragm 203 constitute an imaging optical system. The zoom lens 220 moves in the optical axis direction of the imaging optical system, thereby changing the focal length of the imaging optical system from the wide-angle (WIDE) end to the telephoto (TELE) end (to perform zooming). .
第１の補正レンズ２０１および第２の補正レンズ２０２はそれぞれ独立に移動および姿勢の変化が可能である。本実施例では、第１の補正レンズ２０１は、撮影光学系の光軸上の中心点回りで孤を描くように移動可能である。言い換えれば、第１の補正レンズ２０１は、光軸上の中心回りで回動することで光軸および光軸に直交する平面に対して傾くように（つまりはティルト方向に）移動可能である。また、第２の補正レンズ２０２は、光軸に直交するシフト方向に移動する（シフトする）ことができる。 The first correction lens 201 and the second correction lens 202 can be independently moved and changed in posture. In the present embodiment, the first correction lens 201 is movable so as to draw an arc around the center point on the optical axis of the photographing optical system. In other words, the first correction lens 201 is movable so as to be inclined (that is, in the tilt direction) with respect to the optical axis and a plane orthogonal to the optical axis by rotating around the center on the optical axis. Further, the second correction lens 202 can move (shift) in a shift direction orthogonal to the optical axis.
２０２は第１の補正レンズ２０１および第２の補正レンズ２０２の位置および姿勢を変化させるためにこれらを移動させるレンズ制御部である。 Reference numeral 202 denotes a lens control unit that moves the first correction lens 201 and the second correction lens 202 in order to change the positions and postures thereof.
絞り２０３は、撮像光学系を通ってその像面に到達する光量を調節する。２０４は絞り２０３を駆動する絞り制御部である。２０５は撮像素子であり、撮像光学系の像面に配置されている。撮像素子２０５は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子であり、撮像光学系により形成された被写体像をアナログ電気信号に変換する。２０６は撮像素子駆動部であり、撮像素子２０５の駆動を制御し、撮像素子２０５にて蓄積された電荷をアナログ信号として読み出すとともに、電荷蓄積時間を制御する電子シャッタ機能を有する。 The diaphragm 203 adjusts the amount of light that reaches the image plane through the imaging optical system. A diaphragm control unit 204 drives the diaphragm 203. Reference numeral 205 denotes an image sensor, which is disposed on the image plane of the imaging optical system. The imaging element 205 is a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and converts a subject image formed by the imaging optical system into an analog electric signal. Reference numeral 206 denotes an image sensor driving unit that controls the driving of the image sensor 205 and reads out the electric charge accumulated in the image sensor 205 as an analog signal and has an electronic shutter function for controlling the charge accumulation time.
２０７はジャイロセンサであり、カメラの３次元方向での加速度を検知する。２０８はＡ／Ｄ変換器であり、撮像素子２０５から出力されたアナログ信号をデジタル信号に変換する。２０９は信号処理部であり、Ａ／Ｄ変換器２０８からのデジタル信号に対して、ガンマ補正、色分離、色差マトリクス等の処理を行って撮影画像を生成する。また、信号処理部２０９は、撮影画像に対して同期信号を加えて動画像を生成する機能や、ＪＰＥＧ圧縮・伸張等のファイル変換機能も有する。２１１はメモリであり、信号処理部２０９で処理された画像や、他のデータおよび情報を記憶する。 Reference numeral 207 denotes a gyro sensor that detects acceleration in the three-dimensional direction of the camera. An A / D converter 208 converts an analog signal output from the image sensor 205 into a digital signal. A signal processing unit 209 performs processing such as gamma correction, color separation, and color difference matrix on the digital signal from the A / D converter 208 to generate a captured image. The signal processing unit 209 also has a function of generating a moving image by adding a synchronization signal to a captured image and a file conversion function such as JPEG compression / decompression. A memory 211 stores an image processed by the signal processing unit 209 and other data and information.
２１０は撮像モード切り替え部であり、ユーザによるボタン操作等によって撮像モードを複数の撮像モードに切り替えることができる。本実施例では、撮像モードとして、通常撮像モード、ティルト撮像（ティルトあおり撮像）モードおよびシフト撮像（シフトあおり撮像）モードを備えている。 An imaging mode switching unit 210 can switch the imaging mode to a plurality of imaging modes by a button operation by the user. In this embodiment, a normal imaging mode, a tilt imaging (tilt tilt imaging) mode, and a shift imaging (shift tilt imaging) mode are provided as imaging modes.
２１２は撮影画像を記録可能な記録媒体である。２１３は制御手段としてのＣＰＵであり、レンズ制御部２０３や信号処理部２０９に処理命令を出力したり、これらとのデータのやり取りを行ったりする。２１５は液晶パネル等から構成される表示部であり、信号処理部２０９から出力された画像を表示する。２１６はユーザが撮像を指示するために操作するレリーズスイッチである。ＣＰＵ２１３は、このレリーズスイッチ２１６が操作されることに応じて、測光やオートフォーカス等の撮像準備動作や撮影画像を取得するための撮像動作を行う。 Reference numeral 212 denotes a recording medium capable of recording captured images. Reference numeral 213 denotes a CPU as control means, which outputs processing commands to the lens control unit 203 and the signal processing unit 209 and exchanges data with them. A display unit 215 includes a liquid crystal panel and the like, and displays an image output from the signal processing unit 209. A release switch 216 is operated by the user to instruct imaging. In response to the operation of the release switch 216, the CPU 213 performs an imaging preparation operation such as photometry and autofocus and an imaging operation for acquiring a captured image.
被写体の画像（撮影画像）が記録媒体２１２に記録されるまでの動作例を、図２を用いて説明する。ユーザが撮像モード切り替え部２１０にて所望の撮像モードを設定し。レリーズスイッチ２１６を操作することで、撮像（撮像準備動作および撮像動作）が行われる。このとき、ジャイロセンサ２０７は３次元方向の加速度を検知してＣＰＵ２１３に加速度情報を送る。ＣＰＵ２１３は、加速度情報からカメラの位置および姿勢の変化を推定し、レンズ制御部２０３や絞り制御部２０４に制御信号を送る。この制御信号に応じて、レンズ制御部２０３は第１補正レンズ２０１および第２補正レンズ２０１を像振れ補正（光学防振）のために駆動し、また絞り制御部２０４は絞り２０２を駆動する。 An operation example until the subject image (captured image) is recorded on the recording medium 212 will be described with reference to FIG. The user sets a desired imaging mode using the imaging mode switching unit 210. By operating the release switch 216, imaging (imaging preparation operation and imaging operation) is performed. At this time, the gyro sensor 207 detects acceleration in a three-dimensional direction and sends acceleration information to the CPU 213. The CPU 213 estimates changes in the position and orientation of the camera from the acceleration information, and sends a control signal to the lens control unit 203 and the aperture control unit 204. In response to this control signal, the lens control unit 203 drives the first correction lens 201 and the second correction lens 201 for image blur correction (optical image stabilization), and the aperture control unit 204 drives the aperture 202.
そして、撮像光学系により形成された振れが補正された被写体像が撮像素子２０５により光電変換され、撮像素子２０５からのアナログ信号がＡ／Ｄ変換器２０８にてデジタル信号に変換され、該デジタル信号が信号処理部２０９にて信号処理を受ける。これにより、撮影画像が表示部２１５に表示されたり、記録媒体２１２に記録されたりする。 Then, the subject image formed by the image pickup optical system and corrected for shake is subjected to photoelectric conversion by the image pickup device 205, and an analog signal from the image pickup device 205 is converted into a digital signal by the A / D converter 208. The signal processing unit 209 receives the signal processing. As a result, the captured image is displayed on the display unit 215 or recorded on the recording medium 212.
本実施例のカメラの表示部２１５はタッチパネル操作が可能であり、各撮像モードに好適な表示を行う。図３には、ティルト撮像モードおよびシフト撮像モードにおける表示部２１５での表示画像の例を示している。図３において、表示部２１５には撮影画像に重畳されてティルトおよびシフトの量および方向を制御するためのコントロールパネル（ユーザ操作手段）が表示されている。ユーザはこのコントロールパネルを使用して、撮像前または撮像中にティルトおよびシフト量や方向を指定（変更）することができる。 The display unit 215 of the camera of this embodiment can be operated with a touch panel, and performs display suitable for each imaging mode. FIG. 3 shows an example of a display image on the display unit 215 in the tilt imaging mode and the shift imaging mode. In FIG. 3, a display panel 215 displays a control panel (user operation means) for controlling the amount and direction of tilt and shift superimposed on the photographed image. Using this control panel, the user can specify (change) the tilt, shift amount, and direction before or during imaging.
以下、図１および図４、図５および図６を用いて、各撮像モードと焦点距離における第１の補正レンズ２０１と第２の補正レンズ２０２の姿勢制御方法について説明する。図４には、通常撮像モードにおける各補正レンズの動きを表している。カメラ４０１内の第１の補正レンズ２０１、第２の補正レンズ２０２および撮像素子２０５の姿勢を示している。通常撮像モードでは、以下に説明するようにＴＥＬＥ側とＷＩＤＥ側とで動き方が異なる各補正レンズを有効に活用して像振れが最小限になるようにこれらの動きを制御する。図４（Ａ）は像振れがない状態を表しており、第１の補正レンズ２０１および第２の補正レンズ２０２の中心はともに光軸上に位置する。 Hereinafter, the attitude control method of the first correction lens 201 and the second correction lens 202 in each imaging mode and focal length will be described with reference to FIGS. 1, 4, 5, and 6. FIG. 4 shows the movement of each correction lens in the normal imaging mode. The postures of the first correction lens 201, the second correction lens 202, and the image sensor 205 in the camera 401 are shown. In the normal imaging mode, as described below, these movements are controlled so as to minimize image blur by effectively using the correction lenses that move differently on the TELE side and the WIDE side. FIG. 4A shows a state in which there is no image blur, and the centers of the first correction lens 201 and the second correction lens 202 are both located on the optical axis.
次に、手振れ等により像振れが生じている場合について説明する。ＴＥＬＥ側においては像振れの主たる要因はカメラのティルト変位によるものである。このため、第１の補正レンズ２０１を図４（Ｂ）に示すようにカメラのティルト変位によって起こる光軸に対する像ずれを打ち消すようにティルト制御することにより、像振れを補正することができる。 Next, the case where image blur occurs due to camera shake or the like will be described. On the TELE side, the main cause of image blur is the tilt displacement of the camera. Therefore, the image blur can be corrected by performing tilt control on the first correction lens 201 so as to cancel the image shift with respect to the optical axis caused by the tilt displacement of the camera as shown in FIG. 4B.
一方、ＷＩＤＥ側においては逆に像振れの主たる要因はカメラのシフト変位によるものとなる。このため、第２の補正レンズ２０２を図４（Ｃ）に示すようにカメラのシフト変位によって起こる光軸に対する像ずれを打ち消すようにシフト制御することにより、像振れを補正する。このように、通常撮像モードでは、撮像光学系の焦点距離に応じて、第１および第２の補正レンズ２０１，２０２のうち一方が像振れ補正のために駆動される補正レンズとして選択される。 On the other hand, on the WIDE side, the main cause of image blur is due to the shift displacement of the camera. For this reason, the image blur is corrected by shifting the second correction lens 202 so as to cancel the image shift with respect to the optical axis caused by the shift displacement of the camera as shown in FIG. As described above, in the normal imaging mode, one of the first and second correction lenses 201 and 202 is selected as a correction lens that is driven for image blur correction according to the focal length of the imaging optical system.
次に、ティルト撮像モードにおける各補正レンズの動きを、図１を用いて説明する。ティルト撮像モードでは、第１の補正レンズ２０１を光軸に対してティルト方向に移動したティルトあおり撮像位置に維持（保持）するように制御する。ティルトの量および方向は、表示部２１５によるコントロールパネルを使用してユーザが指定する。一方、第２の補正レンズ２０２は像振れ補正を行うためにシフト制御される。すなわち、像ずれを打ち消す方向に第２の補正レンズ２０２をシフトさせる。ティルト撮像モードでは、通常撮像モードとは異なり、レンズ制御部２０３は、ＴＥＬＥ側、ＷＩＤＥ側にかかわらず、第２の補正レンズ２０２によって像振れを補正するように制御する。 Next, the movement of each correction lens in the tilt imaging mode will be described with reference to FIG. In the tilt imaging mode, control is performed so that the first correction lens 201 is maintained (held) at the tilt tilt imaging position moved in the tilt direction with respect to the optical axis. The tilt amount and direction are specified by the user using the control panel of the display unit 215. On the other hand, the second correction lens 202 is shift-controlled to perform image blur correction. That is, the second correction lens 202 is shifted in a direction to cancel the image shift. In the tilt imaging mode, unlike the normal imaging mode, the lens control unit 203 performs control so that the image blur is corrected by the second correction lens 202 regardless of the TELE side or the WIDE side.
ティルト撮像モードにおける第１の補正レンズ２０１のティルト方向と被写体のピントが合う範囲との関係について説明する。通常、振れがないときは撮像素子２０５と各補正レンズは平行になるように設置されているため、撮像素子２０５の撮像面とレンズ主面が交わることはない。このため、ピントが合う平面（物面）はカメラから一定距離だけ前方にあって撮像面に平行となり、絞り２０３の絞り具合によって、ピントが合う範囲が変化する。 The relationship between the tilt direction of the first correction lens 201 and the range in which the subject is in focus in the tilt imaging mode will be described. Normally, when there is no shake, the image pickup element 205 and each correction lens are installed so as to be parallel, so that the image pickup surface of the image pickup element 205 and the lens main surface do not intersect. For this reason, a plane (object surface) that is in focus is in front of the camera by a certain distance and parallel to the imaging surface, and the in-focus range changes depending on how the aperture 203 is stopped.
一方、第１の補正レンズ２０１における光軸と撮像素子２０５が傾いているとき、シャインプルーフの原理により被写体のピントが合う範囲が決定される。図５には、撮像面に対してレンズの姿勢に傾きがある場合のピントが合う範囲を表している。５０１は撮像面、５０２はレンズ、５０３はピントが合う物面である。 On the other hand, when the optical axis of the first correction lens 201 and the image sensor 205 are tilted, the range in which the subject is in focus is determined by the Scheinproof principle. FIG. 5 shows a focus range when the lens posture is inclined with respect to the imaging surface. Reference numeral 501 denotes an imaging surface, 502 denotes a lens, and 503 denotes an object surface in focus.
図５に表わされるように、撮像面５０１と、レンズの主面とがある直線上の交点５０４で交わるとき、物面５０３もまた交点５０４を通る直線で表現できる。複数のレンズがある場合、レンズの主面は仮想的に想定することができる。本実施例では、第１補正レンズ２０１と第２の補正レンズ２０２を合成することで仮想的にレンズ５０２の主面を考えることができる。このため、第１の補正レンズ２０１が撮像素子２０５に対して傾いている場合はレンズ５０２の主面も同様に傾いていることになる。したがって、被写体の位置が物面５０３に沿って奥行きを持っているような場合は、被写体の手前から奥までピントを合わせることができる。 As shown in FIG. 5, when the imaging surface 501 and the main surface of the lens intersect at an intersection 504 on a certain straight line, the object plane 503 can also be expressed by a straight line passing through the intersection 504. When there are a plurality of lenses, the main surface of the lens can be virtually assumed. In this embodiment, the main surface of the lens 502 can be virtually considered by combining the first correction lens 201 and the second correction lens 202. For this reason, when the first correction lens 201 is tilted with respect to the image sensor 205, the main surface of the lens 502 is similarly tilted. Therefore, when the position of the subject has a depth along the object surface 503, the subject can be focused from the front to the back.
上述したように、第１の補正レンズ２０１を被写体の奥行き方向にティルトさせることによりピントの合う範囲を広くすることが可能となる。撮像時に絞り２０３を開放にしている場合は被写界深度が浅くなり、通常は奥行き方向にピントが合う範囲が少なくなるが、このような場合において被写体の手前から奥までピントの合わせたいときに有効である。 As described above, it is possible to widen the in-focus range by tilting the first correction lens 201 in the depth direction of the subject. When the aperture 203 is opened at the time of imaging, the depth of field becomes shallow, and usually the range in which the depth of focus is reduced decreases. It is valid.
また、逆にレンズ５０２の主面を撮像面５０１に対する物面５０３の傾きと反対方向にティルトさせることにより、被写体の奥行き方向に対して物面５０３が垂直に交差するようになるため、ピントの合う範囲を極端に狭くすることができる。例えば、ピッチ方向に物面５０３の傾きと逆方向にレンズ５０２ティルトさせると、上下が大きくぼけて中央にピントが合うようなジオラマ風の画像を取得することができる。 Conversely, tilting the main surface of the lens 502 in the direction opposite to the inclination of the object surface 503 with respect to the imaging surface 501 causes the object surface 503 to intersect perpendicularly to the depth direction of the subject. The matching range can be made extremely narrow. For example, when the lens 502 is tilted in the direction opposite to the inclination of the object surface 503 in the pitch direction, a diorama-like image in which the top and bottom are greatly blurred and the center is in focus can be acquired.
次に、シフト撮像モードにおける各補正レンズの動きを、図６を用いて説明する。シフト撮像モードでは、第２の補正レンズ２０２を光軸に対してシフト方向に移動したシフトあおり撮像位置に維持（保持）するように制御を行う。ティルト撮像モードと同様に、シフトの量および方向は、表示部２１５によるコントロールパネルを使用してユーザが指定する。一方、第１の補正レンズ２０１については、像振れを補正するように制御を行う。すなわち、像ずれを打ち消す方向に第１の補正レンズ２０１をティルトさせる。シフト撮像モードでは、通常撮像モードの場合と異なり、レンズ制御部２０３はＴＥＬＥ側、ＷＩＤＥ側にかかわらず、第１の補正レンズ２０１によって像振れを補正するように制御する。 Next, the movement of each correction lens in the shift imaging mode will be described with reference to FIG. In the shift imaging mode, control is performed so that the second correction lens 202 is maintained (held) at the shift tilt imaging position moved in the shift direction with respect to the optical axis. Similar to the tilt imaging mode, the amount and direction of the shift are specified by the user using the control panel of the display unit 215. On the other hand, the first correction lens 201 is controlled to correct image blur. That is, the first correction lens 201 is tilted in the direction to cancel the image shift. In the shift imaging mode, unlike the normal imaging mode, the lens control unit 203 performs control so that the image blur is corrected by the first correction lens 201 regardless of the TELE side or the WIDE side.
シフト撮像モードにおける第２の補正レンズ２０２のシフト方向と撮影画像との関係について、図７を用いて説明する。第２の補正レンズ２０２を撮像素子２０５と平行に上下左右にシフトさせると、構図や像の歪みを修正することができる。一般に、広角レンズを用いたときやズームＷＩＤＥ端でビル等の大きな建築物を下から見上げる角度で撮像すると、遠近感により建築物は上側がすぼまるように歪んで写る。このような場合に、図７に示すように第２の補正レンズ２０２を撮像素子２０５と平行に上側にシフト（ライズ）させると、上すぼまりな像が補正されて、上下にまっすぐな像として撮像される。 The relationship between the shift direction of the second correction lens 202 and the captured image in the shift imaging mode will be described with reference to FIG. If the second correction lens 202 is shifted vertically and horizontally in parallel with the image sensor 205, the composition and distortion of the image can be corrected. In general, when a wide-angle lens is used or when a large building such as a building is viewed from below at the zoom WIDE end, the building appears to be distorted so that the upper side is narrowed due to perspective. In such a case, as shown in FIG. 7, when the second correction lens 202 is shifted upward in parallel with the image sensor 205, the upper narrow image is corrected so that the image is straight up and down. Imaged.
シフト撮像モードの他の使用例としては、以下のような場合である。例えば、カメラの正面に鏡があるシチュエーションでの室内撮像時において、鏡の中心に対してレンズを上下または左右にずらして撮像することで、ユーザが写らずに鏡の真ん中で撮像したような画像を得ることができる。 Another example of using the shift imaging mode is as follows. For example, when shooting indoors in situations where there is a mirror in front of the camera, the image is taken in the middle of the mirror without the user being captured by shifting the lens up and down or left and right with respect to the center of the mirror. Can be obtained.
各撮像モードと焦点距離に対する第１の補正レンズ２０１と第２の補正レンズ２０２の制御方法をまとめて図８に示す。この図８に示すように、通常撮像モードでは、ＴＥＬＥ側かＷＩＤＥ側かに応じて第１の補正レンズ２０１か第２の補正レンズ２０２を像振れ補正のために制御する。そして、ティルト撮像モードおよびシフト撮像モードでは、第１および第２の補正レンズ２０１，２０２のうち一方の補正レンズをティルト状態またはシフト状態に維持することによりあおり撮像を可能とし、他方の補正レンズで像振れ補正を行う。 The control method of the first correction lens 201 and the second correction lens 202 for each imaging mode and focal length is collectively shown in FIG. As shown in FIG. 8, in the normal imaging mode, the first correction lens 201 or the second correction lens 202 is controlled for image blur correction according to the TELE side or the WIDE side. In the tilt imaging mode and the shift imaging mode, one of the first and second correction lenses 201 and 202 is maintained in the tilt state or the shift state, thereby enabling tilt imaging, and the other correction lens. Perform image blur correction.
本実施例では、ティルト撮像モードでの第１の補正レンズ２０１およびシフト撮像モード時の第２補正レンズをそれぞれ、ティルトあおり撮像位置およびシフトあおり撮像位置に維持するように制御する。このとき、あおり撮像位置に位置する各補正レンズは、あおり撮像位置の範囲で像振れ補正のために制御されてもよい。例えば、ティルト撮像モードにおいて、ジャイロセンサ２０７が検出した加速度の大小によって、各補正レンズの制御を調整してもよい。具体的には、小さな手振れに対しては第１の補正レンズ２０１はティルトあおり撮像位置の範囲で像振れを補正する方向に制御する。大きな手振れに対しては、第１の補正レンズ２０１のティルトあおり撮像位置での維持のみ行い、第２の補正レンズ２０２は像振れを補正するように制御してもよい。 In the present embodiment, control is performed so that the first correction lens 201 in the tilt imaging mode and the second correction lens in the shift imaging mode are maintained at the tilt tilt imaging position and the shift tilt imaging position, respectively. At this time, each correction lens positioned at the tilt imaging position may be controlled for image blur correction within the range of the tilt imaging position. For example, in the tilt imaging mode, the control of each correction lens may be adjusted according to the magnitude of acceleration detected by the gyro sensor 207. Specifically, for small camera shake, the first correction lens 201 is tilted and controlled so as to correct image shake within the range of the imaging position. For large camera shake, the first correction lens 201 may be controlled to maintain the tilt tilt imaging position, and the second correction lens 202 may be controlled to correct image shake.
以上説明したように、本実施例では、撮像素子２０５に対して第１の補正レンズ２０１をティルトさせ、または第２の補正レンズ２０２をシフトさせることにより、あおり撮像を可能とする。これにより、ピントの状態や遠近感、像の歪みを制御しつつ、独特な表現の撮影画像を取得することができる。しかも、あおり撮像のために移動していない補正レンズを像振れ補正のために駆動するので、像振れの少ない良好な画像を取得することができる。 As described above, in the present embodiment, tilt imaging is enabled by tilting the first correction lens 201 or shifting the second correction lens 202 with respect to the image sensor 205. This makes it possible to acquire a photographed image with a unique expression while controlling the focus state, perspective, and image distortion. In addition, since the correction lens that is not moved for tilt imaging is driven for image blur correction, a good image with little image blur can be acquired.
次に、図９を用いて、本発明の実施例２であるカメラについて説明する。実施例１では、ユーザが表示部２１５に表示されたコントロールパネルを使用して撮像中にティルトおよびシフトの量や方向を制御することができる場合について説明した。しかし、ティルトおよびシフト量や方向を、カメラが自動的に判断して制御してもよい。 Next, a camera that is Embodiment 2 of the present invention will be described with reference to FIG. In the first embodiment, the case where the user can control the amount and direction of tilt and shift during imaging using the control panel displayed on the display unit 215 has been described. However, the tilt and shift amount and direction may be automatically determined and controlled by the camera.
図９には、本実施例のカメラの構成を示している。同図において実施例１のカメラと共通する構成要素には実施例１と同符号を付して説明に代える。 FIG. 9 shows the configuration of the camera of this embodiment. In the figure, the same components as those of the camera of the first embodiment are denoted by the same reference numerals as those of the first embodiment, and the description is omitted.
本実施例では、実施例１のカメラの構成に加えて、主被写体検出部９００、合焦度判定部９０１および歪算出部９０２が設けられている。 In the present embodiment, in addition to the configuration of the camera of the first embodiment, a main subject detection unit 900, a focus degree determination unit 901, and a distortion calculation unit 902 are provided.
主被写体検出部９００は、信号処理部２０９により処理された画像から主被写体の可能性が高い領域（以下、主被写体領域という）を検出する。主被写体とは、例えば人間、建築物、草木といったユーザがメインに撮像したいと考える被写体である。主被写体検出のアルゴリズムについては、顔検出アルゴリズム等、様々なアルゴリズムを使用することができる。 The main subject detection unit 900 detects a region having a high possibility of being a main subject (hereinafter referred to as a main subject region) from the image processed by the signal processing unit 209. The main subject is a subject that a user, such as a human being, a building, or a plant, wants to mainly take an image. As the main subject detection algorithm, various algorithms such as a face detection algorithm can be used.
合焦度判定部９０１は、主被写体検出部９００により検出された主被写体領域においてピントがどの程度合っているかを示す合焦度を算出（判定）する。ピントが合っている度合いを判定するアルゴリズムも、どのようなアルゴリズムを使用してもよい。例えば、主被写体領域に対してバンドパスフィルタを掛け、該領域の高周波成分が多いほど合焦度が高く、ピントが合っていると判定してもよい。 The focus degree determination unit 901 calculates (determines) a focus degree indicating how much the main subject area detected by the main subject detection unit 900 is in focus. Any algorithm for determining the degree of focus can be used. For example, a band-pass filter may be applied to the main subject region, and it may be determined that the greater the high-frequency component in the region, the higher the degree of focus and the more focused.
歪算出部９０２は、主被写体領域の歪の大きさおよび方向を算出する。歪算出のアルゴリズムも、どのようなアルゴリズムを使用してもよい。例えば、主被写体検出部９００で検出された建築物の領域に対してエッジを抽出し、該エッジの直線度を算出してもよい。この場合は、直線から乖離するほど歪量が大きいと判定できる。 The distortion calculation unit 902 calculates the magnitude and direction of distortion in the main subject area. Any algorithm for distortion calculation may be used. For example, an edge may be extracted from a building area detected by the main subject detection unit 900, and the straightness of the edge may be calculated. In this case, it can be determined that the amount of distortion increases as the distance from the straight line increases.
本実施例におけるティルト撮像モードについて説明する。通常撮像モードは実施例１と同様であるため説明は省略する。 The tilt imaging mode in the present embodiment will be described. Since the normal imaging mode is the same as that in the first embodiment, description thereof is omitted.
初期状態において、第１の補正レンズ２０１と撮像素子２０５は平行であるとする。次にレンズ制御部２０３は、微小角度ずつ第１の補正レンズ２０１をティルトさせる。この微小角度ティルトごとに、合焦度判定部９０１は、主被写体検出部９００により検出された主被写体領域における合焦度が算出する。微小角度ティルトの前後で合焦度が下がった場合は、レンズ制御部２０３は第１の補正レンズ２０１をティルトさせる方向を変更する。そして、この動作を繰り返した後、レンズ制御部２０３はある一定のティルト量および方向の範囲内で最も合焦度が高いティルト量および方向に第１の補正レンズ２０１のティルト量を固定する。このとき、第２の補正レンズ２０２は実施例１と同様に像振れ補正のために制御される。 In the initial state, the first correction lens 201 and the image sensor 205 are assumed to be parallel. Next, the lens control unit 203 tilts the first correction lens 201 by a minute angle. For each minute angle tilt, the focus degree determination unit 901 calculates the focus degree in the main subject area detected by the main subject detection unit 900. When the degree of focus decreases before and after the minute angle tilt, the lens control unit 203 changes the direction in which the first correction lens 201 is tilted. Then, after repeating this operation, the lens control unit 203 fixes the tilt amount of the first correction lens 201 in the tilt amount and direction with the highest degree of focus within a certain tilt amount and direction range. At this time, the second correction lens 202 is controlled for image blur correction as in the first embodiment.
次に、シフト撮像モードについて説明する。初期状態で、第２の補正レンズ２０２の中心が撮像素子２０５の中心と同じく光軸上に位置するとする。次に、レンズ制御部２０３は、微小量ずつ第２の補正レンズ２０２をシフトさせる。歪算出部９０２は、微小量シフトごとに主被写体検出部９００により検出された主被写体領域における歪の大きさを算出する。微小量シフトの前後で歪が大きくなった場合は、レンズ制御部２０３は第２の補正レンズ２０２をシフトさせる方向を他の方向に変更する。この動作を繰り返した後、レンズ制御部２０３はある一定のシフト量および方向の範囲内で最も歪の大きさが小さいシフト量および方向に第２の補正レンズ２０２を固定する。このとき、第１の補正レンズ２０１は、実施例１と同様に、像振れ補正のために制御される。 Next, the shift imaging mode will be described. Assume that in the initial state, the center of the second correction lens 202 is located on the optical axis in the same manner as the center of the image sensor 205. Next, the lens control unit 203 shifts the second correction lens 202 by a minute amount. The distortion calculation unit 902 calculates the magnitude of distortion in the main subject area detected by the main subject detection unit 900 for each minute shift. When the distortion increases before and after the minute amount shift, the lens control unit 203 changes the direction in which the second correction lens 202 is shifted to another direction. After repeating this operation, the lens control unit 203 fixes the second correction lens 202 in the shift amount and direction with the smallest distortion within a certain range of shift amount and direction. At this time, the first correction lens 201 is controlled for image blur correction similarly to the first embodiment.
以上説明したように、本実施例のカメラは、撮像光学系により形成された被写体像を撮像素子２０５により光電変換して得られた画像から得られる合焦度や歪等の情報に応じて、あおり撮像位置を変更（調節）する機能を有する。これにより、ティルト撮像モードおよびシフト撮像モードにおいて第１および第２の補正レンズ２０１，２０２のティルトおよびシフト量や方向がカメラ内で自動的に制御される。このため、ユーザはより気軽にあおり撮像を行うことができる。 As described above, the camera according to the present exemplary embodiment, according to information such as the degree of focus and distortion obtained from an image obtained by photoelectrically converting the subject image formed by the imaging optical system using the imaging element 205, It has a function to change (adjust) the tilt imaging position. Accordingly, the tilt, shift amount, and direction of the first and second correction lenses 201 and 202 are automatically controlled in the camera in the tilt imaging mode and the shift imaging mode. For this reason, the user can more easily take a picture.
上記各実施例では、レンズ一体型カメラについて説明したが、本発明は、光学機器としての交換レンズにおいて実施することもできる。 In each of the above embodiments, the lens-integrated camera has been described, but the present invention can also be implemented in an interchangeable lens as an optical apparatus.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
光学防振機能とあおり撮像機能とを併せ持つコンパクトな光学機器を提供できる。 It is possible to provide a compact optical device having both an optical image stabilization function and a tilt image pickup function.
２０１ 第１の補正レンズ
２０２ 第２の補正レンズ
２０５ 撮像素子
２１３ ＣＰＵ
201 First correction lens 202 Second correction lens 205 Image sensor 213 CPU
Claims (10)
前記第１の防振光学系および前記第２の防振光学系のうち少なくとも一方の防振光学系を駆動して光学防振を行わせる制御手段とを有し、
前記制御手段は、前記第１の防振光学系を前記光軸に対して前記ティルト方向に位置するあおり撮像位置において移動させることなく前記第２の防振光学系を前記シフト方向に駆動して前記光学防振を行わせるか、前記第１の防振光学系を前記あおり撮像位置において前記ティルト方向に駆動して前記光学防振を行わせるかを選択することを特徴とする光学機器。 An imaging optical system including a first anti-vibration optical system that rotates about the center on the optical axis and is movable in a tilt direction, and a second anti-vibration optical system that is movable in a shift direction orthogonal to the optical axis; ,
Control means for driving at least one of the first image stabilization optical system and the second image stabilization optical system to perform optical image stabilization;
The control means drives the second image stabilization optical system in the shift direction without moving the first image stabilization optical system in the tilt imaging position located in the tilt direction with respect to the optical axis. optical apparatus and selects whether the or to perform optical image stabilization, the prior SL first antivibration optical system is driven in the tilt direction in the tilt imaging position causes the optical image stabilization.
前記制御手段は、該ユーザ操作手段を通じて指定された前記あおり撮像位置に前記第１の防振光学系を移動させることを特徴とする請求項１から３のいずれか一項に記載の光学機器。 User operation means that can be operated by a user who specifies the tilt imaging position,
4. The optical apparatus according to claim 1, wherein the control unit moves the first image stabilization optical system to the tilt imaging position designated through the user operation unit. 5.
前記第１の防振光学系および前記第２の防振光学系のうち少なくとも一方の防振光学系を駆動して光学防振を行わせる制御手段とを有し、
前記制御手段は、前記第２の防振光学系を前記光軸に対して前記シフト方向に位置するあおり撮像位置において移動させることなく前記第１の防振光学系を前記ティルト方向に駆動して前記光学防振を行わせるか、前記第２の防振光学系を前記あおり撮像位置において前記シフト方向に駆動して前記光学防振を行わせるかを選択することを特徴とする光学機器。 An imaging optical system including a first anti-vibration optical system that rotates about the center on the optical axis and is movable in a tilt direction, and a second anti-vibration optical system that is movable in a shift direction orthogonal to the optical axis; ,
Control means for driving at least one of the first image stabilization optical system and the second image stabilization optical system to perform optical image stabilization;
The control means drives the first image stabilization optical system in the tilt direction without moving the second image stabilization optical system at the tilt imaging position located in the shift direction with respect to the optical axis. optical apparatus and selects whether the or to perform optical image stabilization, the prior SL second antivibration optical system is driven in the shift direction in the tilt imaging position causes the optical image stabilization.
前記制御手段は、該ユーザ操作手段を通じて指定された前記あおり撮像位置に前記第２の防振光学系を移動させることを特徴とする請求項６から８のいずれか一項に記載の光学機器。 User operation means that can be operated by a user who specifies the tilt imaging position,
9. The optical apparatus according to claim 6, wherein the control unit moves the second image stabilizing optical system to the tilt imaging position designated through the user operation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013238331A JP6444025B2 (en) | 2013-11-18 | 2013-11-18 | Optical equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013238331A JP6444025B2 (en) | 2013-11-18 | 2013-11-18 | Optical equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015099216A JP2015099216A (en) | 2015-05-28 |
| JP6444025B2 true JP6444025B2 (en) | 2018-12-26 |
Family
ID=53375874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013238331A Expired - Fee Related JP6444025B2 (en) | 2013-11-18 | 2013-11-18 | Optical equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6444025B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6272017B2 (en) * | 2013-12-26 | 2018-01-31 | キヤノン株式会社 | Zoom lens and imaging apparatus having the same |
| JP6788348B2 (en) * | 2016-01-06 | 2020-11-25 | キヤノン株式会社 | Optical controls, optics, computer programs and control methods |
| WO2017158922A1 (en) | 2016-03-16 | 2017-09-21 | 富士フイルム株式会社 | Variable-magnification optical system and control method therefor |
| JP6685845B2 (en) * | 2016-06-09 | 2020-04-22 | キヤノン株式会社 | Imaging device and imaging program |
| JP7166949B2 (en) * | 2019-02-06 | 2022-11-08 | キヤノン株式会社 | CONTROL DEVICE, AND LENS DEVICE AND IMAGING DEVICE INCLUDING THE SAME |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000019578A (en) * | 1998-07-03 | 2000-01-21 | Minolta Co Ltd | Camera capable of executing swing and tilt photographing |
| JP2008309998A (en) * | 2007-06-14 | 2008-12-25 | Sony Corp | Tilt lens system and imaging apparatus |
| JP5458570B2 (en) * | 2008-12-25 | 2014-04-02 | 株式会社ニコン | Optical device, optical device manufacturing method, optical device adjustment method, and imaging device |
-
2013
- 2013-11-18 JP JP2013238331A patent/JP6444025B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015099216A (en) | 2015-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6486656B2 (en) | Imaging device | |
| JP5419647B2 (en) | Image blur correction device, imaging device including the same, and method for controlling image blur correction device | |
| JP6821339B2 (en) | Image shake correction device, tilt correction device, control method of image shake correction device, control method of tilt correction device | |
| JP5623207B2 (en) | Imaging apparatus and control method thereof | |
| JP6530602B2 (en) | Image pickup apparatus and control method thereof | |
| US20120268613A1 (en) | Image capturing apparatus and control method thereof | |
| JP5706654B2 (en) | Imaging device, image display method and program | |
| US20130027510A1 (en) | Image capture apparatus and control method therefor | |
| JP6444025B2 (en) | Optical equipment | |
| US8743181B2 (en) | Image pickup apparatus | |
| JP6643036B2 (en) | Zoom control device, control method for zoom control device, control program for zoom control device, and storage medium | |
| JP2011048283A (en) | Photographed image composing device | |
| JP2016080918A (en) | Image shake correction device and control method therefor | |
| JP4609183B2 (en) | Imaging device | |
| JP5744581B2 (en) | Imaging apparatus and control method thereof | |
| US8817127B2 (en) | Image correction device for image capture device and integrated circuit for image correction device | |
| JP2016050973A (en) | Image-capturing device and control method thereof | |
| JP2013080996A (en) | Imaging device and method of controlling the same | |
| JP2012053303A (en) | Stereoscopic camera device and electronic information device | |
| JP2005175796A (en) | Digital camera | |
| JP5744527B2 (en) | Imaging apparatus and control method thereof | |
| JP6821325B2 (en) | Image processing device, imaging device and control method | |
| JP2008028591A (en) | Image processing method in imaging device, and imaging device | |
| JP2019219529A (en) | Control device, imaging device, control method, program, and storage medium | |
| JP7263177B2 (en) | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181127 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6444025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |