JP6858059B2 - Imaging device and its control method, program, storage medium - Google Patents
Imaging device and its control method, program, storage medium Download PDFInfo
- Publication number
- JP6858059B2 JP6858059B2 JP2017074750A JP2017074750A JP6858059B2 JP 6858059 B2 JP6858059 B2 JP 6858059B2 JP 2017074750 A JP2017074750 A JP 2017074750A JP 2017074750 A JP2017074750 A JP 2017074750A JP 6858059 B2 JP6858059 B2 JP 6858059B2
- Authority
- JP
- Japan
- Prior art keywords
- focus
- panning
- image
- imaging
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Description
本発明は、パノラマ画像を撮像可能な撮像装置に関する。 The present invention relates to an imaging device capable of capturing a panoramic image.
従来より、例えば特許文献１に開示されているように、撮像装置をパンニングさせながら静止画を連続撮影し、連続撮影した静止画を合成することによりパノラマ画像を生成する手法が提案されている。
Conventionally, for example, as disclosed in
特許文献１に記載された撮像装置では、フォーカス、絞り、シャッター速度等の撮影条件を１枚目の画像を撮影する前に決定した撮影条件に固定して連続撮影を行う。しかしながら、パンニング撮影中に最初にピントを合わせた被写体の距離とは異なる距離にある被写体が入ってきた場合には、ピントの合っていない被写体が含まれるパノラマ画像となってしまう。例えば、主要な被写体にピントを合わせてからパンニング撮影を始めた場合は良い結果が得られる場合もある。しかし、主要な被写体ではないパンニング開始位置の被写体にピントを合わせてしまった場合などでは、撮影したかった主要な被写体にピントが合っていないパノラマ画像となってしまうことが考えられる。
In the image pickup apparatus described in
本発明は上述した課題に鑑みてなされたものであり、その目的は、被写界全体にピントの合ったパノラマ画像の生成が可能な撮像装置を提供することである。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide an imaging device capable of generating a panoramic image in focus over the entire field of view.
本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、撮影光学系の焦点状態を検出する焦点検出手段と、前記焦点検出手段により検出された焦点状態に基づいて、前記撮影光学系の焦点を調節する焦点調節手段と、撮像装置をパンニングさせながら前記撮像手段により複数回の撮像を行って得られた複数の画像のそれぞれから一部領域を切り出して、前記複数の画像のそれぞれの一部領域を合成してパノラマ画像を生成する生成手段と、前記撮像装置をパンニングさせるときに、前記それぞれの画像の前記一部領域よりも前記パンニングの進行方向前方側に前記焦点検出手段による焦点の評価領域を設定する設定手段と、前記複数回の撮像のうちの連続する２つの撮像の間の前記焦点調節手段による焦点調節の移動量が所定の閾値以上である場合に、ユーザに前記パンニングの速度を遅くするように警告する警告手段と、を備えることを特徴とする。 The imaging apparatus according to the present invention is detected by an imaging means for capturing a subject image, a focus detecting means for detecting a focal state of a photographing optical system based on an image captured by the imaging means, and the focal detecting means. A part of a region from each of the focus adjusting means for adjusting the focus of the photographing optical system based on the focused state and the plurality of images obtained by performing multiple imagings by the imaging means while panning the imaging device. And a generation means for generating a panoramic image by synthesizing a part of each region of the plurality of images, and when panning the image pickup apparatus, the panning of the panning is more than the part of the region of each image. The amount of movement of the focus adjustment by the focus adjustment means between the setting means for setting the evaluation area of the focus by the focus detection means on the front side in the traveling direction and the two consecutive imagings in the plurality of imagings is predetermined. It is characterized by providing a warning means for warning the user to slow down the panning speed when the value is equal to or higher than the threshold value.
本発明によれば、被写界全体にピントの合ったパノラマ画像の生成が可能な撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging device capable of generating a panoramic image in focus over the entire field of view.
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の外観図である。
Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is an external view of a
図１において、表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材から成る操作部である。電源スイッチ７２は、電源のオン、オフを切り替える。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。
In FIG. 1, the
図２は、デジタルカメラ１００の構成を示すブロック図である。図２において、撮影レンズ１０３（撮影光学系）はズームレンズ、フォーカスレンズを含むレンズ群を有し、被写体像を結像させる。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子と、ＡＦ評価値検出部２３とを有する。撮像素子は、二次元状に配置された画素のそれぞれが複数の光電変換領域を有する。そして、各画素内で同じ位置に存在する光電変換領域群の出力から１つの視点の画像がそれぞれ形成されるため、１つの撮像素子で視点の異なる複数の視差画像を取得することができる。また、同時に画素ごとに複数の光電変換領域の出力を加算することで、各画素が１つの光電変換領域を有する通常の撮像素子で得られる撮像画像を取得することができる。
FIG. 2 is a block diagram showing the configuration of the
本実施形態では、各画素が独立した２つの光電変換領域（フォトダイオード）Ａ，Ｂを有して構成されている。光電変換領域Ａの出力と、光電変換領域Ｂの出力とをそれぞれ独立した画像として取得することにより、２つの視差画像Ａ，Ｂを取得することができる。また、光電変換領域ＡとＢの出力を画素ごとに加算することにより、通常の撮像画像を取得することができる。なお、撮像画像は、例えば後述する画像処理部２４でそれぞれの画素の複数の光電変換部の信号を加算合成して得られる例について説明するが、撮像部２２で加算合成を行って取得してもよい。このように、視差画像Ａ，Ｂと撮像画像は一度の撮影（露光）で取得できる。
In this embodiment, each pixel has two independent photoelectric conversion regions (photodiodes) A and B. By acquiring the output of the photoelectric conversion region A and the output of the photoelectric conversion region B as independent images, the two parallax images A and B can be acquired. Further, by adding the outputs of the photoelectric conversion regions A and B for each pixel, a normal captured image can be acquired. An example in which the captured image is obtained by adding and synthesizing the signals of a plurality of photoelectric conversion units of each pixel by the
なお、本実施形態の説明においては２つの視差画像を同時に取得する場合について説明するが、撮像面近傍に入射する光束をより多数の画素（例えば３×３画素）で受光してより多くの視差画像を同時に取得する構成であってもよい。また撮像部２２はＡ／Ｄ変換処理機能を備えている。
In the description of the present embodiment, the case where two parallax images are acquired at the same time will be described, but the light flux incident on the vicinity of the imaging surface is received by a larger number of pixels (for example, 3 × 3 pixels) to receive more parallax. The configuration may be such that images are acquired at the same time. Further, the
ＡＦ評価値検出部（焦点検出部）２３ではデジタル画像信号から得られるコントラスト情報や視差画像から得られる位相差からＡＦ評価値（焦点状態）を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。ストロボ９０は、撮影時に発光させることにより低照度シーンでの撮影や逆光シーンでの撮影時に照度を補うことができる。
The AF evaluation value detection unit (focus detection unit) 23 calculates the AF evaluation value (focus state) from the contrast information obtained from the digital image signal and the phase difference obtained from the parallax image, and the obtained AF evaluation value is used in the
画像処理部２４は、撮像部２２から出力される画像データ、又はメモリ制御部１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では被写体の距離情報を取得することができる。入力した２つの視差画像から位相差を検出することで被写体までの距離を取得し、撮像部２２から被写体までの距離情報を画素ごとに取得することが可能である。さらに、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また画像処理部２４ではＡＦ（オートフォーカス）処理が行われるが、このとき撮像部２２に備えるＡＦ評価値検出部２３の出力が用いられることもある。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。また、画像処理部２４では、複数回の撮像により得られた複数枚の画像を合成する処理を行い、パノラマ画像の生成も行う。
The
撮像部２２の出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、表示部２８が電子ビューファインダとして機能し、スルー画像表示を行うことができる。
The output data of the
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態において後述するフローチャートを実行するためのプログラムのことである。
The
システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。
The
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６３、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
The
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード、パノラマ撮影モード等がある。モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
The
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。
The
第２シャッタースイッチ６３は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
The
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
Each operation member of the
電源制御部４１は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部４１は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
The power
電源部４０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉイオン電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
The
検出部８０は、ジャイロセンサやその他のセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパンニング撮影時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。
The
図３は撮像部２２に含まれる撮像素子２２ａの１画素の構成を概略的に示した図である。３０１は画素を表す。１つの画素は、マイクロレンズ３０２を有する。また一つの画素は、複数の光電変換領域としての複数のフォトダイオード（以下、ＰＤ）を有する。図３では、１つの画素が２つのＰＤ３０３，３０４を有する例を示しているが、２つ以上であれば個数に限定はない。
FIG. 3 is a diagram schematically showing the configuration of one pixel of the
図４は、撮影レンズ１０３の射出瞳４０６から出射した光束が撮像素子２２ａに入射する様子を概念的に示した図である。図４において、４０１は画素アレイの断面、３０２はマイクロレンズ、４０３はカラーフィルタ、３０３，３０４は図３に示したＰＤである。４０６は撮影レンズ１０３の射出瞳を示す。
FIG. 4 is a diagram conceptually showing how the luminous flux emitted from the
ここではマイクロレンズ３０２を有する画素に対して、射出瞳４０６から出射した光束の中心を光軸４０９とする。射出瞳４０６から出射した光は光軸４０９を中心として撮像素子２２ａに入射される。４０７，４０８は撮影レンズ１０３の射出瞳の一部領域を示す。射出瞳４０６の一部領域４０７を通過する光の最外周の光線を４１０，４１１で示し、射出瞳の一部領域４０８を通過する光の最外周の光線を４１２，４１３で示す。
Here, with respect to the pixel having the
図４からわかるように、射出瞳４０６から出射する光束のうち、光軸４０９を境にして、上側の光束はＰＤ３０４に入射し、下側の光束はＰＤ３０３に入射する。つまり、ＰＤ３０３，３０４はそれぞれ撮影レンズ１０３の射出瞳４０６の異なる領域の光を受光している。ここでＰＤ３０３で受光した信号をＡ像、ＰＤ３０４で受光した信号をＢ像とすると、Ａ像とＢ像の対の信号の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。
As can be seen from FIG. 4, of the luminous flux emitted from the
次にパンニングによるパノラマ画像の撮影方法とその画像合成方法の詳細について、図５、図６を用いて説明する。 Next, the details of the panoramic image capturing method and the image composition method by panning will be described with reference to FIGS. 5 and 6.
図５の間隔の広い斜線のハッチング領域は画像データの切り抜き領域を示し、狭い斜線のハッチング領域は次の撮影時のフォーカス位置を決定するための距離情報評価領域を示し、黒く塗りつぶされた矢印はパンニングの方向を示す。 The hatched areas with wide diagonal lines in FIG. 5 indicate the cropped areas of image data, the hatched areas with narrow diagonal lines indicate the distance information evaluation area for determining the focus position at the next shooting, and the arrows filled in black indicate the distance information evaluation area. Indicates the direction of panning.
図５（ａ）は、撮像素子２２ａの有効画像領域を示しており、Ｗvが水平方向の有効画素数で、Ｈvが垂直方向の有効画素数である。図５（ｂ）は、画像データの切り抜き領域を示しており、Ｗcropが水平方向の切り抜き画素数で、Ｈcropが垂直方向の切り抜き画素数である。図５（ｃ）は右方向に、図５（ｄ）は左方向に、図５（ｅ）は上方向に、図５（ｆ）は下方向にパンニングした場合の画像の切り抜き領域および距離情報評価領域を示している。右または左方向にパンニングした場合の水平方向の画像データの切り抜きは、Ｗv＞Ｗcropとし、垂直方向の画像データの切り抜きは、Ｈv＝Ｈcropとする。上または下方向にパンニングした場合の水平方向の画像データの切り抜きは、Ｗv＝Ｗcropとし、垂直方向の画像データの切り抜きは、Ｈv＞Ｈcropとする。
FIG. 5A shows an effective image region of the
撮影した画像データの切り抜き領域は、画像データ毎に異なる大きさの切り抜き領域としてもよい。また、パンニング開始時とパンニング終了時の画像データは、画角を広くするために切り抜き領域を広くしてもよい。画像データの切り抜き領域の決定方法は、例えば撮影直後のカメラの角度と１フレーム前のカメラの角度の差などにより決定する。このように画像データを切り抜いてパノラマ合成処理に必要な画像データ領域を保存することで、メモリ容量を節約することができる。 The cut-out area of the captured image data may be a cut-out area having a different size for each image data. Further, the image data at the start of panning and at the end of panning may have a wide cutout area in order to widen the angle of view. The method of determining the cropped area of the image data is determined by, for example, the difference between the angle of the camera immediately after shooting and the angle of the camera one frame before. By cutting out the image data in this way and saving the image data area required for the panoramic composition processing, the memory capacity can be saved.
距離情報評価領域はパンニングの進行方向前方側かつ画像の切り抜き領域の外側の領域を含むように設定する。つまり、距離情報評価領域は図５（ｃ）のように右方向にパンニングした場合、画像の切り抜き領域の右側を含むように、図５（ｄ）のように左方向にパンニングした場合、画像の切り抜き領域の左側を含むようにする。また、図５（ｅ）のように上方向にパンニングした場合、画像の切り抜き領域の上側を含むように、図５（ｆ）のように下方向にパンニングした場合、画像の切り抜き領域の下側を含むようにする。このように、距離情報評価領域をパンニングの進行方向に応じて設定することで、次の撮影における画像データの切り抜き領域に含まれる被写体の距離情報に基づいてフォーカス位置を決定することができる。そして、被写界全体にピントの合ったパノラマ画像を生成することができる。 The distance information evaluation area is set so as to include an area on the front side in the panning traveling direction and outside the cropping area of the image. That is, when the distance information evaluation area is panned to the right as shown in FIG. 5 (c) and panned to the left as shown in FIG. 5 (d) so as to include the right side of the cropped area of the image, the image is displayed. Include the left side of the crop area. Further, when panning upward as shown in FIG. 5 (e), the upper side of the cropped area of the image is included, and when panning downward as shown in FIG. 5 (f), the lower side of the cropped area of the image is included. To include. By setting the distance information evaluation area according to the panning traveling direction in this way, the focus position can be determined based on the distance information of the subject included in the cutout area of the image data in the next shooting. Then, it is possible to generate a panoramic image in which the entire field of view is in focus.
次にパノラマ画像の合成方法について説明する。システム制御部５０は、パンニング撮影時に切り抜かれて保存された画像データをメモリ３２から読み出し、読み出した画像データに対応する画像間の位置ずれを検出する。位置ずれの検出は、切り抜き領域を任意のサイズの小ブロックに分割して、小ブロック毎に輝度のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる対応点を算出して動きベクトルを算出する方法等により行うことができる。なお、動きベクトルの算出は、検出部８０によって検出される角速度情報あるいは位置情報、姿勢情報等を用いて行ってもよいし、両方の情報を総合して算出するようにしてもよい。続いて、システム制御部５０は、隣り合う切り抜き領域の画像間で算出した動きベクトルに基づいて、切り抜き領域の画像間の位置ずれを補正し、切り抜き領域の画像間の重複部を加重加算等により合成する。
Next, a method of synthesizing panoramic images will be described. The
図６は、本実施形態における合成処理の流れと、画像データとの対応関係を示す図である。図６の６０１，６０２は、被写界にある近距離の被写体（家および木）を、６０３は遠距離の被写体（並木）を示す。また、図５と同様に、広い斜線のハッチング領域は画像データの切り抜き領域を示し、狭い斜線のハッチング領域は次の撮影時のフォーカス位置を決定するための距離情報評価領域を示し、黒く塗りつぶされた矢印はパンニングの方向を示す。さらに、大きいドットで示された領域はピントの合っている領域、小さいドットで示された領域はピントの合っていない領域を模式的に表す。 FIG. 6 is a diagram showing a correspondence relationship between the flow of the synthesis process in the present embodiment and the image data. 601 and 602 in FIG. 6 show short-distance subjects (houses and trees) in the field of view, and 603 shows long-distance subjects (row of trees). Further, as in FIG. 5, the hatched area with wide diagonal lines indicates the cutout area of the image data, and the hatched area with narrow diagonal lines indicates the distance information evaluation area for determining the focus position at the time of the next shooting, and is filled in black. The arrow indicates the direction of panning. Further, the region indicated by the large dot schematically represents the in-focus region, and the region indicated by the small dot schematically represents the out-of-focus region.
図６（ａ）は、第１シャッタースイッチ６２および第２シャッタースイッチ６３が押された場所とする。ユーザは、合成しようとしているパノラマ画像の一方の端に被写界を設定している。図６（ｂ）、図６（ｃ）は、合成しようとしているパノラマ画像の他方の端に向けてデジタルカメラ１００をパンニングさせながら、連続撮影を行っている状態を模式的に示している。図６（ｂ）においては、近距離の被写体６０１，６０２にピントが合っている状態で撮影が行われる。このとき、パンニングの進行方向、つまり画像データの切り抜き領域の右側の距離情報評価領域における距離情報から、次の撮影での画像データの切り抜き領域の被写体の距離を判定する。図６（ｂ）では、距離情報評価領域、つまり、次の撮影での画像データの切り抜き領域の被写体が遠距離の被写体６０３であるため、遠距離の被写体６０３にピントを合わせて、図６（ｃ）においては、遠距離の被写体６０３にピントが合っている状態で撮影が行われる。図６（ｄ）は、設定された角度までデジタルカメラ１００のパンニングが行われ、連続撮影が終了した状態を示している。図６（ｆ）は、撮影された複数の画像（静止画）から合成されたパノラマ画像を示している。
FIG. 6A is a place where the
このように、撮影時にパンニングの進行方向に位置する距離情報評価領域における距離情報に基づき、次の撮影時のフォーカス位置を決定することで、被写界全体にピントの合ったパノラマ画像を生成することができる。 In this way, by determining the focus position at the time of the next shooting based on the distance information in the distance information evaluation area located in the traveling direction of panning at the time of shooting, a panoramic image in focus over the entire field of view is generated. be able to.
図７は、本実施形態の処理の流れを示すフローチャートである。ユーザがモード切替スイッチ６０によりパノラマ撮影モードを選択した場合に図７の処理が実行される。図７の各ステップの処理は、システム制御部５０が、不揮発性メモリ５６から読み出した所定のプログラムをシステムメモリ５２上に展開し、デジタルカメラ１００を構成する各部の動作や処理を制御することによって実現される。
FIG. 7 is a flowchart showing the processing flow of the present embodiment. When the user selects the panoramic shooting mode with the
ステップＳ１０１において、システム制御部５０は、操作部７０が操作されたことによってパンニング条件設定ボタンが押下されたか否かを判定する。なお、パンニング条件設定ボタンは、操作部７０により実現される機能ボタンの１つである。システム制御部５０は、パンニング条件設定ボタンが押下された場合（Ｓ１０１でＹＥＳ）、処理をステップＳ１０２へ進め、パンニング条件設定ボタンが押下されない場合（Ｓ１０１でＮＯ）、処理をステップＳ１０３へ進める。
In step S101, the
システム制御部５０は、ステップＳ１０２においてユーザによるパンニング撮影の撮影条件（パンニングの方向や角度、ＡＦの固定／追従（焦点設定））の変更を受け付け、受け付けた条件を不揮発性メモリ５６に記憶し、その後、処理をステップＳ１０３へ進める。なお、パンニング条件設定ボタンが押下されなかった場合であって、パンニング撮影を初めて行う場合には、デフォルトの設定条件が適用される。
The
ステップＳ１０３においてシステム制御部５０は、シャッターボタン６１の第１シャッタースイッチ６２がオンした否か（第１シャッタースイッチ信号ＳＷ１が発生したか否か）を判定する。システム制御部５０は、第１シャッタースイッチ６２がオンした場合（Ｓ１０３でＹＥＳ）、処理をステップＳ１０４へ進め、第１シャッタースイッチ６２がオンしていない場合（Ｓ１０３でＮＯ）、処理をステップＳ１０１へ戻す。
In step S103, the
ステップＳ１０４においてシステム制御部５０は、ＡＥ処理とＡＦ処理（自動焦点調節処理）を行う。続くステップＳ１０５においてシステム制御部５０は、ステップＳ１０４でのＡＥ処理結果に基づき撮影条件（露出、撮影感度、ＷＢ等）を決定する。なお、後のステップＳ１０９では、ステップＳ１０２においてＡＦの固定設定がなされていた場合、ステップＳ１０４のＡＦ処理で被写体にフォーカスを合わせたときのレンズ位置に撮影レンズ１０３が固定された状態で撮影が行われる。
In step S104, the
次に、ステップＳ１０６においてシステム制御部５０は、第２シャッタースイッチ６３がオンしたか否か（第２シャッタースイッチ信号ＳＷ２が発生したか否か）を判定する。システム制御部５０は、第２シャッタースイッチ６３がオンしない場合（Ｓ１０６でＮＯ）、処理をステップＳ１０７へ進め、第２シャッタースイッチ６３がオンした場合（Ｓ１０６でＹＥＳ）、処理をステップＳ１０８へ進める。
Next, in step S106, the
ステップＳ１０７においてシステム制御部５０は、第１シャッタースイッチ６２がオンされたままか否かを判定する。システム制御部５０は、第１シャッタースイッチ６２がオンしたままの場合（Ｓ１０７でＹＥＳ）、ステップＳ１０６に戻りステップＳ１０６で第２シャッタースイッチ６３がオンされるまで繰り返す。第１シャッタースイッチ６２がオフされていた場合（Ｓ１０７でＮＯ）、ステップＳ１０１に戻る。
In step S107, the
ステップＳ１０８においてシステム制御部５０は、デジタルカメラ１００の各部を制御して撮影処理（１枚の画像の撮影）を実行する。その際、撮像画像と同時に視差画像Ａ，Ｂを一度の撮影（露光）で取得し、メモリ３２に保存する。
In step S108, the
そして、ステップＳ１０９においてシステム制御部５０は、撮影された画像データを画像処理部２４によりパンニングの方向に応じて短冊状に切り抜き、逐次、合成することによりパノラマ画像を合成する。このとき、各回の撮影が行われる度に、前回までの撮影によって得られた合成画像の端部に、今回の撮影で得られた画像から切り抜いた短冊状の切り抜き領域の画像を付加するように合成することにより、パノラマ画像を合成していく。
Then, in step S109, the
この際、前回の撮影後にフォーカス移動があったか否かに応じて、合成処理における画像間の位置ずれの検出方法を変更するようにしてもよい。前回の撮影後にフォーカス移動がなかった、つまり、前回の撮影からフォーカス位置が変わってない場合、合成処理における画像間の位置ずれの検出を輝度のＳＡＤに基づき算出した動きベクトルを用いて行う。一方、前回の撮影後にフォーカス移動があった、つまり、前回の撮影からフォーカス位置が変わった場合、検出部８０によって検出される角速度情報に基づき算出した動きベクトルを用いて行う。このようにすることで、撮影間でフォーカス移動があった、つまり、ピントの変動がある場合には、画像間の位置ずれの検出を信頼度の低下する画像情報からではなく、検出部８０によって検出される情報を用いて行うことができる。こうして合成されるパノラマ画像の画像データは、メモリ３２に保存される。
At this time, the method of detecting the positional deviation between the images in the compositing process may be changed depending on whether or not the focus has been moved since the previous shooting. If there is no focus movement after the previous shooting, that is, the focus position has not changed since the previous shooting, the position shift between the images in the compositing process is detected using the motion vector calculated based on the luminance SAD. On the other hand, when the focus is moved after the previous shooting, that is, when the focus position is changed from the previous shooting, the motion vector calculated based on the angular velocity information detected by the
次に、ステップＳ１１０においてシステム制御部５０は、デジタルカメラ１００のパンニングの方向の角度（以下「カメラ角度」という）を検出する。続いて、ステップＳ１１１においてシステム制御部５０は、ステップＳ１１０で検出したカメラ角度から、デジタルカメラ１００のパンニング角度を算出する。具体的には、撮影時のカメラ角度と１フレーム前の撮影時のカメラ角度から撮影間の角度変化量を求め、それをパンニング角度とする。
Next, in step S110, the
次に、ステップＳ１１２においてシステム制御部５０は、ステップＳ１１１で算出したデジタルカメラ１００のパンニング角度が閾値以上か否かを判定する。システム制御部５０は、デジタルカメラ１００のパンニング角度が閾値以上と判定した場合（Ｓ１１２でＹＥＳ）、処理をステップＳ１１３へ進め、パンニング角度が閾値未満と判定した場合（Ｓ１０６でＮＯ）、処理をステップＳ１１４へ進める。なお、パンニング角度の閾値は、連続した画像間で画像データの切り抜き領域、すなわちパノラマ画像の合成に用いられる領域の重複部分が十分確保できるような角度になるよう、撮影間隔や焦点距離に応じて決定する。
Next, in step S112, the
システム制御部５０は、デジタルカメラ１００のパンニング角度が閾値以上と判定した場合（Ｓ１１２でＹＥＳ）、ステップＳ１１３において表示部２８にゆっくりパンニングするように警告するメッセージを表示する。このようにすることで、画像の合成に失敗しない条件で撮影するようユーザに報知することができる。つまり、連続した画像間で画像データの切り抜き領域、すなわちパノラマ画像の合成に用いられる領域の重複部分が少なくなり、画像の合成に失敗することを防ぐことができる。またその際、ステップＳ１０２で設定した撮影条件のＡＦ設定がＡＦ追従設定かＡＦ固定設定かに応じて閾値を変えるようにする。具体的には、ステップＳ１１２におけるパンニング角度の閾値を、ＡＦ追従設定にはＡＦ固定設定時より小さくなるようにする。このようにすることで、ＡＦ追従設定時にも、ＡＦ固定設定時に比べて画像の合成に失敗することが多くならないように、画像の合成に失敗しない条件で撮影するようユーザに報知することができる。つまり、ＡＦ追従設定時は、次の撮影におけるフォーカス位置の決定やフォーカスレンズ移動処理の分、ＡＦ固定設定時に比べて撮影間隔が長くなる。そのため、同じパンニング速度でも撮影間のパンニング角度が大きくなり、画像の合成に失敗しやすくなる。これをユーザに報知することにより、画像の合成に失敗することを防ぐことができる。また、撮影間でのフォーカス移動量つまりピント変動量が大きくなり、画像の合成に失敗することも防ぐことができる。
When the
次に、ステップＳ１１４においてシステム制御部５０は、ステップＳ１０２で設定した撮影条件のＡＦ設定がＡＦ追従設定か否かを判定する。システム制御部５０は、ＡＦ設定がＡＦ追従設定であった場合（Ｓ１１４でＹＥＳ）、処理をステップＳ１１５へ進め、ＡＦ設定がＡＦ固定設定であった場合（Ｓ１１４でＮＯ）、処理をステップＳ１２０へ進める。
Next, in step S114, the
ステップＳ１１５においてシステム制御部５０は、ステップＳ１０８で撮影した視差画像Ａ，Ｂを用いて、画像処理部２４で被写体の距離情報を取得する。具体的には、入力した２つの視差画像から位相差を検出することで被写体までの距離を取得し、撮像部から被写体までの距離情報を画素ごとに取得する。
In step S115, the
次に、ステップＳ１１６においてシステム制御部５０は、ステップＳ１１５で取得した被写体の距離情報に基づき次の撮影におけるフォーカス位置を決定する。ここで、次の撮影におけるフォーカス位置を決定するために距離情報を評価する領域として、図５、図６を用いて前述したように、パンニングの進行方向に応じた領域を設定する。また、フォーカス位置は、撮影間のパンニング角度変動量、すなわちパンニング速度とステップＳ１１５で取得した被写体の距離情報に基づき決定する。具体的には、ピントを合わせたい被写体がパノラマ画像の合成に用いられる画像データの切り抜き領域に入っている度合いに応じて、１回の撮影におけるフォーカス移動量を決定する。つまり、パンニング速度が遅い場合には、パンニング速度が速い場合に比べて、ピントを合わせたい被写体が画像データの切り抜き領域内に捉えられるまでの撮影回数が多くなり、１回の撮影におけるフォーカス移動量を小さくできる。このようにすることで、パンニングしながらの連続撮影において所望の被写体にＡＦ追従が可能となり、被写界全体にピントの合ったパノラマ画像を生成することができる。
Next, in step S116, the
ステップＳ１１７においてシステム制御部５０は、ステップＳ１１６で決定した次の撮影におけるフォーカス位置へのフォーカス移動量が閾値以上であるか否かを判定する。システム制御部５０は、フォーカス移動量が閾値以上であると判定した場合（Ｓ１１７でＹＥＳ）、処理をステップＳ１１８へ進め、フォーカス移動量が閾値未満であると判定した場合（Ｓ１１７でＮＯ）、処理をステップＳ１１９へ進める。
In step S117, the
システム制御部５０は、次の撮影におけるフォーカス位置へのフォーカス移動量が閾値以上と判定した場合（Ｓ１１７でＹＥＳ）、ステップＳ１１８において表示部２８にゆっくりパンニングするように警告するメッセージを表示する。ここでは、警告メッセージを表示する例について説明したが、次の撮影までの間隔を短くするように制御してもよい。つまり、撮影間隔を短くすることで、相対的にパンニング速度が遅くでき、１回の撮影におけるフォーカス移動量を小さくできるようにしてもよい。
When the
ステップＳ１１９においてシステム制御部５０は、ステップＳ１１６で決定した次の撮影におけるフォーカス位置へ、撮影レンズ１０３に含まれるフォーカスレンズを移動させる。
In step S119, the
ステップＳ１２０においてシステム制御部５０は、ステップＳ１１０で検出したカメラ角度が、パンニング終了角度であるか否かを判定する。システム制御部５０は、カメラ角度がパンニング終了角度である場合（Ｓ１２０でＹＥＳ）、本フローの処理を終了させ、カメラ角度がパンニング終了角度でない場合（Ｓ１２０でＮＯ）、処理をステップＳ１２１へ進める。なお、ステップＳ１２０の判定がＹＥＳとなることで、所望するパノラマ画像が得られたことになる。
In step S120, the
ステップＳ１２１においてシステム制御部５０は、ステップＳ１１０で検出したカメラ角度からパンニングが終了されたか否かを判定する。具体的には、撮影時のデジタルカメラ１００の角度と１フレーム前の撮影時のデジタルカメラ１００の角度とを比較し、パンニングの方向に角度が増加しているか否かを判定することにより行う。その結果、パンニングの方向に角度が増加していない場合には、パンニング終了と判定される。
In step S121, the
システム制御部５０は、パンニングが終了されたと判定した場合（Ｓ１２１でＹＥＳ）、処理をステップＳ１２２へ進め、ステップＳ１２２において表示部２８に撮影が失敗したことを示す通知を表示し、本フローの処理は終了となる。システム制御部５０は、パンニングが終了されていないと判定した場合（Ｓ１２１でＮＯ）、処理をステップＳ１０８へ戻す。これにより、ステップＳ１０８〜Ｓ１２０の処理が撮影終了まで繰り返されることで、パンニングしながらの連続撮影が行われる。
When the
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the gist thereof.
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
(Other embodiments)
The present invention also supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads the program. It can also be realized by the processing to be executed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
２２：撮像部、２３：ＡＦ評価値検出部、２４：画像処理部、２８：表示部、３２：メモリ、５０：システム制御部、５２：システムメモリ、８０：検出部、１００：デジタルカメラ、１０３：撮影レンズ 22: Imaging unit, 23: AF evaluation value detection unit, 24: Image processing unit, 28: Display unit, 32: Memory, 50: System control unit, 52: System memory, 80: Detection unit, 100: Digital camera, 103 : Shooting lens
Claims (12)
前記撮像手段により撮像された画像に基づいて、撮影光学系の焦点状態を検出する焦点検出手段と、
前記焦点検出手段により検出された焦点状態に基づいて、前記撮影光学系の焦点を調節する焦点調節手段と、
撮像装置をパンニングさせながら前記撮像手段により複数回の撮像を行って得られた複数の画像のそれぞれから一部領域を切り出して、前記複数の画像のそれぞれの一部領域を合成してパノラマ画像を生成する生成手段と、
前記撮像装置をパンニングさせるときに、前記それぞれの画像の前記一部領域よりも前記パンニングの進行方向前方側に前記焦点検出手段による焦点の評価領域を設定する設定手段と、
前記複数回の撮像のうちの連続する２つの撮像の間の前記焦点調節手段による焦点調節の移動量が所定の閾値以上である場合に、ユーザに前記パンニングの速度を遅くするように警告する警告手段と、
を備えることを特徴とする撮像装置。 An imaging means for capturing a subject image and
A focus detecting means for detecting the focal state of the photographing optical system based on the image captured by the imaging means, and
A focus adjusting means for adjusting the focus of the photographing optical system based on the focus state detected by the focus detecting means, and
A panoramic image is obtained by cutting out a part of a region from each of a plurality of images obtained by performing multiple imagings by the imaging means while panning the imaging apparatus, and synthesizing a part of each region of the plurality of images. The generation means to generate and
When the image pickup device is panned, a setting means for setting a focus evaluation region by the focus detection means on the front side in the traveling direction of the panning with respect to the partial region of each image, and a setting means.
A warning to warn the user to slow down the panning when the amount of movement of the focus adjustment by the focus adjustment means between two consecutive imagings of the plurality of imagings is equal to or greater than a predetermined threshold value. Means and
An imaging device characterized by comprising.
撮像装置をパンニングさせながら前記撮像手段により複数回の撮像を行って得られた複数の画像のそれぞれから一部領域を切り出して、前記複数の画像のそれぞれの一部領域を合成してパノラマ画像を生成する生成工程と、
前記撮像装置をパンニングさせるときに、前記それぞれの画像の前記一部領域よりも前記パンニングの進行方向前方側に前記焦点検出手段による焦点の評価領域を設定する設定工程と、
前記複数回の撮像のうちの連続する２つの撮像の間の前記焦点調節手段による焦点調節の移動量が所定の閾値以上である場合に、ユーザに前記パンニングの速度を遅くするように警告する警告工程と、
を有することを特徴とする撮像装置の制御方法。 The imaging means for capturing a subject image, the focus detecting means for detecting the focal state of the photographing optical system based on the image captured by the imaging means, and the focal state detected by the focal detecting means. A method of controlling an imaging device including a focus adjusting means for adjusting the focus of a photographing optical system.
A panoramic image is obtained by cutting out a part of a region from each of a plurality of images obtained by performing multiple imagings by the imaging means while panning the image pickup apparatus, and synthesizing a part of each region of the plurality of images. The generation process to generate and
When the image pickup device is panned, a setting step of setting a focus evaluation region by the focus detecting means on the front side in the traveling direction of the panning with respect to the partial region of each image, and a setting step.
A warning to warn the user to slow down the panning when the amount of movement of the focus adjustment by the focus adjustment means between two consecutive imagings of the plurality of imagings is equal to or greater than a predetermined threshold value. Process and
A method for controlling an imaging device, which comprises.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017074750A JP6858059B2 (en) | 2017-04-04 | 2017-04-04 | Imaging device and its control method, program, storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017074750A JP6858059B2 (en) | 2017-04-04 | 2017-04-04 | Imaging device and its control method, program, storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018180063A JP2018180063A (en) | 2018-11-15 |
| JP6858059B2 true JP6858059B2 (en) | 2021-04-14 |
Family
ID=64275188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017074750A Active JP6858059B2 (en) | 2017-04-04 | 2017-04-04 | Imaging device and its control method, program, storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6858059B2 (en) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02139529A (en) * | 1989-09-13 | 1990-05-29 | Olympus Optical Co Ltd | Focus adjusting device |
| JP2000305207A (en) * | 1999-04-21 | 2000-11-02 | Canon Inc | Electronic still camera |
| JP2009232275A (en) * | 2008-03-24 | 2009-10-08 | Olympus Imaging Corp | Image pickup device |
| JP2011193285A (en) * | 2010-03-15 | 2011-09-29 | Fujifilm Corp | Imaging apparatus |
| JP2011259245A (en) * | 2010-06-09 | 2011-12-22 | Fujifilm Corp | Imaging device and imaging method |
| JP5656507B2 (en) * | 2010-08-19 | 2015-01-21 | キヤノン株式会社 | Shooting system |
| JP6124700B2 (en) * | 2012-07-27 | 2017-05-10 | キヤノン株式会社 | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM |
| JP2014066959A (en) * | 2012-09-27 | 2014-04-17 | Xacti Corp | Imaging apparatus |
| JP2014215550A (en) * | 2013-04-26 | 2014-11-17 | キヤノン株式会社 | Imaging device and control method of the same, program, and recording medium |
| JP2015106116A (en) * | 2013-12-02 | 2015-06-08 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Imaging apparatus |
-
2017
- 2017-04-04 JP JP2017074750A patent/JP6858059B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018180063A (en) | 2018-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5779959B2 (en) | Imaging device | |
| JP5450200B2 (en) | Imaging apparatus, method and program | |
| JP5676988B2 (en) | Focus adjustment device | |
| JP2013013050A (en) | Imaging apparatus and display method using imaging apparatus | |
| US10530986B2 (en) | Image capturing apparatus, image capturing method, and storage medium | |
| JP6584059B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP5051812B2 (en) | Imaging apparatus, focusing method thereof, and recording medium | |
| US10477101B2 (en) | Focus detection apparatus, control method and storage medium | |
| JP6833801B2 (en) | Imaging equipment, imaging methods, programs and recording media | |
| US11245846B2 (en) | Image capturing control apparatus and control method therefor | |
| US11240423B2 (en) | Display control apparatus, method of controlling the same, image capturing apparatus, and storage medium | |
| CN107800956B (en) | Image pickup apparatus, control method, and storage medium | |
| JP2012019343A (en) | Imaging device, control method thereof, and program | |
| JP6858059B2 (en) | Imaging device and its control method, program, storage medium | |
| JP7129864B2 (en) | Imaging device and its control method | |
| JP2020141351A (en) | Imaging apparatus | |
| US10536632B2 (en) | Imaging apparatus, control method, and non-transitory storage medium | |
| US10321042B2 (en) | Imaging apparatus and method for controlling the same for focus detection using focus detection area based on defocus amount | |
| CN107666571B (en) | Image pickup apparatus having focus detection technology, control method therefor, and storage medium | |
| JP2023092144A (en) | Imaging apparatus, imaging method, program, and recording medium | |
| JP2023092143A (en) | Image processing device, imaging apparatus, image processing method, program, and recording medium | |
| JP2022150647A (en) | Image processing device, image processing method, imaging apparatus, program, and recording medium | |
| JP2023086270A (en) | Image processing device, image processing method, imaging apparatus, program, and recording medium | |
| JP5333949B2 (en) | Imaging device | |
| JP2021016128A (en) | Imaging apparatus, imaging method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201127 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210323 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6858059 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |