JP6486051B2 - 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

発光制御装置、その制御方法、および制御プログラム、並びに撮像装置 Download PDF

Info

Publication number
JP6486051B2
JP6486051B2 JP2014198502A JP2014198502A JP6486051B2 JP 6486051 B2 JP6486051 B2 JP 6486051B2 JP 2014198502 A JP2014198502 A JP 2014198502A JP 2014198502 A JP2014198502 A JP 2014198502A JP 6486051 B2 JP6486051 B2 JP 6486051B2
Authority
JP
Japan
Prior art keywords
image
light
light emission
luminance
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014198502A
Other languages
English (en)
Other versions
JP2016071042A (ja
Inventor
貴史 影山
貴史 影山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014198502A priority Critical patent/JP6486051B2/ja
Priority to US14/859,696 priority patent/US9692981B2/en
Publication of JP2016071042A publication Critical patent/JP2016071042A/ja
Application granted granted Critical
Publication of JP6486051B2 publication Critical patent/JP6486051B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H01L27/14614Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor having a special gate structure
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、発光制御装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、撮像装置で用いられるストロボなどの発光装置の発光制御に関する。
一般に、デジタルカメラなどの撮像装置において、ストロボなどの発光装置が搭載されたものがある。さらには、撮像装置から離れた位置に発光装置を配置して、例えば、ワイヤレス制御によって発光装置を制御して撮影を行うようにしたものもある。
また、CMOSイメージセンサなどの撮像センサにおいては、そのS/N特性が向上しているので、暗い撮影シーンなどにおける撮影に対する耐性は高まっているものの、発光装置による照射光量(発光量)を精度よく制御する必要がある。
発光量を精度よく制御するためには、明るさを適正に制御すべき主被写体を正確に抽出することが必要である。例えば、被写界からの反射光を複数の領域に分割して測光して得られた複数の測光出力について、調光に寄与する比率を焦点に関する情報に応じて演算して調光を行うようにしたものがある(特許文献1参照)。
一方、撮像装置に搭載される撮像センサには、1つのマイクロレンズ(ML)に対して複数の画素を対応させて瞳分離(瞳分割)された複数の画像信号を得るようにしたものがある。そして、この種の撮像装置では、当該画像信号に応じて位相差AF制御を行うようにしている。
このような撮像センサを搭載した撮像装置においては、発光装置を発光させて撮影(ストロボ撮影)を行う際、発光量を精度よく制御するため位相差AF制御で用いる情報を活用することができる。
例えば、一対の画像信号(つまり、位相差画像)を用いて画像の領域毎の距離分布を得て、当該距離分布を用いて発光における配光ムラを取り除くようにしたものがある。
特開平4−355733号公報
ところで、ストロボ撮影による撮影効果の一つとして、所謂「動く被写体を止める」効果がある。低照度下において被写体を適正輝度で撮影する際、発光装置によって強い光を短時間(数10〜数100マイクロ秒オーダー)照射すると、被写体を止めて、手振れおよび被写体ぶれの少ない画像を得ることができる。
動く被写体に対して発光量を精度よく制御するためには、当該動く被写体を正確に抽出することが必要となる。このためには、焦点に関する情報を用いることは有用である。
しかしながら、上述の特許文献1に記載の発光制御では、発光制御のための測光とは別に焦点に関する情報を得る必要がある。このため、動く被写体を撮影する際には、撮影する時点における被写体の位置と、発光制御に用いる焦点に関する情報との間に時間的なずれによる不整合が生じてしまう。
そこで、本発明の目的は、動く被写体であっても、発光制御のための測光の時点で被写体に係る焦点に関する情報を得て、精度よく被写体を抽出して発光量を適切に制御することのできる発光制御装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。
上記の目的を達成するため、本発明による発光制御装置は、被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置であって、前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出手段と、前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算手段と、前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択手段と、前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御手段と、を有することを特徴とする。
本発明による撮像装置は、1つのマイクロレンズに対して複数の画素が対応づけられて前記複数の画素が瞳分割された撮像素子を有する撮像手段と、上記の発光制御装置と、前記発光制御装置による発光制御を行って、前記撮像手段で得られた画像に対して所定の画像処理を行う画像処理手段と、前記画像処理手段の出力である画像データを記録する記録手段と、を有することを特徴とする。
本発明による制御方法は、被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置の制御方法であって、前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出ステップと、前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算ステップと、前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択ステップと、前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御ステップと、を有することを特徴とする。
本発明による制御プログラムは、被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置で用いられる制御プログラムであって、前記発光制御装置が備えるコンピュータに、前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出ステップと、前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算ステップと、前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択ステップと、前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御ステップと、を実行させることを特徴とする。
本発明によれば、焦点整合情報に応じて調光対象領域候補から調光を行うべき調光対象領域を選択して、当該調光対象領域における輝度が所定の輝度となるように、撮影の際の発光量を制御する。これによって、動く被写体であっても、発光制御のための測光の時点で被写体に係る焦点に関する情報を得て、精度よく被写体を抽出して発光量を適切に制御することができる。
本発明の実施の形態による発光制御装置を備える撮像装置の一例についてその構成を示すブロック図である。 図1に示す撮像部に備えられる撮像素子の構成を説明するための図であり、(a)はイメージセンサの第1の例を示す図、(b)はイメージセンサの第2の例を示す図、(c)はイメージセンサの第3の例を示す図である。 図2(a)に示すイメージセンサの断面を示す図であり、(a)は図2(a)に示すA−A’線に沿った断面図、(b)は図2(a)に示すB−B’線に沿った断面図である。 図2(a)に示すイメージセンサおよびその周辺の概略的な回路構成を示す図である。 図1に示すカメラで行われるストロボ発光を伴う撮影(ストロボ撮影)を説明するためのフローチャートである。 図5に示すストロボ撮影の流れを説明するためのタイミング図である。 図1に示すカメラで行われる被写体抽出の一例を説明するための図であり、(a)は撮影画角を示す図、(b)は(a)に示す画像においてブロック毎の輝度値を求めるためのブロック積分枠の一例を示す図、(c)は抽出された反射率優先の調光領域を示す図である。 図5に示す調光対象領域候補抽出の一例を説明するためのフローチャートである。 図5に示す焦点整合情報演算の一例を説明するための図である。 図5に示す調光対象領域の抽出を説明するための図である。
以下に、本発明の実施の形態による発光制御装置を備える撮像装置の一例について図面を参照して説明する。
図1は、本発明の実施の形態による発光制御装置を備える撮像装置の一例についてその構成を示すブロック図である。
図示の撮像装置は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)100であり、撮影レンズユニット(以下単に撮影レンズと呼ぶ)103aを有している。この撮影レンズ103aは、ズームレンズおよびフォーカスレンズを含むレンズ群である。撮影レンズ103aの後段にはシッター101が配置され、このシャッター101には絞り機能が備えられている。
シャッター101の後段には、撮像部22が配置されている。撮像部22は光学像(被写体像)を電気信号に変換するCCD又はCMOS素子などの撮像素子を備える撮像センサである。さらに、撮像部22にはA/D変換処理機能が備えられている。なお、撮像センサの構成については後述する。
バリア102は、撮影レンズ103aを含む撮像系を覆うことによって、撮影レンズ103a、シャッター101、および撮像部22を含む撮像系の汚れおよび破損を防止する。発光装置であるストロボ90は、撮影の際に選択的に発光制御されて、例えば、低照度の撮影シーン又は逆光シーンにおいて不足する照度を補って、被写体を照明する。
画像処理部24は、撮像部22の出力である画像データ、又はメモリ制御部15からの画像データに対して所定の画素補間および縮小処理などのリサイズ処理と色変換処理とを行う。また、画像処理部24は、撮影の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部50は、画像処理部24で得られた演算結果に基づいて露光制御および測距制御を行う。これによって、TTL(スルー・ザ・レンズ)方式のAE(自動露出)処理、EF(フラッシュ自動調光発光)処理が行われる。
さらに、画像処理部24はAF(オートフォーカス)処理を行うとともに、撮影の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
撮像部22の出力である画像データは、画像処理部24およびメモリ制御部15を介して、或いはメモリ制御部15を介してメモリ32に書き込まれる。メモリ32には、撮影の結果得られた画像データが格納されるとともに、表示部28に表示するための表示用画像データが格納される。なお、メモリ32は、所定枚数の静止画像、所定時間の動画像および音声を格納するための十分な記憶容量を備えている。また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。
D/A変換器13は、メモリ32に格納された表示用画像データをアナログ画像信号に変換して表示部28に送る。これによって、表示部28には表示用画像データに応じた画像が表示される。このようにして、メモリ32に格納された表示用画像データはD/A変換器13を介して表示部28に表示されることになる。なお、表示部28は、例えば、LCDである。
撮像部22で一度A/D変換されメモリ32に格納された画像データをD/A変換器13においてD/A変換して、表示部28に逐次転送して表示することによって、表示部28は電子ビューファインダとして機能し、スルー画像表示を行う。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであって、例えば、フラッシュメモリが用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数およびプログラムなどが記憶される。このプログラムとは、後述する各種フローチャートを実行するためのプログラムである。
システム制御部50は、カメラ100全体を制御する。システム制御部50は、前述の不揮発性メモリ56に記録されたプログラムを実行して、後述する各処理を行う。システムメモリ52は、例えば、RAMであり、システムメモリ52には、システム制御部50の動作用の定数、変数、および不揮発性メモリ56から読み出したプログラムなどが展開される。なお、システム制御部はメモリ32、D/A変換器13、および表示部28など制御して表示制御を行う。
システムタイマー53は各種制御に用いる時間および内蔵された時計の時間を計測する計時部である。モード切替スイッチ60、シャッターボタン61、および操作部70の各々はシステム制御部50に各種の動作指示を入力する際に用いられる。
モード切替スイッチ60は、システム制御部50の動作モードを、例えば、静止画記録モード、動画記録モード、および再生モードなどのいずれかに切り替える。静止画記録モードに含まれるモードとして、例えば、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、およびカスタムモードがある。
モード切り替えスイッチ60を用いれば、静止画撮影モードに含まれるモードのいずれかに直接切り替えることができる。また、モード切り替えスイッチ60を用いて静止画撮影モードに一旦切り換えた後、静止画撮影モードに含まれるモードのいずれかに他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれるようにしてもよい。
シャッターボタン61の操作途中、つまり、シャッターボタン61が半押し(撮影準備指示)されると、第1シャッタースイッチがオンとなって、第1シャッタースイッチ信号SW1がシステム制御部50に送られる。そして、第1シャッタースイッチ信号SW1に応答して、システム制御部50の制御下でAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ自動調光発光)処理などの動作が開始される。
シャッターボタン61の操作完了、つまり、シャッターボタン61が全押し(撮影指示)されると、第2シャッタースイッチがオンとなって第2シャッタースイッチ信号SW2がシステム制御部50に送られる。システム制御部50は、第2シャッタースイッチ信号SW2に応答して、撮像部22の信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70に備えられた各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどによって場面毎に適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタンがある。例えば、メニューボタンが押されると、各種の設定を行うためのメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンおよびSETボタンとを用いて直感的に各種設定を行うことができる。
操作部70には操作部材の一つとしてコントローラホイールが備えられており、このコントローラホイールは方向ボタンととともに選択項目を指示する際などに用いられる。
コントローラホイールを回転操作すると、当該操作量に応じて電気的なパルス信号が生成され、このパルス信号に基づいてシステム制御部50はカメラ100を制御する。そして、システム制御部50は当該パルス信号によって、コントローラホイールが回転操作された角度および回転数などを判定することができる。
なお、コントローラホイールは回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサからなる操作部材であってもよく、この場合には、コントローラホイール自体は回転せず、コントローラホイール上におけるユーザの指の回転動作などを検出する(所謂タッチホイール)。
電源制御部80は、電池検出回路、DC−DCコンバータ、および通電するブロックを切り替えるスイッチ回路などによって構成され、電池の装着の有無、電池の種類、および電池残量の検出を行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC−DCコンバータを制御して、必要な電圧を必要な期間、記録媒体200を含む各部に供給する。
電源部40は、アルカリ電池又はリチウム電池などの一次電池やNiCd電池、又はNiMH電池又はLi電池などの二次電池を有するとともに、ACアダプターなどを有している。記録媒体I/F18は、メモリカード(半導体メモリ)又はハードディスクなどの記録媒体200とのインターフェースである。記録媒体200には、撮影の結果得られた画像データが記録される。
図2は、図1に示す撮像部22に備えられる撮像素子(イメージセンサ)の構成を説明するための図である。そして、図2(a)はイメージセンサの第1の例を示す図であり、図2(b)はイメージセンサの第2の例を示す図である。また、図2(c)はイメージセンサの第3の例を示す図である。
図2(a)〜図2(c)においては、イメージセンサの模式的な平面図が示されており、ここでは、2行×2列の2次元エリアセンサが示されている。そして、当該イメージセンサには複数の光電変換素子αおよびβが形成されている。これら光電変換素子αおよびβにはそれぞれ異なる視点から得られる被写体像が結像される。
図3は、図2(a)に示すイメージセンサの断面を示す図である。そして、図3(a)は図2(a)に示すA−A’線に沿った断面図であり、図3(b)は図2(a)に示すB−B’線に沿った断面図である。
図3(a)および図3(b)においては、光電変換素子αおよびβを構成する部分にそれぞれ添字αおよびβを付すとともに、奇数行および偶数行にそれぞれ添字oおよびeを付す。
図3(a)および図3(b)を参照すると、基板にはp型ウェル117が形成されるとともに、n型領域125が形成されている。そして、n型領域125はp型ウェル117とともに光電荷を発生して蓄積する。フローティングディフュージョン部(以下FD部と呼ぶ)121にはn型領域125に蓄積された光電荷が転送される。表面p+層126はn型領域125に蓄積された光電荷をFD部121に効率よく転送するために光電荷を収集する。転送ゲート103はFD部121に光電荷を転送するためのゲートである。
また、基板にはゲート絶縁膜118であるSiO膜が形成され、n領域125に対応づけてそれぞれベイヤ配列のカラーフィルタ129が配置されている。そして、カラーフィルタ129の上側には光を集めるためのマイクロレンズ(ML)130が配置されている。
なお、ML130は撮影レンズ103aの瞳とイメージセンサに備えられた光電変換素子αおよびβとが互いに共役になる形状および位置に配置される(つまり、瞳分割されている)。また、領域101は光電荷を発生するための模式的な領域である。
リセット用MOSトランジスタ104はリセットパルスΦR0に応じてFD部121などをリセット電位(Vdd)にリセットする。ソースフォーロワアンプMOSトランジスタ105はFD部121に転送された光電荷に応じた増幅信号を出力する。水平選択スイッチMOSトランジスタ106はソースフォーロワアンプMOSトランジスタ105の出力である増幅信号を垂直出力線に読み出す。
なお、転送ゲート103は、制御パルスΦTXαe0およびΦTXαo0によってそれぞれ独立的に制御される。
図4は、図2(a)に示すイメージセンサおよびその周辺の概略的な回路構成を示す図である。
図4において、図3(a)および図3(b)に示す構成要素と同一の構成要素については同一の参照番号又は参照符号を付す。図示のように、垂直出力線にはソースフォーロワの負荷MOSトランジスタ107が接続されている。さらに、垂直出力線には暗出力転送MOSトランジスタ108が接続されるとともに、明出力転送MOSトランジスタ109が接続されている。そして、暗出力転送MOSトランジスタ108には暗出力蓄積容量(CTN)110が接続され、明出力転送MOSトランジスタ109には明出力蓄積容量(CTS)111が接続されている。
さらに、暗出力転送MOSトランジスタ108および明出力転送MOSトランジスタ109は、それぞれ水平転送MOSトランジスタ112を介して差動出力アンプ114に接続される。差動出力アンプ114に接続される水平出力線には水平出力線リセットMOSトランジスタ113が接続されており、水平走査回路115および垂直走査回路116は既知のように上記のトランジスタをオン/オフ制御して画像信号を読み出す。
図5は、図1に示すカメラで行われるストロボ発光を伴う撮影(ストロボ撮影)を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システム制御部50の制御下で行われる。
また、図6は、図5に示すストロボ撮影の流れを説明するためのタイミング図である。なお、図5に示すステップSと図6に示すタイミングBとは互いに対応している。
図5および図6を参照して、ここでは、シャッターボタン61が半押しされて、第1のシャッタースイッチがオンされると、前述のようにして、システム制御部50はAF制御を行う。その後、シャッタースイッチ61が全押しされて、第2のシャッタースイッチ64がオンされると、システム制御部50は、設定された静止画記録モードと撮影条件とに応じてストロボ撮影シーケンスを開始する。
まず、システム制御部50は、外光量を測光するためストロボ90を発光させずに(非発光で)撮像部22の露光を行う(ステップS101およびタイミングB101)。続いて、システム制御部50は撮像部22を制御して画像信号の読出しを行う(ステップS102およびタイミングB102)。ここでは、ステップS102の処理において読み出された画像信号を画像信号”1”(非発光画像:第1の画像)とする。
次に、システム制御部50は、予め設定された発光量でストロボ90をプリ発光させて撮像部22の露光を行う(ステップS103およびタイミングB103)。そして、システム制御部50は撮像部22を制御して画像信号の読出しを行う(ステップS104およびタイミングB104)。この際には、図2においてαを付した画素群(つまり、複数の画素の一部分)から画像信号(A像)が読み出される。ステップS104の処理によって読み出された画像信号を画像信号”2”(第2の画像)とする。
続いて、システム制御部50は撮像部22を制御して、図2においてβを付した撮像素子群の画像信号をA像に加算した画像信号(A+B像)を読み出す(ステップS105およびタイミングB105)。ステップS105の処理によって読み出された画像信号を画像信号”3”(プリ発光画像:第3の画像)とする。
次に、システム制御部50は画像信号”1”および”3”をそれぞれブロック積分して、当該ブロック積分結果に基づいてブロック毎の輝度レベルを算出(測光演算)する(ステップS106およびタイミングB106)。そして、システム制御部50は、ストロボ90のプリ発光の反射率に基づいて、調光対象領域候補抽出を行う(ステップS107およびタイミングB107)。
図7は、図1に示すカメラで行われる被写体抽出の一例を説明するための図であり、図7(a)は撮影画角を示す図であり、図7(b)は、図7(a)に示す画像においてブロック毎の輝度値を求めるためのブロック積分枠の一例を示す図である。また、図7(c)は、抽出された反射率優先の調光領域を示す図である。のイメージ図である。している。
図7(a)に示すように、この画像には複数の被写体が存在する。システム制御部50は、図7(a)に示す画像を複数のブロックに分割して、当該ブロックの各々をブロック積分枠として当該ブロック積分枠毎に輝度値を求める。つまり、システム制御部50はブロック積分枠毎にブロック積分を行って、ブロック積分枠毎の輝度レベル(輝度値)を算出する。
図8は、図5に示す調光対象領域候補抽出を説明するためのフローチャートである。
調光対象領域候補抽出を開始すると、システム制御部50は画像信号”1”および”3”について、ブロック毎にブロック積分結果の差分(輝度差分)を求める。そして、システム制御部50はこれら差分の平均値(つまり、輝度差の平均値)を算出する(ステップS202)。
次に、システム制御部50は輝度差の平均値(輝度差分平均値)について設計パラメータによって重み付けを行って重み付け輝度差平均値を得る。そして、システム制御部50は当該重み付け輝度差平均値を第1の閾値として、この第1の閾値よりも輝度差が大きいブロックを抽出する(ステップS202)。
続いて、システム制御部50は画像信号”1”および”3”について、ブロック毎にブロック積分結果の比(つまり、輝度比)を求める。そして、システム制御部50はこれら比の平均値を算出する(ステップS203)。
次に、システム制御部50は輝度比の平均値について設計パラメータによって重み付けを行って重み付け輝度比平均値を得る。そして、システム制御部50は当該重み付け輝度比平均値を第2の閾値として、この第2の閾値よりも輝度比が大きいブロックを抽出する(ステップS204)。
次に、システム制御部50は、ステップS202およびS204で抽出されたブロック、つまり、第1の閾値よりも輝度差が大きく、かつ第2の閾値よりも輝度比が大きいブロックを、反射率優先の調光対象領域候補として抽出する(ステップS205)。そして、システムシステム制御部50は調光対象領域候補抽出を終了する。
このようにして、調光対象領域候補の抽出を行うと、例えば、図7(c)に黒色で示すように反射率優先の調光対象領域候補が抽出される。
再び図5および図6を参照して、ステップS107の処理を行った後、システム制御部50は画像信号”2”および”3”から焦点整合情報を求める(ステップS108およびタイミングB108)。
図9は、図5に示す焦点整合情報演算の一例を説明するための図である。
焦点整合情報を求める際には、まず、システム制御部50はA像(画像信号”2”)とB像(画像信号”3”−画像信号”2”)とを求める。A像およびB像は、イメージセンサにおいて光電変換を励起する光が通過した撮影レンズ103a(光学系)の通過領域が異なる。このため、A像およびB像についてはその影響を除去又は軽減するための補正が行われる(つまり、撮影レンズ103aの光学特性の補正が行われる)。
A像およびB像は、その焦点が合っている部分においては像レベルの差は小さくなる。そして、A像とB像との差分(信号差分)の絶対値を求めると、焦点が合っていない部分においては絶対値が大きくなり、焦点が合っている部分では絶対値は0付近となる。
前述のように、撮影を行う前には、第1のシャッタースイッチがオンした時点でAF制御が行われているので、ユーザが主被写体としたい被写体に焦点が合っている場合に、焦点が合っていない部分を示す情報(つまり、A像とB像との差分の絶対値)が焦点整合情報とされる。そして、後述するように、ストロボ90の本発光量を求める際の調光対象領域抽出に焦点整合情報が用いられる。
なお、焦点整合情報として、A像とB像との差分の絶対値の他に、例えば、A像とB像との差分(符号付)を用いるようにしてもよく、画像信号”2”および”3”からデフォーカス量を求めて、当該デフォーカス量に応じた距離マップ情報を用いるようにしてもよい。
ステップS108の処理の後、システム制御部50は調光演算に用いる調光対象領域の抽出(調光寄与度演算)を行う(ステップS109およびタイミングB109)。
図10は、図5に示す調光対象領域の抽出を説明するための図である。ここでは、システム制御部50は調光対象領域候補領域と焦点整合情報とに応じて調光対象領域の抽出を行う。
システム制御部50は複数の位置における焦点整合情報を複数のブロックに対応させる対応演算を行って、調光対象領域候補領域のうち非合焦領域を調光対象領域から除外する。例えば、焦点整合情報が差分の絶対値を示しているとすると、システム制御部60は焦点整合情報が所定の第3の閾値以上であるブロックを調光対象領域から除外する。
さらに、システム制御部50は、除外されずに残った調光対象領域における寄与度(重み)を、調光対象領域候補抽出の際のストロボ90のプリ発光反射率と画面における調光対象領域の位置に応じて変化させる。例えば、システム制御部50はプリ発光の反射率が高い領域の寄与度を高くし、さらに、画面の中心位置に近い程、寄与度を高くする。なお、顔検出などによって主被写体を検出した際には、当該検出した領域の寄与度を高くする。
上記の処理によって、調光対象領域が存在しなくなる場合には、システム制御部50は焦点整合情報に応じて調光対象領域からの除外する際の閾値(つまり、第3の閾値)を高くする。そして、このように、第3の閾値を高くしても調光対象領域が得られない場合には、システム制御部50は画面中央部の寄与度を高くして、画面中央部から離れるにしたがって寄与度を低くする。
ステップS109の処理の後、システム制御部50は調光対象領域を本撮影の際に適正輝度とする本発光量を求める(ステップS110及びタイミングB110)。
ここでは、システム制御部50は画像信号”1”において調光対象領域内の輝度レベルを寄与度に応じて重み付けして輝度レベル情報DayYを求める。さらに、システム制御部50は画像信号”2”において調光対象領域内の輝度レベルを寄与度に応じて重み付けして輝度レベル情報PreYを得る。そして、目標輝度レベルをRefYとして、システム制御部50は次の式(1)によって本発光量(ΔhEF1)を求める。
なお、ΔhEF1は、調光対象領域を適正露出にするために、予備発光量を基準として、本発光は何段(2の何乗)の明るさで発光させればよいかを示す値である。
続いて、システム制御部50は本撮影準備を行う(ステップS111およびタイミングB111)。ここでは、システム制御部50は撮像部22の駆動切り替えと撮影時露出に露出設定を行う。さらに、S104およびS105で読み出した画像信号(つまり、位相差信号)に応じてAF制御を行う場合には、システム制御部50はフォーカスレンズを駆動制御する。
次に、システム制御部50は撮像部22に対して本撮影用の露光を行うととともに、ストロボ90をΔhEF1に応じた発光量で本発光させる(ステップS112およびタイミングB112)。そして、システム制御部50はシャッター101を閉じて撮像部22の露光を終了する(ステップS113およびタイミングB113)。
その後、システム制御部50は撮像部22から本撮影画像信号(画像信号”4”)を読み出す(ステップS114およびタイミングB114)。そして、システム制御部50は画像処理部24を制御して画像信号”4”に対して画像処理を行う(ステップS115およびタイミングB115)。
ステップS115の処理では、画像処理部24は画像信号”4”を複数の領域に分割して、画像信号”2”および”3”に対して行った測光演算の結果と焦点整合情報とに基づいて、領域毎の輝度補正およびホワイトバランス(WB)補正を行う。
例えば、画像処理部24はプリ発光の反射率とΔhEF1とから領域毎のストロボ光/外光比率を求めて、焦点整合情報に基づいて主被写体に対して距離が近い被写体に対するストロボ光過照射量を算出する。そして、画像処理部24はストロボ光/外光比率とストロボ光過照射量に基づいて領域毎に輝度補正およびWB補正を行う。
その後、画像処理部24はシステム制御部50の制御下で前述した補正、現像、および圧縮処理を行って、不揮発性メモリ56に画像データを格納する。さらに、画像処理部24は表示部28にレビュー画面を表示する。そして、システム制御部50はストロボ撮影を終了する。
このように、本発明の実施の形態では、ストロボ撮影に際に主被写体を正確に抽出して、主被写体が適正輝度となるように発光制御を行って撮影を行うことができる。
上述の説明から明らかなように、図1に示す例では、ストロボ90、画像処理部24、およびシステム制御部50が発光制御装置を構成する。また、システム制御部50は、抽出手段、演算手段、選択手段、および制御手段として機能する。さらに、システム制御部50は輝度算出手段、差分算出手段、比算出手段、第1の選定手段、第2の選定手段、および第3の選定手段として機能する。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を発光制御装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを発光制御装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。
22 撮像部
24 画像処理部
28 表示部
50 システム制御部
60 モード切替スイッチ
61 シャッターボタン
70 操作部
80 電源制御部
90 ストロボ
200 記録媒体

Claims (13)

  1. 被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置であって、
    前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出手段と、
    前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算手段と、
    前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択手段と、
    前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御手段と、
    を有することを特徴とする発光制御装置。
  2. 1つのマイクロレンズに対して複数の画素が対応づけられて前記複数の画素が瞳分割された撮像素子を有する撮像手段で前記被写体が撮影され、
    前記非発光の際には、前記撮像素子の全ての画素から読み出しが行われて前記非発光画像が第1の画像として得られ、前記プリ発光の際には、前記マイクロレンズに対応する複数の画素の一部分から読み出しが行われて第2の画像が得られるとともに、前記撮像素子の全ての画素から読み出しが行われて第3の画像が得られることを特徴とする請求項1に記載の発光制御装置。
  3. 前記抽出手段は、前記第1の画像および前記第3の画像をそれぞれ予め定められた数のブロックに分割して、前記ブロックの各々についてその輝度値を求める輝度算出手段と、
    前記第1の画像と前記第3の画像との互いに対応するブロックについて前記輝度値の差分を輝度差分として求める差分算出手段と、
    前記第1の画像と前記第3の画像との互いに対応するブロックについて前記輝度値の比を輝度比として求める比算出手段と、
    前記輝度差分および前記輝度比に応じて前記第3の画像から前記調光対象領域候補を選定する選定手段とを有することを特徴とする請求項2に記載の発光制御装置。
  4. 前記選定手段は、前記輝度差分を平均して輝度差分平均値を求めて、前記輝度差分平均値に応じた第1の閾値よりも前記輝度差分が大きいブロックを選定する第1の選定手段と、
    前記輝度比を平均して輝度比平均値を求めて、前記輝度比平均値に応じた第2の閾値よりも輝度比が大きいブロックを選定する第2の選定手段と、
    前記第1の選定手段および前記第2の選定手段によって設定されたブロックを前記調光対象領域候補として選定する第3の選定手段とを有することを特徴とする請求項3に記載の発光制御装置。
  5. 前記演算手段は、前記第2の画像および前記第3の画像に基づいて前記焦点整合情報を求めることを特徴とする請求項2〜4のいずれか1項に記載の発光制御装置。
  6. 前記演算手段は、前記第2の画像および前記第3の画像に基づいて得られる第1の位相差信号と第2の位相差信号との信号差分を求めて、前記信号差分に応じて前記焦点整合情報を求めることを特徴とする請求項5に記載の発光制御装置。
  7. 前記選択手段は、前記焦点整合情報が示す非合焦領域を前記調光対象領域候補から除いて残りの調光対象領域候補から前記調光対象領域を選択することを特徴とする請求項2〜6のいずれか1項に記載の発光制御装置。
  8. 前記選択手段は、前記焦点整合情報が前記信号差分の絶対値を示している際、前記信号差分の絶対値が所定の第3の閾値以上であるブロックを前記調光対象領域候補から除くことを特徴とする請求項に記載の発光制御装置。
  9. 前記選択手段は前記残りの調光対象領域候補について前記プリ発光の反射率に応じて重み付けを行って当該重み付けに応じて前記調光対象領域を選択することを特徴とする請求項7に記載の発光制御装置。
  10. 前記選択手段は前記残りの調光対象領域候補について前記第3の画像における位置に応じて重み付けを行って当該重み付けに応じて前記調光対象領域を選択することを特徴とする請求項7又は9に記載の発光制御装置。
  11. 1つのマイクロレンズに対して複数の画素が対応づけられて前記複数の画素が瞳分割された撮像素子を有する撮像手段と、
    請求項1〜10のいずれか1項に記載の発光制御装置と、
    前記発光制御装置による発光制御を行って、前記撮像手段で得られた画像に対して所定の画像処理を行う画像処理手段と、
    前記画像処理手段の出力である画像データを記録する記録手段と、
    を有することを特徴とする撮像装置。
  12. 被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置の制御方法であって、
    前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出ステップと、
    前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算ステップと、
    前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択ステップと、
    前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御ステップと、
    を有することを特徴とする制御方法。
  13. 被写体を撮影する際に前記被写体を照明する発光手段の発光量を制御する発光制御装置で用いられる制御プログラムであって、
    前記発光制御装置が備えるコンピュータに、
    前記発光手段を非発光として得られた非発光画像と前記発光手段をプリ発光させて得られたプリ発光画像とを用いて前記プリ発光の反射率に基づいて前記プリ発光画像から調光対象とする領域の候補である調光対象領域候補を抽出する抽出ステップと、
    前記プリ発光画像に基づいて前記プリ発光画像において合焦領域と非合焦領域とを示す焦点整合情報を求める演算ステップと、
    前記焦点整合情報に応じて前記調光対象領域候補から調光を行うべき調光対象領域を選択する選択ステップと、
    前記調光対象領域における輝度が所定の輝度となるように、撮影の際の前記発光手段の発光量を制御する制御ステップと、
    を実行させることを特徴とする制御プログラム。
JP2014198502A 2014-09-29 2014-09-29 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置 Active JP6486051B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014198502A JP6486051B2 (ja) 2014-09-29 2014-09-29 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置
US14/859,696 US9692981B2 (en) 2014-09-29 2015-09-21 Image pickup apparatus with emission unit, control method therefor, and storage medium storing control program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014198502A JP6486051B2 (ja) 2014-09-29 2014-09-29 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置

Publications (2)

Publication Number Publication Date
JP2016071042A JP2016071042A (ja) 2016-05-09
JP6486051B2 true JP6486051B2 (ja) 2019-03-20

Family

ID=55585858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014198502A Active JP6486051B2 (ja) 2014-09-29 2014-09-29 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置

Country Status (2)

Country Link
US (1) US9692981B2 (ja)
JP (1) JP6486051B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106341584B (zh) * 2016-09-23 2019-06-18 深圳市金立通信设备有限公司 摄像头模组调焦生产方法、摄像头模组和终端

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04355733A (ja) 1991-06-03 1992-12-09 Nikon Corp カメラの自動調光装置
JPH05196989A (ja) * 1992-01-22 1993-08-06 Fuji Photo Film Co Ltd カメラ
JP2000089316A (ja) * 1998-09-14 2000-03-31 Minolta Co Ltd カメラ
JP2000089290A (ja) * 1998-09-14 2000-03-31 Minolta Co Ltd オートフォーカスカメラ
JP4350207B2 (ja) * 1999-06-01 2009-10-21 オリンパス株式会社 測距装置
JP4416272B2 (ja) * 2000-05-16 2010-02-17 キヤノン株式会社 撮像装置と該撮像装置の制御方法
JP4323781B2 (ja) * 2002-11-27 2009-09-02 キヤノン株式会社 撮像装置とその制御方法
JP4300936B2 (ja) * 2003-08-20 2009-07-22 ソニー株式会社 撮像装置
JP4040613B2 (ja) * 2004-08-31 2008-01-30 キヤノン株式会社 撮像装置
JP4824627B2 (ja) * 2007-05-18 2011-11-30 富士フイルム株式会社 自動焦点調節装置及び自動焦点調節方法並びに撮像装置及び撮像方法
JP2009147608A (ja) * 2007-12-13 2009-07-02 Sony Corp 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体
WO2012093519A1 (ja) * 2011-01-06 2012-07-12 富士フイルム株式会社 撮像装置及びその発光量制御方法
JP2012163679A (ja) * 2011-02-04 2012-08-30 Ricoh Co Ltd 撮像装置、ストロボ制御方法およびストロボ制御プログラム
JP5725988B2 (ja) * 2011-06-13 2015-05-27 キヤノン株式会社 撮像装置およびその制御方法
JP5979849B2 (ja) * 2011-11-21 2016-08-31 キヤノン株式会社 撮像素子及び撮像装置
JP6218378B2 (ja) * 2012-12-27 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
JP6172978B2 (ja) * 2013-03-11 2017-08-02 キヤノン株式会社 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体
JP6116301B2 (ja) * 2013-03-21 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
JP6234058B2 (ja) * 2013-05-09 2017-11-22 キヤノン株式会社 焦点調節装置およびその制御方法

Also Published As

Publication number Publication date
US9692981B2 (en) 2017-06-27
JP2016071042A (ja) 2016-05-09
US20160094769A1 (en) 2016-03-31

Similar Documents

Publication Publication Date Title
US10567722B2 (en) Image processing apparatus, image processing method, imaging apparatus, and recording medium
JP5004544B2 (ja) 撮影装置及び露出制御方法
JP5941630B2 (ja) カメラ
US9531946B2 (en) Image capturing apparatus, method of controlling the same, and storage medium
JP2013214878A (ja) 撮像装置、露出制御方法、及びプログラム
JP2012049773A (ja) 撮像装置および方法、並びにプログラム
JP6284408B2 (ja) 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム
JP6911136B2 (ja) 撮像装置、情報取得方法及び情報取得プログラム
JP2009048136A (ja) 焦点調節装置及び焦点調節方法
JP2017220864A (ja) 撮像装置および撮像プログラム
US9888189B2 (en) Image capturing apparatus and storage medium for storing image capturing control program
JP6486051B2 (ja) 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2012163679A (ja) 撮像装置、ストロボ制御方法およびストロボ制御プログラム
JP2008278408A (ja) 撮像装置、画像処理装置、画像処理方法、プログラムおよび当該プログラムを記憶する記憶媒体
JP2008083243A (ja) 撮影装置及び露出制御方法
JP2001230966A (ja) 電子カメラ
JP6335497B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2018107741A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6515962B2 (ja) 制御装置、制御方法および露光制御システム
JP5657362B2 (ja) 撮影装置および撮影装置の制御方法
JP6660036B2 (ja) 焦点検出装置及び撮像装置
US20230217126A1 (en) Imaging apparatus, imaging method
JP6806471B2 (ja) 焦点検出装置及び方法、及び撮像装置
JP6011146B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP6349678B2 (ja) 焦点検出装置及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190219

R151 Written notification of patent or utility model registration

Ref document number: 6486051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151