JP4164327B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4164327B2
JP4164327B2 JP2002291272A JP2002291272A JP4164327B2 JP 4164327 B2 JP4164327 B2 JP 4164327B2 JP 2002291272 A JP2002291272 A JP 2002291272A JP 2002291272 A JP2002291272 A JP 2002291272A JP 4164327 B2 JP4164327 B2 JP 4164327B2
Authority
JP
Japan
Prior art keywords
autofocus
focus
distance
subject
control circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002291272A
Other languages
Japanese (ja)
Other versions
JP2004126291A (en
JP2004126291A5 (en
Inventor
秀俊 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002291272A priority Critical patent/JP4164327B2/en
Publication of JP2004126291A publication Critical patent/JP2004126291A/en
Publication of JP2004126291A5 publication Critical patent/JP2004126291A5/ja
Application granted granted Critical
Publication of JP4164327B2 publication Critical patent/JP4164327B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、パンニング機構とチルティング機構を備えた撮像装置に関するものである。
【0002】
【従来の技術】
オートフォーカス手段を備えた撮像装置を、パンニング機構やチルティング機構を備えた雲台に設置したり、パンニング機構やチルティング機構を備えた雲台と一体としたものが知られている。このような撮像装置では、撮影者が遠隔操作によりパンニング動作及びチルティング動作を行い、任意の方向にある被写体を撮影することができる。撮像装置をパンニング動作およびチルティング動作させることによって撮像している被写体までの距離が変わるとフォーカスがずれるために、オートフォーカス手段はフォーカスを設定し直す。
【0003】
一般にビデオカメラでは、オートフォーカス手段として、撮像した画像に含まれる高域周波数成分の割合に基づいて被写体像の精鋭度を示す焦点評価値を検出し、この焦点評価値が最大となるようにフォーカスレンズを制御するものが使われている。
【0004】
これはフォーカスレンズを光軸方向に前後に動かして、焦点評価値が大きくなる方向に動かすことによりフォーカスを合わせるものである。このときに合焦するに従い焦点評価値の山を登るように動作することから山登り式とも呼ばれることがある。
【0005】
撮像装置で撮影している被写体が動いたり、撮像装置自体をパン・チルト動作させて動かしたとき、オートフォーカス手段は前述のようにフォーカスレンズを駆動して焦点評価値を大きくするよう動作するが、この時にオートフォーカス手段は被写体が近くになったのか遠くになったのかは判断できないために、フォーカスレンズを光軸上で前後に動かして焦点評価値が大きくなるのはどちらかを探す。
【0006】
フォーカスが大きく外れたときはフォーカスレンズを多少前後に移動しても焦点評価値は変化しないために、フォーカスレンズの移動量を大きくするなどの動作が必要となる。そして、ある程度焦点評価値の変化量が大きくなってきたら、焦点評価値の山の頂上を行き過ぎないようにフォーカスレンズの移動量を小さくする。これは言い換えると、フォーカスが大きく外れたときには再び合焦状態にまでするには、時間がかかってしまうと言うことである。
【0007】
ここで、パン・チルト機構を持つ撮像装置において、複数の撮影目標を撮影するために各撮影目標の位置に対応してパンニング位置とチルティング位置を示すカメラ位置情報を記憶させると共に、撮影目標位置に焦点を合わせるための距離情報を記憶する(例えば、特許文献1参照)。これにより、撮影目標を指定したときに記憶した距離情報に基づいてフォーカスレンズを駆動することにより、素早く合焦状態とすることができる。
【0008】
【特許文献1】
特開平9−205573号公報
【0009】
【発明が解決しようとする課題】
特許文献1では、パンニング機構やチルティング機構を持つ撮像装置において、あらかじめ既知の位置にある動かない被写体を撮影するには適している。しかし、パンニング機構やチルティング機構を持つ撮像装置において、被写体が移動するものであるときや、あらかじめ位置の不明な被写体を撮像するときには被写体までの距離も不明なために使えない。
【0010】
そのため、移動する被写体や、撮像装置のパンニングやチルティングにより新たに撮像範囲に入ってきた被写体などを撮影するときは、オートフォーカス機構には被写体が現在のフォーカスレンズが合焦している距離より遠くにあるのか、それとも近くにあるのかは分からないために、フォーカスレンズを光軸上で前後に振って、焦点評価値が被写体までの距離が遠い方にあるのか近い方にあるのかを判別しなくてはならない。
【0011】
特にボケが大きい状態のときには、フォーカスレンズの移動量に対して焦点評価値の変化量が少ないのでフォーカスレンズを光軸上で前後に大きくふらなくてはならず、結果的に合焦するまでに時間が掛かってしまう。
【0012】
また、特許文献1における撮像装置において、あらかじめ設定した既知の方向にある被写体が背景被写体であり、その手前を移動する被写体を撮影したいときに、撮像装置はまず既知の位置と距離にある背景被写体に合焦し、その後オートフォーカス回路が手前にある被写体に合焦しようとする。
【0013】
しかし、オートフォーカス回路自体は、撮影したい被写体があらかじめ設定された距離よりも近くにあるのか遠くにあるのか知らないために、間違った方向を探索して合焦までに時間が掛かってしまうことがある。
【0014】
【課題を解決するための手段】
本発明は、パンニング機構やチルティング機構を持つ撮像装置において、任意の撮像方向のみ、もしくは任意の細かさでパンニングおよびチルティング可能な範囲全ての合焦距離情報を撮像方向情報と共に記憶させる。そして、任意の位置の被写体を撮像するときに、あらかじめ記憶してあるその撮像装置が向いている方向の合焦距離情報を読み出し、その距離を最遠値としてその手前にのみフォーカス探査範囲を制限する。
【0017】
ここで、初期状態として距離情報記憶手段に記憶する距離情報を、無限遠を示す情報とすることができる。
【0018】
また、フォーカス探索範囲限定時に合焦しない場合には、この撮像方向のフォーカス探索範囲の限定を解除し、新たに取得した距離情報を距離情報記憶手段に記憶するようにしてもよい。
【0019】
【発明の実施の形態】
図1は本発明の一実施形態である撮像装置のブロック図である。
【0020】
ここで、1は光学系であり、ズームレンズやフォーカスレンズを持つ。2はズームレンズ駆動モータであり、光学系1のズームレンズを駆動しズーム率を変える。3はフォーカスレンズ駆動モータであり、光学系1のフォーカスレンズを駆動モーター3で駆動し焦点を合わせる。
【0021】
4はCCD撮像素子であり、光学系1の焦点に置かれ、撮像素子1の受光面に結ばれた光学画像を電気信号である撮像素子出力信号に変換する。5はCDS/AGC回路であり、CCD撮像素子4から出力された撮像素子出力信号から雑音を低減し利得を調整する。
【0022】
6はカメラ信号処理回路であり、CDS/AGC回路5から出力された撮像素子出力信号に対し色分離やホワイトバランス処理やガンマ処理などを行い、オートフォーカス用の映像信号と輝度信号や色信号からなる映像信号出力する。7はオートフォーカス制御回路であり、カメラ信号処理回路6から出力されたオートフォーカス用映像信号の高域周波数成分の割合に基づいて被写体像の精鋭度を示す焦点評価値を検出し、この焦点評価値が最大となるようにフォーカスモーター3により光学系1のフォーカスレンズを駆動する。また、ズーム制御信号によりズームモータ2を制御して光学系1のズームレンズを駆動する。
【0023】
8は距離算出回路であり、オートフォーカス制御回路7から入力されたフォーカス量情報とズーム量情報から撮像している被写体までの距離を算出する。9はパンニングモーターであり、撮像装置をパン方向に駆動する。10はチルティングモーターであり、撮像装置をチルト方向に駆動する。
【0024】
11はパンチルト制御回路であり、入力される要求パン角と要求チルト角に基づいてパンニングモーター9とチルティングモーター10を制御する。12はメモリ制御回路であり、距離算出回路8から入力される撮像装置から被写体までの距離情報と、後述のカメラ制御回路からのパン角とチルト角情報と、データ記憶要求信号により、後述のメモリ回路にパン角とチルト角と距離情報の書き込みと読み出しの制御を行う。
【0025】
13はメモリであり、メモリ制御回路12に従ってパン角とチルト角と距離情報の記憶を行う。14はカメラ制御回路であり、外部から入力されるズーム要求とパン・チルト要求と距離記憶要求とオートフォーカス制御回路7からの合焦信号から、オートフォーカス制御回路7に対してズーム制御信号を出力し、またパン・チルト制御回路11に要求パン角と要求チルト角を出力し、メモリ制御回路12に要求パン角と要求チルト角とメモリ13に情報を記憶させるためのデータ記憶要求を出力する。
【0026】
ここで、撮影者から要求されたパン角・チルト角の撮影方向の被写体までの距離情報が既にあったときの動作について説明する。
【0027】
撮影者がズーム要求を行ったとき、カメラ制御回路14にズーム要求が入力される。そして、カメラ制御回路14はオートフォーカス制御回路7に対してズーム制御信号を出力する。
【0028】
オートフォーカス制御回路7では、カメラ制御回路14から出力されたズーム制御信号に基づいて、光学系1のズームレンズを駆動するようズームモータ2を制御する。撮影者が要求する撮影方向を設定したとき、カメラ制御回路14は撮影者が要求したパン角とチルト角の情報をパン・チルト制御回路11に出力すると共にメモリ制御回路12へも出力する。
【0029】
パン・チルト制御回路11では撮像装置がカメラ制御回路14から出力されたパン角とチルト角になるようにパンモータ9とチルトモータ10を制御する。パンモータ9は、撮像装置をパン方向に駆動して撮影者が要求した方向に向ける。また、チルトモータ10も撮像装置をチルト方向に駆動して撮影者が要求した方向に向ける。
【0030】
撮像装置が撮影者から要求された方向に向いたとき、先ほどまで撮影していた被写体と現在撮影している被写体までの距離が違う場合には、オートフォーカス制御回路7はフォーカスモータ3を制御することにより光学系1のフォーカスレンズを駆動してオートフォーカスを行う。
【0031】
オートフォーカスは前述のビデオカメラでは一般的に使われる山登り方式を使う。ここで、光学系1で結像した光学画像をCCD撮像素子4が電気信号に変換する。そして、CDS/AGC回路5において雑音低減処理と利得調整処理を行う。そして、カメラ信号処理回路6においてオートフォーカス用の映像信号に変換してオートフォーカス制御回路7に出力する。
【0032】
そして、フォーカスモータ3により光学系1のフォーカスレンズを光軸上で前後に移動して映像信号に含まれる高域周波数成分が増える方向に駆動する。
【0033】
カメラ制御回路14は、メモリ制御回路12に対してパン角・チルト角の被写体までの距離情報の読み出しを要求する。メモリ制御回路12は、カメラ制御回路14からの距離情報読み出し要求により、メモリ13のパン角・チルト角のデータを読み出す。
【0034】
ここで、図2にメモリ13に記憶される被写体までの距離情報の様子を示す。行方向にパン角が0°から359°、列方向にチルト角が0°から90°とする行列であり、これらの行列内に被写体までの距離情報を記憶する。ここでは角度の細かさは1°となっているが、任意の細かさで良い。
【0035】
メモリ13に記憶される被写体までの距離情報の初期状態として、全ての位置の情報は無限遠として設定しておく。メモリ13から読み出された距離情報はメモリ制御回路12を通じてカメラ制御回路14と距離算出回路8に出力される。
【0036】
距離算出回路8では、オートフォーカス制御回路7からのズーム量情報と、メモリ制御回路12からの距離情報より、フォーカス量を逆算する。オートフォーカス制御回路7では、距離算出回路8から出力されたフォーカス量を最遠としてオートフォーカス探査をする。
【0037】
初期状態では、前述の通りにメモリ13からは距離情報として無限遠が読み出されるので、結果的にはオートフォーカス探査範囲の制限は行わない。カメラ信号処理回路6から入力されたオートフォーカス用映像信号の高域周波数成分の割合に基づいて被写体像の精鋭度を示す焦点評価値を検出する。
【0038】
そして、焦点評価値が最大となるように光学系1のフォーカスレンズを駆動する。これは、撮像した画像において、合焦したときが1番高域周波数成分が多いことから、画像中の高域周波数成分が最大になった時、すなわち焦点評価値が最大になったときが合焦点であると判断するものである。
【0039】
焦点評価値が最大となったときすわなち合焦したときに、オートフォーカス制御回路7は合焦したことを示す合焦信号をカメラ制御回路14に出力する。また、同時にその時点の光学系1におけるフォーカスレンズの位置を示すフォーカス量情報と、ズームレンズの位置を示すズーム量情報を距離算出回路8に出力する。
【0040】
距離算出回路8では、オートフォーカス制御回路7から入力されたフォーカス量情報とズーム量情報から一意に決まる合焦地点までの距離を算出して距離情報としてメモリ制御回路12に出力する。
【0041】
カメラ制御回路14では、オートフォーカス制御回路7からの合焦信号を検出すると、パン角・チルト角の撮像方向の被写体までの距離情報をメモリ13に書き込むよう、メモリ制御回路12に対して距離情報書き込み要求を出力する。メモリ制御回路12は、カメラ制御回路14からの距離情報書き込み要求に従って、距離算出回路8から出力された距離情報をそのときのパン角・チルト角の被写体までの距離情報として書き込む。
【0042】
次に、撮影者から要求されたパン角・チルト角の撮影方向の被写体までの距離情報が無限遠ではないときの動作について説明する。
【0043】
ズーム制御及びパン・チルト制御に関しては前述の通りである。カメラ制御回路14は、メモリ制御回路12に対してパン角・チルト角の被写体までの距離情報の読み出しを要求する。
【0044】
メモリ制御回路12は、カメラ制御回路14からの距離情報読み出し要求により、メモリ13のパン角・チルト角の距離情報を読み出す。そして、メモリ13から読み出された距離情報はメモリ制御回路12を通じてカメラ制御回路14と距離算出回路8に出力される。
【0045】
距離算出回路8では、メモリ13から読み出されメモリ制御回路12から出力された距離情報と、オートフォーカス制御回路7から出力されたズーム量から、フォーカス量を逆算してオートフォーカス制御回路7に出力する。オートフォーカス制御回路7では、距離算出回路8から出力されたフォーカス量の情報から、そのフォーカス量を最遠値として手前の範囲でのみオートフォーカス探索を行う。
【0046】
これは、メモリ13に書き込まれた距離情報による被写体を背景として考え、背景より遠い被写体は背景の後ろに隠れることから撮像する必要は無く、その背景よりも手前の範囲のみ撮像すれば良いとの考えに基づく動作である。
【0047】
このように背景となる被写体よりも手前の範囲でのみオートフォーカス探索の範囲を限定することにより、撮像装置は素早く合焦状態を実現することができる。
【0048】
しかし、ここでメモリ13に書き込まれた距離情報が背景被写体ではなく、例えば一時的にその方向にいただけの被写体までのものであり、その被写体はやがて移動してしまい、その後にその方向に来た別の被写体がそれ以前の被写体よりも遠くに来た場合には、オートフォーカス探査範囲外となってしまうために合焦することができなくなってしまう。
【0049】
その場合の動作について説明する。
【0050】
オートフォーカス制御回路7において、距離算出回路8からのメモリ13から読み出した距離情報に基づくフォーカス量情報よりオートフォーカス探査範囲制限内でオートフォーカス探索を行っている時に、被写体がオートフォーカス探査範囲外にあると合焦することができない。
【0051】
このときオートフォーカス制御回路7では、オートフォーカス探査範囲内全てを探査したかを判別する。オートフォーカス探査範囲内全てを探査していた場合には、カメラ制御回路14に対して非合焦信号を出力する。
【0052】
カメラ制御回路14では、オートフォーカス制御回路7から非合焦信号を検出すると、メモリ制御回路12に対してパン角・チルト角の距離情報として無限遠を書き込むよう要求する。メモリ制御回路12では、カメラ制御回路14からの要求に基づいて、メモリ13に対してパン角・チルト角の距離情報として無限遠を書き込む。
【0053】
オートフォーカス制御回路7では、距離算出回路8から無限遠に対応したフォーカス量が出力され、それに基づいてオートフォーカス探査範囲制限をせずにオートフォーカスを行い、先ほどまでオートフォーカス探査範囲外であった被写体に対して合焦することができる。
【0054】
そして、焦点評価値が最大となったときすわなち合焦したときに、オートフォーカス制御回路7は合焦したことを示す合焦信号をカメラ制御回路14に出力する。また、同時にその時点の光学系1におけるフォーカスレンズの位置を示すフォーカス量情報と、ズームレンズの位置を示すズーム量情報を距離算出回路8に出力する。
【0055】
距離算出回路8では、オートフォーカス制御回路7から入力されたフォーカス量情報とズーム量情報から一意に決まる合焦地点までの距離を算出して距離情報としてメモリ制御回路12に出力する。カメラ制御回路14では、オートフォーカス制御回路からの合焦信号を検出すると、パン角・チルト角の撮像方向の被写体までの距離情報をメモリ13に書き込むよう、メモリ制御回路12に対して距離情報書き込み要求を出力する。
【0056】
メモリ制御回路12は、カメラ制御回路14からの距離情報書き込み要求に従って、距離算出回路8から出力された距離情報をそのときのパン角・チルト角の被写体までの距離情報として書き込む。こうしてオートフォーカス探査範囲外に新たな被写体が現れたときにはオートフォーカス探査範囲制限を外してオートフォーカスをやり直し、メモリ13に新たな被写体までの距離情報を書き込むことにより対応する。
【0057】
このようにメモリ13に書き込む距離情報を更新することにより、最終的には最遠となる背景被写体までの距離情報がメモリ13に書き込まれることになる。
【0058】
図3は本実施形態の撮像装置におけるフローチャートである。
【0059】
まず、初期設定を行う(ステップS001)。ここでは、各種レジスタの初期化や、パン・チルト装置の初期化や、距離情報を記憶するメモリの初期化などを行う。ステップS002では、ズーム要求の検出を行い、要求があれば要求に従いテレ側もしくはワイド側にズームレンズを駆動する(ステップS003)。要求が無ければ何も行わない。
【0060】
ステップS004では、撮像装置をパンニング、もしくはチルティング、もしくは両方の要求の検出を行う。要求があれば要求に従いパンニングやチルティングを行う(ステップS005)。要求が無ければ何も行わない。
【0061】
ステップS006では、パンニングやチルティングにより撮像装置がある方向を向いたとき、その方向の被写体までの距離情報をメモリから読み出す。そしてその距離を最遠として、オートフォーカス探査範囲をその手前に制限する。ステップS007では、オートフォーカス探査範囲制限に従ってオートフォーカスを行う。
【0062】
メモリから読み出した距離情報が無限遠の場合には、無限遠から手前の範囲をオートフォーカス探査するので実際にはオートフォーカス探査範囲制限は行わないことになる。ステップS008において、合焦したらフォーカス量とズーム量から合焦地点までの距離を算出し、その距離が無限遠かどうかを判断する(ステップS009)。無限遠であればそのままズーム要求検出(ステップS001)に戻る。
【0063】
ステップS009において、算出した被写体までの距離データが無限遠でない場合には、メモリに記憶されている距離情報が無限遠かどうかを判別する(ステップS010)。メモリに記憶されている距離情報が無限遠の場合には、新たに算出した距離情報を書き込み(ステップS011)、ズーム要求検出に戻る。
【0064】
これは初めてその方向を撮像したか、もしくは制限しているオートフォーカス範囲内に無く、制限を外して合焦したときを想定している。
【0065】
ステップS010において、メモリに記憶されている距離情報が無限遠では無い場合には、新たに算出した距離情報はオートフォーカス探査範囲の制限内にある被写体であると判断して、メモリの距離情報は更新せずにズーム要求検出(ステップS001)に戻る。
【0066】
また、ステップS007でオートフォーカスを行い、ステップS008の合焦したかどうかの判別において合焦しなかった場合には、オートフォーカス探査範囲内を全て探査したかどうかを判別する(ステップS012)。ここで、まだオートフォーカス探査範囲内の全てを探査していなかった場合には、ズーム要求検出(ステップS001)に戻る。
【0067】
ステップS012において、オートフォーカス探査範囲内全てを探査していた場合には、被写体はこの探査範囲外の距離、すなわち探査範囲よりも遠くにあると判断できるので(ステップS013)、メモリの距離データを無限遠に書き換えることによりオートフォーカス探査範囲の限定を解除する。そして、ズーム要求検出(ステップS001)に戻る。
【0068】
【発明の効果】
以上説明したように本発明に係わるパンニング・チルティング機能とオートフォーカス機能を持つ撮像装置においては、被写体を撮像してオートフォーカス機能により合焦したときのフォーカス量とズーム量から一意的に決まる被写体までの距離を算出し、各パン角・チルト角ごとに被写体までの距離を記憶する。そしてそのパン角・チルト角の方向を撮像するときには、その距離データが背景被写体までの距離であると仮定して、オートフォーカス探査範囲をその手前に制限することにより、被写体に素早く合焦することができる。
【0069】
また、初期状態では記憶しているデータを無限遠とすることにより、オートフォーカス探査範囲制限を行わず、その後撮像したデータから被写体までの距離を算出して記憶することができる。
【0070】
さらに、撮像した被写体が背景被写体ではなく、その後に別の被写体が撮像範囲に入り、しかもオートフォーカス探査範囲外になってしまった場合には、オートフォーカス探査範囲の制限を解除してオートフォーカスをし直すことにより合焦することができ、しかもそのデータを新たに記憶し直すことにより、最終的には最遠となる背景被写体までの距離情報を得ることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態である撮像装置のブロック図。
【図2】メモリに記憶する各パン角と各チルト角に対応した距離データについて説明した図。
【図3】本発明の一実施形態である撮像装置の動作フローチャート。
【符号の説明】
1 光学系
2 ズームレンズ駆動モータ
3 フォーカスレンズ駆動モータ
4 CCD撮像素子
5 CDS/AGC回路
6 カメラ信号処理回路
7 オートフォーカス制御回路
8 距離算出回路
9 パンニングモータ
10 チルティングモータ
11 パン・チルト制御回路
12 メモリ制御回路
13 メモリ
14 カメラ制御回路
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus having a panning mechanism and a tilting mechanism.
[0002]
[Prior art]
2. Description of the Related Art An image pickup apparatus including an autofocus unit is installed on a pan head equipped with a panning mechanism or a tilting mechanism, or is integrated with a pan head equipped with a panning mechanism or a tilting mechanism. In such an imaging apparatus, a photographer can perform a panning operation and a tilting operation by remote control to photograph a subject in an arbitrary direction. Since the focus shifts when the distance to the object being imaged is changed by performing panning operation and tilting operation of the imaging apparatus, the autofocus means resets the focus.
[0003]
In general, a video camera detects a focus evaluation value indicating the sharpness of a subject image based on the ratio of high-frequency components included in a captured image as an autofocus means, and focuses so that the focus evaluation value is maximized. What controls the lens is used.
[0004]
This is to adjust the focus by moving the focus lens back and forth in the direction of the optical axis and moving in the direction in which the focus evaluation value increases. Since it operates to climb the mountain of the focus evaluation value as it is focused at this time, it may be called a hill-climbing type.
[0005]
When the subject being photographed by the imaging device moves or moves by panning / tilting the imaging device itself, the autofocus means operates to increase the focus evaluation value by driving the focus lens as described above. At this time, since the autofocus means cannot determine whether the subject is near or far away, the focus evaluation value is increased by moving the focus lens back and forth on the optical axis.
[0006]
When the focus is greatly deviated, the focus evaluation value does not change even if the focus lens is moved slightly back and forth. Therefore, an operation such as increasing the amount of movement of the focus lens is required. When the amount of change in the focus evaluation value becomes large to some extent, the amount of movement of the focus lens is reduced so as not to go too far over the peak of the focus evaluation value. In other words, it takes time to reach the in-focus state again when the focus is greatly lost.
[0007]
Here, in an imaging apparatus having a pan / tilt mechanism, the camera position information indicating the panning position and the tilting position is stored corresponding to the position of each shooting target in order to capture a plurality of shooting targets, and the shooting target position Is stored distance information for focusing (see, for example, Patent Document 1). Thus, the focus lens can be quickly brought into focus by driving the focus lens based on the distance information stored when the shooting target is designated.
[0008]
[Patent Document 1]
JP-A-9-205573 [0009]
[Problems to be solved by the invention]
Patent Document 1 is suitable for photographing a non-moving subject at a known position in advance in an imaging apparatus having a panning mechanism or a tilting mechanism. However, in an image pickup apparatus having a panning mechanism or a tilting mechanism, when the subject moves or when a subject whose position is unknown is imaged in advance, the distance to the subject is unknown and cannot be used.
[0010]
For this reason, when shooting a moving subject or a subject that has newly entered the imaging range due to panning or tilting of the imaging device, the autofocus mechanism uses a distance that the subject is in focus from the current focus lens. Since it is unknown whether the subject is far away or close, shake the focus lens back and forth on the optical axis to determine whether the focus evaluation value is far away or close to the subject. Must-have.
[0011]
In particular, when the blur is large, the amount of change in the focus evaluation value is small with respect to the amount of movement of the focus lens, so the focus lens must be swung back and forth on the optical axis. It takes time.
[0012]
In the imaging apparatus disclosed in Patent Document 1, when a subject in a preset known direction is a background subject and it is desired to photograph a subject that moves in front of the subject, the imaging apparatus first detects the background subject at a known position and distance. After that, the autofocus circuit tries to focus on the subject in front.
[0013]
However, since the autofocus circuit itself does not know whether the subject to be photographed is closer or farther than a preset distance, it may take time to find the wrong direction and focus. is there.
[0014]
[Means for Solving the Problems]
According to the present invention, in an imaging apparatus having a panning mechanism or a tilting mechanism, focus distance information of only an arbitrary imaging direction or an entire range that can be panned and tilted at an arbitrary fineness is stored together with imaging direction information. Then, when capturing an image of a subject at an arbitrary position, the focus distance information in the direction in which the imaging device is stored is read in advance, and the focus search range is limited only in front of the distance as the farthest value. To do.
[0017]
Here, the distance information stored in the distance information storage means as the initial state can be information indicating infinity.
[0018]
If focus is not achieved when the focus search range is limited, the limitation of the focus search range in the imaging direction may be released, and the newly acquired distance information may be stored in the distance information storage unit.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram of an image pickup apparatus according to an embodiment of the present invention.
[0020]
Here, reference numeral 1 denotes an optical system having a zoom lens and a focus lens. A zoom lens drive motor 2 drives the zoom lens of the optical system 1 to change the zoom rate. Reference numeral 3 denotes a focus lens drive motor, and the focus lens of the optical system 1 is driven by the drive motor 3 to adjust the focus.
[0021]
A CCD image sensor 4 is placed at the focal point of the optical system 1 and converts an optical image connected to the light receiving surface of the image sensor 1 into an image sensor output signal that is an electrical signal. Reference numeral 5 denotes a CDS / AGC circuit, which reduces noise from the image sensor output signal output from the CCD image sensor 4 and adjusts the gain.
[0022]
Reference numeral 6 denotes a camera signal processing circuit, which performs color separation, white balance processing, gamma processing, and the like on the image sensor output signal output from the CDS / AGC circuit 5, and uses the autofocus video signal, luminance signal, and color signal. Output video signal. Reference numeral 7 denotes an autofocus control circuit which detects a focus evaluation value indicating the sharpness of the subject image based on the ratio of the high frequency component of the autofocus video signal output from the camera signal processing circuit 6, and this focus evaluation. The focus lens of the optical system 1 is driven by the focus motor 3 so that the value becomes maximum. Further, the zoom motor 2 is controlled by the zoom control signal to drive the zoom lens of the optical system 1.
[0023]
Reference numeral 8 denotes a distance calculation circuit, which calculates the distance to the subject being imaged from the focus amount information and zoom amount information input from the autofocus control circuit 7. A panning motor 9 drives the image pickup apparatus in the pan direction. Reference numeral 10 denotes a tilting motor, which drives the imaging device in the tilt direction.
[0024]
A pan / tilt control circuit 11 controls the panning motor 9 and the tilting motor 10 based on the input requested pan angle and requested tilt angle. Reference numeral 12 denotes a memory control circuit, which uses a distance calculation circuit 8 to input distance information from the imaging device to the subject, pan angle and tilt angle information from a camera control circuit, which will be described later, and a data storage request signal. The pan / tilt angle / distance information is written to and read from the circuit.
[0025]
A memory 13 stores a pan angle, a tilt angle, and distance information according to the memory control circuit 12. A camera control circuit 14 outputs a zoom control signal to the autofocus control circuit 7 based on a zoom request, a pan / tilt request, a distance storage request, and a focus signal from the autofocus control circuit 7 input from the outside. In addition, the pan / tilt control circuit 11 outputs the requested pan angle and the requested tilt angle, and the memory control circuit 12 outputs the requested pan angle and the requested tilt angle and a data storage request for storing information in the memory 13.
[0026]
Here, the operation when the distance information to the subject in the shooting direction of the pan angle / tilt angle requested by the photographer has already been described will be described.
[0027]
When the photographer makes a zoom request, the zoom request is input to the camera control circuit 14. Then, the camera control circuit 14 outputs a zoom control signal to the autofocus control circuit 7.
[0028]
The autofocus control circuit 7 controls the zoom motor 2 to drive the zoom lens of the optical system 1 based on the zoom control signal output from the camera control circuit 14. When the photographing direction requested by the photographer is set, the camera control circuit 14 outputs the pan angle and tilt angle information requested by the photographer to the pan / tilt control circuit 11 and also to the memory control circuit 12.
[0029]
The pan / tilt control circuit 11 controls the pan motor 9 and the tilt motor 10 so that the imaging apparatus has the pan angle and tilt angle output from the camera control circuit 14. The pan motor 9 drives the imaging device in the pan direction and directs it in the direction requested by the photographer. The tilt motor 10 also drives the imaging device in the tilt direction so that it is directed in the direction requested by the photographer.
[0030]
When the imaging device is directed in the direction requested by the photographer, the autofocus control circuit 7 controls the focus motor 3 when the distance between the subject that has been captured and the subject that is currently captured is different. As a result, the focus lens of the optical system 1 is driven to perform autofocus.
[0031]
Autofocus uses the hill-climbing method generally used in the above-mentioned video camera. Here, the CCD image pickup device 4 converts the optical image formed by the optical system 1 into an electric signal. The CDS / AGC circuit 5 performs noise reduction processing and gain adjustment processing. Then, the camera signal processing circuit 6 converts it into an autofocus video signal and outputs it to the autofocus control circuit 7.
[0032]
Then, the focus motor 3 moves the focus lens of the optical system 1 back and forth on the optical axis to drive the high frequency component included in the video signal in the increasing direction.
[0033]
The camera control circuit 14 requests the memory control circuit 12 to read out distance information to the subject having the pan angle / tilt angle. The memory control circuit 12 reads pan angle / tilt angle data in the memory 13 in response to a distance information read request from the camera control circuit 14.
[0034]
FIG. 2 shows the state of distance information to the subject stored in the memory 13. This is a matrix in which the pan angle is 0 ° to 359 ° in the row direction and the tilt angle is 0 ° to 90 ° in the column direction, and distance information to the subject is stored in these matrices. Here, the fineness of the angle is 1 °, but it may be any fineness.
[0035]
As an initial state of the distance information to the subject stored in the memory 13, information on all positions is set as infinity. The distance information read from the memory 13 is output to the camera control circuit 14 and the distance calculation circuit 8 through the memory control circuit 12.
[0036]
The distance calculation circuit 8 calculates the focus amount from the zoom amount information from the autofocus control circuit 7 and the distance information from the memory control circuit 12. The autofocus control circuit 7 performs autofocus search with the focus amount output from the distance calculation circuit 8 as the farthest distance.
[0037]
In the initial state, as described above, infinity is read from the memory 13 as distance information, and as a result, the autofocus search range is not limited. A focus evaluation value indicating the sharpness of the subject image is detected based on the ratio of the high frequency component of the autofocus video signal input from the camera signal processing circuit 6.
[0038]
Then, the focus lens of the optical system 1 is driven so that the focus evaluation value is maximized. This is because when the in-focus state in the captured image has the highest frequency component in the image, the highest frequency component in the image is maximized, that is, the focus evaluation value is maximized. It is determined to be the focus.
[0039]
When the focus evaluation value reaches the maximum, that is, when the in-focus state is achieved, the autofocus control circuit 7 outputs a focus signal indicating the in-focus state to the camera control circuit 14. At the same time, focus amount information indicating the position of the focus lens in the optical system 1 and zoom amount information indicating the position of the zoom lens are output to the distance calculation circuit 8.
[0040]
The distance calculation circuit 8 calculates the distance to the in-focus point uniquely determined from the focus amount information and the zoom amount information input from the autofocus control circuit 7 and outputs the calculated distance information to the memory control circuit 12.
[0041]
When the camera control circuit 14 detects the in-focus signal from the autofocus control circuit 7, the distance information to the memory control circuit 12 is written so that the distance information to the subject in the imaging direction of the pan angle / tilt angle is written in the memory 13. Output a write request. In response to the distance information write request from the camera control circuit 14, the memory control circuit 12 writes the distance information output from the distance calculation circuit 8 as distance information to the subject of the pan angle / tilt angle at that time.
[0042]
Next, the operation when the distance information to the subject in the photographing direction of the pan angle / tilt angle requested by the photographer is not infinite will be described.
[0043]
The zoom control and pan / tilt control are as described above. The camera control circuit 14 requests the memory control circuit 12 to read out distance information to the subject having the pan angle / tilt angle.
[0044]
The memory control circuit 12 reads the pan / tilt angle distance information of the memory 13 in response to a distance information read request from the camera control circuit 14. The distance information read from the memory 13 is output to the camera control circuit 14 and the distance calculation circuit 8 through the memory control circuit 12.
[0045]
The distance calculation circuit 8 calculates the focus amount from the distance information read from the memory 13 and output from the memory control circuit 12 and the zoom amount output from the autofocus control circuit 7 and outputs the calculated focus amount to the autofocus control circuit 7. To do. The autofocus control circuit 7 performs an autofocus search only within the previous range from the focus amount information output from the distance calculation circuit 8 with the focus amount as the farthest value.
[0046]
This is because the subject based on the distance information written in the memory 13 is considered as the background, and the subject farther than the background is hidden behind the background, so there is no need to take an image, and only the range in front of the background needs to be imaged. This is based on thought.
[0047]
In this way, by limiting the range of the autofocus search only in the range in front of the subject that is the background, the imaging apparatus can quickly realize the focused state.
[0048]
However, the distance information written in the memory 13 here is not the background subject but, for example, the subject that is only temporarily in that direction, the subject has moved in time, and then came in that direction. If another subject comes farther than the previous subject, it will be out of the autofocus search range, and it will not be possible to focus.
[0049]
The operation in that case will be described.
[0050]
When the autofocus control circuit 7 performs an autofocus search within the autofocus search range limit based on the focus amount information based on the distance information read from the memory 13 from the distance calculation circuit 8, the subject is out of the autofocus search range. If there is, you can't focus.
[0051]
At this time, the autofocus control circuit 7 determines whether or not the entire autofocus search range has been searched. If the entire autofocus search range has been searched, an out-of-focus signal is output to the camera control circuit 14.
[0052]
When detecting the out-of-focus signal from the autofocus control circuit 7, the camera control circuit 14 requests the memory control circuit 12 to write infinity as the distance information of the pan angle / tilt angle. Based on the request from the camera control circuit 14, the memory control circuit 12 writes infinity to the memory 13 as the pan / tilt angle distance information.
[0053]
In the autofocus control circuit 7, the focus amount corresponding to infinity is output from the distance calculation circuit 8, and based on this, the autofocus is performed without restricting the autofocus search range. It is possible to focus on the subject.
[0054]
When the focus evaluation value reaches the maximum, that is, when the focus is achieved, the autofocus control circuit 7 outputs a focus signal indicating that the focus is achieved to the camera control circuit 14. At the same time, focus amount information indicating the position of the focus lens in the optical system 1 and zoom amount information indicating the position of the zoom lens are output to the distance calculation circuit 8.
[0055]
The distance calculation circuit 8 calculates the distance to the in-focus point uniquely determined from the focus amount information and the zoom amount information input from the autofocus control circuit 7 and outputs the calculated distance information to the memory control circuit 12. When the camera control circuit 14 detects the in-focus signal from the autofocus control circuit, the distance information is written to the memory control circuit 12 so that the distance information to the subject in the imaging direction of the pan angle / tilt angle is written to the memory 13. Output the request.
[0056]
In response to the distance information write request from the camera control circuit 14, the memory control circuit 12 writes the distance information output from the distance calculation circuit 8 as distance information to the subject of the pan angle / tilt angle at that time. Thus, when a new subject appears outside the autofocus search range, the autofocus search range restriction is removed, autofocus is performed again, and the distance information to the new subject is written in the memory 13.
[0057]
By updating the distance information to be written in the memory 13 in this way, the distance information to the background subject that is the farthest is finally written in the memory 13.
[0058]
FIG. 3 is a flowchart in the imaging apparatus of the present embodiment.
[0059]
First, initial setting is performed (step S001). Here, various registers are initialized, a pan / tilt device is initialized, a memory for storing distance information is initialized, and the like. In step S002, a zoom request is detected. If there is a request, the zoom lens is driven to the tele side or the wide side according to the request (step S003). If there is no request, nothing is done.
[0060]
In step S004, a request for panning or tilting the imaging apparatus or both is detected. If requested, panning or tilting is performed according to the request (step S005). If there is no request, nothing is done.
[0061]
In step S006, when the image pickup apparatus faces a certain direction by panning or tilting, distance information to the subject in that direction is read from the memory. Then, the distance is set to the farthest and the autofocus search range is limited to the front. In step S007, autofocus is performed according to the autofocus search range restriction.
[0062]
When the distance information read from the memory is infinity, the autofocus search is performed for the range from infinity to the front, so that the autofocus search range is not actually limited. In step S008, when in-focus, the distance from the focus amount and zoom amount to the in-focus point is calculated, and it is determined whether the distance is infinite (step S009). If it is infinite, the process returns to the zoom request detection (step S001).
[0063]
In step S009, if the calculated distance data to the subject is not infinity, it is determined whether or not the distance information stored in the memory is infinity (step S010). If the distance information stored in the memory is at infinity, the newly calculated distance information is written (step S011), and the process returns to zoom request detection.
[0064]
This assumes that the direction was captured for the first time or was not within the restricted autofocus range and the subject was focused without removing the restriction.
[0065]
In step S010, if the distance information stored in the memory is not infinity, the newly calculated distance information is determined to be an object within the limits of the autofocus search range, and the distance information in the memory is Return to zoom request detection (step S001) without updating.
[0066]
In step S007, autofocus is performed. If it is determined in step S008 that focus has not been achieved, it is determined whether the entire autofocus search range has been searched (step S012). Here, if all of the autofocus search range has not been searched yet, the process returns to zoom request detection (step S001).
[0067]
In step S012, if the entire autofocus search range has been searched, it can be determined that the subject is outside the search range, that is, farther than the search range (step S013). The limitation of the autofocus search range is canceled by rewriting to infinity. Then, the process returns to the zoom request detection (step S001).
[0068]
【The invention's effect】
As described above, in the imaging apparatus having the panning / tilting function and the autofocus function according to the present invention, the subject uniquely determined from the focus amount and the zoom amount when the subject is imaged and focused by the autofocus function. The distance to the subject is stored for each pan angle and tilt angle. And when imaging the direction of the pan angle and tilt angle, it is assumed that the distance data is the distance to the background subject, and the subject is quickly focused by limiting the autofocus search range to the front side. Can do.
[0069]
Further, by setting the stored data to infinity in the initial state, it is possible to calculate and store the distance from the captured data to the subject without limiting the autofocus search range.
[0070]
In addition, if the captured subject is not a background subject and another subject enters the imaging range after that and is outside the autofocus search range, the autofocus search range restriction is canceled and autofocus is disabled. By focusing again, it is possible to focus, and by re-storing the data, it is possible to finally obtain distance information to the farthest background subject.
[Brief description of the drawings]
FIG. 1 is a block diagram of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating distance data corresponding to each pan angle and each tilt angle stored in a memory.
FIG. 3 is an operation flowchart of the imaging apparatus according to the embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Optical system 2 Zoom lens drive motor 3 Focus lens drive motor 4 CCD image pick-up element 5 CDS / AGC circuit 6 Camera signal processing circuit 7 Autofocus control circuit 8 Distance calculation circuit 9 Panning motor 10 Tilting motor 11 Pan / tilt control circuit 12 Memory control circuit 13 Memory 14 Camera control circuit

Claims (4)

撮像方向を変更するための撮像方向変更手段とオートフォーカス手段とを有する撮像装置であって、
被写体までの距離を算出する距離算出手段と、
前記撮像方向変更手段により決定される撮像方向を示す撮像方向情報出力手段と、
前記撮像方向情報出力手段の出力と前記距離情報とを関連付けて記憶する記憶手段と、を有し、
前記オートフォーカス手段によるオートフォーカス動作時に、前記撮像方向情報出力手段の出力と、前記撮像方向情報に対応し、前記記憶手段に記憶された距離情報に基いて、前記オートフォーカス手段の差動範囲を制限する制限手段を有することを特徴とする撮像装置。
An imaging apparatus having imaging direction changing means for changing the imaging direction and autofocus means,
Distance calculating means for calculating the distance to the subject;
An imaging direction information output unit indicating an imaging direction determined by the imaging direction changing unit;
Storage means for storing the output of the imaging direction information output means and the distance information in association with each other,
During the autofocus operation by the autofocus means, the differential range of the autofocus means is determined based on the output of the imaging direction information output means and the distance information stored in the storage means corresponding to the imaging direction information. An imaging apparatus comprising a limiting means for limiting.
前記撮像方向変更手段は少なくともパニング手段またはチルティング手段を含み、前記制限手段はオートフォーカス手段によるフォーカス探索範囲を制限することを特徴とする請求項1の撮像装置。2. The imaging apparatus according to claim 1, wherein the imaging direction changing means includes at least panning means or tilting means, and the limiting means limits a focus search range by the autofocus means. ズーム手段を有し、オートフォーカスの動作時のフォーカス量と前記ズーム手段によるズーム量に基き被写体までの距離を算出する距離算出手段を有することを特徴とする請求項1または2の撮像装置。3. The image pickup apparatus according to claim 1, further comprising a distance calculating unit that includes a zoom unit and calculates a distance to a subject based on a focus amount during an autofocus operation and a zoom amount by the zoom unit. フォーカス探索範囲限定時に合焦しない場合には、この撮像方向のフォーカス探索範囲の限定を解除し、新たに取得した距離情報を距離情報記憶手段に記憶することを特徴とする請求項1又は2に記載の撮像装置。  3. The distance information storage unit stores the newly acquired distance information in a distance information storage unit when the focus search range is not focused and the focus search range in the imaging direction is not limited. The imaging device described.
JP2002291272A 2002-10-03 2002-10-03 Imaging device Expired - Fee Related JP4164327B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002291272A JP4164327B2 (en) 2002-10-03 2002-10-03 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002291272A JP4164327B2 (en) 2002-10-03 2002-10-03 Imaging device

Publications (3)

Publication Number Publication Date
JP2004126291A JP2004126291A (en) 2004-04-22
JP2004126291A5 JP2004126291A5 (en) 2005-11-17
JP4164327B2 true JP4164327B2 (en) 2008-10-15

Family

ID=32282907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002291272A Expired - Fee Related JP4164327B2 (en) 2002-10-03 2002-10-03 Imaging device

Country Status (1)

Country Link
JP (1) JP4164327B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4641424B2 (en) * 2005-02-02 2011-03-02 キヤノン株式会社 Imaging device
JP2010035177A (en) * 2009-08-28 2010-02-12 Casio Comput Co Ltd Image photographing apparatus and image processing system
JP5083293B2 (en) * 2009-10-05 2012-11-28 日本電気株式会社 Surveillance television camera system and surveillance television camera control method
US20110242314A1 (en) * 2010-03-31 2011-10-06 Canon Kabushiki Kaisha Image taking system
JP6891071B2 (en) 2017-08-07 2021-06-18 キヤノン株式会社 Information processing equipment, imaging system, imaging method and program
JP2022150602A (en) 2021-03-26 2022-10-07 キヤノン株式会社 Imaging apparatus, information processing apparatus, control method for imaging apparatus, and program

Also Published As

Publication number Publication date
JP2004126291A (en) 2004-04-22

Similar Documents

Publication Publication Date Title
JP4757185B2 (en) Optical equipment
JPH07123317A (en) Photographing device with vibration proofing function
JP2016142925A (en) Imaging apparatus, method of controlling the same, program, and storage medium
US20050062852A1 (en) Optical apparatus provided with image-shake correction function
JP4310309B2 (en) Optical device and method for controlling optical device
JP4092636B2 (en) Auto focus system
JP6444025B2 (en) Optical equipment
JP2007199195A (en) Lens controller
JP4164327B2 (en) Imaging device
JP6808340B2 (en) Lens control device, control method
JP2002365524A (en) Autofocus device and imaging device using the same
JP3412713B2 (en) Focus adjustment method
JP4991899B2 (en) Imaging apparatus and control method thereof
JP3465271B2 (en) Video camera
JP3551932B2 (en) Distance measuring device and imaging device using the same
JP2008046181A (en) Focus controller, focus control method, imaging apparatus and program
JP2002122776A (en) Autofocus controller, digital still camera and digital video camera equipped with the same, autofocus control method and recording medium having autofocus control program recorded thereon
US10063766B2 (en) Focus detection apparatus and focus detection method with a filter circuit for filtering image data multiplied by a coefficient after being reset
JP3109819B2 (en) Automatic focusing device
JP5449448B2 (en) Imaging apparatus and control method thereof
JP2011013499A (en) Imaging apparatus
JP2009260413A (en) Image pickup apparatus and method for controlling image pickup apparatus
JP2002372732A (en) Imaging device
JPH11275431A (en) Image pickup device
JP3014745B2 (en) Auto focus device

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050930

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080728

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4164327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130801

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees