JP7019064B2 - カメラ設置支援装置及び方法並びに設置角度算出方法、並びにプログラム及び記録媒体 - Google Patents

カメラ設置支援装置及び方法並びに設置角度算出方法、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
JP7019064B2
JP7019064B2 JP2020546558A JP2020546558A JP7019064B2 JP 7019064 B2 JP7019064 B2 JP 7019064B2 JP 2020546558 A JP2020546558 A JP 2020546558A JP 2020546558 A JP2020546558 A JP 2020546558A JP 7019064 B2 JP7019064 B2 JP 7019064B2
Authority
JP
Japan
Prior art keywords
camera
angle
marker
plane
installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020546558A
Other languages
English (en)
Other versions
JPWO2020053936A1 (ja
Inventor
少翔 馬
正英 小池
順司 助野
晋 飯野
聡 道籏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020053936A1 publication Critical patent/JPWO2020053936A1/ja
Application granted granted Critical
Publication of JP7019064B2 publication Critical patent/JP7019064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Projection Apparatus (AREA)

Description

本発明は、カメラ設置支援装置及び方法、並びに設置角度算出方法に関する。本発明はまた、プログラム及び記録媒体に関する。
監視カメラの設置に当たっては、カメラの設置角度を所望の値(目標値)に一致させる必要がある。目標値は、監視対象領域をできるだけ効率的にカバーするように定められており、設置に当たっては、設置角度が目標値に一致するように調整が行われる。
特許文献1には、車両周囲の監視のための車載カメラの取付角度(設置角度)を所望の値にするためのキャリブレーション方法が開示されている。この方法では、発光装置からの照射により地面に形成された複数のマーカをカメラで撮影し、撮影画像内のマーカを認識し、認識されたマーカの形状、相互間距離等に基づいて取付角度を算出し、算出結果に基づいて取付角度の補正を行う。
特開2007-274564号公報
特許文献1に記載された方法は、複数のマーカを形成するための発光装置が必要であるという問題がある。また、複数のマーカを同一平面に形成する必要があり、例えば、建物の内部のように家具等の障害物が多く、広い平面を利用することができない場合には適用が困難である。
本発明は、上記の課題を鑑み、マーカが形成される平面が比較的狭くても設置角度の算出或いは調整を可能にすることを目的とする。
本発明の一つの態様の設置支援装置は、
カメラに取り付けることが可能であって、平面に向けて光を照射し、前記平面にマーカを形成する投射器と、
前記カメラの光軸が前記平面に対して垂直であるときに、前記光軸と前記平面との交点に、前記マーカが形成されるように、前記カメラに対する前記投射器の相対角度を調整する相対角度調整部と、
前記カメラによって前記マーカを撮影することで得られた画像から、前記画像内のマーカを認識する認識部と、
前記画像内における、前記マーカと、前記カメラの光軸と前記平面との交点との距離に基づいて前記カメラの設置角度を算出する設置角度算出部と、
前記カメラの設置角度の目標値を記憶する記憶部と、
前記設置角度算出部によって算出された設置角度と前記記憶部に記憶されている設置角度の目標値とを比較し、誤差を算出する誤差算出部と
を有することを特徴とする。
本発明の他の態様の設置角度算出方法は、
投射器から平面に向けて光を照射して前記平面にマーカを形成し、
前記平面に形成されるマーカをカメラで撮影し、
前記カメラの光軸が前記平面に対して垂直であるときに、前記光軸と前記平面との交点に前記マーカが形成されるように、前記カメラに対する前記投射器の相対角度を調整し、
前記相対角度が調整された値のものであり、前記光軸が前記平面に対して垂直な方向以外の方向にあるときに、前記マーカを撮影することで得られた画像内における、前記マーカと、前記光軸と前記平面との交点との距離に基づいて前記カメラの設置角度を算出する
ことを特徴とする。
本発明によれば、マーカが形成される平面が比較的狭くても設置角度の算出或いは調整が可能である。
(a)及び(b)は、本発明の実施の形態1の設置支援装置をカメラとともに示す斜視図である。 (a)及び(b)は、図1に示される設置支援装置の投射器によるマーカの形成及びカメラによるマーカの撮影を示す概略立面図である。 (a)及び(b)は、撮影画像内のマーカの位置を示す図である。 図1に示される設置支援装置の本体部の構成を示す機能ブロック図である。 カメラの光軸が床面に垂直であるときにカメラの光軸と床面との交点にマーカが形成されるように相対角度が調整された状態を示す図である。 カメラの光軸が床面に対して傾いているときに形成されるマーカの位置の、カメラの光軸と床面との交点からのずれを示す図である。 床面上のマーカの位置ずれと、撮影画像内のマーカの位置ずれとの関係を示す図である。 実施の形態1における設置支援装置の動作を示すフローチャート図である。 レンズの主点の位置がカメラの回動中心とは異なる場合の、マーカの位置の、カメラの光軸と床面との交点からのずれを示す図である。 投射器の相対的回動の中心が、図7の例とは異なる場合の、床面上のマーカの位置ずれと、撮影画像内のマーカの位置ずれとの関係を示す図である。 (a)及び(b)は、本発明の実施の形態2におけるカメラの光軸及び投射器の光軸を示す斜視図である。 実施の形態2におけるカメラの光軸及び投射器の光軸を上方から見た図である。 (a)及び(b)は、撮影画像内のマーカの位置を示す図である。 設置支援装置の制御部を構成するコンピュータの構成例を示す図である。
実施の形態1.
図1(a)及び(b)は本発明の実施の形態1の設置支援装置10をカメラ50とともに示す。このうち、図1(a)は前斜め方向から見た図であり、図1(b)は後ろ斜めから見た図である。
カメラ50は、例えば、図2(a)及び(b)に示すように、天井60に取り付けられる。具体的には、カメラ50は、天井60に固定された取付部材62により、床面70を撮影するように取り付けられる。取付部材62は、回動支持部64を有し、カメラ50は、回動支持部64に支持されて、その回動中心Bの回りに回動可能であり、この回動により、パン角及びチルト角を調整することができる。パン角は、床面70に垂直な直線の回りの角度であり、チルト角は床面70に垂直な直線に対する傾き角である。
図2(a)は、カメラの光軸55が床面70に垂直である状態を示し、図2(b)は、カメラの光軸55が床面70に対して傾いている状態を示す。図2(b)には、チルト角が符号θで示されている。図2(a)の状態ではチルト角θはゼロである。
カメラ50は、パン角が所望の値(目標値)になるように調整されるとともに、チルト角θが所望の値(目標値)θrとなるように調整される。パン角の調整とチルト角の調整はどちらを先に行っても良い。
天井60に対してカメラ50が固定される位置(水平面内での位置)の目標値、カメラ50のパン角の目標値及びチルト角の目標値は予め決定されているものとする。
図1(a)及び(b)に示すように、カメラ50は雌型コネクタ52を有し、設置支援装置10は、雄型コネクタ12を有する。
雄型コネクタ12が雌型コネクタ52に差し込まれることで、設置支援装置10がカメラ50に固定される。
図1(b)は、雄型コネクタ12が雌型コネクタ52に差し込まれていない状態を示し、図1(a)は、雄型コネクタ12が雌型コネクタ52に差し込まれている状態を示す。
設置支援装置10は、本体部20と、投射器40とを有し、本体部20に上記の雄型コネクタ12が設けられている。
投射器40は、例えばレーザーポインタで構成され、床面70に向けてビーム状の光を投射し、床面70にマーカ(光点)47を形成する。
以下では、投射器40によって形成されるマーカ47が点状のものであり、投射器40から投射される光ビームが細い線状のものである場合を想定して説明する。
投射器40は、本体部20に対して軸受け部22により回動可能に支持されており、後述の駆動部160により駆動されて軸受け部22の軸24を中心として回動する。
投射器40は、本体部20に対して回動可能であるので、本体部20がカメラ50に取り付けられた状態では、投射器40は、カメラ50に対して回動が可能であり、軸24が相対的回動の中心を構成する。
投射器40を回動させることで、投射器40の光軸の方向を変更することが可能である。ここで、投射器の光軸45は、投射器40から投射される光ビームの中心が辿る軌跡である。
カメラの光軸55と投射器の光軸45とは同じ垂直平面内にある。ここで言う垂直平面は、床面70に対して垂直な平面である。
カメラの回動中心Bを通り床面70に垂直な直線をZ軸と定義し、上記の垂直平面内にあってZ軸に直交する直線をY軸と定義する。Y軸については、投射器40の位置する側を正側と定義する。このように定義した場合、上記の垂直平面はYZ平面で構成される。
上記のチルト角θはYZ平面内におけるZ軸に対する光軸55の角度である。
軸受け部22の軸24は、YZ平面に直交する方向に延びている。
カメラ50は、その光軸55と床面70との交点57及びその周辺を撮影する。
カメラの光軸55(従って、光軸55と床面70との交点57)に対応する撮影画面内の位置は、図3(a)及び(b)に符号OAで示す位置であり、この位置は、カメラ50の構造、具体的には、光軸55と撮影面との位置関係から求めることが可能であり、従って既知である。
後述のように、カメラの光軸55が床面70に垂直であるときに、図3(a)に示されるように、撮影画像内のマーカMKが交点OAに一致するように相対角度αが調整される。相対角度αは、投射器の光軸45とカメラの光軸55とが成す角度である。このように調整された状態では、図2(a)に示すように、交点57の位置にマーカ47が形成される。
相対角度αの調整の後、チルト角θの調整を行う。チルト角θの調整に当たっては、相対角度αを一定に保ったまま、カメラ50を回動中心Bを中心として回動させる。この回動は、カメラの光軸55と床面70との交点57が、投射器40の位置する側に即ちY軸の正方向に移動するように行われる。
図示の設置支援装置10は、カメラ50の設置に際して、カメラ50に取り付けられて、チルト角θの調整、及びそれに先立つ相対角度αの調整に用いられる。
以下では、設置支援装置10は、カメラ50のチルト角の調整の後でカメラ50から取り外されるものである場合を想定して説明するが、カメラ50のチルト角の調整の後も、カメラ50に取り付けられたままとされるものであっても良い。
設置支援装置10の本体部20は、図4に示すように、制御部100と、表示部150と、駆動部160とを有する。
制御部100は、インターフェイス部102と、認識部104と、相対角度調整部106と、設置角度算出部108と、記憶部110と、誤差算出部112と、表示制御部114とを有する。
インターフェイス部102は、カメラ50に接続され、カメラ50による撮影で生成された画像を取得する。
認識部104は、インターフェイス部102が取得した画像を受けて、撮影画像内のマーカMKを認識し、撮影画像内のマーカMKの交点OAからのずれを把握する。
相対角度調整部106は、カメラの光軸55が床面70に対して垂直である(図2(a))ときに得られる撮影画像におけるマーカMKのずれに基づいて、該ずれがゼロになるように、相対角度αを調整する。調整は、駆動部160を動作させることで行われる。
記憶部110は、調整後の相対角度αを、「調整された値」として記憶する。
設置角度算出部108は、相対角度αが調整された値のものであり、カメラの光軸55が床面70に対して垂直な方向以外の方向にあるときに、カメラ50で撮影を行うことで得られた画像内のマーカMKの位置(ずれ)から、チルト角θを算出する。
ここで、「相対角度αが調整された値のものである」とは、相対角度αを調整した後、変えることなく維持している場合のみならず、相対角度αを、調整後に異なる値にし、その後調整された値に戻した場合をも含む。
記憶部110はまた、図示されない設置パラメータ生成システムにより生成された設置パラメータを記憶する。
設置パラメータは、監視対象領域を最も効果的にカバーするための設置位置(水平面内での位置)の目標値、パン角の目標値、及びチルト角の目標値を含むものであり、例えば事前にシミュレーションなどを通じて決定されたものである。ここで「最も効果的にカバーする」とは、死角がないようすること、或いは死角が最も少ないようにすること、或いは撮影目的からして死角の影響が最も少ないようにすることを意味する。
誤差算出部112は、設置角度算出部108で算出されたチルト角θと、記憶部110に記憶されたチルト角の目標値θrとを比較して誤差を算出する。
表示制御部114は、誤差算出部112で算出された誤差を表示部150に表示させる。
誤差は例えば文字により「+3度」、「-4度」等と表示されても良い。代わりに、或いはそれに加えて、図形の大きさ、色等を利用した表示であっても良い。
図1(a)には表示部150の表示面152が示されている。
操作者は、表示面152に表示される誤差を見ながら、チルト角の調整(回動中心Bを中心とするカメラ50の回動による設置角度の変更乃至修正)の作業を行うことができる。
以下、相対角度調整部106における相対角度の調整及び設置角度算出部108におけるチルト角の算出、並びに誤差算出部112における誤差の算出方法を、図5及び図6を参照しながら説明する。
図5は、カメラの光軸55が床面70に垂直であるときにカメラの光軸55と床面70との交点にマーカが形成されるように相対角度αが調整された状態を示す。
図6は、相対角度αが図5と同じ値のものであり、且つカメラを傾けた状態を示す。
なお、回動中心Bは、カメラの光軸55上にあるものとし、YZ平面内での相対的回動の中心24(相対的回動の中心24とYZ平面との交点)が、投射器の光軸45上にあり、且つ、カメラの回動中心Bを通りカメラの光軸55に垂直な直線(YZ平面内の直線)上に位置するものとする。
投射器の相対的回動の中心(軸)24の位置は、カメラの回動に伴って移動する。
図5に示すように、カメラの光軸55が床面70に対して垂直であるときの、上記の相対的回動の中心をAoとし、図6に示すように、カメラの光軸55が床面70に対して傾いているときの、上記の相対的回動の中心をAとし、カメラの回動中心をBとする。
また、カメラの光軸55が床面70に垂直であるときの、カメラの光軸55と床面70との交点(図2(a)の57)をCとし、カメラを傾けたときの、カメラの光軸55と床面70との交点(図2(b)の57)をDとする。
さらに、カメラを傾けたときの、投射器の光軸45と床面70との交点(マーカ47が形成される位置)をE、相対的回動の中心Aを通り床面70に垂直な直線と、回動中心Bを通り線分DCに平行な直線との交点をF、相対的回動の中心Aを通り床面70に垂直な直線と、床面70との交点をGとする。
さらに、カメラを傾けたときの、カメラの光軸55と投射器の光軸45との交点をHとし、交点Hを通り線分DCに平行な直線と、線分AGとの交点をI、交点Hを通り線分DCに平行な直線と、線分BCとの交点をJとする。
さらに、回動中心Bから上記の交点Cまでの距離をhとし、相対的回動の中心Aとカメラ50の回動中心Bとの距離をsとする。
距離sは、カメラ50及び設置支援装置10の構造で決まる値であり、既知である。
上記のように、カメラ50が傾いていないときに、図3(a)に示されるように、撮影画像内のマーカMKが交点OAに一致するように相対角度αが調整されるので、そのように調整が行われた状態では、図5に示すように、投射器の光軸45と床面70との交点(マーカが形成される位置)は、カメラの光軸55と床面70との交点Cと一致する。
カメラ50が傾いているときは、図6に示すように、投射器の光軸45と床面70との交点(マーカが形成される位置)Eが、カメラの光軸55と床面70との交点Dからずれ、撮影画像においても図3(b)に示すように、マーカMKが交点OAからずれた位置に現れる。
床面70上でのマーカの位置Eのずれ(距離DE)を符号dで表し、撮影画像におけるマーカMKのずれを符号pで表す。
図6において、△AEGと△AHIは相似関係にあるので、以下の式が成り立つ。
Figure 0007019064000001
ここで、
Figure 0007019064000002
である。式(2a)~(2c)を式(1)に代入することで下記の式(3)が得られる。
Figure 0007019064000003
式(3)を変形することで下記の式(4)が得られる。
Figure 0007019064000004
また、△AGEが直角三角形であることから、以下の式(5)が成り立つ。
Figure 0007019064000005
ここで、
Figure 0007019064000006
である。
式(4)、(2b)、(6)を式(5)に代入することで下記の式(7)が得られる。
Figure 0007019064000007
相対角度αは、投射器40を回動させた角度(回動量)から求められる。例えば、回動する部分にロータリーエンコーダーを付けておくことで相対角度(調整された値)αを求めることができる。また、駆動部160がパルスモータで構成される場合、パルスモータに印加されたパルスの数から相対角度(調整された値)αを求めることができる。
また、カメラ50の回動中心から床面70までの距離hは、αとsとから、下記の式(8)で算出することができる。
Figure 0007019064000008
図7は、床面上のマーカのずれdと、撮影画像内のマーカのずれpとの関係を示す。
図7では、カメラ50のレンズの主点が回動中心Bに一致するものとしている。
カメラ50の撮像面と光軸55との交点Sは、主点Bから焦点距離fだけ後方(被写体とは反対の方向)にある。
マーカが形成される位置Eを通り線分ABに平行な直線と、光軸55との交点をUとし、交点Sを通り線分ABに平行な直線と、主点Bと点Eとを通る直線との交点をTとする。
さらに線分STの長さをpとする。
カメラで撮影を行うとき、レンズの後方にある撮像面に像が結像され、画像となる。マーカが床面70上で交点Dから距離dだけずれた位置Eにあるとき、撮影画像内のマーカMKは、交点OAから距離pだけずれた位置に現れる。
ここで、△BSTと△BUEが相似関係にあることから、以下の式が成り立つ。
Figure 0007019064000009
ここで、
Figure 0007019064000010
であるので、式(10a)~(10d)を式(9)に代入すると下記の式(11)が得られる。
Figure 0007019064000011
式(11)を変形することで下記の式(12)が得られる。
Figure 0007019064000012
式(12)を変形することで下記の式(13)が得られる。
Figure 0007019064000013
式(13)を変形することで下記の式(14)が得られる。
Figure 0007019064000014
式(14)を、式(7)に代入すると、以下の式(15)が求められる。
Figure 0007019064000015
以上のように、式(15)の変数のうち、s、α、h、p及びfは既知又は別途算出可能であり、θが未知である。
上記の式(15)を用いることで、画像内での距離pからチルト角θを求めることができる。
誤差算出部112は、以上のようにして算出されたチルト角θと、記憶部110に記憶されている目標値θrとの差(誤差)を算出する。
表示制御部114は、算出されたチルト角の誤差を、表示部150に表示させる。
操作者は、表示された誤差に応じて、チルト角を変更する。
そのような処理及び作業を繰り返すことで、チルト角を目標値に近づけ、或いは一致させることができる。
複数のカメラの設置を行う場合には、設置支援装置10を複数のカメラに順次取り付けて1台ずつチルト角の調整を行う。即ち、各カメラについて調整が終わったら、設置支援装置10を当該カメラから取り外して、次のカメラに取り付けて、同様の処理を行う。このようにすることで、1台の設置支援装置で複数のカメラのチルト角の調整を行うことができる。
図8は、実施の形態1の設置支援装置を用いて1台のカメラのチルト角の調整を行う際の処理の手順の一例を示すフローチャートである。
まず、ステップST1において、投射器40から床面70に向けてビーム状の光を投射する。光の投射は、マーカ47が床面70に形成されるように行われる。
ステップST2において、インターフェイス部102がカメラ50から撮影画像を取得し、認識部104に供給する。
ステップST3において、認識部104が、画像内のマーカMKを認識し、マーカが認識できた画像を相対角度調整部106及び設置角度算出部108に送信する。
次に、ステップST4において、投射器40のカメラ50に対する相対角度αの調整が完了しているか否かの判定を行う。
完了していなければ、ステップST5に進み、完了していれば、ステップST6に進む。
ステップST5において相対角度αの調整を行う。
具体的には、図2(a)に示すように、カメラ50の光軸55が床面70に対して垂直であるときに、カメラの光軸55と床面70との交点57にマーカ47が形成されるように相対角度αが調整される。
相対角度αの調整は、撮影画像内のマーカMKを認識部104が認識し、相対角度調整部106が、認識されたマーカMKの位置を交点OAの位置に一致させるために必要な角度変更量を算出し、算出した角度変更量だけ、駆動部160を動作させることで行われる。
駆動部160を動作させる際、駆動により投射器40が回動した角度を累積して、調整後の相対角度αを求め、記憶部110に記憶させる。
ステップST5の処理の後、操作者がカメラ50のチルト角θの調整を開始する。
この作業は、カメラ50のチルト角θが目標値θrに一致するように行なわれる。具体的には、以下に述べる処理により表示部150に表示される誤差を見ながら、誤差がなくなるように、或いは誤差がより小さくなるように行われる。
ステップST6において、設置角度算出部108は、画像内におけるマーカMKの位置(交点OAからのずれ)を用いてカメラ50のチルト角(測定値)θを算出し、誤差算出部112に供給する。
ステップST7において、誤差算出部112は、設置角度算出部108で算出されたチルト角θと記憶部110に記憶されたチルト角の目標値θrとを比較し、誤差を算出し、表示制御部114に送信する。
次に、ステップST8において、表示制御部114は、誤差算出部112より受信した誤差を表示部150に表示させる。
例えば「+3度」、「-4度」と表示される。
操作者は、表示された誤差に応じて、投射器40の設置角度を変更する。
例えば誤差が「+3度」であれば、設置角度を小さくする方向(マイナス方向に変化させる方向)に動かす。
ステップST9において、誤差算出部112は、算出した誤差が規定値未満かどうかを判定する。
ステップST9で、誤差が規定値未満であった場合、処理を終了する。
規定値以上であった場合、ステップST1に戻り、ステップST1~ST9を繰り返す。
ステップST9で誤差が規定値以上である限り、操作者が設置角度の変更を行うか否かに拘らず、ステップST1~ST9が繰り返される。
操作者が設置角度の変更を行って、誤差が変われば、表示される誤差も更新される。
操作者は、更新される誤差を見ながら設置角度の変更を続ける。
なお、誤差が規定値未満になったら、そのことを併せて表示しても良い。
そうすれば、操作者は、調整が完了したことを認識することができる。
上記のようにパン角の調整とチルト角の調整とはどちらを先に行っても良い。パン角の調整とチルト角の調整の順序の決定に当たり、以下の点を考慮しても良い。
上記の方法でチルト角の調整を行うには、カメラを傾けた際にも、マーカが床面に形成される必要がある。所望のパン角の方向に、比較的近い位置に壁面、障害物等がある場合、投射器をカメラに対して所望のパン角の方向に位置させた状態で(即ちパン角の調整を終えた状態で)、カメラのチルト角変化させると、マーカが、床面ではなく、壁面、障害物の面に形成されてしまう場合がある。その場合、投射器をカメラに対して所望のパン角とは異なる、壁面、障害物等までの距離が比較的に長い方向に位置させた状態でチルト角の調整を行い、その後で、パン角の調整(所望の方向への回動)を行うこととすれば良い。
このようにすることで、所望のパン角の方向において利用できる床面が比較的狭い場合でも、チルト角の調整を行うことができる。
上記の例では、図7において、レンズの主点がカメラの回動中心に一致するものとしたが、一致しなくても、同様の処理でチルト角の算出を行うことができる。
例えば、図9に示すようにレンズの主点が回動中心Bよりも距離gだけ前方の点Baに位置する場合には、式(10a)の代わりに、下記の式(16)を用いれば良い。
Figure 0007019064000016
その上で、式(9)の代わりに、
Figure 0007019064000017
を用いて、式(11)以降の計算式でも上記に準じた変更を行なえば良い。
上記の例では、投射器の相対的回動の中心(24)と、カメラの回動中心Bとがカメラの光軸55に対して垂直な直線上に並んでいるものとしたが、並んでいない場合にも、同様の処理でチルト角の算出を行うことができる。
例えば、投射器の相対的回動の中心(24)が、図10に示される位置(YZ平面内の位置)Abにある場合を考える。位置Abは、カメラの光軸55上にあってカメラの回動中心Bよりも距離tだけ前方の点Vを通り光軸55に垂直な直線上にあって、点Vから距離uだけ隔たっている。
この場合、
Figure 0007019064000018
によりsを求め、式(8)の代わりに、
Figure 0007019064000019
により、hを求め、このようにして求められたs、hを、式(15)などの計算に用いることとすれば良い。
式(18)及び(19)で、距離t、uはカメラ50及び設置支援装置10の構造で決まる値であり、既知である。
また、図10の符号Aaは、(投射器40の相対的回動の中心ではなく、)カメラの回動中心Bを通りカメラの光軸55に垂直な直線と、投射器の光軸45との交点を示し、sは、上記の交点Aaとカメラの回動中心Bとの距離を示す。交点Aa及び距離sは、相対角度αの変化に伴って変化する。
上記の例では、カメラ50が屋内の天井60に取り付けられ、床面70にマーカを形成する場合を想定して説明したが、床面ではなく、壁面にマーカを形成する構成であっても良い。また、カメラが設置される場所は屋外であっても良い。その場合、上記の説明における床面を路面、地面、建物等の外壁面等と読み替え、天井を屋外の構造物(支柱、建物の外壁)等と読み替えれば良い。
実施の形態2.
上記の実施の形態1の設置支援装置は、床面を用いて垂直方向の設置角度(チルト角)を算出し、算出したチルト角を目標値に一致させるための調整を行うものであった。
実施の形態2の設置支援装置は、壁面を用いて、監視カメラの水平方向の設置角度(パン角)を算出し、目標値に一致させるための調整を行うものである。
実施の形態2の設置支援装置は、実施の形態1に関し、図1(a)及び(b)及び図4を参照して説明した構成の設置支援装置と同様の構成を有する。但し、設置角度算出部108における計算が異なる。
カメラ50は、図2(a)及び(b)で示したのと同様に天井60に固定される。但し、実施の形態1とは異なり、カメラ50は、図11(a)及び(b)、並びに図12に示すように、壁面80を撮影するように取り付けられる。
図11(a)及び(b)は壁面80に向けられたカメラ50及び設置支援装置10を側方から見た図であり、図12はカメラ50及び設置支援装置10を上方から見た図である。
実施の形態1と同様に投射器の光軸45はカメラの光軸55と同じ垂直平面内にあり、カメラの光軸55に対して、角度αだけ傾いている。
図11(a)は、カメラの光軸55と投射器の光軸45とを含む垂直平面が、壁面80に対し垂直である場合を示し、図11(b)は、上記の垂直平面が、壁面80に対して傾いている場合を示す。
図11(a)では、光軸55、45がそれぞれ符号55(a)、45(a)で示され、光軸55、45と壁面80との交点が57(a)、47(a)で示されている。図11(b)では、光軸55、45がそれぞれ55(b)、45(b)で示され、光軸55、45と壁面80との交点が57(b)、47(b)で示されている。
図12の鎖線55(a)は、図11(a)の状態における、カメラの光軸を示、図12の点線55(b)は、図11(b)の状態における、カメラの光軸を示す。図12では、投射器の光軸45(a)、45(b)はカメラの光軸55(a)、55(b)と重なっている。
光軸55に沿う、カメラ50から壁面80までの距離(カメラ50から交点57(57(a)、57(b))までの距離)、及び光軸45に沿う、投射器40から壁面80までの距離(投射器40から交点47(47(a)、47(b))までの距離)は、図11(a)の状態に比べて、図11(b)の方が長い。
従って、カメラの光軸55と壁面80との交点57(57(a)、57(b))と、投射器の光軸45と壁面80との交点(マーカが形成される位置)47(47(a)、47(b))との距離(垂直方向の距離)は、図11(a)の場合よりも、図11(b)の場合の方が長い。
このように、カメラの光軸55と壁面80との交点57と、投射器の光軸45と壁面80との交点47との距離は、パン角Φに応じて変わる。
撮影画像内における交点OAとマーカMKとの距離は交点57と交点47との距離に応じたものとなる。
例えば、図11(a)の状態での撮影画像は図13(a)の如くであり、図11(b)の状態での撮影画像は図13(b)の如くであり、図13(a)における交点OAとマーカMKとの距離p(a)よりも、図13(b)における交点OAとマーカMKとの距離p(b)の方が長い。
以上のように、撮影画像内での交点OAとマーカMKとの距離pは、パン角Φに関係付けられている。
例えば、図11(a)の状態でのパン角Φをゼロと定義すれば、パン角Φの絶対値が大きくなるにつれて、撮影画像内での交点OAとマーカMKとの距離pが次第に大きくなる。
そのような関係を利用し、実施の形態1で説明したのと同様に、パン角Φと撮影画像内での交点OAとマーカMKとの距離pの関係を示す数式を導き出し、導き出された数式を利用して撮影画像内でのカメラの光軸55と壁面80との交点OAとマーカMKとの距離pから、パン角Φを算出することができる。
以上、マーカを床面又は壁面に形成する場合について説明したが、マーカを形成する面は、床面、壁面以外であってもよく、要するに任意の平面であれば良い。
また、チルト角又はパン角を目標値に一致するように調整を行う例について説明したが、調整の対象となる角度は、チルト角、パン角以外の設置角度であっても良い。
上記の設置支援装置の制御部は、その一部又は全部を処理回路で構成し得る。
処理回路はハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
制御部100がプログラムされたコンピュータで構成される場合の処理回路の構成は例えば図14に示す如くである。
図示の例では処理回路200は、プロセッサ210及びメモリ220を有する。
図14は、処理回路200によって制御される表示部150及び駆動部160をも示す。
メモリ220には、制御部100の各部の機能を実現するためのプログラムが記憶されている。
メモリ220はまた、制御部100内の図4の記憶部110の役割をも果たす。
プロセッサ210は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)等を用いたものである。
メモリ220は、例えばRAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)若しくはEEPROM(Electrically Erasable Programmable Read Only Memory)等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。
プロセッサ210は、メモリ220に記憶されているプログラムを読み出して実行することにより、制御部100の機能を実現する。
制御部100の機能には、上記のように表示部150に対する表示の制御、駆動部160に対する駆動の制御が含まれる。
以上本発明の設置支援装置を説明した。上記の設置支援装置で実施される設置支援方法、及び設置角度算出方法もまた本発明の一部を成す。上記の設置支援装置、設置支援方法、又は設置角度算出方法における処理をコンピュータに実行させるプログラム及び該プログラムを記録した、コンピュータで読取可能な記録媒体もまた本発明の一部を成す。
なお、本発明は実施の形態1及び2で説明した構成に限定されるものではなく、本発明の趣旨に基づく種々の変形が可能であり、それらも本発明の範囲に含まれる。
以上のように、本発明によれば、任意の平面を用いて設置角度を算出することができるので、どのような環境の監視対象領域に対してもカメラの設置角度を目標値に一致させるための調整が可能である。また、設置角度の目標値に対する実際の値の誤差を表示することとすれば、操作者は、表示された誤差を見て変更の方向及び大きさを決めることができ、従って設置角度の調整の作業が容易となる。
10 設置支援装置、 40 投射器、 50 カメラ、 70 床面、 102 インターフェイス部、 104 認識部、 106 相対角度調整部、 108 設置角度算出部、 110 記憶部、 112 誤差算出部、 150 表示部、 160 駆動部。

Claims (12)

  1. カメラに取り付けることが可能であって、平面に向けて光を照射し、前記平面にマーカを形成する投射器と、
    前記カメラの光軸が前記平面に対して垂直であるときに、前記光軸と前記平面との交点に、前記マーカが形成されるように、前記カメラに対する前記投射器の相対角度を調整する相対角度調整部と、
    前記カメラによって前記マーカを撮影することで得られた画像から、前記画像内のマーカを認識する認識部と、
    前記画像内における、前記マーカと、前記カメラの光軸と前記平面との交点との距離に基づいて前記カメラの設置角度を算出する設置角度算出部と、
    前記カメラの設置角度の目標値を記憶する記憶部と、
    前記設置角度算出部によって算出された設置角度と前記記憶部に記憶されている設置角度の目標値とを比較し、誤差を算出する誤差算出部と
    を有することを特徴とするカメラ設置支援装置。
  2. 前記誤差算出部によって算出された前記誤差を表示する表示部をさらに有する
    ことを特徴とする請求項1に記載のカメラ設置支援装置。
  3. 前記相対角度調整部は、前記カメラの光軸が前記平面に対して垂直であるときに撮影を行うことで得られた画像内において、マーカの位置が前記光軸と前記平面との交点の位置に一致するように、前記相対角度を調整する
    ことを特徴とする請求項に記載のカメラ設置支援装置。
  4. 前記投射器を回動させて、前記相対角度を変える駆動部をさらに有し、
    前記相対角度調整部は、前記駆動部による駆動で前記投射器が回動した角度に基づいて、前記相対角度の調整された値を算出し、
    前記設置角度算出部は、前記カメラの設置角度の算出に、前記相対角度調整部で算出された前記相対角度の調整された値をも用いる
    請求項に記載のカメラ設置支援装置。
  5. 前記設置角度算出部は、前記相対角度が前記調整された値のものであり、前記カメラの光軸が前記平面に対して垂直な方向以外の方向にあるときに、前記マーカを撮影することで得られた画像内における、前記マーカと、前記光軸と前記平面との交点との距離に基づいて前記カメラの設置角度を算出する
    ことを特徴とする請求項に記載のカメラ設置支援装置。
  6. 前記平面が床面であり、前記設置角度がチルト角である
    ことを特徴とする請求項1からのいずれか1項に記載のカメラ設置支援装置。
  7. 前記平面が壁面であり、前記設置角度がパン角である
    ことを特徴とする請求項1から5のいずれか1項に記載のカメラ設置支援装置。
  8. 投射器から平面に向けて光を照射して前記平面にマーカを形成し、
    前記平面に形成されるマーカをカメラで撮影し、
    前記カメラの光軸が前記平面に対して垂直であるときに、前記光軸と前記平面との交点に前記マーカが形成されるように、前記カメラに対する前記投射器の相対角度を調整し、
    前記相対角度が調整された値のものであり、前記光軸が前記平面に対して垂直な方向以外の方向にあるときに、前記マーカを撮影することで得られた画像内における、前記マーカと、前記光軸と前記平面との交点との距離に基づいて前記カメラの設置角度を算出する
    ことを特徴とする設置角度算出方法。
  9. 請求項に記載の設置角度算出方法で算出された設置角度の、当該設置角度の目標値に対する誤差を算出して表示するカメラ設置支援方法。
  10. 請求項に記載の設置角度算出方法における処理をコンピュータに実行させるためのプログラム。
  11. 請求項に記載のカメラ設置支援方法における処理をコンピュータに実行させるためのプログラム。
  12. 請求項10又は11に記載のプログラムを記憶した、コンピュータで読取可能な記録媒体。
JP2020546558A 2018-09-10 2018-09-10 カメラ設置支援装置及び方法並びに設置角度算出方法、並びにプログラム及び記録媒体 Active JP7019064B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/033465 WO2020053936A1 (ja) 2018-09-10 2018-09-10 カメラ設置支援装置及び方法並びに設置角度算出方法、並びにプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020053936A1 JPWO2020053936A1 (ja) 2021-05-13
JP7019064B2 true JP7019064B2 (ja) 2022-02-14

Family

ID=69777683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020546558A Active JP7019064B2 (ja) 2018-09-10 2018-09-10 カメラ設置支援装置及び方法並びに設置角度算出方法、並びにプログラム及び記録媒体

Country Status (4)

Country Link
US (1) US11259013B2 (ja)
JP (1) JP7019064B2 (ja)
CN (1) CN112913229B (ja)
WO (1) WO2020053936A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
USD956586S1 (en) * 2019-08-26 2022-07-05 Autel Intelligent Technology Corp., Ltd. Line laser
JP6973467B2 (ja) * 2019-11-29 2021-12-01 セイコーエプソン株式会社 プロジェクター、及び投射光学装置
CN111257342B (zh) * 2020-03-31 2023-02-21 北京博清科技有限公司 相机定位***和相机定位方法
CN113048940B (zh) * 2021-03-12 2023-05-26 西安艾博电子***有限公司 一种基于星体定位方法及装置
US20230272595A1 (en) * 2022-02-28 2023-08-31 Caterpillar Inc. Remote control operation of a machine using a light beam for depth perception

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119229A1 (ja) 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 3次元撮像装置及び3次元撮像装置の校正方法
JP2010219663A (ja) 2009-03-13 2010-09-30 Alpine Electronics Inc 撮像装置のキャリブレーション方法およびキャリブレーションシステム
JP2013113805A (ja) 2011-11-30 2013-06-10 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2013147114A (ja) 2012-01-18 2013-08-01 Toyota Motor Corp 周辺環境取得装置およびサスペンション制御装置
JP2016171509A (ja) 2015-03-13 2016-09-23 三菱電機株式会社 キャリブレーション装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6520647B2 (en) * 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
AU2003243604A1 (en) * 2002-06-12 2003-12-31 Silicon Optix, Inc. Automatic keystone correction system and method
JP4141874B2 (ja) * 2003-03-26 2008-08-27 三菱電機株式会社 焦点距離及び/又は画角算出方法ならびに焦点距離算出用光投射装置
US7204596B2 (en) * 2003-09-19 2007-04-17 Nec Corporation Projector with tilt angle measuring device
JP3960390B2 (ja) * 2004-05-31 2007-08-15 Necディスプレイソリューションズ株式会社 台形歪み補正装置を備えたプロジェクタ
JP2006121290A (ja) 2004-10-20 2006-05-11 Fuji Xerox Co Ltd カメラ制御システム
JP4196951B2 (ja) * 2005-02-04 2008-12-17 セイコーエプソン株式会社 プロジェクタ、投写画像調整方法
US20070182936A1 (en) * 2006-02-08 2007-08-09 Canon Kabushiki Kaisha Projection display apparatus
JP2007274564A (ja) * 2006-03-31 2007-10-18 Aisin Aw Co Ltd キャリブレーション装置及びキャリブレーション方法
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
US7980703B2 (en) * 2007-03-26 2011-07-19 Casio Computer Co., Ltd. Projector
JP2008271308A (ja) * 2007-04-23 2008-11-06 Sanyo Electric Co Ltd 画像処理装置及び方法並びに車両
JP2010010971A (ja) * 2008-06-25 2010-01-14 Fujitsu Ltd キャリブレーション装置
US8675090B2 (en) * 2010-12-15 2014-03-18 Panasonic Corporation Image generating apparatus, image generating method, and recording medium
JP2012220356A (ja) * 2011-04-11 2012-11-12 Suzuki Motor Corp ステレオカメラ較正装置およびステレオカメラ較正方法
JP5973704B2 (ja) * 2011-08-26 2016-08-23 キヤノン株式会社 投影制御装置及び投影制御方法
JP2013053948A (ja) * 2011-09-05 2013-03-21 Panasonic Corp カメラ状態測定装置およびカメラ状態測定方法
JP6025365B2 (ja) * 2012-04-04 2016-11-16 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
US9607363B2 (en) * 2012-06-19 2017-03-28 Ricoh Company, Ltd. Projector, trapezoidal distortion correction method, and storage medium storing trapezoidal distortion correction program
CN103148832B (zh) * 2013-01-30 2015-07-29 天津市亚安科技股份有限公司 摄像机安装倾角的检测方法
CN105027141B (zh) * 2013-01-31 2018-09-07 富士机械制造株式会社 图像处理***及辅助***
JP6127757B2 (ja) * 2013-06-14 2017-05-17 セイコーエプソン株式会社 プロジェクター、およびプロジェクターの制御方法
CA3026231A1 (en) * 2016-06-08 2017-12-14 Sony Corporation Imaging control device and method, and vehicle
JP2018207373A (ja) * 2017-06-07 2018-12-27 パナソニックIpマネジメント株式会社 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119229A1 (ja) 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 3次元撮像装置及び3次元撮像装置の校正方法
JP2010219663A (ja) 2009-03-13 2010-09-30 Alpine Electronics Inc 撮像装置のキャリブレーション方法およびキャリブレーションシステム
JP2013113805A (ja) 2011-11-30 2013-06-10 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2013147114A (ja) 2012-01-18 2013-08-01 Toyota Motor Corp 周辺環境取得装置およびサスペンション制御装置
JP2016171509A (ja) 2015-03-13 2016-09-23 三菱電機株式会社 キャリブレーション装置

Also Published As

Publication number Publication date
JPWO2020053936A1 (ja) 2021-05-13
WO2020053936A1 (ja) 2020-03-19
CN112913229B (zh) 2023-04-21
US20210306621A1 (en) 2021-09-30
US11259013B2 (en) 2022-02-22
CN112913229A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
JP7019064B2 (ja) カメラ設置支援装置及び方法並びに設置角度算出方法、並びにプログラム及び記録媒体
JP4188394B2 (ja) 監視カメラ装置及び監視カメラシステム
EP3122034B1 (en) Method for calibrating a camera
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
US9019477B2 (en) Laser scanner and method for detecting mobile object
CN113923420B (zh) 区域调整方法和装置、摄像头和存储介质
US20060209186A1 (en) Field angle adjustment apparatus, camera system, and field angle adjustment method
AU2020417796B2 (en) System and method of capturing and generating panoramic three-dimensional images
JP7300948B2 (ja) 測量データ処理装置、測量データ処理方法、測量データ処理用プログラム
CN110389041B (zh) 车辆的环视与超声波的集成***的测试***及方法
JP2022171677A (ja) 画像取込デバイスを用いて測定ポイントを探し出すデバイス及び方法
JP2006325070A (ja) 監視カメラ装置及びそのチルト動作端設定方法
JP2007033277A (ja) 三次元形状計測装置の基準座標取込方法
JP2007089042A (ja) 撮像装置
JP2007225403A (ja) 距離計測装置の調整機構およびそれを備えた立体形状認識システム
KR20140077315A (ko) 3차원 모델뷰 기반의 멀티카메라 모니터링 시스템 및 방법
JP4141874B2 (ja) 焦点距離及び/又は画角算出方法ならびに焦点距離算出用光投射装置
KR102338634B1 (ko) 등속 광원 잔상을 이용한 카메라 렌즈 왜곡 보정 시스템
CN107274447B (zh) 深度图像获取装置和深度图像获取方法
WO2022004248A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10895456B1 (en) Three-dimensional survey apparatus, three-dimensional survey method, and three-dimensional survey program
JP2005175852A (ja) 撮影装置及び撮影装置の制御方法
KR20190140723A (ko) 패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치
KR101728832B1 (ko) 차량용 영상 정합을 위한 수동보정장치 및 그 방법
KR102373572B1 (ko) 서라운드 뷰 모니터링 시스템 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220201

R150 Certificate of patent or registration of utility model

Ref document number: 7019064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150