JP2020136213A - 追尾型照明装置および照明追尾システム - Google Patents

追尾型照明装置および照明追尾システム Download PDF

Info

Publication number
JP2020136213A
JP2020136213A JP2019031663A JP2019031663A JP2020136213A JP 2020136213 A JP2020136213 A JP 2020136213A JP 2019031663 A JP2019031663 A JP 2019031663A JP 2019031663 A JP2019031663 A JP 2019031663A JP 2020136213 A JP2020136213 A JP 2020136213A
Authority
JP
Japan
Prior art keywords
tracking
likelihood
rectangle
target
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019031663A
Other languages
English (en)
Other versions
JP7219915B2 (ja
Inventor
靖 金澤
Yasushi Kanazawa
靖 金澤
祐真 原田
Yuma Harada
祐真 原田
俊男 清須
Toshio Kiyosu
俊男 清須
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANTEKKUSU KK
Toyohashi University of Technology NUC
Original Assignee
FANTEKKUSU KK
Toyohashi University of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANTEKKUSU KK, Toyohashi University of Technology NUC filed Critical FANTEKKUSU KK
Priority to JP2019031663A priority Critical patent/JP7219915B2/ja
Publication of JP2020136213A publication Critical patent/JP2020136213A/ja
Application granted granted Critical
Publication of JP7219915B2 publication Critical patent/JP7219915B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Non-Portable Lighting Devices Or Systems Thereof (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 オクルージョンの影響を小さくしつつ照明変化に対応可能な追尾型照明装置および照明追尾システムを提供する。【解決手段】 画像取得手段と、画像取得手段によって取得される画像から追尾すべき対象物を判別する処理手段と、処理手段により判別された追尾対象物に向かって照射方向を変更させつつ照明するための照明手段とを備える。処理手段は、画像取得手段から入力される特定フレームについて、対象矩形を検出する対象矩形検出部と、対象矩形に対する畳み込みニューラルネットワーク構造の出力値に基づいて対象矩形ごとの矩形尤度を算出する尤度算出部と、対象矩形の位置と矩形尤度との集合から尤度マップを作成する尤度マップ作成部と、尤度マップのうち最も尤度の高い対象矩形を追尾対象物の対象矩形と判定する判定部を備える。【選択図】 図1

Description

本発明は、追尾型照明装置および照明追尾システムに関し、特に、室内における披露宴会場などで特定人物等を追尾しつつ照明するための装置と、室内における会場内で特定人物に対する照明を追尾させるためのシステムに関するものである。
移動する人物等の追尾対象物を追尾する技術は、監視システムや自動車の安全技術など、コンピュータビジョンにおいて重要な課題の一つであり、例えば、非剛体をMean Shiftによって追跡する手法(非特許文献1参照)、人物の頭部モデルの尤度を用いてパーティクルフィルタで追跡する手法(非特許文献2および3参照)、または色相やHoGによる外観モデルを用いてパーティクルフィルタで追跡する手法(非特許文献4参照)があった。
Visvanathan Ramesh:"Real-Time Tracking of Non-Rigid Objects using Mean Shift", Proceedings IEEE Conference on Computer Vision and Pattern Recognition 2000, (2000) 鈴木達也:"環境モデルの導入による人物追跡の安定化",電子情報通信学会論文誌,Vol.J88-D-II, No.8, pp.1592-1600, (2005) 小林貴訓:"パーティクルフィルタとカスケード型識別器の統合による人物三次元追跡",電子情報通信学会論文誌,Vol.J90-D-IIm, No.8, pp.1-10,(2007) Sangeun Lee: "Human Tracking using Particle Filter with Reliable Appearance Model", SICE Annual Conference 2013, pp.1418-1424,(2013)
しかしながら、非特許文献1に開示される技術は、テンプレートとの距離の算出にピクセル値を用いることから、急激な照明変化に弱く、またオクルージョンに対しても弱いものとなっていた。また、非特許文献2および3に開示される技術は、オクルージョンの影響を小さくすることができるものの、全体として特徴を有する人物を追跡できるものではなく、しかも仮説の評価にピクセル値を用いていることから、急激に照明が変化する環境下ではロストする可能性があった。さらに、非特許文献4に開示される技術は、オクルージョンの影響を小さくすることができる点で非特許文献2および3と同様であるが、特徴を有する人物を追跡するためには、特徴量をその都度構築し直す必要があり、特徴量によっては、急激に照明が変化する環境下ではロストする可能性を有していた。
本発明は、上記諸点に鑑みてなされたものであって、その目的とするところは、オクルージョンの影響を小さくしつつ照明変化に対応可能な追尾型照明装置および照明追尾システムを提供することである。
そこで、追尾型照明装置に係る本発明は、画像取得手段と、この画像取得手段によって取得される画像から追尾すべき対象物を判別する処理手段と、この処理手段により判別された追尾対象物に向かって照射方向を変更させつつ照明するための照明手段とを備える追尾型照明装置において、前記処理手段は、前記画像取得手段から入力される特定フレームについて、対象矩形を検出する対象矩形検出部と、この対象矩形に対する畳み込みニューラルネットワーク構造の出力値に基づいて対象矩形ごとの矩形尤度を算出する尤度算出部と、前記対象矩形の位置と矩形尤度との集合から尤度マップを作成する尤度マップ作成部と、この尤度マップのうち最も尤度の高い対象矩形を追尾対象物の対象矩形と判定する判定部とを備え、前記照明手段は、前記判定部によって判定された追尾対象物の対象矩形が照明領域の中央に位置するように照射方向を適宜変更するものであることを特徴とするものである。
上記構成によれば、対象矩形検出部によって対象矩形を検出し、尤度算出部が対象矩形に対する尤度を算出し、尤度マップ作成部によって尤度マップが作成されることにより、当該尤度マップのうち最も尤度の高い対象矩形を追尾対象物と判定することが可能となる。
上記構成の追尾型照明装置に係る本発明においては、さらに、追尾対象物の移動推定部を備え、該移動推定部は、前記判定部により判定された追尾対象物の対象矩形に対しパーティクルフィルタにより追跡推定を行うものとすることができる。
上記構成の場合には、追尾対象物の対象矩形に対し、パーティクルの尤度に応じた推定が可能となり、オクルージョンの影響を小さくすることができる。
また、上記各構成の追尾型照明装置に係る発明において、前記画像取得手段は、前記追尾対象物の対象矩形が取得画像の中央に位置するように画像取得方向を変更させる駆動部を備えており、前記判定部は、前記尤度マップ作成部によって作成された尤度マップまたは最新尤度マップにおける全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合が所定値以下であることを基準にロスト判定を行うものであり、前記移動推定部は、前記判定部がロスト判定した場合に、画像の中央に位置する対象矩形をもって追尾対象物の対象矩形とみなして移動推定を行うものとすることができる。
上記構成の場合には、判定部がロスト判定を行うことから、ロスト判定された場合、暫定的に画像の中央に位置する対象矩形を追尾対象物として移動推定を継続させることができる。ここで、尤度マップにおける全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合とは、概ね全領域の誘導総和の10%に相当する尤度が追尾対象物の対象矩形の総和であることが好適であり、その1/10を下限値として、それ以下の尤度総和となった場合にロストと判定するものとしてよい。また、画像取得手段が駆動部を備えることにより、取得画像の中央に追尾対象物の対象矩形を配置させることから、ロスト判定された場合に当該取得画像の中央の対象矩形を追尾対象物と推定させることにより、追尾を継続させることが可能となる。その結果として、周囲の照明変化やオクルージョンの影響を小さくさせることが可能となる。
さらに、上記各構成の追尾型照明装置に係る発明において、前記尤度マップ作成部は、過去4フレームにおける尤度マップと前記特定フレームにおける尤度マップの平均値によって更新されたものを最新尤度マップとして作成するものとすることができる。
上記のような構成によれば、尤度マップは、過去4フレームを参照した平均値によって更新されることから、尤度マップにおける最も尤度の高い対象矩形は、過去のフレームから連続することとなり、最新の尤度マップに表現される尤度の正確性を高めることができる。
他方、照明追尾システムに係る本発明は、上記各構成のいずれかに係る追尾型照明装置を使用する室内会場における照明追尾システムであって、前記追尾対象物が、外見上の特徴を有する人物であり、前記処理手段は、前記人物が共通して有する外見上の特徴および該人物の移動軌跡に関する教師データを記憶する記憶部を備え、前記判定部は、前記尤度マップ作成部によって作成された尤度マップまたは最新尤度マップにおける追尾対象物の対象矩形の尤度の総和が所定値以下である場合に、前記人物に関する教師データとの比較によって追尾対象物の対象矩形を特定するものであることを特徴とするものである。
上記構成によれば、例えば、結婚披露宴会場において照明を追尾させるような場合には、照明を照射すべき対象物(例えば、新郎・新婦)は、外見上明確に他と区別できる外見上の特徴を有することから、複数の追尾対象物(例えば、新郎・新婦)これを教師データとして記憶させ、当該教師データとの比較によって、追尾対象物の対象矩形の尤度を高くすることができる。さらに、尤度マップにおける対象矩形の尤度総和が低い場合にあっても、外見上の特徴にかかる教師データとの比較により、追尾対象物の判定が可能となる。これは、周囲の照明変化やオクルージョンの影響を小さくさせることが可能とするものである。
また、照明追尾システムに係る本発明は、上記各構成のいずれかに係る追尾型照明装置を使用する室内会場における照明追尾システムであって、前記画像取得手段は、前記照明手段と一体的に設置され、かつ取得画像の中央が照明手段によって照射される照射範囲の中央に合致させたものであり、前記照明手段は、自動追尾状態と手動追尾状態との切り換えを可能とするものであり、前記移動推定部は、手動追尾状態から自動追尾状態に切り換えた直後に入力される入力画像のうち、中央に位置する対象矩形をもって追尾対象物の対象矩形とみなして判定するものであることを特徴とするものである。
上記構成によれば、照明手段による照射方向が変更されることに伴って、画像取得手段の向きも変更され、しかも、取得画像の中央が照射範囲の中央に一致していることから、手動追尾状態において、照明手段による照射範囲の中心に追尾対象物とすれば、必然的に取得画像の中央に追尾対象物が配置されることとなる。この状態で自動追尾状態に切り換える場合には、複数の対象矩形の中から追尾対象物の対象矩形を判別することなく、中央に位置する対象矩形をもって追尾対象物の対象矩形と判断させることが可能となる。これは、自動追尾状態の開始の際またはロスト状態から早期に復帰させることができる。
上記構成の発明において、前記照明手段は、所定の駆動部を備え、前記判定部により追尾対象物がロスト状態であると判断された場合、前記駆動部の駆動を停止するものとすることができる。
上記構成の場合には、追尾対象物をロストした際、複数の対象矩形から追尾対象物の対象矩形を判別するために、照明手段による照射方向をむやみに変更させないことができる。ロスト状態の場合には、一時的に手動追尾状態に切り換えることにより、ロスト状態からの復帰を容易とし、また、照射方向が不規則に変動しないことから会場内の雰囲気を乱すことを防ぐこともできる。
また、上記構成において、前記画像取得手段は、前記照明手段と一体的に向きを変更するものであり、前記判定部により判定された追尾対象物の対象矩形が前記画像取得手段による取得画像の中央に位置する状態となるように前記駆動部を制御するものとしてよい。
上記構成の場合には、照明手段の向きの制御として、照明の照射状態を検知するのではなく、画像取得手段による取得画像に基づくものとするのである。このような制御により、画像取得手段による取得画像の中央には常に追尾対象物の対象矩形を配置させつつ、結果として、照明手段による照射範囲の中心に追尾対象物を配置させることができる。
上記各構成の照明追尾システムに係る発明において、前記画像取得手段および前記照明手段は、室内会場の天井および壁面のうち、任意の2箇所に設置されているものとすることができる。
上記構成によれば、異なる2点から追尾対象物を追尾しつつ照明を照射させることができるため、二つの画像取得手段および照明手段のうちの一方の画像処理がロスト状態となり照明の追尾が不能な状態となった場合であっても、他方の画像処理が正常に処理されていれば、少なくとも当該他方の画像処理に基づく他方の照明は追尾対象物を継続して追尾させることができる。
追尾型照明装置に係る本発明によれば、オクルージョンの影響を小さくしつつ追尾対象物の追跡が可能であり、また、照明が変化する場合であっても追跡させることができる。さらに、追尾対象物の対象矩形が取得画像の中央に位置するように画像取得手段の向きが調整される構成の場合には、仮にロスト状態となった場合であっても、取得画像(入力画像)の中央に位置する対象矩形をもって追尾対象物として追尾状態に復帰させることができる。
照明追尾システムに係る本発明によれば、上述の追尾型照明装置によって、オクルージョンの影響を小さくしつつ照明変化に対応可能であるうえ、教師データを備える構成の場合には、特定の会場における同種の宴会等において、照明を照射すべき人物等を教師データと比較しつつ追尾させることができ、ロバスト性を向上させるものとなる。手動追尾状態と自動追尾状態との切り換え可能な構成にあっては、手動追尾状態によって準備した後、自動追尾状態による照明追尾を実行させることができるものである。
照明追尾システムに係る本発明の実施形態を示す説明図である。 追尾型照明装置の概要を示す説明図である。 対象矩形の概念を示す説明図である。 畳み込みニューラルネットワーク構造の概略図である。 尤度マップの概念を示す説明図である。
以下、本発明の実施の形態を図面に基づいて説明する。図1は、照明追尾システムの概要を示すものである。照明追尾システムに係る実施形態は、図1(a)に示すように、特定の会場Aの室内において、1箇所または2箇所(図は2箇所)に追尾型照明装置1a,1bが設置されたものであり、この室内における照明(スポットライト)を特定の対象物(例えば人物)H1,H2に照射するものである。
個々の照明装置1a,1bは、それぞれが後述の追尾型照明装置が使用され、対象物H1,H2が移動すると、その移動に伴って照射方向を変更するものである。例えば、結婚披露宴会場の場合、新郎H1および新婦H2が、二人揃って室内を移動することから、その二人H1,H2を追尾するように照明(スポットライト)の照射方向を変更させるのである。
ここで、追尾型照明装置1の実施形態としては、図1(b)に示すように、照明手段としてのスポットライト2と、画像取得手段としてのカメラ3が、単一の筐体に一体的に設置されている。また、この追尾型照明装置1には、内蔵または外付けされた処理手段としての処理装置4が設けられ、カメラ3によって撮影される画像データの入力を受け、画像処理することができる。
追尾型照明装置1は、水平方向への旋回が可能な旋回軸21と、上下方向への角度調整が可能な回転軸22とを備えており、実質的には旋回軸21が壁面または天井の表面にモータ等の駆動部を介して設置されるものである。回転軸22に駆動部を設けることにより角度調整を駆動させてもよい。
ところで、上記の駆動部(モータ)は、コントローラ5によって制御信号が出力(制御電圧が印加)され、その出力値に応じて駆動するものである。このコントローラ5は、前述の処理装置4によって画像処理された結果に応じて、必要な駆動(照明装置1の方向を変更)させるためのものである。
なお、処理装置4にモニタ(表示装置)6を接続することにより、カメラ3によって撮影され、処理装置4に入力された画像、および処理装置4により処理された状態が表示できるようになっており、このモニタ6を目視で確認することにより、追尾状態が正常であるか否かを操作者において判断できるものとしている。
図2に示すように、処理装置4には、対象矩形検出部41、尤度算出部42、尤度マップ作成部43、および判定部44が設けられ、対象矩形検出部41は、カメラ3から入力される画像(特定のフレーム)について、対象矩形を検出するものである。対象矩形とは、全体画像(矩形)の中における所定幅と所定長によって追尾対象(例えば人物)を包囲し得る矩形の領域であり、追尾対象となり得る対象物(例えば人物)について個々に対象矩形で包囲し、追尾対象か否かを判断するために特定するものである。なお、処理装置4には記憶部40が設けられ、入力データのほか、各種算出結果および出力データを一時的に記憶させることができるものとしている。
尤度算出部42は、個々の対象矩形に対して畳み込みニューラルネットワークにより識別した結果(畳み込みニューラルネットワーク構造の出力値)から尤度を算出するものであり、具体的には、当該出力値を尤度として、対象矩形の尤度(矩形尤度)とするものである。また、尤度マップ作成部43は、対象矩形の位置と対象矩形の尤度との集合から尤度マップを作成するものである。尤度マップは、個々の対象矩形における尤度の高低をマップ状に表示(全体画像中に尤度の高低を表示)したものである。この尤度マップの作成により、複数の対象矩形の中から追尾対象とすべき対象矩形を特定することが可能となるのである。そこで、判定部44は、尤度マップのうち最も尤度の高い対象矩形を追尾対象物の対象矩形と判定するものとしている。
具体的には、図3に示すように、追尾対象物が人物である場合、特定フレーム(図3(a))における人物と判断できる領域に幅w×高さhの矩形(対象矩形)を設定する(図3(b))。この対象矩形に対して、畳み込みニューラルネットワークによって追尾対象となり得るかを識別させるのである(図3(c))。このときの畳み込みニューラルネットワーク構造は、図4に示すとおりであり、表1に示すようなネットワークとした。
Figure 2020136213
さらに具体的には、人物矩形検出には、n番目のフレームの画像Inを入力として、人物を包囲する人物矩形(幅w、高さh、中心座標(x,y))の集合を出力とするF(I)を用い、当該n番目のフレームの人物矩形の集合Rnを取得する。この集合Rは下式のように関数Fとして示すことができる。なお、関数Fとしては、ImageNet(http://www.image-net.org)により訓練済みのYolo(Joseph Redmon:“YOLO9000: Better, Faster, Stronger,” arXiv:1612.08242,(2016))を使用することができる。
Figure 2020136213
また、追尾対象の識別においては、Rの各要素riによってInから画像I’を切り出し、I’を識別器Gによって識別する。なお、Gとしては、前述の畳み込みニューラルネットワークを用いることができる。
この識別の結果、I’が追尾対象である場合には、下式のように、Rn’に矩形riを追加し、Lnに尤度liを追加する。
Figure 2020136213
尤度マップは、入力画像Inと同じサイズのh×w行列であり、(i,j)成分は入力画像In中の(i,j)座標において、どの程度の追尾対象が存在するかを表すものとする。ここで作成される尤度マップを最終的な尤度マップとして使用してもよいが、n番目のフレームで作成した尤度マップを仮のマップとし、過去4フレームにおける尤度マップとともに平均したものを最終的な尤度マップとして使用してもよい。その状態を図示すれば、図5のように表すことができる。
ここで、照明(スポットライト)2の向きは、前述のように追尾対象物(人物)を追尾するように照射させるものであるため、コントローラの信号によって駆動させている。このとき、スポットライト2とカメラ3が単一の筐体に設置されていることにより、カメラ3によって取得される画像を基準に、所望画像が得られるように駆動させれば、必然的にスポットライト2の照射方向は変更される。すなわち、スポットライト2によって照射される範囲(通常は円形)の中央と、カメラ3によって取得される画像の中央を一致させることにより、取得画像の中央において常に追尾対象物の対象矩形が位置されるように、カメラ3の向きを修正することとすれば、スポットライト2によって照射される光の範囲の中央に追尾対象物が存在することとなるのである。
本発明の実施形態は上記のとおりであるが、上記の各実施形態は本発明の例示であって、本発明がこれらの実施形態に限定されるものではない。従って、上記実施形態の要素を変更し、または他の要素を追加することができるものである。
例えば、照明追尾システムにあっては、照明装置を操作する際に、手動追尾モードと、自動追尾モードとの切り換えを可能とすることができる。手動追尾モードとは、操作者が手動によりスポットライトを所定方向に向けて照射する状態(手動追尾状態)での操作モードであり、自動追尾モードとは、前述のように取得画像に基づいて追尾対象物の対象矩形を判別してスポットライトを追尾させる状態(自動追尾状態)での操作モードである。このようなモード切替を可能にすることにより、自動追尾状態において追尾対象物をロストした場合、操作者が手動追尾状態にて追尾を継続させることができる。
このモード切替においては、手動追尾状態で、操作者がスポットライトの中央に追尾対象物を存在させた状態とし、このとき、カメラによる取得画像の中央にも同時に追尾対象物が撮影されるものとすれば、手動追尾状態により、予め追尾対象物を特定した後に自動追尾処理を開始させるという使用方法もあり得る。
また、予め処理装置に記憶部を備え、当該記憶部に教師データを記憶させておき、判定手段における最終的な判定に際して、またはロスト状態もしくはロストに近い状態に際して、教師データとの比較によって、追尾対象物を判別させてもよい。
その際、判定部44において、尤度マップ作成部43によって作成された尤度マップ(過去4フレームを平均した最新の尤度マップ)における全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合が所定値以下であることを基準にロスト判定を行うように設定することができる。この場合の尤度マップにおける全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合とは、概ね全領域の誘導総和の10%に相当する尤度が追尾対象物の対象矩形の総和であることが好適であり、その1/10を下限値として、それ以下の尤度総和となった場合にロストと判定することができる。
さらに、追尾対象物の対象矩形の推定として、対象矩形の座標位置を示すパーティクルを用いて尤度分布を推定してもよい。パーティクルで示される座標位置の密度が最も濃い部分が、最も尤度の高い部分を推定しているものとして、パーティクルの重心を追尾対象とすることができる。
<実験例>
画像処理において、取得画像から追尾対象物を識別できるか否かについて、処理動作の実験を行った。実験には、3つの動画を使用し、それぞれ人物が一人の動画(A)、人物二人がすれ違う動画(B)、および人物三人のうち二人が入り乱れ急激な照明変化がある動画(C)とした。また、処理方法は、前述のように対象矩形を設定し、畳み込みニューラルネットワークにより識別して尤度を出力させ、尤度マップを作成したうえで判定させたものである。
実験の結果をMean Shiftとの比較を含めて下表に示す。
Figure 2020136213
Figure 2020136213
上記の結果から、Mean Shiftに比べて、追尾精度は向上していることが分かる(表2)。一方で、処理速度はMean Shiftの約20倍の遅延であった(表3)。ところが、高速で処理し、かつ正確な追尾が可能となる場合、例えば、室内会場における使用のように、追尾対象物が僅かに移動した程度でスポットライトが移動することとなる。これは、照射された光のちらつきになるため、スポットライトは、少し遅く(追尾対象物に遅れながら)移動することが自然な追尾を実現できるという効果をえることができるものである。
1,1a,1b 追尾型照明装置
2 スポットライト(照明手段)
3 カメラ(画像取得手段)
4 処理装置(処理手段)
5 コントローラ
6 モニタ
40 記憶部
41 対象矩形検出部
42 尤度算出部
43 尤度マップ作成部
44 判定部

Claims (9)

  1. 画像取得手段と、この画像取得手段によって取得される画像から追尾すべき対象物を判別する処理手段と、この処理手段により判別された追尾対象物に向かって照射方向を変更させつつ照明するための照明手段とを備える追尾型照明装置において、
    前記処理手段は、前記画像取得手段から入力される特定フレームについて、対象矩形を検出する対象矩形検出部と、この対象矩形に対する畳み込みニューラルネットワーク構造の出力値に基づいて対象矩形ごとの矩形尤度を算出する尤度算出部と、前記対象矩形の位置と矩形尤度との集合から尤度マップを作成する尤度マップ作成部と、この尤度マップのうち最も尤度の高い対象矩形を追尾対象物の対象矩形と判定する判定部とを備え、
    前記照明手段は、前記判定部によって判定された追尾対象物の対象矩形が照明領域の中央に位置するように照射方向を適宜変更するものであることを特徴とする追尾型照明装置。
  2. さらに、追尾対象物の移動推定部を備え、該移動推定部は、前記判定部により判定された追尾対象物の対象矩形に対しパーティクルフィルタにより追跡推定を行うものである請求項1に記載の追尾型照明装置。
  3. 前記画像取得手段は、前記追尾対象物の対象矩形が取得画像の中央に位置するように画像取得方向を変更させる駆動部を備えており、
    前記判定部は、前記尤度マップ作成部によって作成された尤度マップまたは最新尤度マップにおける全領域中の尤度の総和に対し、追尾対象物の対象矩形の尤度の総和の割合が所定値以下であることを基準にロスト判定を行うものであり、
    前記移動推定部は、前記判定部がロスト判定した場合に、画像の中央に位置する対象矩形をもって追尾対象物の対象矩形とみなして移動推定を行うものである請求項2に記載の追尾型照明装置。
  4. 前記尤度マップ作成部は、過去4フレームにおける尤度マップと前記特定フレームにおける尤度マップの平均値によって更新されたものを最新尤度マップとして作成するものである請求項1〜3のいずれかに記載の追尾型照明装置。
  5. 請求項1〜4のいずれかに記載の追尾型照明装置を使用する室内会場における照明追尾システムであって、
    前記追尾対象物が、外見上の特徴を有する人物であり、
    前記処理手段は、前記人物が共通して有する外見上の特徴および該人物の移動軌跡に関する教師データを記憶する記憶部を備え、
    前記判定部は、前記尤度マップ作成部によって作成された尤度マップまたは最新尤度マップにおける追尾対象物の対象矩形の尤度の総和が所定値以下である場合に、前記人物に関する教師データとの比較によって追尾対象物の対象矩形を特定するものであることを特徴とする室内会場における照明追尾システム。
  6. 請求項1〜4のいずれかに記載の追尾型照明装置を使用する室内会場における照明追尾システムであって、
    前記画像取得手段は、前記照明手段と一体的に設置され、かつ取得画像の中央が照明手段によって照射される照射範囲の中央に合致させたものであり、
    前記照明手段は、自動追尾状態と手動追尾状態との切り換えを可能とするものであり、
    前記移動推定部は、手動追尾状態から自動追尾状態に切り換えた直後に入力される入力画像のうち、中央に位置する対象矩形をもって追尾対象物の対象矩形とみなして判定するものであることを特徴とする室内会場における照明追尾システム。
  7. 前記照明手段は、所定の駆動部を備え、前記判定部により追尾対象物がロスト状態であると判断された場合、前記駆動部の駆動を停止するものである請求項6に記載の室内会場における照明追尾システム。
  8. 前記画像取得手段は、前記照明手段と一体的に向きを変更するものであり、前記判定部により判定された追尾対象物の対象矩形が前記画像取得手段による取得画像の中央に位置する状態となるように前記駆動部を制御するものである請求項7に記載の室内会場における照明追尾システム。
  9. 前記画像取得手段および前記照明手段は、室内会場の天井および壁面のうち、任意の2箇所に設置されている請求項5〜8のいずれかに記載の室内会場における照明追尾システム。
JP2019031663A 2019-02-25 2019-02-25 追尾型照明装置および照明追尾システム Active JP7219915B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019031663A JP7219915B2 (ja) 2019-02-25 2019-02-25 追尾型照明装置および照明追尾システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019031663A JP7219915B2 (ja) 2019-02-25 2019-02-25 追尾型照明装置および照明追尾システム

Publications (2)

Publication Number Publication Date
JP2020136213A true JP2020136213A (ja) 2020-08-31
JP7219915B2 JP7219915B2 (ja) 2023-02-09

Family

ID=72278961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019031663A Active JP7219915B2 (ja) 2019-02-25 2019-02-25 追尾型照明装置および照明追尾システム

Country Status (1)

Country Link
JP (1) JP7219915B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112423442A (zh) * 2020-09-11 2021-02-26 扬州科佳建设工程有限公司 一种基于人脸识别的场景照明控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08237536A (ja) * 1995-02-28 1996-09-13 Sanyo Electric Co Ltd 被写体追尾装置および被写体追尾方法
JPH1012005A (ja) * 1996-06-19 1998-01-16 Matsushita Electric Works Ltd 自動追尾照明装置
JP2009182624A (ja) * 2008-01-30 2009-08-13 Victor Co Of Japan Ltd 目標追尾装置
US20170272661A1 (en) * 2016-03-17 2017-09-21 Canon Kabushiki Kaisha Zooming control apparatus, image capturing apparatus and control methods thereof
JP2018022360A (ja) * 2016-08-04 2018-02-08 株式会社リコー 画像解析装置、画像解析方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08237536A (ja) * 1995-02-28 1996-09-13 Sanyo Electric Co Ltd 被写体追尾装置および被写体追尾方法
JPH1012005A (ja) * 1996-06-19 1998-01-16 Matsushita Electric Works Ltd 自動追尾照明装置
JP2009182624A (ja) * 2008-01-30 2009-08-13 Victor Co Of Japan Ltd 目標追尾装置
US20170272661A1 (en) * 2016-03-17 2017-09-21 Canon Kabushiki Kaisha Zooming control apparatus, image capturing apparatus and control methods thereof
JP2017167438A (ja) * 2016-03-17 2017-09-21 キヤノン株式会社 ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
JP2018022360A (ja) * 2016-08-04 2018-02-08 株式会社リコー 画像解析装置、画像解析方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112423442A (zh) * 2020-09-11 2021-02-26 扬州科佳建设工程有限公司 一种基于人脸识别的场景照明控制方法

Also Published As

Publication number Publication date
JP7219915B2 (ja) 2023-02-09

Similar Documents

Publication Publication Date Title
JP5469899B2 (ja) 自動追尾方法及び測量装置
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
US10121069B2 (en) Method of switching video images and surveillance system
US8929592B2 (en) Camera-based 3D climate control
US10089753B1 (en) Method, system and computer-readable medium for camera calibration
JP2009508450A (ja) 物体のトラッキングおよび活動分析のためのシステムおよび方法
JP5001930B2 (ja) 動作認識装置及び方法
US8665329B2 (en) Apparatus for automatically ignoring cast self shadows to increase the effectiveness of video analytics based surveillance systems
Pavlović et al. Advanced thermal camera based system for object detection on rail tracks
Milinda et al. Mud and dirt separation method for floor cleaning robot
US20030052971A1 (en) Intelligent quad display through cooperative distributed vision
JP2020136213A (ja) 追尾型照明装置および照明追尾システム
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
Naser et al. Infrastructure-free NLoS obstacle detection for autonomous cars
Farah et al. Catching a rat by its edglets
Debnath et al. Detection and controlling of drivers' visual focus of attention
Jiang et al. Shadow-resistant tracking in video
Tomari et al. Multi-view head detection and tracking with long range capability for social navigation planning
Van Crombrugge et al. People tracking with range cameras using density maps and 2D blob splitting
Chen et al. A 3-D surveillance system using multiple integrated cameras
JPH0474285A (ja) 特定人又は物の位置検出表示装置
CN111355940A (zh) 避免光源致人眩晕
KR101455237B1 (ko) 자동추적 증강현실 제공 장치 및 그 방법
Kapusta et al. Person tracking and gesture recognition in challenging visibility conditions using 3D thermal sensing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230120

R150 Certificate of patent or registration of utility model

Ref document number: 7219915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150