JP4910312B2 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP4910312B2
JP4910312B2 JP2005164011A JP2005164011A JP4910312B2 JP 4910312 B2 JP4910312 B2 JP 4910312B2 JP 2005164011 A JP2005164011 A JP 2005164011A JP 2005164011 A JP2005164011 A JP 2005164011A JP 4910312 B2 JP4910312 B2 JP 4910312B2
Authority
JP
Japan
Prior art keywords
unit
imaging
mobility
signal
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005164011A
Other languages
English (en)
Other versions
JP2006338483A (ja
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005164011A priority Critical patent/JP4910312B2/ja
Priority to US11/420,593 priority patent/US8467886B2/en
Publication of JP2006338483A publication Critical patent/JP2006338483A/ja
Application granted granted Critical
Publication of JP4910312B2 publication Critical patent/JP4910312B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Studio Devices (AREA)

Description

本発明は、像装置および撮像方法関し、特に、例えば、新たなロボットを提供することができるようにする像装置および撮像方法関する。
例えば、特許文献1には、被写体を適切に撮影(撮像)することができるように、画像を撮影可能な撮影手段により撮影される画像の画角を調整するとともに、撮影手段を移動する移動撮影機器としてのロボットが開示されている。
また、例えば、特許文献2には、小回りが良く、かつ、段差の高い障害物でも乗り越えられ、さらには、走行制御時の走行精度を向上させたロボットが開示されている。
特開2004-297675号公報 特開2004-017791号公報
以上のように、従来より、様々なロボットが提案されているが、さらなる新たなロボットの提案が要請されている。
本発明は、このような状況に鑑みてなされたものであり、新たなロボットを提供することができるようにするものである。
本発明の撮像装置および撮像方法は、撮像装置が移動可能とする移動範囲を決定する移動範囲決定手段/工程と、移動範囲内で所望の対象検出物を検出する検出手段/工程と、検出された対象検出物に対して撮像装置が所望の位置となるように、撮像装置を移動する移動手段/工程と、所望の位置から対象検出物を撮像し、対象検出物の撮像情報を出力する撮像手段/工程と、撮像情報を外部に出力する出力手段/工程と、他の移動可能な撮像装置およびGPS(Global Positioning System)衛星と通信する通信手段/工程とを有し、上記移動範囲決定手段/工程は、通信によって得られる上記他の移動可能な撮像装置の情報および上記移動可能な撮像装置の位置情報に基づいて、上記移動範囲を決定し、上記撮像装置が上記移動範囲から外れた際に、上記撮像情報の外部への出力および上記移動手段による上記撮像装置の移動を停止する撮像装置および撮像方法である。
この撮像装置および撮像方法においては、撮像装置が移動可能とする移動範囲が決定され、移動範囲内で所望の対象検出物が検出される。さらに、検出された対象検出物に対して撮像装置が所望の位置となるように、撮像装置が移動され、所望の位置から対象検出物が撮像されて、対象検出物の撮像情報が外部に出力される。なお、移動範囲は、他の移動可能な撮像装置およびGPS衛星と通信が行われ、その通信によって得られる他の移動可能な撮像装置の情報および移動可能な撮像装置の位置情報に基づいて決定される。また、撮像装置が移動範囲から外れると、撮像情報の外部への出力および撮像装置の移動が停止される。
本発明によれば、新たなロボットを提供することが可能となる。
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、本発明を適用したモビリティ(mobility)付きテレビジョン受像機10の一実施の形態の構成例を示す斜視図であり、図2は、モビリティ付きテレビジョン受像機10の右側面図である。
ここで、モビリティ付きテレビジョン受像機10は、新たなロボットの1つであるモビリティ付きアクチュエータの1種である。また、モビリティ付きアクチュエータとは、外部からの何らかの入力に応じて、位置(重力に対して直交する平面上の位置)を移動する「アクチュエータ」であり、ここでいう「アクチュエータ」は、外部に対して何らかの出力をすることができる物体(オブジェクト)を意味する。従って、「アクチュエータ」には、例えば、外部に力を加えることができるモータが含まれることは勿論、その他、例えば、映像(画像)を出力(呈示)することができる表示装置や、音を出力することができるスピーカなども含まれる。
なお、以下、適宜、テレビジョン受像機を、TVと略す。
図1および図2に示すように、モビリティ付きTV10は、TV部14、雲台部12、移動部13からなる。
TV部14は、前面に表示部11を有するTVであり、映像を表示し、音声を出力する機能を有する。
雲台部12は、上下方向に、いわば伸び縮みし、かつ、上下方向を軸として回転することができる機構となっている。雲台部12には、TV部14が積載されて固定されており、従って、雲台部12が、上下方向に動き、または回転することにより、TV部14も、上下し、または回転する。
移動部13は、その下部に、複数の回転部15を有し、この回転部15が、例えば、床や地面などといった平面上に接して回転することにより、移動部13が前後左右等の方向へ移動することができるようになっている。また、移動部13の上部には、雲台部12が固定されており、従って、移動部13が移動することによって、モビリティ付きTV10全体が移動する。
次に、図3および図4を参照して、モビリティ付きTV10の使用状況について説明する。
図3および図4は、モビリティ付きTV10が置かれたユーザの部屋(家)の様子を示す斜視図である。
ユーザは、例えば、リモートコマンダ40を操作し、モビリティ付きTV10にコマンドを送信することで、モビリティ付きTV10を移動させることができる。
即ち、ユーザがリモートコマンダ40を操作し、リモートコマンダ40からモビリティ付きTV10にコマンドが送信されると、モビリティ付きTV10は、リモートコマンダ40からのコマンドを受信する。そして、モビリティ付きTV10では、リモートコマンダ40からのコマンドに応じて、雲台部12や移動部13が駆動する。
これにより、モビリティ付きTV10は、図3に示すように、ユーザによるリモートコマンダ40の操作に応じて、位置を移動し、あるいは、表示部11の向きや高さを変える。
従って、ユーザは、リモートコマンダ40を操作するだけで、モビリティ付きTV10の位置を移動し、あるいは、表示部11の向きや高さを変えることができる。
また、モビリティ付きTV10は、上述したように、リモートコマンダ40からのコマンドに応じて移動する他、その他の外部からの入力にも応じて移動する。即ち、モビリティ付きTV10は、リモートコマンダ40からのコマンド以外の外部からの入力に応じて、例えば、図4に示すように、ユーザの部屋に設けられているドア50、窓51、または窓52のうちの、ドア50の位置に移動し、これにより、ドア50を介した部屋への出入りを制限する。
次に、図5は、図1乃至図4で説明したモビリティ付きTV10の機能的な構成例を示している。
図5に示すように、モビリティ付きTV10は、TV部14とモビリティ部16から構成される。
TV部14は、表示部11、信号処理部20、A/D(Analog/Digital)変換部30、信号再生部31、およびチューナ32で構成される。
モビリティ部16は、雲台部12、移動部13、雲台コントローラ部21、移動コントローラ部22、現在位置取得部23、ROM(Read Only Memory)24、判定部25、および受信部26で構成される。
モビリティ付きTV10では、チューナ32が、アンテナ33から供給される放送信号を受信し、その放送信号が映像信号または音声信号に復調等される。チューナ32において得られた信号(映像信号または音声信号)は、A/D変換部30を介することでアナログ信号からディジタル信号に変換され、信号処理部20に供給される。
なお、信号処理部20には、チューナ32で得られる映像信号または音声信号の他、DVD(Digital Versatile Disc)31Aやビデオテープ31Bに記録されている映像信号または音声信号が、信号再生部31で再生されて供給される。
信号処理部20は、そこに供給される信号(映像信号または音声信号)に対して、例えば、一般的なノイズ除去処理や、DRC(Digital Reality Creation)処理のような高質化処理といった信号処理を施す。さらに、信号処理部20は、そこに供給される信号(映像信号または音声信号)に対して、例えば、画像認識処理や音声認識処理といった認識処理を施すことにより、特定の1以上の単語(以下、適宜、特定語という)を抽出し、判定部25に供給する。
ここで、DRC処理は、信号を変換する変換処理の1種である。いま、変換処理の対象とする信号を、画像(信号)として、変換前の画像を第1の画像とするとともに、変換後の画像を第2の画像とすると、DRC処理では、第2の画像の各画素を注目画素として、その注目画素のクラスごとに適切なタップ係数と、第1の画像とを用いて、注目画素(の画素値)が求められる。
即ち、DRC処理では、例えば、注目画素に対して空間的または時間的に近傍の位置にある第1の画像の画素の画素値を、注目画素の画素値を予測するのに用いる予測タップとして、その予測タップと、学習によって所定のクラスごとに求められる係数であるタップ係数とを用いた所定の予測演算によって、注目画素の画素値(の予測値)が求められる。
いま、所定の予測演算として、例えば、線形1次予測演算を採用することとすると、第2の画像の画素値yは、次の線形1次式によって求められることになる。
Figure 0004910312
・・・(1)
但し、式(1)において、xnは、第2の画像の画素(の画素値)yについての予測タップを構成する、n番目の第1の画像の画素の画素値を表し、wnは、n番目の予測タップの画素の画素値と乗算されるn番目のタップ係数を表す。なお、式(1)では、予測タップが、第1の画像のN個の画素(の画素値)x1,x2,・・・,xNで構成されるものとしてある。
ここで、第2の画像の画素(の画素値)yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
いま、第2の画像の第k番目の画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
Figure 0004910312
・・・(2)
いま、式(2)の予測値yk’は、式(1)にしたがって求められるため、式(2)のyk’を、式(1)にしたがって置き換えると、次式が得られる。
Figure 0004910312
・・・(3)
但し、式(3)において、xn,kは、第2の画像の第k番目の画素についての予測タップを構成するn番目の画素(の画素値)を表す。
式(3)(または式(2))の予測誤差ekを0とするタップ係数wnが、第2の画像の画素を予測するのに最適なものとなるが、第2の画像のすべての画素について、そのようなタップ係数wnを求めることは、一般には困難である。
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
Figure 0004910312
・・・(4)
但し、式(4)において、Kは、第2の画像の画素ykと、その画素ykについての予測タップを構成する第1の画像の画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(タップ係数wnを求める学習に用いる学習用サンプルの数)を表す。
式(4)の自乗誤差の総和Eの最小値(極小値)は、式(5)に示すように、総和Eをタップ係数wnで偏微分したものを0とするwnによって与えられる。
Figure 0004910312
・・・(5)
そこで、上述の式(3)をタップ係数wnで偏微分すると、次式が得られる。
Figure 0004910312
・・・(6)
式(5)と(6)から、次式が得られる。
Figure 0004910312
・・・(7)
式(7)のekに、式(3)を代入することにより、式(7)は、式(8)に示す正規方程式で表すことができる。
Figure 0004910312
・・・(8)
式(8)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解くことができる。
DRC処理では、第1および第2の画像から、第2の画像の画素ykと、その画素ykについての予測タップを構成する第1の画像の画素x1,k,x2,k,・・・,xN,kとのセットを、学習用サンプルとして多数用意し、その学習用サンプルを用いて、式(8)の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数(ここでは、自乗誤差の総和Eを最小にするタップ係数)wnを、クラスごとに求める学習処理を、あらかじめ行っておき、そのタップ係数wnを用いた式(1)の予測演算を行うことによって、第1の画像が第2の画像に変換される。
即ち、学習処理では、第2の画像の各画素ykを注目画素として、その注目画素ykが、複数のクラスのうちのいずれかのクラスにクラス分類される。ここで、クラス分類は、例えば、注目画素ykに対して空間的または時間的に近傍の位置にある第1の画像の幾つかの画素をクラスタップとして、そのクラスタップを構成する画素の画素値の分布等に基づいて行われる。
さらに、学習処理では、クラスごとに、そのクラスに属する注目画素(の画素値)ykと、その注目画素ykについての予測タップを構成する第1の画像の画素x1,k,x2,k,・・・,xN,kとを用いて、式(8)の正規方程式がたてられ、学習用サンプルのすべてを用いた式(8)の正規方程式がクラスごとに得られると、そのクラスごとの正規方程式を解くことにより、クラスごとのタップ係数wnが求められる。
そして、DRC処理において、第2の画像のある画素(の画素値)を求めるときには、その画素を注目画素として、その注目画素を、学習処理における場合と同様にクラス分類することにより、注目画素が属するクラスが求められる。さらに、注目画素が属するクラスのタップ係数wnと、注目画素についての予測タップを構成する第1の画像の画素x1,k,x2,k,・・・,xN,kとを用いて、式(1)の予測演算が行われ、注目画素の画素値(の予測値)が求められる。
なお、学習処理において用いる第1の画像を、第2の画像の画素を間引いた画像とすることにより、DRC処理において、画像を、その画像よりも画素数の多い画像に変換するタップ係数wnを求めることができる。また、学習処理において用いる第1の画像を、第2の画像より低解像度の画像とすることにより、DRC処理において、画像を、その画像よりも高解像度の画像に変換するタップ係数wnを求めることができる。
その他、学習処理において用いる第1の画像を、第2の画像にノイズを付加した画像とすることにより、DRC処理において、画像を、その画像からノイズを除去した画像に変換するタップ係数wnを求めることができる。
以上のように、DRC処理によれば、学習処理によって求めておくタップ係数wnによって、各種の画像の変換を行うことができる。なお、ここでは、画像を対象としたDRC処理を説明したが、DRC処理は、その他、例えば、音声(オーディオ信号)を対象として行うことも可能である。
信号処理部20において上述のようなDRC処理等の信号処理が施された信号のうちの映像(画像)信号は、表示部11へ送られて、表示され、また、音声信号は、図示せぬスピーカに供給されて出力される。
モビリティ付きTV10は、放送信号を受信するチューナ32のほかに受信部26を有する。受信部26は、例えば、ユーザがリモートコマンダ40を操作することにより、そのリモートコマンダ40から送信されてくるコマンドを受信し、判定部25に供給する。
判定部25に対しては、受信部26からのコマンドが供給される他、上述したように、信号処理部20から、放送信号から抽出された特定語も供給されるようになっている。判定部25は、そこに供給される信号が、受信部26からのコマンドであるか、または、信号処理部20からの特定語であるのかを判定する判定処理を行う。さらに、判定部25は、その判定処理の結果に応じて、モビリティ付きTV10の動作モードを決定し、その動作モードを表すモード信号とともに、受信部26からのコマンド、または、信号処理部20からの特定語を、移動コントローラ部22へ送る。
ここで、モビリティ付きTV10の動作モードには、例えば、モード#1と#2との2つがある。判定部25は、受信部26からコマンドの供給を受けた場合には、モビリティ付きTV10の動作モードをとして、モード#1を決定し、そのモード#1を表すモード信号を、受信部26からコマンドとともに、移動コントローラ部22に供給する。また、判定部25は、信号処理部20から特定語の供給を受けた場合には、モビリティ付きTV10の動作モードをとして、モード#2を決定し、そのモード#2を表すモード信号を、信号処理部20からの特定語とともに、移動コントローラ部22に供給する。
移動コントローラ部22は、判定部25から供給されるモード信号がモード#1を表す場合、そのモード信号とともに供給されるコマンドに応じて、移動部13や、雲台コントローラ部21を制御する。
この場合、移動部13は、移動コントローラ部22の制御にしたがい、回転部15(図1、図2)を適宜回転等させ、これにより、モビリティ付きTV10は、ユーザによってリモートコマンダ40が操作され、移動を指示するコマンドが送信されている間、そのコマンドによって指示される方向に移動する。
さらに、雲台コントローラ部21は、移動コントローラ部22の制御にしたがい、雲台部12を制御し、これにより、TV部14を、上下に移動させ、または回転(パン)させる。
一方、移動コントローラ部22は、判定部25から供給されるモード信号がモード#2を表す場合、そのモード信号とともに供給される特定語に基づき、ROM24に記憶されたテーブルから、モビリティ付きTV10が移動すべき位置(移動先の位置)等を含む、モビリティ付きTV10を制御するための制御情報を取得する。さらに、移動コントローラ部22は、現在位置取得部23に、モビリティ付きTV10の現在位置を要求し、その要求に応じて、現在位置取得部23から供給される、モビリティ付きTV10の現在位置を表す現在位置情報を受信する。
ここで、現在位置取得部23において、例えば、モビリティ付きTV10の電源がオンされたときの、モビリティ付きTV10の位置である初期位置が分かっており、かつ、その初期位置から現在位置までのモビリティ付きTV10の移動に関する情報を記録した移動ログがとってある場合には、初期位置と移動ログとから、現在位置を求めることができる。
また、例えば、ユーザの部屋の天井等に、そのユーザの部屋全体を撮影するカメラ(撮影装置)(撮像装置)が取り付けられている場合には、現在位置取得部23では、カメラからユーザの部屋全体の画像を受信し、その画像に基づいて、モビリティ付きTV10の現在位置を求めるようにすることができる。
その他、現在位置取得部23では、例えば、GPS(Global Positioning System)衛星からの信号を受信し、その信号に基づいて、現在位置を求めるようにすることもできる。
移動コントローラ部22は、上述のようにして現在位置情報と制御情報を得ると、その現在位置情報と制御情報に基づいて、現在位置から、モビリティ付きTV10が移動すべき位置(以下、適宜、目標位置という)までの経路を算出し、その経路に沿って移動するように、移動部13を制御する。移動部13は、移動コントローラ部22の制御にしたがい、回転部15(図1、図2)を適宜回転等させ、これにより、モビリティ付きTV10は、移動コントローラ部22で算出された経路に沿って、目標位置まで自律走行をする。
モビリティ付きTV10が目標位置に移動すると、移動コントローラ部22は、判定部25から解除指令があるまで、後述する特定処理を行う。
ここで、判定部25は、リモートコマンダ40からのコマンドが、特定処理の実行の解除を要求するコマンドであるか、または、信号処理部20から供給される特定語が、特定処理の実行の解除を表す単語である場合に、解除指令(を表す信号)を、移動コントローラ部22に供給する。
また、モード#2では、モビリティ付きTV10において、結局は、特定語に基づき、特定処理が行われる。従って、信号処理部20で抽出される特定語は、特定処理を実行させるコマンドであるということができる。
次に、図6および図7は、図5のROM24に記憶されているテーブルの例を示している。
ROM24には、第1と第2のテーブルの2つのテーブルが記憶されており、図6は、第1のテーブルを、図7は、第2のテーブルを、それぞれ示している。
第1のテーブルには、図6に示すように、「特定語」と、その特定語に対して行うべき処理を表す「処理情報」とが対応付けて記憶されている。
図6の第1のテーブルの上から1行目のエントリには、ユーザが住んでいる家の町(住居を構えている町)の町名である「○○町」と、「泥棒」とが、特定語として登録されており、その特定語に対して行うべき処理を表す処理情報として、防犯対策処理を表す処理情報が登録されている。
また、図6の第1のテーブルの上から2行目のエントリには、ユーザが住んでいる家の町の町名である「○○町」と、「洪水」とが、特定語として登録されており、その特定語に対して行うべき処理を表す処理情報として、防水対策処理を表す処理情報が登録されている。
第2のテーブルは、例えば、第1のテーブルに登録されている処理情報ごとに用意されており、図7上側は、防犯対策処理を表す処理情報に対して用意されている第2のテーブルの例を示している。
防犯対策処理を表す処理情報に対して用意されている第2のテーブルでは、1つのエントリ(1行)に、防犯対策をとるべき対象を表す「対象情報」と、その対象の位置を表す座標、および、高さを表す高さ情報とが対応付けられて登録されている。そして、第2のテーブルでは、上述のようなエントリが、防犯対策をとるべき対象の優先度の高い順に並んでいる。
なお、対象情報が表す対象の位置を表す座標は、例えば、図7下側に示すように、ユーザの部屋(家)のある位置を原点(0,0)としたxy座標系の座標になっている。
図7上側の第2のテーブルには、防犯対策をとるべき対象として、ドア50と、2つの窓51および52が登録されている。また、ドア50、窓51、窓52の座標としては、それぞれ、(10,100),(80,100),(90,100)が登録されており、ドア50、窓51、窓52の高さ情報としては、それぞれ、30,100,100が登録されている。さらに、防犯対策をとるべき対象の優先度は、ドア50が最も高く、次に、窓51が高く、その次に、窓52が高くなっている。
図6の第1のテーブルと、図7の第2のテーブルとについては、例えば、ユーザがリモートコマンダ40を操作することにより、情報の登録、変更、削除をすることができる。
次に、図8のフローチャートを参照して、図5のモビリティ付きTV10の動作について説明する。
まずステップS10で、判定部25は、モビリティ付きTV10の電源がオン状態になっているかどうかを判定する。ステップS10において、モビリティ付きTV10の電源がオン状態になっていないと判定された場合、ステップS10に戻り、以下、同様の処理が繰り返される。
また、ステップS10において、モビリティ付きTV10の電源がオン状態になっていると判定された場合、即ち、モビリティ付きTV10の各ブロックに、動作に必要な電源が供給されている状態になっている場合、ステップS11に進み、判定部25は、信号処理部20からの特定語の入力(供給)、または受信部26からのコマンドの入力があるかどうかを判定する。
ステップS11において、信号処理部20からの特定語の入力も、受信部26からのコマンドの入力も、いずれの入力もないと判定された場合、ステップS11に戻り、以下、同様の処理が繰り返される。
また、ステップS11において、信号処理部20からの特定語の入力、または受信部26からのコマンドの入力のうちのいずれかがあったと判定された場合、ステップS12に進み、判定部25は、判定部25への入力が、受信部26からのコマンドであるかどうかを判定する。
ステップS12において、判定部25への入力が、受信部26からのコマンドの入力であると判定された場合、即ち、ユーザが、リモートコマンダ40を操作することにより、リモートコマンダ40からコマンドが送信され、そのコマンドが受信部26で受信され、判定部25に供給された(供給されている)場合、判定部25は、モビリティ付きTV10の動作モードをとして、モード#1を決定し、そのモード#1を表すモード信号を、受信部26からのコマンドとともに、移動コントローラ部22に供給する。
移動コントローラ部22は、判定部25から、モード#1を表すモード信号が、コマンドとともに供給されると、そのモード信号に応じて、ステップS12からステップS13に進み、判定部25から供給されたコマンドが、TV部14(表示部11)の向き、または高さの変更を指示するコマンドであるかどうかを判定する。
ステップS13において、判定部25から供給されたコマンドが、TV部14の向き、または高さの変更を指示するコマンドであると判定された場合、即ち、ユーザが、TV部14の向き、または高さの変更するように、リモートコマンダ40を操作した場合、ステップS14に進み、移動コントローラ部22は、判定部25からのコマンドに応じて、雲台コントローラ部21を制御し、さらに、雲台コントローラ部21は、移動コントローラ部22からの制御に応じて、雲台部12を制御(駆動)する。
これにより、雲台部12は、移動コントローラ部22からの制御に応じて回転、または上下方向に伸び縮みし、その結果、雲台部12に固定されているTV部14も回転(パン)し、または、上若しくは下に移動する。
ステップS14の処理後は、ステップS11に戻り、以下、同様の処理が繰り返される。従って、ユーザが、TV部14の向き、または高さの変更するように、リモートコマンダ40を操作し続けている間、その操作に応じて、雲台部12は回転し続け、または、上若しくは下に動き続ける。
また、ステップS13において、判定部25から供給されたコマンドが、TV部14の向き、または高さの変更を指示するコマンドでないと判定された場合、ステップS15に進み、移動コントローラ部22は、判定部25から供給されたコマンドが、モビリティ付きTV10の位置の移動を指示するコマンドであるかどうかを判定する。
ステップS15において、判定部25から供給されたコマンドが、モビリティ付きTV10の位置の移動を指示するコマンドでないと判定された場合、ステップS24に進む。
また、ステップS15において、判定部25から供給されたコマンドが、モビリティ付きTV10の位置の移動を指示するコマンドであると判定された場合、即ち、ユーザが、モビリティ付きTV10を移動するように、リモートコマンダ40を操作した場合、ステップS16に進み、移動コントローラ部22は、判定部25からのコマンドに応じて、移動部13を駆動(制御)する。
これにより、移動部13、ひいては、モビリティ付きTV10全体が移動する。
ステップS16の処理後は、ステップS11に戻り、以下、同様の処理が繰り返される。従って、ユーザが、モビリティ付きTV10を移動するように、リモートコマンダ40を操作し続けている間、その操作に応じて、モビリティ付きTV10は移動し続ける。
一方、ステップS12において、判定部25への入力が、受信部26からのコマンドの入力でないと判定された場合、即ち、判定部25への入力が、信号処理部20からの特定語の入力である場合、判定部25は、モビリティ付きTV10の動作モードをとして、モード#2を決定し、そのモード#2を表すモード信号を、信号処理部20からの特定語とともに、移動コントローラ部22に供給する。
移動コントローラ部22は、モード#2を表すモード信号が、信号処理部20からの特定語とともに、判定部25から供給されると、そのモード信号に応じて、ステップS12からステップS17に進み、ROM24に記憶されている第1のテーブル(図6)を参照して、ステップS18に進む。
ステップS18では、移動コントローラ部22は、第1のテーブルに、信号処理部20からの特定語(と合致する特定語)が登録されているかどうかを判定する。
ステップS18において、第1のテーブルに、信号処理部20からの特定語が登録されていないと判定された場合、ステップS24に進む。
また、ステップS18において、第1のテーブルに、信号処理部20からの特定語が登録されていると判定された場合、即ち、信号処理部20からの特定語が、例えば、「泥棒」と「○○町」であり、これらの特定語「泥棒」と「○○町」が登録されたエントリが、第1のテーブルに存在する場合、ステップS19に進み、移動コントローラ部22は、第1のテーブルにおいて、信号処理部20からの特定語が登録されているエントリの処理情報を認識し、その処理情報に対して用意されている第2のテーブルを、ROM24から読み出す。
従って、例えば、ROM24に、図6に示した第1のテーブルが記憶されている場合において、信号処理部20からの特定語が、「泥棒」と「○○町」であったときには、図6に示した第1のテーブルの上から1番目のエントリに登録されている、防犯対策処理を表す処理情報に対して用意されている第2のテーブル、即ち、図7に示した第2のテーブルが、ROM24から読み出される。
さらに、ステップS19では、移動コントローラ部22は、ROM24から読み出した第2のテーブルを参照し、その第2のテーブルのエントリのうちの、例えば、優先度が最も高いエントリに登録されている情報を、モビリティ付きTV10を制御するための制御情報として取得する。
従って、移動コントローラ部22は、ROM24から読み出した第2のテーブルが、例えば、図7に示した第2のテーブルである場合、優先度が最も高い、防犯対策をとるべき対象が「ドア50」のエントリの情報(対象情報、座標、高さ情報)を、制御情報として取得する。
移動コントローラ部22は、第2のテーブルから制御情報を取得すると、さらに、ステップS19において、現在位置取得部23から、モビリティ付きTV10の現在位置を表す現在位置情報を取得して、ステップS20に進む。
ステップS20では、移動コントローラ部22は、ステップS19で取得した制御情報に含まれる座標が表す位置を、モビリティ付きTV10が移動すべき目標位置として、現在位置情報が表すモビリティ付きTV10の現在位置が、目標位置である(目標位置に一致する)かどうかを判定する。
ステップS20において、モビリティ付きTV10の現在位置が、目標位置でないと判定された場合、ステップS21に進み、移動コントローラ部22は、モビリティ付きTV10を目標位置に移動させるように、移動部13を制御して、ステップS20に戻り、以下、同様の処理が繰り返される。
移動部13は、移動コントローラ部22の制御にしたがい、回転部15(図1、図2)を適宜回転等させ、これにより、モビリティ付きTV10は、目標位置に向かって移動する。
ステップS20およびS21の処理が繰り返されることにより、モビリティ付きTV10が、目標位置に到達(到着)すると、即ち、目標位置が、例えば、図4に示したように、ドア50である場合には、モビリティ付きTV10が、ドア50の位置に移動すると、ステップS20では、モビリティ付きTV10の現在位置が、目標位置であると判定され、この場合、ステップS20からステップS22に進む。
ステップS22では、移動コントローラ部22は、判定部25から解除指令が供給されたかどうかを判定する。ステップS22において、判定部25から解除指令が供給されたと判定された場合、即ち、リモートコマンダ40から、特定処理の実行の解除を要求するコマンドが送信され、そのコマンドが、受信部26および判定部25を介して、移動コントローラ部22に供給された場合、または、信号処理部20から判定部25に供給された特定語が、特定処理の実行の解除を表す単語であった場合、ステップS24に進む。
また、ステップS22において、判定部25から解除指令が供給されていないと判定された場合、ステップS23に進み、特定処理が行われ、その特定処理が終了すると、ステップS24に進む。
ステップS24では、判定部25は、リモートコマンダ40からモビリティ付きTV10の電源をオフ状態にするコマンドが送信されてきたかどうかを判定し、送信されてきていないと判定した場合、ステップS11に戻り、以下、同様の処理が繰り返される。
また、ステップS24において、リモートコマンダ40からモビリティ付きTV10の電源をオフ状態にするコマンドが送信されてきたと判定された場合、即ち、例えば、ユーザが、モビリティ付きTV10の電源をオフ状態にするように、リモートコマンダ40を操作し、その操作に対応してリモートコマンダ40から送信されたコマンドが受信部26で受信され、判定部25に供給された場合、判定部25は、モビリティ付きTV10の必要なブロックへの電源の供給を停止させ、処理を終了する。
次に、図9のフローチャートを参照して、図8のステップS23で行われる特定処理について説明する。
図8のステップS23の特定処理は、ステップS20において、モビリティ付きTV10の現在位置が、制御情報に含まれる座標が表す目標位置であると判定された場合、即ち、モビリティ付きTV10が、制御情報に含まれる対象情報(図7)が表す対象の位置にいる場合に行われる。
従って、移動コントローラ部22において、例えば、図6の防犯対策処理を表す処理情報に対して用意されている図7の第2のテーブルの上から1番目のエントリに登録されている情報が、制御情報となっている場合、特定処理は、モビリティ付きTV10が、座標が(10,100)のドア50に位置しているときに行われる。
特定処理では、まず最初に、移動コントローラ部22が、ステップS30において、制御情報に含まれる高さ情報を取得(認識)して、ステップS31に進み、雲台部12の高さが、高さ情報が表す高さになっているかどうかを判定する。
ステップS31において、雲台部12の高さが、高さ情報が表す高さになっていないと判定された場合、ステップS32に進み、移動コントローラ部22は、雲台コントローラ部21を制御し、さらに、雲台コントローラ部21は、移動コントローラ部22からの制御に応じて、雲台部12を制御(駆動)する。
これにより、雲台部12は、移動コントローラ部22からの制御に応じて、上下方向に伸び縮みする。
ステップS32の処理後は、ステップS31に戻り、ステップS31において、雲台部12の高さが、高さ情報が表す高さになったと判定されるまで、同様の処理が繰り返される。
そして、ステップS31において、雲台部12の高さが、高さ情報が表す高さになったと判定された場合、ステップS33に進み、移動コントローラ部22は、モビリティ付きTV10に対して、外部から圧力が加えられているかどうかを判定する。
即ち、移動コントローラ部22は、ステップS33において、例えば、移動部13が有する回転部15(図1、図2)にかかるトルクに基づいて、モビリティ付きTV10を移動させるような圧力が、外部から加えられているかどうかを判定する。
ここで、例えば、いま、図7の第2のテーブルのエントリに登録されている情報が、制御情報となっている場合には、防犯対策処理を行うべき場合であり、モビリティ付きTV10は、防犯対策処理として、ユーザの部屋(家)への第三者の侵入を防止(制限)する処理を行う。
第三者によるユーザの部屋への侵入は、ドアや窓などから行われるが、モビリティ付きTV10がドアや窓(の位置)に位置しているときには、そのモビリティ付きTV10が侵入の妨げになるから、第三者は、ドアや窓に位置しているモビリティ付きTV10をどかさなければ、ユーザの部屋に侵入することができない。そして、モビリティ付きTV10をどかすには、モビリティ付きTV10を移動させるような圧力が、外部から加えられる。
そこで、ステップS33では、上述したように、移動コントローラ部22は、モビリティ付きTV10に対して、外部から圧力が加えられているかどうかを判定する。
ステップS33において、外部から圧力が加えられていると判定された場合、即ち、例えば、ユーザの部屋に侵入しようとしている第三者が、モビリティ付きTV10をどかそうとしている場合、ステップS34に進み、移動コントローラ部22は、外部から加えられている圧力に対抗するため、その圧力の方向とは逆の方向に圧力(抵抗力)を加えるように、移動部13を駆動して、ステップS33に戻る。
また、ステップS33において、外部から圧力が加えられていないと判定された場合、ステップS35に進み、図8のステップS22と同様に、移動コントローラ部22は、判定部25から解除指令が供給されたかどうかを判定する。
ステップS35において、判定部25から解除指令が供給されていないと判定された場合、ステップS33に戻り、以下、同様の処理が繰り返される。
また、ステップS35において、判定部25から解除指令が供給されたと判定された場合、特定処理を終了してリターンする。
なお、特定処理は、リモートコマンダ40からモビリティ付きTV10にコマンドを送信し、そのコマンドに応じて行うようにすることも可能である。
以上のように、モビリティ付きTV10は、例えば、映像を表示(呈示)等する機能(第1の機能)を有するTV部14と、TV部14を移動させる走行可能な移動部13と、移動部13を駆動する移動コントローラ部22と、外部からのコマンドを受信する受信部26とを備え、受信されたコマンドに応じて、移動コントローラ部22が移動部13を制御することで防犯対策の機能その他の機能(第2の機能)を実現する。
なお、上述の場合には、1台のモビリティ付きTV10を単独で使用するようにしたが、モビリティ付きTV10は、複数台を同時に使用することができる。
即ち、図10および図11は、複数台のモビリティ付きTV10を用いた、モビリティ付きアクチュエータ群の一種であるモビリティ付きTVシステムの使用状況を示している。
ここで、図10および図11は、3台のモビリティ付きTV101,102,103から構成されるモビリティ付きTVシステムが置かれたユーザの部屋(家)の様子を示す斜視図である。
モビリティ付きTVシステムを構成するモビリティ付きTV101乃至103それぞれは、図1乃至図9で説明したモビリティ付きTV10と同様に構成される。
ユーザは、例えば、リモートコマンダ40を操作し、モビリティ付きTV101乃至103それぞれにコマンドを送信することで、図10に示すように、モビリティ付きTV101乃至103それぞれの位置を移動し、あるいは、表示部11の向きや高さを変えることができる。
また、モビリティ付きTV101乃至103それぞれは、モビリティ付きTV10と同様に、特定語に応じて移動する。
ここで、モビリティ付きTV101乃至103それぞれは、特定語に応じて移動する場合、図8のフローチャートで説明したように、ROM24から読み出した第2のテーブルのエントリのうちの、優先順位が最も高いエントリの情報を、制御情報として取得し、その制御情報に含まれる座標が表す位置である目標位置に移動する。
従って、モビリティ付きTV101乃至103それぞれにおいて、ROM24から、例えば、図7に示した第2のテーブルが読み出された場合には、モビリティ付きTV101乃至103は、いずれも、ドア50の位置に移動することになる。
その結果、モビリティ付きTV101乃至103のうちのいずれか1つが、他の2つよりも先に、ドア50の位置に到達した場合には、他の2つのモビリティ付きTVは、先に到達したモビリティ付きTVが障害となって、ドア50の位置に到達することができない。
そこで、モビリティ付きTVは、所定の時間が経過しても、制御情報に含まれる座標が表す位置である目標位置に到達することができない場合には、第2のテーブルのエントリのうちの、次に優先順位が高いエントリの情報を、制御情報として新たに取得し、その制御情報に含まれる座標が表す位置である目標位置に移動するようになっている。
従って、モビリティ付きTV101乃至103それぞれは、特定語に応じて移動する場合、図7に示した第2のテーブルのうちの、優先順位が1番目に高いドア50のエントリを制御情報として取得し、これにより、ドア50の方に移動していく。
いま、モビリティ付きTV101乃至103のうちの、例えば、モビリティ付きTV101が最初にドア50の位置に到達した場合、残りのモビリティ付きTV102と103は、ドア50の位置に到達することができないので、図7に示した第2のテーブルのうちの、優先順位が2番目に高い窓51のエントリを制御情報として新たに取得し、これにより、窓51の方に移動していく。
そして、モビリティ付きTV102と103のうちの、例えば、モビリティ付きTV102が最初に窓51の位置に到達した場合、残りのモビリティ付きTV103は、窓51の位置に到達することができないので、図7に示した第2のテーブルのうちの、優先順位が3番目に高い窓52のエントリを制御情報として新たに取得し、これにより、窓52の方に移動していく。
以上により、図11に示すように、モビリティ付きTV101はドア50の位置に、モビリティ付きTV102は窓51の位置に、モビリティ付きTV103は窓52の位置に、それぞれ移動し、ドア50、窓51、窓52それぞれを介した部屋への出入りを制限する。
即ち、複数のモビリティ付きTV101乃至103は、いわば、互いに協調しながら、防犯対策処理を分担して実行する。
なお、モビリティ部16(図5)は、収納機能を有する箪笥や、部屋を仕切るパーテーション(ついたて)等の家具に付加することができ、この場合、モビリティ付き家具を実現することができる。また、かかるモビリティ付き家具については、モビリティ部16に付加された家具が扉や引き出しを有する場合には、その扉や引き出しを、リモートコマンダ40の操作に応じて開閉させる機構を設けるようにすることができる。
次に、図12は、本発明を適用したロボットカメラシステムの一実施の形態の構成例を示している。
ロボットカメラシステムは、ロボットカメラ100を含む1以上のロボットカメラで構成されており、1以上のロボットカメラそれぞれは、例えば、GPS衛星からの信号に基づき、自身の現在位置を取得し、その現在位置に基づいて処理を行う。これにより、ロボットカメラシステムが複数のロボットカメラで構成される場合には、その複数のロボットカメラそれぞれは、他のロボットカメラと互いに協調しながら、ある機能を実現する処理を分担して実行する。
即ち、ロボットカメラシステムは、例えば、警備を行う警備機能を提供する。この場合、ロボットカメラシステムを構成する各ロボットカメラは、自身の現在位置、さらには、周囲に存在する他のロボットカメラの数等に基づき、ロボットカメラシステムが全体として警備すべき領域である警備エリア内で、自身が警備を担当すべき範囲を決定し、その範囲の警備を行う。このように、各ロボットカメラが、自身が警備を担当すべき範囲を決定し、その範囲の警備を行うので、ロボットカメラシステムとしては、警備エリア全体の警備を行う警備機能が提供される。
ここで、ロボットカメラ100は、新たなロボットの1つであるモビリティ付きセンサの1種である。また、モビリティ付きセンサとは、位置を移動することができる「センサ」であり、ここでいう「センサ」は、外部の情報を取得することができる物(オブジェクト)を意味する。従って、「センサ」には、例えば、いわゆる温度センサや、圧力センサ、その他の物理量を計測(感知)する装置が含まれることは勿論、光としての画像を撮影(撮像)するカメラや、音を収集(集音)するマイクロフォンなども含まれる。
次に、図13は、図12のロボットカメラ100の外観構成例を示す右側面図であり、図14は、ロボットカメラ100の機能的構成例を示すブロック図である。
ロボットカメラ100は、図13および図14に示すように、画像を取得(撮影)(撮像)する撮影部(カメラ)101と、撮影部101のパン、チルト、ズーム(イン、アウト)等を行う雲台・ズーム機構102と、撮影部101および雲台・ズーム機構102(ひいては、ロボットカメラ100全体)の移動を行う移動機構103とを備えている。
さらに、ロボットカメラ100は、図14に示すように、被写体の特徴を指定する被写体指定部104と、被写体指定部104で指定された被写体の特徴を記憶する被写体記憶部105と、撮影部101で取得した画像を処理する画像処理部106と、画像処理部106で処理された画像と被写体記憶部105に記憶されている被写体の特徴とを照合し、その照合結果に基づいて、被写体指定部104で指定された特徴を有する被写体が撮影部101で取得した画像に映っているかどうかを判定する画像判定部107と、雲台・ズーム機構102および移動機構103の制御量を算出し、その制御量に基づき、雲台・ズーム機構102および移動機構103を制御する制御量演算部108と、制御量演算部108の制御にしたがい、雲台・ズーム機構102を制御する雲台・ズームコントローラ部109と、移動機構103を制御する移動コントローラ部110とを備えている。
また、ロボットカメラ100には、送信部111、アンテナ111A、受信部112、アンテナ112A、位置情報検出部113、アンテナ113A、ROMテーブル記憶部114、およびスピーカ115も設けられている。
送信部111は、アンテナ111Aを介して信号を送信し、受信部112は、アンテナ112Aを介して信号を受信する。送信部111によって信号を送信し、受信部112によって信号を受信することにより、ロボットカメラ100は、他のロボットカメラその他の装置と(無線)通信を行う。
位置情報検出部113は、アンテナ113Aを介して、GPS衛星からの信号を受信し、その信号に基づいて、ロボットカメラ100自身の現在位置を求める。
ROMテーブル記憶部114は、警備エリア内で、1台のロボットカメラが警備を担当すべき担当エリアを求めるための範囲情報の一覧であるROMテーブルを記憶している。なお、ROMテーブルの詳細については、後述する。
スピーカ115は、制御量演算部108の制御にしたがい、警告音(威嚇音)を出力する。
次に、図15は、図14の撮影部101および画像処理部106の構成例を示している。
図15の実施の形態では、撮影部101において、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージャなどのイメージセンサを1枚だけ用いて、光の3原色信号である赤(Red)信号成分、緑(Green)信号成分および青(Blue)信号成分を取り出し、画像処理部106において、この各信号成分を高解像度の信号成分に変換した後に合成して高解像度の複合映像(画像)信号を生成するようになっている。なお、撮影部111には、光の3原色信号をそれぞれ受光する3つのイメージセンサを設けることも可能である。
ここで、以下、高解像度の信号成分に変換する前の信号成分を通常精度(Standard Definition)の信号成分としてSD信号と呼び、変換後の信号成分を高精度(High Definition)の信号成分としてHD信号と呼ぶ。
図15において、撮影部101は、光学系201、色フィルタ202、およびCCD203で構成されている。また、画像処理部106は、ビデオアンプ(V.A.)4、A/D変換回路205、色分離回路206、R信号変換部250、G信号変換部260、B信号変換部270、信号処理回路280、変調回路281、および加算器282で構成されている。
レンズ等からなる光学系201には、被写体からの光(被撮像光)が入射する。光学系201に入射した被撮像光は、色フィルタ202を介してCCD203に入射する。この色フィルタ202は、例えば黄色フィルタ、シアンフィルタおよびマゼンタフィルタからなる補色フィルタである。この色フィルタ202を介してCCD203に入射した被撮像光は、CCD203にて光電変換されて、撮像信号としてビデオアンプ204に供給される。この撮像信号は、ビデオアンプ204にて所定のレベルにまで増幅された後に、A/D変換回路205に供給される。このA/D変換回路205にて、撮像信号が所定のビット数のディジタル信号に変換される。A/D変換回路205にてディジタル信号に変換された撮像信号は、色分離回路206に供給される。
この色分離回路206は、入力されたディジタル撮像信号をR信号成分、G信号成分およびB信号成分に分け、夫々をR信号変換部250、G信号変換部260およびB信号変換部270に供給する。
R信号変換部250、G信号変換部260およびB信号変換部270は、そこに供給される信号を、例えば、上述したDRC処理を行うことにより、高解像度の信号に変換する。
即ち、R信号変換部250は、色分離回路206から供給されたR信号成分を複数のブロックに分割するブロック化回路251と、ブロック化回路251から供給されるR信号成分を各ブロック毎に圧縮するデータ圧縮回路252と、このデータ圧縮回路252にて圧縮されたR信号成分の各ブロックのR信号成分のレベル部分のパターンから決定されるクラスを表すクラスコードを発生するクラスコード発生回路253と、このクラスコード発生回路253から供給されるクラスコードに対応した予測係数(タップ係数wn)を出力する予測係数メモリ254と、この予測係数メモリ254から供給される予測係数を用いてブロック化回路251から出力されるR信号成分について各ブロック毎に予測演算を行い、色分離回路206から出力されるR信号成分の解像度よりも高い解像度のR信号成分を生成する予測値生成回路255とを有する。
G信号変換部260は、色分離回路206から供給されたG信号成分を複数のブロックに分割するブロック化回路261と、ブロック化回路261から供給されるG信号成分を各ブロック毎に圧縮するデータ圧縮回路262と、このデータ圧縮回路262にて圧縮されたG信号成分の各ブロックのG信号成分のレベル部分のパターンから決定されるクラスを表すクラスコードを発生するクラスコード発生回路263と、このクラスコード発生回路263から供給されるクラスコードに対応した予測係数を出力する予測係数メモリ264と、この予測係数メモリ264から供給される予測係数を用いてブロック化回路261から出力されるG信号成分について各ブロック毎に予測演算を行い、色分離回路206から出力されるG信号成分の解像度よりも高い解像度のG信号成分を生成する予測値生成回路265とを有する。
B信号変換部270は、色分離回路206から供給されたB信号成分を複数のブロックに分割するブロック化回路271と、ブロック化回路271から供給されるB信号成分を各ブロック毎に圧縮するデータ圧縮回路272と、このデータ圧縮回路272にて圧縮されたB信号成分の各ブロックのB信号成分のレベル部分のパターンから決定されるクラスを表すクラスコードを発生するクラスコード発生回路273と、このクラスコード発生回路273から供給されるクラスコードに対応した予測係数を出力する予測係数メモリ274と、この予測係数メモリ274から供給される予測係数を用いてブロック化回路271から出力されるB信号成分について各ブロック毎に予測演算を行い、色分離回路206から出力されるB信号成分の解像度よりも高い解像度のB信号成分を生成する予測値生成回路275とを有する。
R信号変換部250、G信号変換部260およびB信号変換部270から夫々出力される高解像度のR信号成分、高解像度のG信号成分および高解像度のB信号成分は、信号処理回路280に供給される。
この信号処理回路280は、供給された高解像度のR信号成分、高解像度のG信号成分および高解像度のB信号成分に夫々所定の信号処理およびマトリクス演算を施して、高解像度の輝度信号Yおよび高解像度の色差信号R−Y、B−Yを生成する。この信号処理回路280の構成および動作原理については周知なので、その詳細な説明は省略する。
この信号処理回路280にて生成された高解像度の色差信号R−Y、B−Yは、変調回路281に供給される。変調回路281は、色副搬送波信号を高解像度の色差信号R−Y、B−Yによって直交2軸(二相)変調し、得られる高解像度の搬送色信号(以下、色信号という。)を加算器282の一方の入力端に供給する。この加算器282の他方の入力端には、信号処理回路280より高解像度の輝度信号Yが供給され、この高解像度の輝度信号Yと変調回路281からの高解像度の色信号とが加算されて高解像度のディジタル複合映像信号が生成され、画像判定部107に出力される。
以上のように構成される撮影部101および画像処理部106では、光学系201および色フィルタ202を介してCCD203に入射した被撮像光が、CCD203において光電変換され、その結果得られる撮像信号が、ビデアンプ204に供給される。ビデオアンプ204は、CCD203からの撮像信号を、所定のレベルに増幅し、A/D変換回路205に供給する。A/D変換回路205では、ビデアンプ204からの撮像信号がディジタル撮像信号に変換されて色分離回路206に供給され、この色分離回路206にて、R信号成分、G信号成分およびB信号成分に分けられる。R信号成分、G信号成分およびB信号成分は、色分離回路206から、夫々R信号変換部250、G信号変換部260およびB信号変換部270に供給され、夫々高解像度のR信号成分、高解像度のG信号成分および高解像度のB信号成分に変換される。これらの高解像度のR信号成分、高解像度のG信号成分および高解像度のB信号成分は、信号処理回路280に供給され、これらの信号成分から高解像度の輝度信号Yおよび高解像度の色差信号R−Y、B−Yが生成される。
高解像度の色差信号R−Y、B−Yは変調回路281に供給され、色副搬送波信号を直交2軸変調することにより、高解像度の色信号に変換される。信号処理回路280から出力される高解像度の輝度信号Yと変調回路281から出力される高解像度の色信号とを加算器282にて加算することによって、高解像度の複合映像信号が得られる。
次に、図15のR信号変換部250、G信号変換部260およびB信号変換部270で行われるDRC処理について説明する。
なお、R信号変換部250、G信号変換部260およびB信号変換部270では、同様のDRC処理が行われるので、ここでは、R信号変換部250で行われるDRC処理を例にとって説明する。
R信号変換部250のブロック化回路251には、色分離回路206から、例えば、所定のサンプリング周波数でもって、1画素が8ビットのディジタル信号とされたSD信号(であるR信号成分)がラスター走査順に供給される。
ブロック化回路251は、ラスター走査順のデータ(SD信号)を1次元ブロック、2次元ブロック又は3次元ブロックの順序のデータに変換し、データ圧縮回路252および予測値生成回路255に出力する。
即ち、ブロック化回路251は、HD信号の画素(HD画素)のうちの、DRC処理により画素値を求めようとするHD画素を注目画素として、その注目画素の位置に対して空間的または時間的に近傍にある幾つかのSD信号の画素(SD画素)を、注目画素を求めるのに用いる1ブロックとして、データ圧縮回路252および予測値生成回路255に出力する。
なお、注目画素について、ブロック化回路251からデータ圧縮回路252に出力するブロックと、ブロック化回路251から予測値生成回路255に出力するブロックとは、異なるSD画素で構成することができる。また、ブロック化回路251からデータ圧縮回路252に出力されるブロックが、上述のDRC処理で説明したクラスタップであり、ブロック化回路251から予測値生成回路255に出力されるブロックが、上述のDRC処理で説明した予測タップである。
データ圧縮回路252およびクラスコード発生回路253は、DRC処理におけるクラス分類を行う。クラス分類は、ブロック化回路251が出力するブロックを構成するSD画素(の画素値)のレベル分布のパターンに従ってなされるが、SD画素の画素値(ここでは8ビット)をそのままクラス分類に用いると、クラス数が多くなり過ぎる問題がある。そこで、データ圧縮回路252が設けられており、データ圧縮回路252は、クラス分類の対象となるブロックを構成するSD画素(の画素値)のビット数を圧縮する。
ここで、SD画素のビット数を圧縮する方法としては、例えば、ブロックを構成するSD画素の画素値の最小値を、ブロックを構成するSD画素の各画素値から減算し、その減算結果を、SD画素のビット数よりも少ないビット数(例えば、1ビット)に再量子化するADRC(Adaptive Dynamic Range Coding)がある。
データ圧縮回路252は、ブロック化回路251からのブロックを構成するSD画素のビット数を圧縮すると、その圧縮後のビット数のSD画素(圧縮SD画素)で構成されるブロックを、クラスコード発生回路253に供給する。クラスコード発生回路253は、データ圧縮回路252からのブロックを構成する圧縮SD画素の画素値を所定の順番で並べ、その画素値の並びを、クラスコードとして、予測係数メモリ254に供給する。
予測係数メモリ254は、上述のDRC処理で説明した学習によって得られるクラスごとのタップ係数(予測係数ともいう)を、そのクラスを表すアドレスに記憶しており、クラスコード発生回路253から供給されるクラスコードが表すアドレスに記憶している予測係数を、予測値生成回路255に供給する。
予測値生成回路255では、ブロック化回路251から供給されたブロック(予測タップ)を構成するSD画素(の画素値)xnと、予測係数メモリ254から供給される予測係数(タップ係数)wnとを用いて、式(1)の予測演算が行われ、注目画素(HD画素)の画素値(の予測値)が求められる。
次に、図16乃至図18を参照して、図14のROMテーブル記憶部114に記憶されているROMテーブルについて説明する。
図16は、ROMテーブルの第1実施の形態を示している。
例えば、いま、図12のロボットシステムの全体で警備を行う警備エリアが、図16左側に示すように、ある基準位置を中心とする所定の半径(図16では、25mになっている)の円(円内)のエリアであるとする。
この場合、ROMテーブルには、図16右側に示すように、円形の警備エリアの警備をするロボットカメラの数(ロボット数)と、そのロボット数のロボットカメラで警備エリアを警備する場合に、1台のロボットカメラが警備を担当すべき担当エリアを求めるための範囲情報とが対応付けて登録される。
図16のROMテーブルには、円形の警備エリアを、基準位置を中心とする扇形の担当エリアに分割(等分)するための、その扇形の中心角が、範囲情報として登録されている。即ち、図16のROMテーブルでは、ロボット数が、1台,2台,3台,4台,・・・に対して、範囲情報が、それぞれ、360度、180度、120度、90度、・・・となっている。従って、ロボット数をnと表すこととすると、ロボット数nに対して、360/n度の範囲情報が対応付けられている。
図14のROMテーブル記憶部114に、図16のROMテーブルが記憶されている場合、ロボットカメラ100は、警備エリアを警備するロボットカメラのロボット数を、後述するようにして認識し、図16のROMテーブルを参照することにより、警備エリアを警備するロボットカメラのロボット数に対応付けられている範囲情報を取得する。そして、ロボットカメラ100は、その範囲情報に基づいて、1台のロボットカメラが警備を担当すべき担当エリアを認識する。
例えば、警備エリアを警備するロボットカメラのロボット数が4台である場合、ロボットカメラ100は、図16のROMテーブルを参照することにより、4台の「ロボット数」に対応付けられている90度の「範囲情報」を取得する。この場合、ロボットカメラ100は、その範囲情報に基づき、図16左側に示すような、円形の警備エリアを、その中心を通る直線で4等分した、中心角が90度の4つの扇形のエリアそれぞれを、担当エリアとして認識する。
ロボットカメラ100は、担当エリアを認識すると、そのうちの1つを、ロボットカメラ100自身が移動する移動範囲に決定し、必要に応じて、その移動範囲内で移動しながら、被写体を撮影する。
次に、図17は、ROMテーブルの第2実施の形態を示している。
例えば、いま、図12のロボットシステムの全体で警備を行う警備エリアが、図17左側に示すように、ある基準位置を重心とし、一辺が所定の長さ(図17では、50mになっている)の正方形(内)のエリアであるとする。
この場合、ROMテーブルには、図17右側に示すように、正方形の警備エリアの警備をするロボットカメラの数(ロボット数)と、そのロボット数のロボットカメラで警備エリアを警備する場合に、1台のロボットカメラが警備を担当すべき担当エリアを求めるための範囲情報とが対応付けて登録される。
図17のROMテーブルには、正方形の警備エリアを、同一の大きさの正方形の担当エリアに分割(等分)するための、その担当エリアとしての正方形の一辺の長さが、範囲情報として登録されている。即ち、図17のROMテーブルでは、ロボット数が、1乃至3台、4乃至15台、16乃至31台、・・・に対して、範囲情報が、それぞれ、50m,25m,12.5m,・・・となっている。
図14のROMテーブル記憶部114に、図17のROMテーブルが記憶されている場合、ロボットカメラ100は、警備エリアを警備するロボットカメラのロボット数を、後述するようにして認識し、図17のROMテーブルを参照することにより、警備エリアを警備するロボットカメラのロボット数に対応付けられている範囲情報を取得する。そして、ロボットカメラ100は、その範囲情報に基づいて、1台のロボットカメラが警備を担当すべき担当エリアを認識する。
例えば、警備エリアを警備するロボットカメラのロボット数が4台である場合、ロボットカメラ100は、図17のROMテーブルを参照することにより、4乃至15台の「ロボット数」に対応付けられている25mの「範囲情報」を取得する。この場合、ロボットカメラ100は、その範囲情報に基づき、図17左側に示すような、正方形の警備エリアを、一辺が25mの正方形に4等分して得られる4つの正方形のエリアそれぞれを、担当エリアとして認識する。
ロボットカメラ100は、担当エリアを認識すると、図16で説明したように、そのうちの1つを、ロボットカメラ100自身が移動する移動範囲に決定し、必要に応じて、その移動範囲内で移動しながら、被写体を撮影する。
次に、図18は、ROMテーブルの第3実施の形態を示している。
例えば、いま、図12のロボットシステムの全体で警備を行う警備エリアが、図18左側に示すように、ある基準位置を中心とし、半径が伸縮する円(円内)のエリアであるとする。
この場合、ROMテーブルには、図18右側に示すように、円形の警備エリアの警備をするロボットカメラの数(ロボット数)と、そのロボット数のロボットカメラで警備エリアを警備する場合に、1台のロボットカメラが警備を担当すべき担当エリアを求めるための範囲情報とが対応付けて登録される。
図18のROMテーブルには、円形の警備エリアを、半径方向に伸縮するための、その円形の警備エリアの半径が、範囲情報として登録されている。即ち、図18のROMテーブルでは、ロボット数が、1台,2台,3台,・・・に対して、範囲情報が、それぞれ、10m,20m,30m,・・・となっている。つまり、ロボット数をnと表すこととすると、ロボット数nに対して、10×n[m]の範囲情報が対応付けられている。
図14のROMテーブル記憶部114に、図18のROMテーブルが記憶されている場合、ロボットカメラ100は、警備エリアを警備するロボットカメラのロボット数を、後述するようにして認識し、図18のROMテーブルを参照することにより、警備エリアを警備するロボットカメラのロボット数に対応付けられている範囲情報を取得する。そして、ロボットカメラ100は、その範囲情報に基づいて、1台のロボットカメラが警備を担当すべき担当エリアを認識する。
例えば、警備エリアを警備するロボットカメラのロボット数が3台である場合、ロボットカメラ100は、図18のROMテーブルを参照することにより、3台の「ロボット数」に対応付けられている30mの「範囲情報」を取得する。この場合、ロボットカメラ100は、その範囲情報に基づき、図18左側に示すような、円形の警備エリアを確定し、さらに、半径方向に、円形の警備エリアを、ロボット数と同一の数である3つのエリアに分割する。
即ち、ロボットカメラ100は、30mの「範囲情報」に基づき、円形の警備エリアを、半径が30mの円形のエリアに確定し、その警備エリアの半径方向を、ロボット数である3等分することにより、警備エリアを、図18左側に示すようなドーナツ状の3つのエリア(但し、最も内側は円形のエリア)に分割する。
そして、ロボットカメラ100は、警備エリアの分割によって得られた3つのエリアそれぞれを、担当エリアとして認識する。
ロボットカメラ100は、担当エリアを認識すると、そのうちの1つを、ロボットカメラ100自身が移動する移動範囲に決定し、必要に応じて、その移動範囲内で移動しながら、被写体を撮影する。
図16および図17のROMテーブルが採用される場合には、警備エリアの大きさがあらかじめ決まっており、その警備エリアを警備するロボットカメラのロボット数が大になるほど、1台のロボットカメラが警備を担当する担当エリアの大きさが小になる。
一方、図18のROMテーブルが採用される場合には、警備エリアを警備するロボットカメラのロボット数が大になるほど、警備エリアの大きさが大になる。
なお、図16乃至図18に示した警備エリアの基準位置としては、例えば、特定の人の住居の位置などを採用することができる。
次に、図19乃至図21のフローチャートを参照して、図12のロボットシステムを構成するロボットカメラ100が行う処理について説明する。
まず、図19のフローチャートを参照して、ロボットカメラ100が、自身が移動する移動範囲を決定する処理について説明する。
ロボットカメラ100では、制御量演算部108が、ステップS101において、前回の移動範囲の決定から所定の時間(例えば、30分など)が経過したかどうかを判定する判定処理を行う。
ここで、制御量演算部108は、時刻を計時する時計を内蔵しており、その時計が計時している時刻を参照することで、ステップS101の判定処理を行う。なお、図12のロボットシステムを構成するすべてのロボットカメラの時計が計時する時刻は、例えば、位置情報検出部113が受信するGPS衛星からの信号に基づき、同期がとられていることとする。
ステップS101において、所定の時間が経過していないと判定された場合、ステップS101に戻り、以下、同様の処理が繰り返される。
また、ステップS101において、所定の時間が経過したと判定された場合、ステップS102に進み、制御量演算部108は、送信部111を制御することにより、ロボットカメラ100に付されているユニークなロボットID(Identification)を、アンテナ111Aを介して、他のロボットカメラに送信させる。
即ち、図12のロボットシステムを構成するすべてのロボットカメラ100には、それぞれを特定するためのユニークなロボットIDが付されており、そのロボットIDは、制御量演算部108が内蔵するメモリ(図示せず)に記憶されている。ステップS102では、制御量演算部108は、その内蔵するメモリに記憶されているロボットIDを、送信部111およびアンテナ111Aを介して送信する。
ステップS102の処理後は、ステップS103に進み、制御量演算部108は、他のロボットカメラから送信されてくるロボットIDを受信して一時記憶する。
即ち、図19のフローチャートにしたがった処理は、図12のロボットシステムを構成するすべてのロボットカメラにおいて行われる。従って、ロボットカメラ100の他のロボットカメラにおいて、ステップS102の処理が行われることにより、他のロボットカメラのロボットIDが送信されてくるので、ステップS103では、そのようにして、他のロボットカメラから送信されてくるロボットIDが受信される。
具体的には、他のロボットカメラから送信されてくるロボットIDが、アンテナ112Aを介して受信部112で受信され、制御量演算部108に供給される。制御量演算部108は、このようにして受信部112から供給されるロボットIDを受信する。
ステップS103の処理後は、ステップS104に進み、制御量演算部108は、例えば、直前のステップS102でロボットIDの送信を行ってから、所定の時間(例えば、30秒など)が経過したかどうかを判定する。
ステップS104において、所定の時間が、まだ経過していないと判定された場合、ステップS103に戻り、制御量演算部108は、さらに他のロボットカメラから、ロボットIDが送信されるのを待ってそのロボットIDを受信し、以下、ステップS103およびS104のループ処理が繰り返される。
そして、ステップS104において、所定の時間が経過したと判定された場合、ステップS105に進み、制御量演算部108は、ステップS103およびS104のループ処理によって得られた、他のロボットカメラのロボットIDの数を検出(カウント)し、そのロボットIDの数に、ロボットカメラ100自身を含めた数を、警備エリアの警備を行うロボットカメラ(以下、適宜、警備担当ロボットカメラという)の数として認識して、ステップS106に進む。
ステップS106では、制御量演算部108は、ステップS105で認識した警備担当ロボットカメラの数や、警備エリアの基準位置等に基づき、担当エリアを認識し、さらに、その担当エリア等に基づき、ロボットカメラ100自身が警備を行うのに移動する範囲である移動範囲を決定する。そして、制御量演算部108は、ロボットカメラ100の現在位置が、移動範囲内でなれば、移動コントローラ部110を制御して、移動機構103を駆動(制御)することにより、ロボットカメラ100を移動範囲内に移動させる。
そして、ステップS106からステップS107に進み、制御量演算部108は、電源をオフ状態にするかどうかを判定し、電源をオフ状態にしないと判定した場合、ステップS101に戻り、以下、同様の処理が繰り返される。
また、ステップS107において、電源をオフ状態にすると判定された場合、制御量演算部108は、電源をオフ状態にして、処理を終了する。
ここで、例えば、図12のロボットカメラシステムの管理者は、ロボットカメラ100をコントロールするコントローラであるロボットコントローラ(図示せず)を所持している。ロボットコントローラは、管理者の操作に応じたコマンドを、無線で送信するようになっており、さらに、ロボットコントローラから送信されたコマンドは、アンテナ112Aを介して受信部112で受信され、制御量演算部108に供給されるようになっている。
例えば、制御量演算部108に供給されたコマンドが、電源のオフを要求するコマンドである場合、制御量演算部108は、ステップS107において電源をオフ状態にすると判定する。
また、ロボットカメラ100は、図示せぬバッテリを有し、ロボットカメラ100を構成する各ブロックは、そのバッテリから電源の供給を受けて動作するようになっている。制御量演算部108は、例えば、バッテリの残容量が少なくなったときも、ステップS107において電源をオフ状態にすると判定する。
次に、図20のフローチャートを参照して、図19のステップS106の処理の詳細について説明する。
制御量演算部108は、ステップS111において、送信部111を制御することにより、送信部111およびアンテナ111Aを介し、ロボットカメラ100以外の警備担当ロボットカメラに対して、それぞれの現在位置を要求するコマンド(以下、適宜、位置要求コマンドという)を送信する。
そして、制御量演算部108は、位置要求コマンドに応じて、ロボットカメラ100以外の警備担当ロボットカメラから、現在位置を含むレスポンスが送信されてくると、そのレスポンスを、アンテナ112Aおよび受信部112を介して受信する。なお、警備担当ロボットカメラからの、位置要求コマンドに対するレスポンスには、警備担当ロボットカメラの現在位置の他、その警備担当ロボットカメラのロボットIDも含まれている。
ステップS111の処理後は、ステップS112に進み、制御量演算部108は、ロボットカメラ100(自身)を除くすべての警備担当ロボットカメラのレスポンスを受信したかどうかを判定する。
ステップS112において、ロボットカメラ100(自身)を除くすべての警備担当ロボットカメラのレスポンスを、まだ受信していないと判定された場合、ステップS112に戻り、以下、同様の処理が繰り返される。
また、ステップS112において、ロボットカメラ100(自身)を除くすべての警備担当ロボットカメラのレスポンスを受信したと判定された場合、即ち、制御量演算部108が、図19のステップS103およびS104のループ処理によって得られた、他のロボットカメラのロボットIDのそれぞれを含むレスポンスをすべて受信した場合、制御量演算部108は、そのレスポンスに基づき、ロボットカメラ100(自身)を除くすべての警備担当ロボットカメラの現在位置を認識して、ステップS113に進み、ROMテーブル記憶部114に記憶されたROMテーブルを参照して、担当エリアを認識する。
即ち、図19のステップS105で認識された警備担当ロボットカメラの数が、例えば、4台であり、警備エリアが、例えば、図16左側に示した円形の警備エリアで、図14のROMテーブル記憶部114に、例えば、図16右側のROMテーブルが記憶されている場合、制御量演算部108は、図16右側のROMテーブルを参照することにより、4台の「ロボット数」に対応付けられている90度の「範囲情報」を取得する。さらに、制御量演算部108は、90度の「範囲情報」に基づき、図16左側に示すような、円形の警備エリアを、その中心である基準位置を通る直線で4等分した、中心角が90度の4つの扇形のエリアそれぞれを、担当エリアとして認識する。
制御量演算部108は、ステップS113において、上述のようにして、担当エリアを認識すると、ステップS114に進み、位置情報検出部113から供給される情報により、ロボットカメラ100自身の現在位置を認識する。
即ち、位置情報検出部113は、アンテナ113Aを介して、GPS衛星からの信号を受信し、その信号に基づき、ロボットカメラ100自身の現在位置を求め、その現在位置の情報を、制御量演算部108に供給しており、制御量演算部108は、ステップS114において、このようにして位置情報検出部113から供給される情報により、ロボットカメラ100自身の現在位置を認識する。
ステップS114の処理後は、ステップS115に進み、制御量演算部108は、ロボットカメラ100を除くすべての警備担当ロボットカメラのレスポンスから認識した現在位置、ステップS113で認識した担当エリア、ステップS114で認識したロボットカメラ100自身の現在位置、および警備エリアを特定する基準位置等の情報に基づき、ロボットカメラ100自身が警備のために移動する移動範囲に決定する。
即ち、制御量演算部108は、例えば、ロボットカメラ100自身の現在位置が、ステップS113で認識した担当エリアのうちのいずれかの担当エリア内であれば、その担当エリアを、移動範囲の候補(以下、適宜、候補範囲という)とする。そして、制御量演算部108は、候補範囲に、他のロボットカメラ(警備担当ロボットカメラ)が存在しなければ、その候補範囲を、ロボットカメラ100の移動範囲に決定する。
また、候補範囲に、他のロボットカメラが存在する場合、制御量演算部108は、警備担当ロボットカメラが存在しない担当エリアのうちの、候補範囲から最も近い担当エリア(以下、適宜、空き担当エリアという)を認識し、候補範囲に存在する警備担当ロボットカメラの中で、ロボットカメラ100自身が、空き担当エリアに最も近い位置にいるかどうかを判定する。そして、制御量演算部108は、候補範囲に存在する警備担当ロボットカメラの中で、ロボットカメラ100自身が、空き担当エリアに最も近い位置にいる場合には、空き担当エリアを、ロボットカメラ100の移動範囲に決定する。
一方、制御量演算部108は、例えば、ロボットカメラ100自身の現在位置が、ステップS113で認識した担当エリアのうちのいずれの担当エリア内でもない場合には、例えば、ロボットカメラ100の現在位置から最も近い担当エリアであって、他の警備担当ロボットカメラが存在しない担当エリアを、ロボットカメラ100の移動範囲に決定する。
ロボットカメラ100を含むすべての警備担当ロボットカメラは、例えば、以上のようにして、各担当エリアが、少なくとも1台の警備担当ロボットカメラの移動範囲となるように、自身の移動範囲を決定する。
制御量演算部108は、以上のように、移動範囲を決定すると、ステップS115からステップS116に進み、ロボットカメラ100自身の現在位置が、ロボットカメラ100の移動範囲内にない場合には、移動コントローラ部110を制御して、移動機構103を駆動し、これにより、ロボットカメラ100を、ロボットカメラ100の移動範囲内に移動して、処理を終了する。
ロボットカメラ100の移動範囲が決定されると、移動範囲内にいるロボットカメラ100は、その移動範囲内で、所望の被写体を追跡する追跡処理を開始する。
そこで、図21のフローチャートを参照して、追跡処理について説明する。
なお、ロボットカメラ100の被写体記憶部105には、例えば、指名手配がされている犯罪者の特徴が記憶されていることとする。
追跡処理では、制御量演算部108が、雲台・ズームコントローラ部109を制御することにより、撮影部101がパンされるように、雲台・ズーム機構102を駆動する。これにより、撮影部101はパンしながら周囲を撮影し、その結果得られる画像が、画像処理部106を介して、画像判定部107に順次供給される。
画像判定部107は、ステップS121において、撮影部101で撮影された画像に、犯罪者である可能性がある被写体、即ち、例えば、人間が映っているかどうかを判定し、人間が映ってないと判定した場合、ステップS121に戻り、以下、同様の処理が繰り返される。
また、ステップS121において、撮影部101で撮影された画像に、犯罪者である可能性がある被写体である人間が映っている判定された場合、ステップS122に進み、画像判定部107は、撮影部101で撮影された画像に映っている人間(被写体)の特徴を抽出し、その特徴が、被写体記憶部105に記憶されている犯罪者の特徴に一致するかどうかを判定する。
ステップS122において、撮影部101で撮影された画像に映っている被写体の特徴が、被写体記憶部105に記憶されている犯罪者の特徴に一致しないと判定された場合、ステップS121に戻り、以下、同様の処理が繰り返される。
また、ステップS122において、撮影部101で撮影された画像に映っている被写体の特徴が、被写体記憶部105に記憶されている犯罪者の特徴に一致すると判定された場合、画像判定部107は、撮影部101で撮影された画像に映っている被写体の特徴が、被写体記憶部105に記憶されている犯罪者の特徴に一致する旨を、制御量演算部108に供給して、ステップS123に進む。
制御量演算部108は、画像判定部107から、撮影部101で撮影された画像に映っている被写体の特徴が、被写体記憶部105に記憶されている犯罪者の特徴に一致する旨を受信すると、ステップS123において、ロボットカメラ100に、被写体記憶部105に記憶されている犯罪者の特徴と一致する特徴の被写体(以下、追跡対象被写体という)の追跡と、撮影部101で撮影された画像の送信を開始させる。
即ち、制御量演算部108は、移動コントローラ部110を制御することにより、移動機構103を駆動し、これにより、追跡対象被写体に対してロボットカメラ100が所定の位置となるように、ロボットカメラ100を移動させる。さらに、制御量演算部108は、雲台・ズームコントローラ部109を制御することにより、雲台・ズーム機構102を駆動し、これにより、撮影部101で撮影される画像に、追跡対象被写体の全体、あるいは、所定の部分(例えば、顔)が明確に映るように、撮影部101のズーム倍率を調整し、あるいは、撮影部101をパン、チルトする。
また、制御量演算部108は、画像判定部107を介して、画像処理部106から、撮影部101で撮影された画像を取得し、送信部111を制御することにより、図12のロボットシステムの管理者(の端末)に送信する。
ステップS123において、以上のような、追跡対象被写体の追跡と、撮影部101で撮影された画像の送信が開始された後は、ステップS124に進み、制御量演算部108は、ロボットカメラ100の現在位置が、ロボットカメラ100の移動範囲外であるかどうかを判定する。
ステップS124において、ロボットカメラ100の現在位置が、ロボットカメラ100の移動範囲外でないと判定された場合、即ち、ロボットカメラ100の現在位置が、ロボットカメラ100の移動範囲内である場合、ステップS124に戻り、以下、同様の処理が繰り返される。
即ち、この場合、追跡対象被写体の追跡(ロボットカメラ100の移動)と、撮影部101で撮影された画像の送信が続行される。
また、ステップS124において、ロボットカメラ100の現在位置が、ロボットカメラ100の移動範囲外であると判定された場合、即ち、追跡対象被写体が、他の警備担当ロボットカメラの移動範囲内に移動したか、または警備エリア外に移動した場合、ステップS125に進み、制御量演算部108は、ステップS123で開始した、追跡対象被写体の追跡と、撮影部101で撮影された画像の送信を終了(停止)させ、ステップS121に戻る。
なお、追跡対象被写体が、他の警備担当ロボットカメラの移動範囲内に移動した場合には、その移動範囲内において、他の警備担当ロボットカメラが、追跡対象被写体の追跡を行うことになる。
ここで、追跡対象被写体が、他の警備担当ロボットカメラの移動範囲内に移動し、ロボットカメラ100が、追跡対象被写体の追跡を終了した場合には、その時点におけるロボットカメラ100の現在位置を、他の警備担当ロボットカメラに送信することができる。この場合、他の警備担当ロボットカメラは、ロボットカメラ100の現在位置付近に移動することにより、追跡対象被写体を早期に見つける(検出する)ことができる。
以上のように、ロボットカメラ100は、撮影部101が移動可能とするロボットカメラ100の移動範囲を決定し、ロボットカメラ100の移動範囲内で追跡対象被写体を検出し、その追跡対象被写体に対して撮影部101が所望の位置となるように、撮影部101を移動機構103によって移動して、追跡対象被写体を撮像し、その結果得られる追跡対象被写体が映った画像を、管理者に送信(出力)し、撮影部101がロボットカメラ10の移動範囲から外れた際に、画像の送信(外部への出力)および移動機構103による撮影部101の移動を停止するので、図12のロボットシステムを構成するロボットカメラは、相互に協力(協調)して、追跡対象被写体を追跡することができる。
なお、図21の追跡処理では、ステップS123において、追跡対象被写体の追跡と、撮影部101で撮影された画像の送信とを開始する他、さらに、制御量演算部108の制御により、スピーカ115から、警告音(威嚇音)の出力を開始することができる。この場合、ステップS125では、制御量演算部108は、追跡対象被写体の追跡と、撮影部101で撮影された画像の送信の他、スピーカ115からの警告音の出力も終了させる。
また、スピーカ115からの警告音は、警備担当ロボットカメラのうちの、移動範囲が所定の位置を含む警備担当ロボットカメラだけが出力するようにすることができる。即ち、例えば、移動範囲が特定のユーザの家の位置を含む警備担当ロボットカメラだけが、スピーカ115から警告音を出力するようにすることができる。この場合、例えば、追跡対象被写体としての犯罪者が、特定のユーザの家に近い位置にいるときに、警告音が出力されるので、犯罪者を、特定のユーザの家から遠ざけることが可能となる。
さらに、特定のユーザの家に、警告音を出力するスピーカを設置しておき、移動範囲が特定のユーザの家の位置を含む警備担当ロボットカメラ、あるいは、移動範囲が特定のユーザの家の位置に近い警備担当ロボットカメラにおいて、追跡対象被写体が検出されたときに、その警備担当ロボットカメラから、特定のユーザの家に設置されたスピーカにコマンドを送信することにより、そのスピーカから警告音を出力させるようにすることができる。この場合も、追跡対象被写体としての犯罪者を、特定のユーザの家から遠ざけることが可能となる。
なお、警備エリアを定めるためには、基準位置(図16乃至図18)や半径等の情報が必要となるが、これらの情報は、例えば、図12のロボットシステムの管理者が有するロボットコントローラから、無線通信によって、図12のロボットシステムを構成する各ロボットカメラに与えることができる。
また、特定のユーザの家には、カメラを設置しておき、移動範囲が特定のユーザの家の位置を含む警備担当ロボットカメラ、あるいは、移動範囲が特定のユーザの家の位置に近い警備担当ロボットカメラにおいて、追跡対象被写体が検出されたときに、その警備担当ロボットカメラから、特定のユーザの家に設置されたカメラにコマンドを送信することにより、カメラにおいて周囲の撮影を開始させるようにすることができる。
さらに、図16乃至図18では、警備エリアを、重複がない担当エリアに分割するようにしたが、担当エリアは、一部または全部が重複していてもかまわない。
本発明を適用したモビリティ付きTV10の一実施の形態の構成例を示す斜視図である。 モビリティ付きTV10の構成例を示す右側面図である。 モビリティ付きTV10の使用状況を説明するための斜視図である。 モビリティ付きTV10の使用状況を説明するための斜視図である。 モビリティ付きTV10の機能的な構成例を示すブロック図である。 第1のテーブルを示す図である。 第2のテーブルを示す図である。 モビリティ付きTV10の動作を説明するフローチャートである。 特定処理を説明するフローチャートである。 モビリティ付きTVシステムの使用状況を説明するための斜視図である。 モビリティ付きTVシステムの使用状況を説明するための斜視図である。 本発明を適用したロボットカメラシステムの一実施の形態の構成例を示す図である。 ロボットカメラ100の外観構成例を示す右側面図である。 ロボットカメラ100の機能的な構成例を示すブロック図である。 撮影部101と画像処理部106の構成例を示すブロック図である。 ROMテーブルの第1実施の形態を示す図である。 ROMテーブルの第2実施の形態を示す図である。 ROMテーブルの第3実施の形態を示す図である。 ロボットカメラ100の処理を説明するフローチャートである。 ロボットカメラ100の処理を説明するフローチャートである。 ロボットカメラ100の処理を説明するフローチャートである。
符号の説明
10,101乃至103 モビリティ付きTV, 11 表示部, 12 雲台部, 13 移動部, 14 TV部, 15 回転部, 16 モビリティ部, 20 信号処理部, 21 雲台コントローラ部, 22 移動コントローラ部, 23 現在位置取得部, 24 ROM, 25 判定部, 26 受信部, 32 チューナ, 40 リモートコマンダ, 100 ロボットカメラ, 101 撮影部, 102 雲台・ズーム機構, 103 移動機構, 105 被写体記憶部, 106 画像処理部, 107 画像判定部, 108 制御量演算部, 109 雲台・ズームコントローラ部, 110 移動コントローラ部, 111 送信部, 112 受信部, 113 位置情報検出部, 114 ROMテーブル記憶部, 115 スピーカ

Claims (4)

  1. 移動可能な撮像装置が移動可能とする移動範囲を決定する移動範囲決定手段と、
    上記移動範囲内で所望の対象検出物を検出する検出手段と、
    上記検出手段において検出された上記対象検出物に対して上記撮像装置が所望の位置となるように、上記撮像装置を移動する移動手段と、
    上記所望の位置から上記対象検出物を撮像し、上記対象検出物の撮像情報を出力する撮像手段と、
    上記撮像情報を外部に出力する出力手段と、
    他の移動可能な撮像装置およびGPS(Global Positioning System)衛星と通信する通信手段と
    を有し、
    上記移動範囲決定手段は、上記通信手段から得られる上記他の移動可能な撮像装置の情報および上記移動可能な撮像装置の位置情報に基づいて、上記移動範囲を決定し、
    上記撮像装置が上記移動範囲から外れた際に、上記撮像情報の外部への出力および上記移動手段による上記撮像装置の移動を停止する
    上記移動可能な撮像装置。
  2. 警告音を出力するスピーカをさらに有し、
    上記撮像手段で上記対象検出物を撮像している際に、上記スピーカから警告音を出力する
    請求項に記載の移動可能な撮像装置。
  3. 上記移動範囲内で上記対象検出物を検出した場合に、所定の位置に設けられたスピーカから警告音を出力するように、上記スピーカを制御する
    請求項に記載の移動可能な撮像装置。
  4. 移動可能な撮像装置が移動可能とする移動範囲を決定する移動範囲決定工程と、
    上記移動範囲内で所望の対象検出物を検出する検出工程と、
    検出された上記対象検出物に対して上記撮像装置が所望の位置となるように、上記撮像装置を移動する移動工程と、
    上記所望の位置から上記対象検出物を撮像し、上記対象検出物の撮像情報を出力する撮像工程と、
    上記撮像情報を外部に出力する出力工程と、
    他の移動可能な撮像装置およびGPS(Global Positioning System)衛星と通信する通信工程と
    を有し、
    上記移動範囲決定工程は、通信によって得られる上記他の移動可能な撮像装置の情報および上記移動可能な撮像装置の位置情報に基づいて、上記移動範囲を決定し、
    上記撮像装置が上記移動範囲から外れた際に、上記撮像情報の外部への出力および上記撮像装置の移動を停止する
    撮像方法。
JP2005164011A 2005-06-03 2005-06-03 撮像装置および撮像方法 Expired - Fee Related JP4910312B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005164011A JP4910312B2 (ja) 2005-06-03 2005-06-03 撮像装置および撮像方法
US11/420,593 US8467886B2 (en) 2005-06-03 2006-05-26 Mobile object apparatus, mobile object system, imaging device and method, and alerting device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005164011A JP4910312B2 (ja) 2005-06-03 2005-06-03 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2006338483A JP2006338483A (ja) 2006-12-14
JP4910312B2 true JP4910312B2 (ja) 2012-04-04

Family

ID=37558972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005164011A Expired - Fee Related JP4910312B2 (ja) 2005-06-03 2005-06-03 撮像装置および撮像方法

Country Status (2)

Country Link
US (1) US8467886B2 (ja)
JP (1) JP4910312B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4951881B2 (ja) * 2005-06-20 2012-06-13 株式会社日立製作所 画像表示装置および画像表示装置用スタンド
TWI333178B (en) * 2007-07-13 2010-11-11 Ind Tech Res Inst Method for coordinating cooperative robots
EP2202533A1 (de) * 2008-12-23 2010-06-30 IBEO Automobile Sensor GmbH Erfassungsvorrichtung
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
DE202011102481U1 (de) * 2011-05-17 2012-09-17 Stabilus Gmbh Einrichtung zum Bewegen einer Anzeigeeinrichtung
US9639959B2 (en) * 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data
US20150015707A1 (en) * 2013-07-10 2015-01-15 Subc Control Limited Telepresence method and system for tracking head movement of a user
US9609290B2 (en) * 2013-07-10 2017-03-28 Subc Control Limited Telepresence method and system for supporting out of range motion by aligning remote camera with user's head
JP6253311B2 (ja) * 2013-08-28 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法
JP6293304B2 (ja) * 2014-05-21 2018-03-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 遠隔制御装置、制御システム及び制御方法
DE112015004185T5 (de) 2014-09-12 2017-06-01 Knowles Electronics, Llc Systeme und Verfahren zur Wiederherstellung von Sprachkomponenten
CN107210824A (zh) 2015-01-30 2017-09-26 美商楼氏电子有限公司 麦克风的环境切换
US20170164267A1 (en) * 2015-12-03 2017-06-08 The Trustees Of Columbia University In The City Of New York Apparatus to inhibit misuse of an electrically powered device
WO2017120196A1 (en) 2016-01-04 2017-07-13 The Trustees Of Columbia University In The City Of New York Apparatus to effect an optical barrier to pests
US10672243B2 (en) * 2018-04-03 2020-06-02 Chengfu Yu Smart tracker IP camera device and method

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3872945A (en) * 1974-02-11 1975-03-25 Falcon Research And Dev Co Motorized walker
US5437495A (en) * 1993-12-30 1995-08-01 Wu; Jung-Te Flexible multi-direction beauty salon chair
US6471420B1 (en) * 1994-05-13 2002-10-29 Matsushita Electric Industrial Co., Ltd. Voice selection apparatus voice response apparatus, and game apparatus using word tables from which selected words are output as voice selections
US6914622B1 (en) * 1997-05-07 2005-07-05 Telbotics Inc. Teleconferencing robot with swiveling video monitor
JP3972704B2 (ja) * 2002-03-25 2007-09-05 オムロン株式会社 対処方法、対処システム、対処処理プログラム、および該プログラムを記録したコンピュータ読取り可能な記録媒体
JP3833567B2 (ja) * 2002-05-01 2006-10-11 本田技研工業株式会社 移動ロボットの姿勢制御装置
JP2004017791A (ja) 2002-06-17 2004-01-22 Hitachi Ltd 移動体
US7443115B2 (en) * 2002-10-29 2008-10-28 Matsushita Electric Industrial Co., Ltd. Apparatus and method for robot handling control
JP3913186B2 (ja) 2003-03-28 2007-05-09 株式会社東芝 移動撮影機器
JP2005103678A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP2005103722A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 協調ロボット装置、システム、およびナビゲーションロボット装置
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US6983813B1 (en) * 2004-08-16 2006-01-10 Wright Brandi N Remote controlled and motorized baby walker
US20070086880A1 (en) * 2005-10-14 2007-04-19 Mark Jordan Personal lift apparatus
US20070252919A1 (en) * 2006-04-27 2007-11-01 Mcgreevy Roy L Remotely controlled adjustable flat panel display support system

Also Published As

Publication number Publication date
US20070185587A1 (en) 2007-08-09
US8467886B2 (en) 2013-06-18
JP2006338483A (ja) 2006-12-14

Similar Documents

Publication Publication Date Title
JP4910312B2 (ja) 撮像装置および撮像方法
CN103686131B (zh) 使用图像的3d信息的监控设备和***以及监控方法
EP2046019B1 (en) Camera control device and camera control system
US7787013B2 (en) Monitor system and camera
CN101166239B (zh) 提高可重复性的图像处理***与方法
JP5967473B2 (ja) 撮像装置及び撮像システム
US20150296120A1 (en) Imaging apparatus and imaging system
KR101248054B1 (ko) 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
US20120038776A1 (en) Automatically Expanding the Zoom Capability of a Wide-Angle Video Camera
EP1536633A1 (en) Photographing apparatus and method, supervising system, program and recording medium
CN102685365A (zh) 图像合成装置、图像合成方法和图像合成程序
US20120307080A1 (en) Imaging apparatus and imaging system
JP4378636B2 (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
KR20110072846A (ko) 감시 카메라 장치 및 영상 데이터 처리 방법
US20210152750A1 (en) Information processing apparatus and method for controlling the same
KR100888935B1 (ko) 지능형 영상 감시 시스템에서 두 카메라 간의 연동 방법
CN102025912B (zh) 图像拍摄***、设备和方法以及信息处理设备
WO2019220752A1 (ja) 自動追尾録画システムおよび録画制御装置
KR20140136278A (ko) 스마트폰을 이용한 ptz 감시 장치 및 감시 시스템
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
JP2006345114A (ja) 撮影領域調整装置および方法
JP2006229450A (ja) ネットワーク型監視カメラ装置及び制御プログラム並びに監視カメラシステム
JP2002344957A (ja) 画像監視装置
JP6875965B2 (ja) 制御装置、制御方法、プログラム、及び監視システム
JP2013130911A (ja) 位置特定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120102

R151 Written notification of patent or utility model registration

Ref document number: 4910312

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees