JP2003069884A - Automatic subject following device for photographing camera - Google Patents
Automatic subject following device for photographing cameraInfo
- Publication number
- JP2003069884A JP2003069884A JP2001257790A JP2001257790A JP2003069884A JP 2003069884 A JP2003069884 A JP 2003069884A JP 2001257790 A JP2001257790 A JP 2001257790A JP 2001257790 A JP2001257790 A JP 2001257790A JP 2003069884 A JP2003069884 A JP 2003069884A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- recognizing
- image
- receiver
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、被写体が常に撮影
レンズの被写界内(フレーム内)にあるように、撮影カ
メラを被写体の動きに追従させる撮影カメラの被写体自
動追従装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic subject tracking device for a photographing camera that causes the photographing camera to follow the movement of the subject so that the subject is always in the field of the photographing lens (in the frame).
【0002】[0002]
【従来の技術】スポーツ写真を撮影する場合や、子供の
運動会、発表会あるいは立食パーティ等において、動い
ている被写体を撮影する場合に、特定の被写体を常に撮
影カメラのフレーム内に納めて撮影したいという要望が
ある。従来このような要望に対して、様々な被写体追従
(追尾)技術が提案されている。2. Description of the Related Art When shooting a sports photograph, a moving subject at a children's athletic meet, a presentation or a dinner party, etc., it is desirable to always store a specific subject within the frame of the photographing camera. There is a request. Conventionally, various subject tracking (tracking) techniques have been proposed to meet such demands.
【0003】例えば、特開平05−53043号公報に
は、カメラに備えられた撮影レンズが捉える被写界にお
いて、撮影者が注目している被写体を認識し、この被写
体を追尾するようにしたものが開示されている。これ
は、撮影者の眼球の動きに対応して変化する視線位置か
ら、カメラの被写界内において撮影者が注視している位
置を被写体の位置として検出し、この位置を追尾するこ
とで被写体の位置を安定して得るようにしたものであ
る。For example, in Japanese Unexamined Patent Publication No. 05-53043, a subject which the photographer is paying attention to is recognized and tracked in a field captured by a photographing lens provided in the camera. Is disclosed. This is because the position where the photographer is gazing in the field of the camera is detected as the position of the subject from the line-of-sight position that changes in response to the movement of the eyeball of the photographer, and the subject is tracked by this position. The position of is stably obtained.
【0004】また、特開平08−116487号公報に
は、被写体を常に画面の中央に位置させるようにビデオ
カメラを制御するビデオカメラの被写体追尾装置が開示
されている。これは、撮影信号から輝度信号及びクロマ
信号を形成し、これに対して信号処理を行い、これを用
いて被写体の特徴値を抽出し、この被写体特徴値から被
写体の画面中心からの位置ずれ量を検出し、このずれ量
に応じてパン、チルト機構を用いて、ビデオカメラを被
写体の動きに追尾して動かし、被写体が常時表示画面の
中央に位置するように制御するものである。Further, Japanese Unexamined Patent Publication No. 08-116487 discloses a subject tracking device for a video camera which controls the video camera so that the subject is always positioned at the center of the screen. This is to form a luminance signal and a chroma signal from a shooting signal, perform signal processing on the signals, extract the feature value of the subject using this, and calculate the amount of displacement of the subject from the center of the screen from this feature value. Is detected and the pan / tilt mechanism is used in accordance with the shift amount to move the video camera so as to follow the movement of the subject so that the subject is always positioned at the center of the display screen.
【0005】[0005]
【発明が解決しようとする課題】しかしながら、上述し
た従来の被写体追尾方法は、いずれも画像信号処理を行
い、画像を解析することによって画像(フレーム)中の
被写***置を検出し、この被写***置を用いて、被写体
追尾を行うものであり、被写***置を算出するために多
大の計算をしなければならず、扱うデータ量も多く、メ
モリ的にも時間的にも大変であるという問題があった。However, in any of the above-described conventional subject tracking methods, the image signal processing is performed, the subject position in the image (frame) is detected by analyzing the image, and this subject position is detected. Since the subject tracking is performed by using this, a large amount of calculation must be performed to calculate the subject position, the amount of data to be handled is large, and there is a problem in terms of memory and time. .
【0006】本発明は、前記従来の問題に鑑みてなされ
たものであり、複雑な計算をすることなく簡単に、また
性能よく被写体に追従し自動撮影を可能とする撮影カメ
ラの被写体自動追従装置を提供することを課題とする。The present invention has been made in view of the above-mentioned conventional problems, and it is an object automatic tracking device for a photographing camera capable of easily and automatically tracking an object without performing complicated calculations. The challenge is to provide.
【0007】[0007]
【課題を解決するための手段】前記課題を解決するため
に、本発明は、被写体の動きに追従しながら被写体の撮
影を行う撮影カメラの被写体自動追従装置であって、撮
像手段が撮影した画像から被写体を認識するための情報
を抽出する手段と、該抽出した被写体を認識するための
情報を記憶する手段と、撮影時に、前記被写体を認識す
るための情報を用いて、撮影した画像から被写体を認識
する手段と、被写体が保有する発信器からの信号を受信
する受信器と、前記撮像手段をパン及びチルトさせる手
段と、を有し、前記受信器が受信した信号及び前記被写
体を認識する手段の認識結果に応じて前記撮像手段をパ
ン及びチルトさせて被写体を自動的に追従するようにし
たことを特徴とする撮影カメラの被写体自動追従装置を
提供する。In order to solve the above-mentioned problems, the present invention is an automatic subject tracking device of a photographing camera for photographing a subject while following the movement of the subject, the image being photographed by the image pickup means. Means for extracting information for recognizing a subject from the object, means for storing information for recognizing the extracted subject, and information for recognizing the subject at the time of shooting, For recognizing the signal received by the receiver and the object, and a receiver for receiving a signal from a transmitter held by the object, and a means for panning and tilting the imaging means. There is provided a subject auto-tracking device for a photographing camera, characterized in that the imaging means is panned and tilted according to the recognition result of the means to automatically follow the object.
【0008】また、前記受信器が受信した信号及び前記
被写体を認識する手段の認識結果に応じて、撮影画像に
対する画像信号処理を制御するようにしたことが好まし
い。Further, it is preferable that the image signal processing for the photographed image is controlled according to the signal received by the receiver and the recognition result of the means for recognizing the subject.
【0009】また、前記受信器が受信した信号及び前記
被写体を認識する手段の認識結果に応じて、ズーム、ピ
ントを制御するようにしたことが好ましい。Further, it is preferable that the zoom and the focus are controlled according to the signal received by the receiver and the recognition result of the means for recognizing the subject.
【0010】また、前記受信器が受信した信号及び前記
被写体を認識する手段の認識結果に応じて、画像記録の
オンオフを制御し、あるいは被写体のロスト情報を記録
するようにしたことが好ましい。Further, it is preferable that on / off of image recording is controlled or lost information of the subject is recorded according to the signal received by the receiver and the recognition result of the means for recognizing the subject.
【0011】さらに、前記被写体を認識する手段の認識
結果を撮影カメラの表示装置に表示するようにしことが
好ましい。Further, it is preferable that the recognition result of the means for recognizing the subject is displayed on the display device of the photographing camera.
【0012】[0012]
【発明の実施の形態】以下、本発明に係る撮影カメラの
被写体自動追従装置について、添付の図面に示される好
適実施形態を基に、詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION An automatic subject tracking device for a photographing camera according to the present invention will be described below in detail with reference to the preferred embodiments shown in the accompanying drawings.
【0013】図1は、本発明の一実施形態に係る撮影カ
メラの被写体自動追従装置を用いた撮影カメラにより被
写体を撮影する様子を示す概念図である。図1におい
て、10はビデオカメラ、12は被写体である。ビデオ
カメラ10は、レンズ14、受光素子(CCD)16を
有しており、被写体12からの撮影光は、レンズ14を
介して、CCD16上に結像される。FIG. 1 is a conceptual diagram showing a state in which a subject is photographed by a photographing camera using an automatic subject tracking device of the photographing camera according to an embodiment of the present invention. In FIG. 1, 10 is a video camera and 12 is a subject. The video camera 10 has a lens 14 and a light receiving element (CCD) 16, and imaging light from the subject 12 is imaged on the CCD 16 via the lens 14.
【0014】本実施形態のビデオカメラ10は、被写体
12が動いても被写体12の動きに自動的に追従して、
常に被写体12を撮影するようにしたものである。この
ため、被写体12は、発信器18を有しており、ビデオ
カメラ10は、発信器18の発した信号を受信する受信
器20を有している。被写体12の発信器18から発信
された信号は、受信器20で受信されるとビデオカメラ
10のCPU22に送られる。CPU22は、受信され
た信号により被写体12の動きを検出して、後述するズ
ーム、パン、チルトの各機構を制御して、ビデオカメラ
10をズーム方向Z、パン方向P、チルト方向Tの各方
向に駆動制御して、被写体12の動きに自動的に追従し
て、常に被写体12がビデオカメラ10のレンズ14の
被写界(フレーム)内に入るようにして撮影する。The video camera 10 of this embodiment automatically follows the movement of the subject 12 even if the subject 12 moves.
The subject 12 is always photographed. Therefore, the subject 12 has a transmitter 18, and the video camera 10 has a receiver 20 that receives a signal emitted from the transmitter 18. The signal transmitted from the transmitter 18 of the subject 12 is sent to the CPU 22 of the video camera 10 when received by the receiver 20. The CPU 22 detects the movement of the subject 12 based on the received signal and controls the zoom, pan, and tilt mechanisms described below to move the video camera 10 in the zoom direction Z, the pan direction P, and the tilt direction T. The subject 12 is automatically controlled to follow the movement of the subject 12 so that the subject 12 is always within the field (frame) of the lens 14 of the video camera 10.
【0015】被写体12が所持する発信器18やビデオ
カメラ10に備えられる受信器20は、特に限定はされ
ず、少なくとも撮影が行われる狭い範囲で信号の受発信
が行えるものであればよい。例えば、発信器18は、カ
ード型で被写体12の胸や肩に着けたり、ポケットに入
れたりすることができるとよい。本実施形態のビデオカ
メラ10は、例えば三脚等のカメラ設置手段により一カ
所に固定され、レンズ等の撮像部のみを駆動させて被写
体を追従する。しかし、ビデオカメラ10を、自力走行
可能な移動手段に載置して、ビデオカメラ10自体が移
動して被写体12に追従するようにしてもよい。The transmitter 18 possessed by the subject 12 and the receiver 20 provided in the video camera 10 are not particularly limited as long as they can receive and transmit signals at least in a narrow range where photographing is performed. For example, the transmitter 18 is preferably a card type and can be worn on the chest or shoulder of the subject 12 or can be put in a pocket. The video camera 10 of the present embodiment is fixed in one place by a camera installation means such as a tripod, and drives only an imaging unit such as a lens to follow a subject. However, the video camera 10 may be mounted on a moving means that can travel by itself so that the video camera 10 itself moves and follows the subject 12.
【0016】図2にビデオカメラ10をカメラ設置台2
4に取り付けた状態の一例を示す。図2(a)は正面
図、(b)は側面図である。カメラ設置台24は、ビデ
オカメラ10をパン方向に移動する移動手段26と、チ
ルト方向に移動する移動手段28を有しており、ビデオ
カメラ10は、左右をチルト方向の移動手段28に固定
されている。ここに示したものは一例であり、カメラを
固定してパン、チルトさせる手段はこのような形態のも
のに限定されるものではない。The video camera 10 is shown in FIG.
4 shows an example of a state of being attached to No. 4. 2A is a front view and FIG. 2B is a side view. The camera mount 24 has a moving means 26 for moving the video camera 10 in the pan direction and a moving means 28 for moving in the tilt direction. The video camera 10 is fixed to the left and right moving means 28 in the tilt direction. ing. The one shown here is an example, and the means for fixing the camera to pan and tilt is not limited to this type.
【0017】図3は、本実施形態に係るビデオカメラ1
0の概略構成を示すブロック図である。図3に示すよう
に、ビデオカメラ10は、レンズ14及びCCD16を
有する撮像部11、被写体12が保有する発信器18か
ら発信される信号を受信する受信器20、ビデオカメラ
10全体の制御を行うCPU22、撮像部11の駆動制
御を行うパン機構30、チルト機構32、ズーム機構3
4、ピント合わせ機構36、データ変換部38、信号処
理(画像処理)部40、ディスプレイ42、メモリ4
4、撮影画像から被写体を認識するための情報を抽出す
る認識情報抽出手段46および被写体の認識を行う認識
手段48を有して構成される。パン機構30は、ビデオ
カメラ10をパン方向に移動する移動手段26を駆動す
るものであり、チルト機構32は、ビデオカメラ10を
チルト方向に移動する移動手段28を駆動するものであ
る。FIG. 3 shows a video camera 1 according to this embodiment.
It is a block diagram showing a schematic structure of 0. As shown in FIG. 3, the video camera 10 controls the imaging unit 11 having the lens 14 and the CCD 16, the receiver 20 that receives a signal transmitted from the transmitter 18 of the subject 12, and the video camera 10 as a whole. The CPU 22, the pan mechanism 30, which controls the drive of the imaging unit 11, the tilt mechanism 32, and the zoom mechanism 3.
4, focusing mechanism 36, data conversion unit 38, signal processing (image processing) unit 40, display 42, memory 4
4. A recognition information extraction unit 46 that extracts information for recognizing a subject from a captured image and a recognition unit 48 that recognizes the subject are configured. The pan mechanism 30 drives the moving means 26 for moving the video camera 10 in the pan direction, and the tilt mechanism 32 drives the moving means 28 for moving the video camera 10 in the tilt direction.
【0018】データ変換部38は、CCD16から入力
される撮像信号をデジタル画像信号に変換するものであ
る。認識情報抽出部46は、デジタル画像信号をデータ
変換部38から受け取り、以後の撮影において被写体の
認識に必要な情報を抽出するものである。被写体の認識
に必要な情報としては、特に限定はされないが、被写体
の顔画像が好適に例示される。なお、顔画像の抽出方法
については後述する。認識情報抽出手段46は、撮影開
始時に撮影者がビデオカメラ10をカメラ載置台にセッ
トして撮影すべき被写体の正面方向に向けてスタートボ
タンを押すと、最初に取り込まれた被写体の画像から顔
画像を抽出し、以後自動的に、この人物を被写体として
追従して撮影することとして、その顔画像をメモリ44
に記憶する。その後は、被写体が向きを変えたりした場
合に、適宜、被写体の別角度からの顔画像を抽出してメ
モリ44に記憶し、被写体が向きを変えた場合にも、被
写体の認識を行えるように用いるようにしてもよい。The data converter 38 converts the image pickup signal input from the CCD 16 into a digital image signal. The recognition information extraction unit 46 receives the digital image signal from the data conversion unit 38 and extracts information necessary for recognizing the subject in subsequent shooting. The information necessary for recognizing the subject is not particularly limited, but a face image of the subject is preferably exemplified. The method of extracting the face image will be described later. When the photographer sets the video camera 10 on the camera mount and presses the start button toward the front of the subject to be photographed at the start of photographing, the recognition information extracting means 46 presses the start button and the face is taken from the first captured image of the subject. An image is extracted, and thereafter, the face image is automatically recorded by following this person as a subject.
Remember. After that, when the orientation of the subject is changed, a face image from another angle of the subject is appropriately extracted and stored in the memory 44 so that the subject can be recognized even when the orientation of the subject is changed. You may use it.
【0019】認識手段48は、その後の撮影において、
その都度撮影画像から顔画像を抽出し、メモリ44に記
憶されている被写体の顔画像とパターンマッチングを行
い被写体の認識を行うものである。CPU22は、受信
器20が受けた信号により被写体12の位置(ビデオカ
メラ10に対する相対的位置)を検出する。CPU22
は、この受信信号と前記被写体の認識結果により、被写
体12の追従を行う。すなわち、CPU22は、ビデオ
カメラ10に対する被写体12の距離、方向により、パ
ン機構24、チルト機構26を制御して撮像部11を駆
動し、被写体12が常にビデオカメラ10のフレームに
含まれるように被写体12にビデオカメラ10を追従さ
せ、またズーム機構28、ピント合わせ機構30を制御
して、所定の大きさで、ピントのあった画像として撮影
を行う。The recognizing means 48, in the subsequent photographing,
A face image is extracted from the captured image each time, and pattern matching is performed with the face image of the subject stored in the memory 44 to recognize the subject. The CPU 22 detects the position of the subject 12 (relative position with respect to the video camera 10) based on the signal received by the receiver 20. CPU22
Follows the subject 12 based on the received signal and the recognition result of the subject. That is, the CPU 22 drives the image pickup unit 11 by controlling the pan mechanism 24 and the tilt mechanism 26 according to the distance and the direction of the subject 12 with respect to the video camera 10 so that the subject 12 is always included in the frame of the video camera 10. The video camera 10 is made to follow 12 and the zoom mechanism 28 and the focus adjusting mechanism 30 are controlled so that a focused image of a predetermined size is taken.
【0020】撮影された画像(画像信号)は、データ変
換部38でデジタル画像信号に変換され、信号処理部4
0において、所定の画像処理が施される。このとき、前
記受信信号および被写体認識結果に応じて、その被写体
の位置(距離)や明るさ等から、画像が適切な明るさに
なるようにルックアップテーブルを調整したりコントラ
スト等を調整するようにする。画像処理後の撮影画像は
ディスプレイ42に表示されるとともに、メモリ44に
記録される。The photographed image (image signal) is converted into a digital image signal by the data conversion unit 38, and the signal processing unit 4
At 0, predetermined image processing is performed. At this time, according to the received signal and the object recognition result, the look-up table and the contrast are adjusted so that the image has an appropriate brightness based on the position (distance) and brightness of the object. To The captured image after the image processing is displayed on the display 42 and recorded in the memory 44.
【0021】以下、本実施形態の作用を説明する。撮影
にあたり、まずビデオカメラ10を撮影場所の所定位置
に設置し、発信器18をつけた特定の被写体10の正面
にビデオカメラ10を向けて位置合わせをし、ビデオカ
メラ10のフレーム内に被写体10が入るようにして、
撮影を開始する。ビデオカメラ10が撮影を開始する
と、以降は自動で撮影が続行される。なお、ビデオカメ
ラ10自身があらゆる方向を向いて受信信号の強度が最
も大きくなる方向を探索して、受信信号の強度が最大と
なる方向に撮影すべき被写体がいるとして、自動的に位
置合わせをするようにしてもよい。撮影開始時には撮影
すべき被写体12に向けて位置合わせがされているた
め、まず最初に撮影した画像の中央の被写体人物に対す
る被写体認識情報としてその被写体の顔画像を抽出す
る。以下、顔画像の抽出方法について説明する。The operation of this embodiment will be described below. In shooting, first, the video camera 10 is installed at a predetermined position in a shooting place, the video camera 10 is directed to the front of a specific subject 10 with a transmitter 18, and the subject 10 is positioned within the frame of the video camera 10. So that
Start shooting. When the video camera 10 starts shooting, shooting continues automatically thereafter. It should be noted that the video camera 10 itself looks in all directions and searches for the direction in which the intensity of the received signal is the highest, and if there is an object to be photographed in the direction in which the intensity of the received signal is the maximum, the alignment is automatically performed. You may do it. Since the position of the subject 12 to be photographed is aligned at the start of photographing, the face image of the subject is extracted as the subject recognition information for the subject person in the center of the first photographed image. Hereinafter, a method of extracting a face image will be described.
【0022】図4に顔画像の抽出方法を示す。撮影画像
からの顔領域の抽出は、大きく2つの工程からなってい
る。すなわち、顔と思われる候補領域を顔の色情報と形
情報を用いて選別する工程(図4の(a)〜(e))
と、選別した領域をパターンマッチングの手法により評
価して顔か否かを判別する工程(図4の(f)および
(g))である。なお、ここでは顔と思われる領域の抽
出にモフォロジーの手法を用いている。FIG. 4 shows a face image extracting method. The extraction of the face area from the photographed image mainly includes two steps. That is, a process of selecting a candidate region that is considered to be a face using the color information and the shape information of the face ((a) to (e) of FIG. 4)
And (f) and (g) in FIG. 4 in which the selected region is evaluated by a pattern matching method to determine whether or not it is a face. Note that here, a morphological method is used to extract a region that seems to be a face.
【0023】まず、認識情報抽出手段46においてデー
タ変換部38より、図4(a)に示すようなカラーバラ
ンスを調整した元画像データを取得し、第1の工程とし
て顔と思われる領域を顔の色情報と形情報を用いて選別
する。すなわち、図4(b)に示すように、元画像デー
タから、顔の明るさを除いた色味成分を持つ画素だけを
選別して、領域ごとにグループ化する。そして、図4
(c)に示すように、グループ化した領域の中で明るさ
と色味の関係を調べて、顔色の特徴に一致しない領域を
削除する。また、明るさや色味の関係が不連続な領域を
さらに分割する。First, in the recognition information extracting means 46, the original image data whose color balance has been adjusted as shown in FIG. Selection is performed using the color information and shape information of. That is, as shown in FIG. 4B, only pixels having a tint component excluding the brightness of the face are selected from the original image data and grouped for each region. And FIG.
As shown in (c), the relationship between the brightness and the tint is examined in the grouped areas, and the areas that do not match the features of the facial color are deleted. Further, a region where the relationship of brightness and tint is discontinuous is further divided.
【0024】次に図4(d)に示すように、モフォロジ
ーのerosion を行い、外側から各領域を溶かすように収
縮させて、***した領域ごとに、収縮前の外周の形状を
取り出す。そして、図4(e)に示すように、外周の形
状が円形と大きく異なる領域を削除して、顔と思われる
候補領域を残すようにする。Next, as shown in FIG. 4 (d), erosion of morphology is performed, and each region is contracted from the outside so as to melt, and the shape of the outer periphery before contraction is taken out for each divided region. Then, as shown in FIG. 4E, a region whose outer peripheral shape is significantly different from the circular shape is deleted to leave a candidate region that seems to be a face.
【0025】次に第2の工程として、上で選別した領域
をパターンマッチング手法により評価して顔か否かを判
別する。すなわち、図4(f)に示すように、残った顔
の候補領域の元画像データを取り出し、平均顔特徴を持
ったテンプレートとの相関を求める。このとき、テンプ
レートは回転方向やサイズに応じて複数のものを用意し
ておくことが好ましい。このようにして図4(g)に示
すように、各候補領域の中で、最も高い相関が、所定の
評価値より高い領域を顔領域として抽出される。なお、
ここに示した顔領域抽出方法は一例であり、他の公知の
顔領域抽出方法を用いてもよい。Next, as a second step, the area selected above is evaluated by a pattern matching method to determine whether or not it is a face. That is, as shown in FIG. 4 (f), the original image data of the remaining face candidate area is extracted and the correlation with the template having the average facial feature is obtained. At this time, it is preferable to prepare a plurality of templates according to the rotation direction and size. In this way, as shown in FIG. 4G, the area having the highest correlation among the candidate areas is higher than the predetermined evaluation value is extracted as the face area. In addition,
The face area extraction method shown here is an example, and other known face area extraction methods may be used.
【0026】被写体12の顔画像が抽出されると、これ
をその後の被写体認識情報として用いるため、この顔画
像データをメモリ44に記憶する。そして、発信器18
からの信号とメモリ44の顔画像データとを用いて被写
体の自動追従を行い、被写体12の撮影を続行する。When the face image of the subject 12 is extracted, this face image data is stored in the memory 44 for use as subsequent subject recognition information. And the transmitter 18
Signal and the face image data of the memory 44 are used to automatically follow the subject, and the photographing of the subject 12 is continued.
【0027】自動追従の方法を図5に示す。図5のステ
ップ100において、被写体12が動いて受信器20が
受信する信号の強度が変動した場合、パン機能30によ
りビデオカメラ10をパン方向に移動する移動手段26
を駆動して、ビデオカメラ10を水平方向に回転し受信
信号が最大となる方位を探索する。次にステップ110
において、撮影画像信号から被写体を認識する。すなわ
ち、認識情報抽出手段46で画像信号から被写体の顔領
域を抽出し、認識手段48においてこの抽出した顔画像
とメモリ44の顔画像データとをパターンマッチングに
より被写体12の認識を行う。A method of automatic tracking is shown in FIG. In step 100 of FIG. 5, when the subject 12 moves and the intensity of the signal received by the receiver 20 varies, the pan function 30 moves the video camera 10 in the pan direction.
Is driven to rotate the video camera 10 in the horizontal direction to search for the direction in which the received signal becomes maximum. Next step 110
At, the object is recognized from the captured image signal. That is, the recognition information extracting unit 46 extracts the face area of the subject from the image signal, and the recognizing unit 48 recognizes the subject 12 by pattern matching between the extracted face image and the face image data in the memory 44.
【0028】ステップ120において、画像の動きと受
信信号の位相変化から被写体12の動きを追従する。こ
のとき、追従が遅れないように、被写体12の動きをそ
れまでの動きから予測するようにするとよい。そして、
ステップ130においては、常に被写体12を追従する
ように受信信号の強度が所定レベルにあるか判断する。
受信信号の強度が所定強度以上あればビデオカメラ10
は被写体12を捉えているので、ステップ120にもど
り追従を続ける。また、受信信号の強度が所定強度以下
になってしまった場合には、被写体12を見失ったこと
になるので、ステップ100に戻り、受信信号が最大と
なる方位を探索し、被写体12を探すようにする。In step 120, the movement of the subject 12 is tracked from the movement of the image and the phase change of the received signal. At this time, the movement of the subject 12 may be predicted from the movements so far so that the tracking is not delayed. And
In step 130, it is determined whether the intensity of the received signal is at a predetermined level so that the subject 12 is always followed.
If the strength of the received signal is equal to or higher than a predetermined strength, the video camera 10
Has captured the subject 12, returns to step 120 and continues to follow. If the intensity of the received signal is less than or equal to the predetermined intensity, it means that the subject 12 has been lost. Therefore, the process returns to step 100, and the subject 12 is searched for in the direction in which the received signal is maximum. To
【0029】このように、撮影中に被写体12が速い動
きをしたり、撮影場所から離れる等してビデオカメラ1
0が被写体12を追従しきれなくなり、被写体12を見
失った場合には、画像記録をオフにする。あるいは、画
像の記録は続行し、被写体12がビデオカメラ10のフ
レームから出ているという情報を記録するとともに、
「LOST」信号(「LOST」という文字でも、
「×」のような記号その他でもよい)をディスプレイ4
2に表示するようにしてもよい。LOST信号の表示
は、後で画像の編集をする際に利用することができる。As described above, the subject 12 makes a fast movement during shooting, is separated from the shooting place, and so on.
When 0 loses track of the subject 12 and loses sight of the subject 12, image recording is turned off. Alternatively, the image recording is continued, and the information that the subject 12 is out of the frame of the video camera 10 is recorded, and
"LOST" signal (even the letters "LOST"
Display 4 with a symbol such as "x" and others)
2 may be displayed. The display of the LOST signal can be used when the image is edited later.
【0030】被写体12を見失った場合には、ビデオカ
メラ10は、パンおよびチルトを最大限広い範囲で行
い、受信信号が最大となる方位を探索し、被写体12を
探すようにする。そして、発信器18の信号が最大とな
る方向を捕捉したら、画像記録をオフしていた場合に
は、再び画像記録を再開し、LOST信号を表示してい
た場合には、当該表示をやめるようにする。撮影した画
像は、所定の処理が施されてディスプレイ42に表示さ
れる。このとき、ビデオカメラ10が受信器20が受信
している被写体12を撮影対象として認識して撮影を続
けているということを示すために、ビデオカメラ10の
ディスプレイ42上で、認識結果を示す例えば矢印等の
マークを、その被写体12の画像に付して表示するよう
にしてもよい。この表示は、常に表示するようにしても
よいし、必要に応じて表示させるようにしてもよい。When the subject 12 is lost, the video camera 10 pans and tilts in a maximum wide range, searches for the direction in which the received signal is maximum, and searches for the subject 12. Then, when the direction in which the signal of the oscillator 18 becomes maximum is captured, if the image recording is turned off, the image recording is restarted, and if the LOST signal is displayed, the display is stopped. To The captured image is subjected to predetermined processing and displayed on the display 42. At this time, in order to indicate that the video camera 10 recognizes the subject 12 received by the receiver 20 as a shooting target and continues shooting, the recognition result is displayed on the display 42 of the video camera 10, for example. A mark such as an arrow may be attached to the image of the subject 12 and displayed. This display may be always displayed or may be displayed as needed.
【0031】また、被写体12がフレーム内に入ってい
てもその中で被写体12が移動し、ビデオカメラ10と
の距離が変化する場合、撮影画像中の被写体画像の大き
さが変化するが、自動的にズーム機構28が駆動して被
写体12を撮影画像中に一定の大きさで撮影するように
することもできる。Even if the subject 12 is inside the frame, if the subject 12 moves within the frame and the distance from the video camera 10 changes, the size of the subject image in the captured image changes, but Alternatively, the zoom mechanism 28 can be driven so that the subject 12 can be photographed in a fixed size in the photographed image.
【0032】このように、本実施形態によれば、被写体
が発信器を保持するようにし、その信号を捕捉して、画
像データからの被写体認識情報と合わせて被写体を追従
するようにしたため、従来より性能良く被写体の自動追
従ができるようになった。また、被写体の発信する信号
を併用しているため、画像データに対する複雑な計算は
それほど必要とせず簡単に被写体の認識が可能である。As described above, according to the present embodiment, since the subject holds the transmitter, the signal is captured, and the subject is tracked together with the subject recognition information from the image data. It has become possible to automatically follow the subject with better performance. Further, since the signal transmitted by the subject is also used, the subject can be easily recognized without requiring a complicated calculation for the image data.
【0033】以上、本発明の撮影カメラの被写体自動追
従装置について詳細に説明したが、本発明は、以上の例
には限定されず、本発明の要旨を逸脱しない範囲におい
て、各種の改良や変更を行ってもよいのはもちろんであ
る。Although the subject automatic tracking device for the photographing camera of the present invention has been described in detail above, the present invention is not limited to the above examples, and various improvements and changes are made without departing from the scope of the present invention. Of course you may go.
【0034】[0034]
【発明の効果】以上説明した通り、本発明によれば、簡
単に、また性能よく、被写体に自動的に追従して自動撮
影が可能となる。As described above, according to the present invention, it is possible to automatically follow an object automatically and with good performance.
【図1】 本発明の一実施形態に係る撮影カメラの被写
体自動追従装置を用いたビデオカメラにより被写体を撮
影する様子を示す概念図である。FIG. 1 is a conceptual diagram showing a state in which a subject is photographed by a video camera using an automatic subject tracking device of a photographing camera according to an embodiment of the present invention.
【図2】 本実施形態のビデオカメラの概略を示す
(a)は正面図、(b)は側面図である。FIG. 2A is a front view and FIG. 2B is a side view showing the outline of the video camera of the present embodiment.
【図3】 本実施形態のビデオカメラの概略構成を示す
ブロック図である。FIG. 3 is a block diagram showing a schematic configuration of a video camera of this embodiment.
【図4】 (a)〜(g)は、被写体画像から顔領域を
抽出する方法を示す説明図である。4A to 4G are explanatory diagrams showing a method of extracting a face area from a subject image.
【図5】 本実施形態の被写体追従方法を示すフローチ
ャートである。FIG. 5 is a flowchart showing a subject tracking method of the present embodiment.
10 ビデオカメラ 12 被写体 14 レンズ 16 受光素子(CCD) 18 発信器 20 受信器 22 CPU 24 カメラ設置台26 26 カメラをパン方向に移動する移動手段 28 カメラをチルト方向に移動する移動手段 30 パン機構 32 チルト機構 34 ズーム機構 36 ピント合わせ機構 38 データー変換部 40 信号処理(画像処理)部 42 ディスプレイ 44 メモリ 46 認識情報抽出手段 48 認識手段 10 video cameras 12 subject 14 lenses 16 Light receiving element (CCD) 18 transmitter 20 receiver 22 CPU 24 camera mount 26 26 Moving means for moving the camera in the pan direction 28 Moving means for moving the camera in the tilt direction 30 pan mechanism 32 Tilt mechanism 34 Zoom mechanism 36 Focusing mechanism 38 Data converter 40 Signal processing (image processing) section 42 display 44 memory 46 Recognition information extraction means 48 recognition means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G03B 17/00 G03B 17/00 B 17/18 17/18 Z 17/38 17/38 B 17/56 17/56 B Fターム(参考) 2H020 FB00 MA07 MC81 MD15 2H102 AA00 AA36 AB00 AB23 2H105 AA03 AA06 AA09 AA11 AA12 AA13 AA14 EE05 EE09 EE16 EE31 5C022 AB22 AB63 AB66 AC11 AC27─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) G03B 17/00 G03B 17/00 B 17/18 17/18 Z 17/38 17/38 B 17/56 17 / 56 BF term (reference) 2H020 FB00 MA07 MC81 MD15 2H102 AA00 AA36 AB00 AB23 2H105 AA03 AA06 AA09 AA11 AA12 AA13 AA14 EE05 EE09 EE16 EE31 5C022 AB22 AB63 AB66 AC11 AC27
Claims (5)
を行う撮影カメラの被写体自動追従装置であって、 撮像手段が撮影した画像から被写体を認識するための情
報を抽出する手段と、 該抽出した被写体を認識するための情報を記憶する手段
と、 撮影時に、前記被写体を認識するための情報を用いて、
撮影した画像から被写体を認識する手段と、 被写体が保有する発信器からの信号を受信する受信器
と、 前記撮像手段をパン及びチルトさせる手段と、を有し、 前記受信器が受信した信号及び前記被写体を認識する手
段の認識結果に応じて前記撮像手段をパン及びチルトさ
せて被写体を自動的に追従するようにしたことを特徴と
する撮影カメラの被写体自動追従装置。1. An automatic subject tracking device of a photographing camera for photographing a subject while following the movement of the subject, said means for extracting information for recognizing the subject from an image photographed by an imaging means, and the extraction. Means for storing information for recognizing the subject, and information for recognizing the subject at the time of shooting,
The device includes a unit for recognizing a subject from a captured image, a receiver for receiving a signal from a transmitter held by the subject, and a unit for panning and tilting the imaging unit, and a signal received by the receiver. An automatic subject tracking device for a photographing camera, characterized in that the subject is automatically tracked by panning and tilting the image pickup means according to the recognition result of the means for recognizing the subject.
を認識する手段の認識結果に応じて、撮影画像に対する
画像信号処理を制御するようにした請求項1に記載の撮
影カメラの被写体自動追従装置。2. The automatic subject tracking of a photographic camera according to claim 1, wherein image signal processing for a photographic image is controlled according to a signal received by the receiver and a recognition result of a means for recognizing the subject. apparatus.
を認識する手段の認識結果に応じて、ズーム、ピントを
制御するようにした請求項1または2に記載の撮影カメ
ラの被写体自動追従装置。3. The subject automatic tracking device for a photographing camera according to claim 1, wherein zooming and focusing are controlled according to a signal received by the receiver and a recognition result of a means for recognizing the subject. .
を認識する手段の認識結果に応じて、画像記録のオンオ
フを制御し、あるいは被写体のロスト情報を記録するよ
うにした請求項1〜3のいずれか1項に記載の撮影カメ
ラの被写体自動追従装置。4. The on / off of image recording is controlled or the lost information of the subject is recorded according to the signal received by the receiver and the recognition result of the means for recognizing the subject. The subject automatic follow-up device of the photographing camera described in any one of 1.
影カメラの表示装置に表示するようにした請求項1〜4
のいずれか1項に記載の撮影カメラの被写体自動追従装
置。5. A recognition result of a means for recognizing the subject is displayed on a display device of a photographing camera.
The subject automatic follow-up device of the photographing camera described in any one of 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001257790A JP2003069884A (en) | 2001-08-28 | 2001-08-28 | Automatic subject following device for photographing camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001257790A JP2003069884A (en) | 2001-08-28 | 2001-08-28 | Automatic subject following device for photographing camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003069884A true JP2003069884A (en) | 2003-03-07 |
Family
ID=19085399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001257790A Withdrawn JP2003069884A (en) | 2001-08-28 | 2001-08-28 | Automatic subject following device for photographing camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003069884A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006025311A1 (en) * | 2004-09-01 | 2006-03-09 | Nikon Corporation | Electronic camera system, phtographing ordering device and phtographing system |
EP1764622A3 (en) * | 2005-09-13 | 2008-07-16 | Canon Kabushiki Kaisha | Image pickup apparatus |
JP2010154529A (en) * | 2008-12-12 | 2010-07-08 | Tektronix Inc | Method and system for automatically detecting object inside video |
JP2015095775A (en) * | 2013-11-12 | 2015-05-18 | リコーイメージング株式会社 | Imaging apparatus and imaging method |
JP2019062279A (en) * | 2017-09-25 | 2019-04-18 | キヤノン株式会社 | Imaging device, imaging system, and control method of imaging system |
US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
-
2001
- 2001-08-28 JP JP2001257790A patent/JP2003069884A/en not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006025311A1 (en) * | 2004-09-01 | 2006-03-09 | Nikon Corporation | Electronic camera system, phtographing ordering device and phtographing system |
JP2006074366A (en) * | 2004-09-01 | 2006-03-16 | Nikon Corp | Electronic camera system, photographing ordering device, and photographing system |
US7649551B2 (en) | 2004-09-01 | 2010-01-19 | Nikon Corporation | Electronic camera system, photographing ordering device and photographing system |
EP1764622A3 (en) * | 2005-09-13 | 2008-07-16 | Canon Kabushiki Kaisha | Image pickup apparatus |
US7916172B2 (en) | 2005-09-13 | 2011-03-29 | Canon Kabushiki Kaisha | Image pickup apparatus with object tracking capability |
US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
US11818458B2 (en) | 2005-10-17 | 2023-11-14 | Cutting Edge Vision, LLC | Camera touchpad |
JP2010154529A (en) * | 2008-12-12 | 2010-07-08 | Tektronix Inc | Method and system for automatically detecting object inside video |
JP2015095775A (en) * | 2013-11-12 | 2015-05-18 | リコーイメージング株式会社 | Imaging apparatus and imaging method |
JP2019062279A (en) * | 2017-09-25 | 2019-04-18 | キヤノン株式会社 | Imaging device, imaging system, and control method of imaging system |
JP7175595B2 (en) | 2017-09-25 | 2022-11-21 | キヤノン株式会社 | Imaging device, control device, imaging system, and imaging system control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240069412A1 (en) | Image pickup device and method of tracking subject thereof | |
US7206022B2 (en) | Camera system with eye monitoring | |
CN103988227B (en) | The method and apparatus locked for image capturing target | |
US7046924B2 (en) | Method and computer program product for determining an area of importance in an image using eye monitoring information | |
US20090322896A1 (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
US20050084179A1 (en) | Method and apparatus for performing iris recognition from an image | |
US20130002885A1 (en) | Image pick-up apparatus and tracking method therefor | |
JP6103948B2 (en) | IMAGING DEVICE, REMOTE OPERATION TERMINAL, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD AND PROGRAM, REMOTE OPERATION TERMINAL CONTROL METHOD AND PROGRAM | |
JP2002333652A (en) | Photographing device and reproducing apparatus | |
JP2002341406A (en) | Method and device for imaging object to be authenticated | |
JP2000278584A (en) | Image input device provided with image processing function and recording medium recording its image processing program | |
JP4552997B2 (en) | Imaging apparatus and program | |
US7860385B2 (en) | Autofocus system | |
JP2001223932A (en) | Image pickup device and digital camera | |
JP4853707B2 (en) | Imaging apparatus and program thereof | |
JP2001268425A (en) | Automatic tracking device | |
US11206357B2 (en) | Shooting control apparatus, image capture apparatus, and shooting control method | |
JP2003069884A (en) | Automatic subject following device for photographing camera | |
JP2005020205A (en) | Picture photographing device | |
JP4189534B2 (en) | Automatic tracking device | |
JP2003289468A (en) | Imaging apparatus | |
JP2012070302A (en) | Image capturing apparatus and program | |
JP7122916B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM AND STORAGE MEDIUM | |
JP5111293B2 (en) | Imaging apparatus and control method thereof | |
US20210099637A1 (en) | Shooting control apparatus, image capture apparatus, and shooting control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081104 |