JP2003069884A - Automatic subject following device for photographing camera - Google Patents
Automatic subject following device for photographing cameraInfo
- Publication number
- JP2003069884A JP2003069884A JP2001257790A JP2001257790A JP2003069884A JP 2003069884 A JP2003069884 A JP 2003069884A JP 2001257790 A JP2001257790 A JP 2001257790A JP 2001257790 A JP2001257790 A JP 2001257790A JP 2003069884 A JP2003069884 A JP 2003069884A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- recognizing
- image
- receiver
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、被写体が常に撮影
レンズの被写界内（フレーム内）にあるように、撮影カ
メラを被写体の動きに追従させる撮影カメラの被写体自
動追従装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic subject tracking device for a photographing camera that causes the photographing camera to follow the movement of the subject so that the subject is always in the field of the photographing lens (in the frame).
【０００２】[0002]
【従来の技術】スポーツ写真を撮影する場合や、子供の
運動会、発表会あるいは立食パーティ等において、動い
ている被写体を撮影する場合に、特定の被写体を常に撮
影カメラのフレーム内に納めて撮影したいという要望が
ある。従来このような要望に対して、様々な被写体追従
（追尾）技術が提案されている。2. Description of the Related Art When shooting a sports photograph, a moving subject at a children's athletic meet, a presentation or a dinner party, etc., it is desirable to always store a specific subject within the frame of the photographing camera. There is a request. Conventionally, various subject tracking (tracking) techniques have been proposed to meet such demands.
【０００３】例えば、特開平０５−５３０４３号公報に
は、カメラに備えられた撮影レンズが捉える被写界にお
いて、撮影者が注目している被写体を認識し、この被写
体を追尾するようにしたものが開示されている。これ
は、撮影者の眼球の動きに対応して変化する視線位置か
ら、カメラの被写界内において撮影者が注視している位
置を被写体の位置として検出し、この位置を追尾するこ
とで被写体の位置を安定して得るようにしたものであ
る。For example, in Japanese Unexamined Patent Publication No. 05-53043, a subject which the photographer is paying attention to is recognized and tracked in a field captured by a photographing lens provided in the camera. Is disclosed. This is because the position where the photographer is gazing in the field of the camera is detected as the position of the subject from the line-of-sight position that changes in response to the movement of the eyeball of the photographer, and the subject is tracked by this position. The position of is stably obtained.
【０００４】また、特開平０８−１１６４８７号公報に
は、被写体を常に画面の中央に位置させるようにビデオ
カメラを制御するビデオカメラの被写体追尾装置が開示
されている。これは、撮影信号から輝度信号及びクロマ
信号を形成し、これに対して信号処理を行い、これを用
いて被写体の特徴値を抽出し、この被写体特徴値から被
写体の画面中心からの位置ずれ量を検出し、このずれ量
に応じてパン、チルト機構を用いて、ビデオカメラを被
写体の動きに追尾して動かし、被写体が常時表示画面の
中央に位置するように制御するものである。Further, Japanese Unexamined Patent Publication No. 08-116487 discloses a subject tracking device for a video camera which controls the video camera so that the subject is always positioned at the center of the screen. This is to form a luminance signal and a chroma signal from a shooting signal, perform signal processing on the signals, extract the feature value of the subject using this, and calculate the amount of displacement of the subject from the center of the screen from this feature value. Is detected and the pan / tilt mechanism is used in accordance with the shift amount to move the video camera so as to follow the movement of the subject so that the subject is always positioned at the center of the display screen.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、上述し
た従来の被写体追尾方法は、いずれも画像信号処理を行
い、画像を解析することによって画像（フレーム）中の
被写***置を検出し、この被写***置を用いて、被写体
追尾を行うものであり、被写***置を算出するために多
大の計算をしなければならず、扱うデータ量も多く、メ
モリ的にも時間的にも大変であるという問題があった。However, in any of the above-described conventional subject tracking methods, the image signal processing is performed, the subject position in the image (frame) is detected by analyzing the image, and this subject position is detected. Since the subject tracking is performed by using this, a large amount of calculation must be performed to calculate the subject position, the amount of data to be handled is large, and there is a problem in terms of memory and time. .
【０００６】本発明は、前記従来の問題に鑑みてなされ
たものであり、複雑な計算をすることなく簡単に、また
性能よく被写体に追従し自動撮影を可能とする撮影カメ
ラの被写体自動追従装置を提供することを課題とする。The present invention has been made in view of the above-mentioned conventional problems, and it is an object automatic tracking device for a photographing camera capable of easily and automatically tracking an object without performing complicated calculations. The challenge is to provide.
【０００７】[0007]
【課題を解決するための手段】前記課題を解決するため
に、本発明は、被写体の動きに追従しながら被写体の撮
影を行う撮影カメラの被写体自動追従装置であって、撮
像手段が撮影した画像から被写体を認識するための情報
を抽出する手段と、該抽出した被写体を認識するための
情報を記憶する手段と、撮影時に、前記被写体を認識す
るための情報を用いて、撮影した画像から被写体を認識
する手段と、被写体が保有する発信器からの信号を受信
する受信器と、前記撮像手段をパン及びチルトさせる手
段と、を有し、前記受信器が受信した信号及び前記被写
体を認識する手段の認識結果に応じて前記撮像手段をパ
ン及びチルトさせて被写体を自動的に追従するようにし
たことを特徴とする撮影カメラの被写体自動追従装置を
提供する。In order to solve the above-mentioned problems, the present invention is an automatic subject tracking device of a photographing camera for photographing a subject while following the movement of the subject, the image being photographed by the image pickup means. Means for extracting information for recognizing a subject from the object, means for storing information for recognizing the extracted subject, and information for recognizing the subject at the time of shooting, For recognizing the signal received by the receiver and the object, and a receiver for receiving a signal from a transmitter held by the object, and a means for panning and tilting the imaging means. There is provided a subject auto-tracking device for a photographing camera, characterized in that the imaging means is panned and tilted according to the recognition result of the means to automatically follow the object.
【０００８】また、前記受信器が受信した信号及び前記
被写体を認識する手段の認識結果に応じて、撮影画像に
対する画像信号処理を制御するようにしたことが好まし
い。Further, it is preferable that the image signal processing for the photographed image is controlled according to the signal received by the receiver and the recognition result of the means for recognizing the subject.
【０００９】また、前記受信器が受信した信号及び前記
被写体を認識する手段の認識結果に応じて、ズーム、ピ
ントを制御するようにしたことが好ましい。Further, it is preferable that the zoom and the focus are controlled according to the signal received by the receiver and the recognition result of the means for recognizing the subject.
【００１０】また、前記受信器が受信した信号及び前記
被写体を認識する手段の認識結果に応じて、画像記録の
オンオフを制御し、あるいは被写体のロスト情報を記録
するようにしたことが好ましい。Further, it is preferable that on / off of image recording is controlled or lost information of the subject is recorded according to the signal received by the receiver and the recognition result of the means for recognizing the subject.
【００１１】さらに、前記被写体を認識する手段の認識
結果を撮影カメラの表示装置に表示するようにしことが
好ましい。Further, it is preferable that the recognition result of the means for recognizing the subject is displayed on the display device of the photographing camera.
【００１２】[0012]
【発明の実施の形態】以下、本発明に係る撮影カメラの
被写体自動追従装置について、添付の図面に示される好
適実施形態を基に、詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION An automatic subject tracking device for a photographing camera according to the present invention will be described below in detail with reference to the preferred embodiments shown in the accompanying drawings.
【００１３】図１は、本発明の一実施形態に係る撮影カ
メラの被写体自動追従装置を用いた撮影カメラにより被
写体を撮影する様子を示す概念図である。図１におい
て、１０はビデオカメラ、１２は被写体である。ビデオ
カメラ１０は、レンズ１４、受光素子（ＣＣＤ）１６を
有しており、被写体１２からの撮影光は、レンズ１４を
介して、ＣＣＤ１６上に結像される。FIG. 1 is a conceptual diagram showing a state in which a subject is photographed by a photographing camera using an automatic subject tracking device of the photographing camera according to an embodiment of the present invention. In FIG. 1, 10 is a video camera and 12 is a subject. The video camera 10 has a lens 14 and a light receiving element (CCD) 16, and imaging light from the subject 12 is imaged on the CCD 16 via the lens 14.
【００１４】本実施形態のビデオカメラ１０は、被写体
１２が動いても被写体１２の動きに自動的に追従して、
常に被写体１２を撮影するようにしたものである。この
ため、被写体１２は、発信器１８を有しており、ビデオ
カメラ１０は、発信器１８の発した信号を受信する受信
器２０を有している。被写体１２の発信器１８から発信
された信号は、受信器２０で受信されるとビデオカメラ
１０のＣＰＵ２２に送られる。ＣＰＵ２２は、受信され
た信号により被写体１２の動きを検出して、後述するズ
ーム、パン、チルトの各機構を制御して、ビデオカメラ
１０をズーム方向Ｚ、パン方向Ｐ、チルト方向Ｔの各方
向に駆動制御して、被写体１２の動きに自動的に追従し
て、常に被写体１２がビデオカメラ１０のレンズ１４の
被写界（フレーム）内に入るようにして撮影する。The video camera 10 of this embodiment automatically follows the movement of the subject 12 even if the subject 12 moves.
The subject 12 is always photographed. Therefore, the subject 12 has a transmitter 18, and the video camera 10 has a receiver 20 that receives a signal emitted from the transmitter 18. The signal transmitted from the transmitter 18 of the subject 12 is sent to the CPU 22 of the video camera 10 when received by the receiver 20. The CPU 22 detects the movement of the subject 12 based on the received signal and controls the zoom, pan, and tilt mechanisms described below to move the video camera 10 in the zoom direction Z, the pan direction P, and the tilt direction T. The subject 12 is automatically controlled to follow the movement of the subject 12 so that the subject 12 is always within the field (frame) of the lens 14 of the video camera 10.
【００１５】被写体１２が所持する発信器１８やビデオ
カメラ１０に備えられる受信器２０は、特に限定はされ
ず、少なくとも撮影が行われる狭い範囲で信号の受発信
が行えるものであればよい。例えば、発信器１８は、カ
ード型で被写体１２の胸や肩に着けたり、ポケットに入
れたりすることができるとよい。本実施形態のビデオカ
メラ１０は、例えば三脚等のカメラ設置手段により一カ
所に固定され、レンズ等の撮像部のみを駆動させて被写
体を追従する。しかし、ビデオカメラ１０を、自力走行
可能な移動手段に載置して、ビデオカメラ１０自体が移
動して被写体１２に追従するようにしてもよい。The transmitter 18 possessed by the subject 12 and the receiver 20 provided in the video camera 10 are not particularly limited as long as they can receive and transmit signals at least in a narrow range where photographing is performed. For example, the transmitter 18 is preferably a card type and can be worn on the chest or shoulder of the subject 12 or can be put in a pocket. The video camera 10 of the present embodiment is fixed in one place by a camera installation means such as a tripod, and drives only an imaging unit such as a lens to follow a subject. However, the video camera 10 may be mounted on a moving means that can travel by itself so that the video camera 10 itself moves and follows the subject 12.
【００１６】図２にビデオカメラ１０をカメラ設置台２
４に取り付けた状態の一例を示す。図２（ａ）は正面
図、（ｂ）は側面図である。カメラ設置台２４は、ビデ
オカメラ１０をパン方向に移動する移動手段２６と、チ
ルト方向に移動する移動手段２８を有しており、ビデオ
カメラ１０は、左右をチルト方向の移動手段２８に固定
されている。ここに示したものは一例であり、カメラを
固定してパン、チルトさせる手段はこのような形態のも
のに限定されるものではない。The video camera 10 is shown in FIG.
4 shows an example of a state of being attached to No. 4. 2A is a front view and FIG. 2B is a side view. The camera mount 24 has a moving means 26 for moving the video camera 10 in the pan direction and a moving means 28 for moving in the tilt direction. The video camera 10 is fixed to the left and right moving means 28 in the tilt direction. ing. The one shown here is an example, and the means for fixing the camera to pan and tilt is not limited to this type.
【００１７】図３は、本実施形態に係るビデオカメラ１
０の概略構成を示すブロック図である。図３に示すよう
に、ビデオカメラ１０は、レンズ１４及びＣＣＤ１６を
有する撮像部１１、被写体１２が保有する発信器１８か
ら発信される信号を受信する受信器２０、ビデオカメラ
１０全体の制御を行うＣＰＵ２２、撮像部１１の駆動制
御を行うパン機構３０、チルト機構３２、ズーム機構３
４、ピント合わせ機構３６、データ変換部３８、信号処
理（画像処理）部４０、ディスプレイ４２、メモリ４
４、撮影画像から被写体を認識するための情報を抽出す
る認識情報抽出手段４６および被写体の認識を行う認識
手段４８を有して構成される。パン機構３０は、ビデオ
カメラ１０をパン方向に移動する移動手段２６を駆動す
るものであり、チルト機構３２は、ビデオカメラ１０を
チルト方向に移動する移動手段２８を駆動するものであ
る。FIG. 3 shows a video camera 1 according to this embodiment.
It is a block diagram showing a schematic structure of 0. As shown in FIG. 3, the video camera 10 controls the imaging unit 11 having the lens 14 and the CCD 16, the receiver 20 that receives a signal transmitted from the transmitter 18 of the subject 12, and the video camera 10 as a whole. The CPU 22, the pan mechanism 30, which controls the drive of the imaging unit 11, the tilt mechanism 32, and the zoom mechanism 3.
4, focusing mechanism 36, data conversion unit 38, signal processing (image processing) unit 40, display 42, memory 4
4. A recognition information extraction unit 46 that extracts information for recognizing a subject from a captured image and a recognition unit 48 that recognizes the subject are configured. The pan mechanism 30 drives the moving means 26 for moving the video camera 10 in the pan direction, and the tilt mechanism 32 drives the moving means 28 for moving the video camera 10 in the tilt direction.
【００１８】データ変換部３８は、ＣＣＤ１６から入力
される撮像信号をデジタル画像信号に変換するものであ
る。認識情報抽出部４６は、デジタル画像信号をデータ
変換部３８から受け取り、以後の撮影において被写体の
認識に必要な情報を抽出するものである。被写体の認識
に必要な情報としては、特に限定はされないが、被写体
の顔画像が好適に例示される。なお、顔画像の抽出方法
については後述する。認識情報抽出手段４６は、撮影開
始時に撮影者がビデオカメラ１０をカメラ載置台にセッ
トして撮影すべき被写体の正面方向に向けてスタートボ
タンを押すと、最初に取り込まれた被写体の画像から顔
画像を抽出し、以後自動的に、この人物を被写体として
追従して撮影することとして、その顔画像をメモリ４４
に記憶する。その後は、被写体が向きを変えたりした場
合に、適宜、被写体の別角度からの顔画像を抽出してメ
モリ４４に記憶し、被写体が向きを変えた場合にも、被
写体の認識を行えるように用いるようにしてもよい。The data converter 38 converts the image pickup signal input from the CCD 16 into a digital image signal. The recognition information extraction unit 46 receives the digital image signal from the data conversion unit 38 and extracts information necessary for recognizing the subject in subsequent shooting. The information necessary for recognizing the subject is not particularly limited, but a face image of the subject is preferably exemplified. The method of extracting the face image will be described later. When the photographer sets the video camera 10 on the camera mount and presses the start button toward the front of the subject to be photographed at the start of photographing, the recognition information extracting means 46 presses the start button and the face is taken from the first captured image of the subject. An image is extracted, and thereafter, the face image is automatically recorded by following this person as a subject.
Remember. After that, when the orientation of the subject is changed, a face image from another angle of the subject is appropriately extracted and stored in the memory 44 so that the subject can be recognized even when the orientation of the subject is changed. You may use it.
【００１９】認識手段４８は、その後の撮影において、
その都度撮影画像から顔画像を抽出し、メモリ４４に記
憶されている被写体の顔画像とパターンマッチングを行
い被写体の認識を行うものである。ＣＰＵ２２は、受信
器２０が受けた信号により被写体１２の位置（ビデオカ
メラ１０に対する相対的位置）を検出する。ＣＰＵ２２
は、この受信信号と前記被写体の認識結果により、被写
体１２の追従を行う。すなわち、ＣＰＵ２２は、ビデオ
カメラ１０に対する被写体１２の距離、方向により、パ
ン機構２４、チルト機構２６を制御して撮像部１１を駆
動し、被写体１２が常にビデオカメラ１０のフレームに
含まれるように被写体１２にビデオカメラ１０を追従さ
せ、またズーム機構２８、ピント合わせ機構３０を制御
して、所定の大きさで、ピントのあった画像として撮影
を行う。The recognizing means 48, in the subsequent photographing,
A face image is extracted from the captured image each time, and pattern matching is performed with the face image of the subject stored in the memory 44 to recognize the subject. The CPU 22 detects the position of the subject 12 (relative position with respect to the video camera 10) based on the signal received by the receiver 20. CPU22
Follows the subject 12 based on the received signal and the recognition result of the subject. That is, the CPU 22 drives the image pickup unit 11 by controlling the pan mechanism 24 and the tilt mechanism 26 according to the distance and the direction of the subject 12 with respect to the video camera 10 so that the subject 12 is always included in the frame of the video camera 10. The video camera 10 is made to follow 12 and the zoom mechanism 28 and the focus adjusting mechanism 30 are controlled so that a focused image of a predetermined size is taken.
【００２０】撮影された画像（画像信号）は、データ変
換部３８でデジタル画像信号に変換され、信号処理部４
０において、所定の画像処理が施される。このとき、前
記受信信号および被写体認識結果に応じて、その被写体
の位置（距離）や明るさ等から、画像が適切な明るさに
なるようにルックアップテーブルを調整したりコントラ
スト等を調整するようにする。画像処理後の撮影画像は
ディスプレイ４２に表示されるとともに、メモリ４４に
記録される。The photographed image (image signal) is converted into a digital image signal by the data conversion unit 38, and the signal processing unit 4
At 0, predetermined image processing is performed. At this time, according to the received signal and the object recognition result, the look-up table and the contrast are adjusted so that the image has an appropriate brightness based on the position (distance) and brightness of the object. To The captured image after the image processing is displayed on the display 42 and recorded in the memory 44.
【００２１】以下、本実施形態の作用を説明する。撮影
にあたり、まずビデオカメラ１０を撮影場所の所定位置
に設置し、発信器１８をつけた特定の被写体１０の正面
にビデオカメラ１０を向けて位置合わせをし、ビデオカ
メラ１０のフレーム内に被写体１０が入るようにして、
撮影を開始する。ビデオカメラ１０が撮影を開始する
と、以降は自動で撮影が続行される。なお、ビデオカメ
ラ１０自身があらゆる方向を向いて受信信号の強度が最
も大きくなる方向を探索して、受信信号の強度が最大と
なる方向に撮影すべき被写体がいるとして、自動的に位
置合わせをするようにしてもよい。撮影開始時には撮影
すべき被写体１２に向けて位置合わせがされているた
め、まず最初に撮影した画像の中央の被写体人物に対す
る被写体認識情報としてその被写体の顔画像を抽出す
る。以下、顔画像の抽出方法について説明する。The operation of this embodiment will be described below. In shooting, first, the video camera 10 is installed at a predetermined position in a shooting place, the video camera 10 is directed to the front of a specific subject 10 with a transmitter 18, and the subject 10 is positioned within the frame of the video camera 10. So that
Start shooting. When the video camera 10 starts shooting, shooting continues automatically thereafter. It should be noted that the video camera 10 itself looks in all directions and searches for the direction in which the intensity of the received signal is the highest, and if there is an object to be photographed in the direction in which the intensity of the received signal is the maximum, the alignment is automatically performed. You may do it. Since the position of the subject 12 to be photographed is aligned at the start of photographing, the face image of the subject is extracted as the subject recognition information for the subject person in the center of the first photographed image. Hereinafter, a method of extracting a face image will be described.
【００２２】図４に顔画像の抽出方法を示す。撮影画像
からの顔領域の抽出は、大きく２つの工程からなってい
る。すなわち、顔と思われる候補領域を顔の色情報と形
情報を用いて選別する工程（図４の（ａ）〜（ｅ））
と、選別した領域をパターンマッチングの手法により評
価して顔か否かを判別する工程（図４の（ｆ）および
（ｇ））である。なお、ここでは顔と思われる領域の抽
出にモフォロジーの手法を用いている。FIG. 4 shows a face image extracting method. The extraction of the face area from the photographed image mainly includes two steps. That is, a process of selecting a candidate region that is considered to be a face using the color information and the shape information of the face ((a) to (e) of FIG. 4)
And (f) and (g) in FIG. 4 in which the selected region is evaluated by a pattern matching method to determine whether or not it is a face. Note that here, a morphological method is used to extract a region that seems to be a face.
【００２３】まず、認識情報抽出手段４６においてデー
タ変換部３８より、図４（ａ）に示すようなカラーバラ
ンスを調整した元画像データを取得し、第１の工程とし
て顔と思われる領域を顔の色情報と形情報を用いて選別
する。すなわち、図４（ｂ）に示すように、元画像デー
タから、顔の明るさを除いた色味成分を持つ画素だけを
選別して、領域ごとにグループ化する。そして、図４
（ｃ）に示すように、グループ化した領域の中で明るさ
と色味の関係を調べて、顔色の特徴に一致しない領域を
削除する。また、明るさや色味の関係が不連続な領域を
さらに分割する。First, in the recognition information extracting means 46, the original image data whose color balance has been adjusted as shown in FIG. Selection is performed using the color information and shape information of. That is, as shown in FIG. 4B, only pixels having a tint component excluding the brightness of the face are selected from the original image data and grouped for each region. And FIG.
As shown in (c), the relationship between the brightness and the tint is examined in the grouped areas, and the areas that do not match the features of the facial color are deleted. Further, a region where the relationship of brightness and tint is discontinuous is further divided.
【００２４】次に図４（ｄ）に示すように、モフォロジ
ーのerosion を行い、外側から各領域を溶かすように収
縮させて、***した領域ごとに、収縮前の外周の形状を
取り出す。そして、図４（ｅ）に示すように、外周の形
状が円形と大きく異なる領域を削除して、顔と思われる
候補領域を残すようにする。Next, as shown in FIG. 4 (d), erosion of morphology is performed, and each region is contracted from the outside so as to melt, and the shape of the outer periphery before contraction is taken out for each divided region. Then, as shown in FIG. 4E, a region whose outer peripheral shape is significantly different from the circular shape is deleted to leave a candidate region that seems to be a face.
【００２５】次に第２の工程として、上で選別した領域
をパターンマッチング手法により評価して顔か否かを判
別する。すなわち、図４（ｆ）に示すように、残った顔
の候補領域の元画像データを取り出し、平均顔特徴を持
ったテンプレートとの相関を求める。このとき、テンプ
レートは回転方向やサイズに応じて複数のものを用意し
ておくことが好ましい。このようにして図４（ｇ）に示
すように、各候補領域の中で、最も高い相関が、所定の
評価値より高い領域を顔領域として抽出される。なお、
ここに示した顔領域抽出方法は一例であり、他の公知の
顔領域抽出方法を用いてもよい。Next, as a second step, the area selected above is evaluated by a pattern matching method to determine whether or not it is a face. That is, as shown in FIG. 4 (f), the original image data of the remaining face candidate area is extracted and the correlation with the template having the average facial feature is obtained. At this time, it is preferable to prepare a plurality of templates according to the rotation direction and size. In this way, as shown in FIG. 4G, the area having the highest correlation among the candidate areas is higher than the predetermined evaluation value is extracted as the face area. In addition,
The face area extraction method shown here is an example, and other known face area extraction methods may be used.
【００２６】被写体１２の顔画像が抽出されると、これ
をその後の被写体認識情報として用いるため、この顔画
像データをメモリ４４に記憶する。そして、発信器１８
からの信号とメモリ４４の顔画像データとを用いて被写
体の自動追従を行い、被写体１２の撮影を続行する。When the face image of the subject 12 is extracted, this face image data is stored in the memory 44 for use as subsequent subject recognition information. And the transmitter 18
Signal and the face image data of the memory 44 are used to automatically follow the subject, and the photographing of the subject 12 is continued.
【００２７】自動追従の方法を図５に示す。図５のステ
ップ１００において、被写体１２が動いて受信器２０が
受信する信号の強度が変動した場合、パン機能３０によ
りビデオカメラ１０をパン方向に移動する移動手段２６
を駆動して、ビデオカメラ１０を水平方向に回転し受信
信号が最大となる方位を探索する。次にステップ１１０
において、撮影画像信号から被写体を認識する。すなわ
ち、認識情報抽出手段４６で画像信号から被写体の顔領
域を抽出し、認識手段４８においてこの抽出した顔画像
とメモリ４４の顔画像データとをパターンマッチングに
より被写体１２の認識を行う。A method of automatic tracking is shown in FIG. In step 100 of FIG. 5, when the subject 12 moves and the intensity of the signal received by the receiver 20 varies, the pan function 30 moves the video camera 10 in the pan direction.
Is driven to rotate the video camera 10 in the horizontal direction to search for the direction in which the received signal becomes maximum. Next step 110
At, the object is recognized from the captured image signal. That is, the recognition information extracting unit 46 extracts the face area of the subject from the image signal, and the recognizing unit 48 recognizes the subject 12 by pattern matching between the extracted face image and the face image data in the memory 44.
【００２８】ステップ１２０において、画像の動きと受
信信号の位相変化から被写体１２の動きを追従する。こ
のとき、追従が遅れないように、被写体１２の動きをそ
れまでの動きから予測するようにするとよい。そして、
ステップ１３０においては、常に被写体１２を追従する
ように受信信号の強度が所定レベルにあるか判断する。
受信信号の強度が所定強度以上あればビデオカメラ１０
は被写体１２を捉えているので、ステップ１２０にもど
り追従を続ける。また、受信信号の強度が所定強度以下
になってしまった場合には、被写体１２を見失ったこと
になるので、ステップ１００に戻り、受信信号が最大と
なる方位を探索し、被写体１２を探すようにする。In step 120, the movement of the subject 12 is tracked from the movement of the image and the phase change of the received signal. At this time, the movement of the subject 12 may be predicted from the movements so far so that the tracking is not delayed. And
In step 130, it is determined whether the intensity of the received signal is at a predetermined level so that the subject 12 is always followed.
If the strength of the received signal is equal to or higher than a predetermined strength, the video camera 10
Has captured the subject 12, returns to step 120 and continues to follow. If the intensity of the received signal is less than or equal to the predetermined intensity, it means that the subject 12 has been lost. Therefore, the process returns to step 100, and the subject 12 is searched for in the direction in which the received signal is maximum. To
【００２９】このように、撮影中に被写体１２が速い動
きをしたり、撮影場所から離れる等してビデオカメラ１
０が被写体１２を追従しきれなくなり、被写体１２を見
失った場合には、画像記録をオフにする。あるいは、画
像の記録は続行し、被写体１２がビデオカメラ１０のフ
レームから出ているという情報を記録するとともに、
「ＬＯＳＴ」信号（「ＬＯＳＴ」という文字でも、
「×」のような記号その他でもよい）をディスプレイ４
２に表示するようにしてもよい。ＬＯＳＴ信号の表示
は、後で画像の編集をする際に利用することができる。As described above, the subject 12 makes a fast movement during shooting, is separated from the shooting place, and so on.
When 0 loses track of the subject 12 and loses sight of the subject 12, image recording is turned off. Alternatively, the image recording is continued, and the information that the subject 12 is out of the frame of the video camera 10 is recorded, and
"LOST" signal (even the letters "LOST"
Display 4 with a symbol such as "x" and others)
2 may be displayed. The display of the LOST signal can be used when the image is edited later.
【００３０】被写体１２を見失った場合には、ビデオカ
メラ１０は、パンおよびチルトを最大限広い範囲で行
い、受信信号が最大となる方位を探索し、被写体１２を
探すようにする。そして、発信器１８の信号が最大とな
る方向を捕捉したら、画像記録をオフしていた場合に
は、再び画像記録を再開し、ＬＯＳＴ信号を表示してい
た場合には、当該表示をやめるようにする。撮影した画
像は、所定の処理が施されてディスプレイ４２に表示さ
れる。このとき、ビデオカメラ１０が受信器２０が受信
している被写体１２を撮影対象として認識して撮影を続
けているということを示すために、ビデオカメラ１０の
ディスプレイ４２上で、認識結果を示す例えば矢印等の
マークを、その被写体１２の画像に付して表示するよう
にしてもよい。この表示は、常に表示するようにしても
よいし、必要に応じて表示させるようにしてもよい。When the subject 12 is lost, the video camera 10 pans and tilts in a maximum wide range, searches for the direction in which the received signal is maximum, and searches for the subject 12. Then, when the direction in which the signal of the oscillator 18 becomes maximum is captured, if the image recording is turned off, the image recording is restarted, and if the LOST signal is displayed, the display is stopped. To The captured image is subjected to predetermined processing and displayed on the display 42. At this time, in order to indicate that the video camera 10 recognizes the subject 12 received by the receiver 20 as a shooting target and continues shooting, the recognition result is displayed on the display 42 of the video camera 10, for example. A mark such as an arrow may be attached to the image of the subject 12 and displayed. This display may be always displayed or may be displayed as needed.
【００３１】また、被写体１２がフレーム内に入ってい
てもその中で被写体１２が移動し、ビデオカメラ１０と
の距離が変化する場合、撮影画像中の被写体画像の大き
さが変化するが、自動的にズーム機構２８が駆動して被
写体１２を撮影画像中に一定の大きさで撮影するように
することもできる。Even if the subject 12 is inside the frame, if the subject 12 moves within the frame and the distance from the video camera 10 changes, the size of the subject image in the captured image changes, but Alternatively, the zoom mechanism 28 can be driven so that the subject 12 can be photographed in a fixed size in the photographed image.
【００３２】このように、本実施形態によれば、被写体
が発信器を保持するようにし、その信号を捕捉して、画
像データからの被写体認識情報と合わせて被写体を追従
するようにしたため、従来より性能良く被写体の自動追
従ができるようになった。また、被写体の発信する信号
を併用しているため、画像データに対する複雑な計算は
それほど必要とせず簡単に被写体の認識が可能である。As described above, according to the present embodiment, since the subject holds the transmitter, the signal is captured, and the subject is tracked together with the subject recognition information from the image data. It has become possible to automatically follow the subject with better performance. Further, since the signal transmitted by the subject is also used, the subject can be easily recognized without requiring a complicated calculation for the image data.
【００３３】以上、本発明の撮影カメラの被写体自動追
従装置について詳細に説明したが、本発明は、以上の例
には限定されず、本発明の要旨を逸脱しない範囲におい
て、各種の改良や変更を行ってもよいのはもちろんであ
る。Although the subject automatic tracking device for the photographing camera of the present invention has been described in detail above, the present invention is not limited to the above examples, and various improvements and changes are made without departing from the scope of the present invention. Of course you may go.
【００３４】[0034]
【発明の効果】以上説明した通り、本発明によれば、簡
単に、また性能よく、被写体に自動的に追従して自動撮
影が可能となる。As described above, according to the present invention, it is possible to automatically follow an object automatically and with good performance.
【図１】 本発明の一実施形態に係る撮影カメラの被写
体自動追従装置を用いたビデオカメラにより被写体を撮
影する様子を示す概念図である。FIG. 1 is a conceptual diagram showing a state in which a subject is photographed by a video camera using an automatic subject tracking device of a photographing camera according to an embodiment of the present invention.
【図２】 本実施形態のビデオカメラの概略を示す
（ａ）は正面図、（ｂ）は側面図である。FIG. 2A is a front view and FIG. 2B is a side view showing the outline of the video camera of the present embodiment.
【図３】 本実施形態のビデオカメラの概略構成を示す
ブロック図である。FIG. 3 is a block diagram showing a schematic configuration of a video camera of this embodiment.
【図４】 （ａ）〜（ｇ）は、被写体画像から顔領域を
抽出する方法を示す説明図である。4A to 4G are explanatory diagrams showing a method of extracting a face area from a subject image.
【図５】 本実施形態の被写体追従方法を示すフローチ
ャートである。FIG. 5 is a flowchart showing a subject tracking method of the present embodiment.
１０ ビデオカメラ １２ 被写体 １４ レンズ １６ 受光素子（ＣＣＤ） １８ 発信器 ２０ 受信器 ２２ ＣＰＵ ２４ カメラ設置台２６ ２６ カメラをパン方向に移動する移動手段 ２８ カメラをチルト方向に移動する移動手段 ３０ パン機構 ３２ チルト機構 ３４ ズーム機構 ３６ ピント合わせ機構 ３８ データー変換部 ４０ 信号処理（画像処理）部 ４２ ディスプレイ ４４ メモリ ４６ 認識情報抽出手段 ４８ 認識手段 10 video cameras 12 subject 14 lenses 16 Light receiving element (CCD) 18 transmitter 20 receiver 22 CPU 24 camera mount 26 26 Moving means for moving the camera in the pan direction 28 Moving means for moving the camera in the tilt direction 30 pan mechanism 32 Tilt mechanism 34 Zoom mechanism 36 Focusing mechanism 38 Data converter 40 Signal processing (image processing) section 42 display 44 memory 46 Recognition information extraction means 48 recognition means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 17/00 Ｇ０３Ｂ 17/00 Ｂ 17/18 17/18 Ｚ 17/38 17/38 Ｂ 17/56 17/56 Ｂ Ｆターム(参考） 2H020 FB00 MA07 MC81 MD15 2H102 AA00 AA36 AB00 AB23 2H105 AA03 AA06 AA09 AA11 AA12 AA13 AA14 EE05 EE09 EE16 EE31 5C022 AB22 AB63 AB66 AC11 AC27─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) G03B 17/00 G03B 17/00 B 17/18 17/18 Z 17/38 17/38 B 17/56 17 / 56 BF term (reference) 2H020 FB00 MA07 MC81 MD15 2H102 AA00 AA36 AB00 AB23 2H105 AA03 AA06 AA09 AA11 AA12 AA13 AA14 EE05 EE09 EE16 EE31 5C022 AB22 AB63 AB66 AC11 AC27
Claims (5)
を行う撮影カメラの被写体自動追従装置であって、 撮像手段が撮影した画像から被写体を認識するための情
報を抽出する手段と、 該抽出した被写体を認識するための情報を記憶する手段
と、 撮影時に、前記被写体を認識するための情報を用いて、
撮影した画像から被写体を認識する手段と、 被写体が保有する発信器からの信号を受信する受信器
と、 前記撮像手段をパン及びチルトさせる手段と、を有し、 前記受信器が受信した信号及び前記被写体を認識する手
段の認識結果に応じて前記撮像手段をパン及びチルトさ
せて被写体を自動的に追従するようにしたことを特徴と
する撮影カメラの被写体自動追従装置。1. An automatic subject tracking device of a photographing camera for photographing a subject while following the movement of the subject, said means for extracting information for recognizing the subject from an image photographed by an imaging means, and the extraction. Means for storing information for recognizing the subject, and information for recognizing the subject at the time of shooting,
The device includes a unit for recognizing a subject from a captured image, a receiver for receiving a signal from a transmitter held by the subject, and a unit for panning and tilting the imaging unit, and a signal received by the receiver. An automatic subject tracking device for a photographing camera, characterized in that the subject is automatically tracked by panning and tilting the image pickup means according to the recognition result of the means for recognizing the subject.
を認識する手段の認識結果に応じて、撮影画像に対する
画像信号処理を制御するようにした請求項１に記載の撮
影カメラの被写体自動追従装置。2. The automatic subject tracking of a photographic camera according to claim 1, wherein image signal processing for a photographic image is controlled according to a signal received by the receiver and a recognition result of a means for recognizing the subject. apparatus.
を認識する手段の認識結果に応じて、ズーム、ピントを
制御するようにした請求項１または２に記載の撮影カメ
ラの被写体自動追従装置。3. The subject automatic tracking device for a photographing camera according to claim 1, wherein zooming and focusing are controlled according to a signal received by the receiver and a recognition result of a means for recognizing the subject. .
を認識する手段の認識結果に応じて、画像記録のオンオ
フを制御し、あるいは被写体のロスト情報を記録するよ
うにした請求項１〜３のいずれか１項に記載の撮影カメ
ラの被写体自動追従装置。4. The on / off of image recording is controlled or the lost information of the subject is recorded according to the signal received by the receiver and the recognition result of the means for recognizing the subject. The subject automatic follow-up device of the photographing camera described in any one of 1.
影カメラの表示装置に表示するようにした請求項１〜４
のいずれか１項に記載の撮影カメラの被写体自動追従装
置。5. A recognition result of a means for recognizing the subject is displayed on a display device of a photographing camera.
The subject automatic follow-up device of the photographing camera described in any one of 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001257790A JP2003069884A (en) | 2001-08-28 | 2001-08-28 | Automatic subject following device for photographing camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001257790A JP2003069884A (en) | 2001-08-28 | 2001-08-28 | Automatic subject following device for photographing camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003069884A true JP2003069884A (en) | 2003-03-07 |
Family
ID=19085399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001257790A Withdrawn JP2003069884A (en) | 2001-08-28 | 2001-08-28 | Automatic subject following device for photographing camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003069884A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006025311A1 (en) * | 2004-09-01 | 2006-03-09 | Nikon Corporation | Electronic camera system, phtographing ordering device and phtographing system |
| EP1764622A3 (en) * | 2005-09-13 | 2008-07-16 | Canon Kabushiki Kaisha | Image pickup apparatus |
| JP2010154529A (en) * | 2008-12-12 | 2010-07-08 | Tektronix Inc | Method and system for automatically detecting object inside video |
| JP2015095775A (en) * | 2013-11-12 | 2015-05-18 | リコーイメージング株式会社 | Imaging apparatus and imaging method |
| JP2019062279A (en) * | 2017-09-25 | 2019-04-18 | キヤノン株式会社 | Imaging device, imaging system, and control method of imaging system |
| US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
-
2001
- 2001-08-28 JP JP2001257790A patent/JP2003069884A/en not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006025311A1 (en) * | 2004-09-01 | 2006-03-09 | Nikon Corporation | Electronic camera system, phtographing ordering device and phtographing system |
| JP2006074366A (en) * | 2004-09-01 | 2006-03-16 | Nikon Corp | Electronic camera system, photographing ordering device, and photographing system |
| US7649551B2 (en) | 2004-09-01 | 2010-01-19 | Nikon Corporation | Electronic camera system, photographing ordering device and photographing system |
| EP1764622A3 (en) * | 2005-09-13 | 2008-07-16 | Canon Kabushiki Kaisha | Image pickup apparatus |
| US7916172B2 (en) | 2005-09-13 | 2011-03-29 | Canon Kabushiki Kaisha | Image pickup apparatus with object tracking capability |
| US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
| US11818458B2 (en) | 2005-10-17 | 2023-11-14 | Cutting Edge Vision, LLC | Camera touchpad |
| JP2010154529A (en) * | 2008-12-12 | 2010-07-08 | Tektronix Inc | Method and system for automatically detecting object inside video |
| JP2015095775A (en) * | 2013-11-12 | 2015-05-18 | リコーイメージング株式会社 | Imaging apparatus and imaging method |
| JP2019062279A (en) * | 2017-09-25 | 2019-04-18 | キヤノン株式会社 | Imaging device, imaging system, and control method of imaging system |
| JP7175595B2 (en) | 2017-09-25 | 2022-11-21 | キヤノン株式会社 | Imaging device, control device, imaging system, and imaging system control method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240069412A1 (en) | Image pickup device and method of tracking subject thereof | |
| US7206022B2 (en) | Camera system with eye monitoring | |
| CN103988227B (en) | The method and apparatus locked for image capturing target | |
| US7046924B2 (en) | Method and computer program product for determining an area of importance in an image using eye monitoring information | |
| US20090322896A1 (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
| US20050084179A1 (en) | Method and apparatus for performing iris recognition from an image | |
| US20130002885A1 (en) | Image pick-up apparatus and tracking method therefor | |
| JP6103948B2 (en) | IMAGING DEVICE, REMOTE OPERATION TERMINAL, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD AND PROGRAM, REMOTE OPERATION TERMINAL CONTROL METHOD AND PROGRAM | |
| JP2002333652A (en) | Photographing device and reproducing apparatus | |
| JP2002341406A (en) | Method and device for imaging object to be authenticated | |
| JP2000278584A (en) | Image input device provided with image processing function and recording medium recording its image processing program | |
| JP4552997B2 (en) | Imaging apparatus and program | |
| US7860385B2 (en) | Autofocus system | |
| JP2001223932A (en) | Image pickup device and digital camera | |
| JP4853707B2 (en) | Imaging apparatus and program thereof | |
| JP2001268425A (en) | Automatic tracking device | |
| US11206357B2 (en) | Shooting control apparatus, image capture apparatus, and shooting control method | |
| JP2003069884A (en) | Automatic subject following device for photographing camera | |
| JP2005020205A (en) | Picture photographing device | |
| JP4189534B2 (en) | Automatic tracking device | |
| JP2003289468A (en) | Imaging apparatus | |
| JP2012070302A (en) | Image capturing apparatus and program | |
| JP7122916B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM AND STORAGE MEDIUM | |
| JP5111293B2 (en) | Imaging apparatus and control method thereof | |
| US20210099637A1 (en) | Shooting control apparatus, image capture apparatus, and shooting control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081104 |