JP4595322B2 - Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program - Google Patents

Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program Download PDF

Info

Publication number
JP4595322B2
JP4595322B2 JP2003426202A JP2003426202A JP4595322B2 JP 4595322 B2 JP4595322 B2 JP 4595322B2 JP 2003426202 A JP2003426202 A JP 2003426202A JP 2003426202 A JP2003426202 A JP 2003426202A JP 4595322 B2 JP4595322 B2 JP 4595322B2
Authority
JP
Japan
Prior art keywords
image
image data
image object
processing apparatus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003426202A
Other languages
Japanese (ja)
Other versions
JP2005184722A (en
Inventor
哲二郎 近藤
哲志 小久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003426202A priority Critical patent/JP4595322B2/en
Publication of JP2005184722A publication Critical patent/JP2005184722A/en
Application granted granted Critical
Publication of JP4595322B2 publication Critical patent/JP4595322B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology capable of more quickly and more simply pointing out a tracked image object. <P>SOLUTION: An imaging section 243 of a remote controller 202 images the image object included in an image displayed by using first image data outputted from an image processing apparatus 201. A transmission section 242 of the remote controller 202 transmits second image data obtained by imaging the image object to the image processing apparatus. A reception section 281 of the image processing apparatus 201 receives the second image data transmitted from the remote controller 202. A tracking processing section 304 of the image processing apparatus 201 can detect the image object from the first image data on the basis of the second image data. The image processing system or the like is applicable to image processing systems for tracking an image object. <P>COPYRIGHT: (C)2005,JPO&amp;NCIPI

Description

本発明は画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像オブジェクトをポインティングするか、画像オブジェクトを追尾する画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラムに関する。   The present invention relates to an image processing system, a remote controller and method, an image processing apparatus and method, a recording medium, and a program, and in particular, an image processing system, remote controller and method, and image processing for pointing an image object or tracking an image object The present invention relates to an apparatus and method, a recording medium, and a program.

従来、画像処理装置から出力される画像データにより表示される画像に含まれる画像オブジェクトを追尾の対象として設定し、設定された画像オブジェクトを追尾する画像処理システムが利用されている。   2. Description of the Related Art Conventionally, there has been used an image processing system that sets an image object included in an image displayed by image data output from an image processing apparatus as a tracking target and tracks the set image object.

図１は、画像オブジェクトを追跡する画像処理システムの従来の構成を示す図である。   FIG. 1 is a diagram showing a conventional configuration of an image processing system for tracking an image object.

画像再生装置１１は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置１２に供給する。   The image reproducing device 11 reproduces an image or receives a broadcast to generate image data, and supplies the generated image data to the image processing device 12.

画像処理装置１２は、リモートコントローラ１３より供給された制御信号を基に、画像再生装置１１より供給された画像データから、画像オブジェクトを追尾した結果の画像データを生成し、画像提示装置１４に供給する。   Based on the control signal supplied from the remote controller 13, the image processing device 12 generates image data as a result of tracking the image object from the image data supplied from the image reproduction device 11 and supplies the image data to the image presentation device 14. To do.

リモートコントローラ１３は、ユーザの操作により、制御信号を生成し、生成した制御信号を画像処理装置１２に供給する。   The remote controller 13 generates a control signal according to a user operation, and supplies the generated control signal to the image processing device 12.

画像提示装置１４は、液晶表示装置などからなり、画像処理装置１２から供給された、画像オブジェクトを追尾した結果の画像データを基に、追尾されている画像オブジェクトを表示する。   The image presentation device 14 includes a liquid crystal display device and the like, and displays the tracked image object based on the image data supplied from the image processing device 12 as a result of tracking the image object.

画像処理装置１２は、画像入出力部３１、制御部３２、画像追尾処理部３３、および画像拡大処理部３４から構成される。   The image processing apparatus 12 includes an image input / output unit 31, a control unit 32, an image tracking processing unit 33, and an image enlargement processing unit 34.

画像入出力部３１は、画像再生装置１１から供給された画像データを入力し、画像オブジェクトを追尾した結果の画像データを画像提示装置１４に供給する。制御部３２は、画像処理装置１２全体を制御する。画像追尾処理部３３は、画像再生装置１１より供給された画像データから、画像オブジェクトを追尾し、追尾された画像オブジェクトの画面上の位置を画像拡大処理部３４に供給する。画像拡大処理部３４は、画像追尾処理部３３から供給された画像オブジェクトの画面上の位置を基に、画像に含まれる画像オブジェクトを拡大して、拡大した画像オブジェクトを表示させる画像データを画像入出力部３１に供給する。   The image input / output unit 31 receives the image data supplied from the image reproduction device 11 and supplies the image data obtained as a result of tracking the image object to the image presentation device 14. The control unit 32 controls the entire image processing apparatus 12. The image tracking processing unit 33 tracks the image object from the image data supplied from the image reproduction device 11 and supplies the position of the tracked image object on the screen to the image enlargement processing unit 34. The image enlargement processing unit 34 enlarges the image object included in the image based on the position of the image object supplied from the image tracking processing unit 33 on the screen, and inputs image data for displaying the enlarged image object. This is supplied to the output unit 31.

画像入出力部３１は、画像入力部５１および画像出力部５２から構成される。   The image input / output unit 31 includes an image input unit 51 and an image output unit 52.

画像入力部５１は、画像再生装置１１より供給された画像データを入力して、入力した画像データを画像出力部５２および画像追尾処理部３３に供給する。   The image input unit 51 inputs the image data supplied from the image reproduction device 11 and supplies the input image data to the image output unit 52 and the image tracking processing unit 33.

画像出力部５２は、画像入力部５１より供給された画像データ、または画像拡大処理部３４から供給された画像データのいずれか一方を選択する。また、画像出力部５２は、制御部３２から供給された表示データを選択した画像データに重畳する。画像出力部５２は、選択した画像データを画像提示装置１４に供給する。   The image output unit 52 selects either the image data supplied from the image input unit 51 or the image data supplied from the image enlargement processing unit 34. The image output unit 52 superimposes the display data supplied from the control unit 32 on the selected image data. The image output unit 52 supplies the selected image data to the image presentation device 14.

リモートコントローラ１３は、キー入力部７１および送信部７２から構成される。   The remote controller 13 includes a key input unit 71 and a transmission unit 72.

ユーザによりキー入力部７１のボタンが押下された場合、キー入力部７１は、ボタンに対応する操作信号を送信部７２に供給する。   When the user presses a button on the key input unit 71, the key input unit 71 supplies an operation signal corresponding to the button to the transmission unit 72.

送信部７２は、キー入力部７１より供給された操作信号に対応する制御信号を制御部３２に送信する。   The transmission unit 72 transmits a control signal corresponding to the operation signal supplied from the key input unit 71 to the control unit 32.

制御部３２は、受信部９１、制御ＣＰＵ（Central Processing Unit）９２、およびＯＳＤ（On Screen Display）表示制御部９３から構成される。   The control unit 32 includes a receiving unit 91, a control CPU (Central Processing Unit) 92, and an OSD (On Screen Display) display control unit 93.

受信部９１は、送信部７２より送信された制御信号を受信し、受信した制御信号を制御ＣＰＵ９２に供給する。   The receiving unit 91 receives the control signal transmitted from the transmitting unit 72 and supplies the received control signal to the control CPU 92.

制御ＣＰＵ９２は、受信部９１より供給された制御信号を基に、ＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を生成し、生成したＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を、それぞれ、ＯＳＤ表示制御部９３、画像追尾処理部３３および画像拡大処理部３４に供給する。   The control CPU 92 generates an OSD display control signal, a tracking control signal, and an enlargement control signal based on the control signal supplied from the receiving unit 91, and generates the generated OSD display control signal, tracking control signal, and enlargement control signal, respectively. The OSD display control unit 93, the image tracking processing unit 33, and the image enlargement processing unit 34 are supplied.

ＯＳＤ表示制御部９３は、制御ＣＰＵ９２より供給されたＯＳＤ表示制御信号を基に、枠などを表示させるための表示データを生成し、生成した表示データを画像出力部５２に供給する。   The OSD display control unit 93 generates display data for displaying a frame or the like based on the OSD display control signal supplied from the control CPU 92, and supplies the generated display data to the image output unit 52.

画像追尾処理部３３は、追尾オブジェクト指示部１１１、テンプレート記憶部１１２、サーチエリア記憶部１１３、および追尾処理部１１４から構成される。   The image tracking processing unit 33 includes a tracking object instruction unit 111, a template storage unit 112, a search area storage unit 113, and a tracking processing unit 114.

追尾オブジェクト指示部１１１は、制御ＣＰＵ９２より供給された追尾制御信号に含まれる追尾領域の位置情報を抽出し、抽出した追尾領域の位置情報をテンプレート記憶部１１２に供給する。   The tracking object instructing unit 111 extracts tracking area position information included in the tracking control signal supplied from the control CPU 92 and supplies the extracted tracking area position information to the template storage unit 112.

テンプレート記憶部１１２は、追尾オブジェクト指示部１１１より供給された追尾領域の位置情報を基に、画像入力部５１より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。テンプレート記憶部１１２は、記憶している画像オブジェクトを追尾処理部１１４に供給する。   The template storage unit 112 extracts the image object of the tracking area from the image data supplied from the image input unit 51 based on the position information of the tracking area supplied from the tracking object instruction unit 111, and stores the extracted image object. To do. The template storage unit 112 supplies the stored image object to the tracking processing unit 114.

サーチエリア記憶部１１３は、画像入力部５１より供給された画像データから検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。サーチエリア記憶部１１３は、記憶している検索領域の画像データを追尾処理部１１４に供給する。   The search area storage unit 113 extracts the image data of the search area (search area) from the image data supplied from the image input unit 51, and stores the extracted image data of the search area. The search area storage unit 113 supplies the stored search area image data to the tracking processing unit 114.

追尾処理部１１４は、サーチエリア記憶部１１３より供給された検索領域から、テンプレート記憶部１１２より供給された追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部１１１および画像拡大処理部３４に供給する。   The tracking processing unit 114 detects an image object to be tracked supplied from the template storage unit 112 from the search area supplied from the search area storage unit 113, and tracks position information indicating the position of the detected image object. This is supplied to the object instruction unit 111 and the image enlargement processing unit 34.

画像オブジェクトの追尾が指示されている場合、追尾オブジェクト指示部１１１は、追尾処理部１１４より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部１１２に供給する。その後、テンプレート記憶部１１２は、追尾オブジェクト指示部１１１より供給された位置情報を基に、画像入力部５１より供給された画像データから画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶して、追尾の処理が繰り返される。   When the tracking of the image object is instructed, the tracking object instructing unit 111 acquires position information indicating the position of the detected image object supplied from the tracking processing unit 114, and uses the acquired position information as the template storage unit 112. To supply. Thereafter, the template storage unit 112 extracts the image object from the image data supplied from the image input unit 51 based on the position information supplied from the tracking object instruction unit 111, stores the extracted image object, and performs tracking. The process is repeated.

画像拡大処理部３４は、拡大パラメータ指示部１３１および拡大処理部１３２から構成される。   The image enlargement processing unit 34 includes an enlargement parameter instruction unit 131 and an enlargement processing unit 132.

拡大パラメータ指示部１３１は、制御ＣＰＵ９２より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部１１４より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ（拡大位置、拡大率）を生成し、生成した拡大パラメータを拡大処理部１３２に供給する。   The enlargement parameter instruction unit 131 extracts the enlargement rate from the enlargement control signal supplied from the control CPU 92, and indicates the position of the extracted enlargement rate and the position of the image object to be tracked supplied from the tracking processing unit 114. Based on the information, an enlargement parameter (enlargement position, enlargement rate) is generated, and the generated enlargement parameter is supplied to the enlargement processing unit 132.

拡大処理部１３２は、拡大パラメータ指示部１３１より供給された拡大パラメータを基に、画像入力部５１より供給された画像データにより表示される画像データの一部を拡大し、拡大した画像の一部を示す画像データ（画像オブジェクト）を画像入出力部３１の画像出力部５２に供給する。   The enlargement processing unit 132 enlarges a part of the image data displayed by the image data supplied from the image input unit 51 based on the enlargement parameter supplied from the enlargement parameter instruction unit 131, and a part of the enlarged image. Is supplied to the image output unit 52 of the image input / output unit 31.

画像入出力部３１の画像出力部５２は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置１４に出力して、画像提示装置１４に追尾され、拡大された画像オブジェクトを表示させる。   The image output unit 52 of the image input / output unit 31 outputs image data indicating the tracked and enlarged image object to the image presentation device 14, and causes the image presentation device 14 to display the tracked and enlarged image object. .

以下、図２乃至図７の図を参照して、リモートコントローラ１３による画像オブジェクトの設定の処理について説明する。   The image object setting process performed by the remote controller 13 will be described below with reference to FIGS. 2 to 7.

図２乃至図７で示される例において、画像提示装置１４は、人の画像を表示している。また、リモートコントローラ１３のキー入力部７１は、追尾位置指定ボタン１４１、枠移動ボタン１４２、拡大ボタン１４３、縮小ボタン１４４、および決定ボタン１４５を備える。   In the example shown in FIGS. 2 to 7, the image presentation device 14 displays an image of a person. The key input unit 71 of the remote controller 13 includes a tracking position designation button 141, a frame moving button 142, an enlarge button 143, a reduce button 144, and an enter button 145.

図２で示される例において、画像提示装置１４は、画像出力部５２より供給された画像データを基に、人の全身の画像を表示している。また、ユーザによりリモートコントローラ１３は操作されていない。   In the example shown in FIG. 2, the image presentation device 14 displays an image of a person's whole body based on the image data supplied from the image output unit 52. Further, the remote controller 13 is not operated by the user.

図３で示されるように、ユーザによりリモートコントローラ１３の追尾位置指定ボタン１４１が押下された場合、キー入力部７１は、追尾位置の指定の開始を示す操作信号を生成し、生成した操作信号を送信部７２に供給する。送信部７２は、操作信号に対応する、追尾位置の指定の開始を指示する制御信号を画像処理装置１２に送信する。   As shown in FIG. 3, when the tracking position specifying button 141 of the remote controller 13 is pressed by the user, the key input unit 71 generates an operation signal indicating the start of specifying the tracking position, and displays the generated operation signal. The data is supplied to the transmission unit 72. The transmitting unit 72 transmits a control signal corresponding to the operation signal to instruct the start of specifying the tracking position to the image processing device 12.

画像処理装置１２は、リモートコントローラ１３から送信されてきた、追尾位置の指定の開始を指示する制御信号を受信すると、図３で示されるように、画像提示装置１４に、枠１５１が重畳された画像を表示させる。なお、枠１５１は、初期位置に表示される。   When the image processing apparatus 12 receives the control signal transmitted from the remote controller 13 and instructing the start of specifying the tracking position, the frame 151 is superimposed on the image presentation apparatus 14 as shown in FIG. Display an image. The frame 151 is displayed at the initial position.

図４で示されるように、ユーザによりリモートコントローラ１３の枠移動ボタン１４２が押下された場合、画像処理装置１２は、図４で示されるように、画像提示装置１４に、枠１５１を移動させた画像を表示させる。   As illustrated in FIG. 4, when the frame move button 142 of the remote controller 13 is pressed by the user, the image processing apparatus 12 moves the frame 151 to the image presentation apparatus 14 as illustrated in FIG. 4. Display an image.

図５で示されるように、ユーザによりリモートコントローラ１３の拡大ボタン１４３が押下された場合、画像処理装置１２は、図５で示されるように、画像提示装置１４に、拡大した枠１５１を重畳した画像を表示させる。すなわち、図５において、枠１５１の外側の四角の枠が拡大後の枠１５１となる。   As illustrated in FIG. 5, when the enlarge button 143 of the remote controller 13 is pressed by the user, the image processing device 12 superimposes the enlarged frame 151 on the image presentation device 14 as illustrated in FIG. 5. Display an image. That is, in FIG. 5, the square frame outside the frame 151 becomes the enlarged frame 151.

図６で示されるように、ユーザによりリモートコントローラ１３の縮小ボタン１４４が押下された場合、画像処理装置１２は、図６で示されるように、画像提示装置１４に、縮小した枠１５１を重畳した画像を表示させる。すなわち、図６において、枠１５１の内側の四角の枠が縮小後の枠１５１となる。   As shown in FIG. 6, when the user presses the reduction button 144 of the remote controller 13, the image processing device 12 superimposes the reduced frame 151 on the image presentation device 14 as shown in FIG. 6. Display an image. That is, in FIG. 6, the rectangular frame inside the frame 151 becomes the reduced frame 151.

図７で示されるように、ユーザによりリモートコントローラ１３の決定ボタン１４５が押下された場合、画像処理装置１２は、枠１５１で指定されていた人の顔の画像である画像オブジェクトを拡大して、画像提示装置１４に、拡大した人の顔の画像を表示しさせる。そして、追尾の処理が開始される。すなわち、この拡大された人の顔の画像は、追尾される画像オブジェクトである。   As shown in FIG. 7, when the user presses the enter button 145 of the remote controller 13, the image processing device 12 enlarges an image object that is an image of a person's face specified by the frame 151, The image presentation device 14 is caused to display an enlarged image of the human face. Then, the tracking process is started. That is, the enlarged human face image is an image object to be tracked.

次に、図８および図９を参照して追尾について説明する。   Next, tracking will be described with reference to FIGS.

追尾とは、追尾の対象とした画像オブジェクトを画像から検出し、画像上の画像オブジェクトの位置を特定することをいう。   Tracking refers to detecting an image object as a tracking target from an image and specifying the position of the image object on the image.

図８は、歩いている人の画像の例を示す図である。図８Ａで示されるように、所定の時刻において、画面の左側に表示されている、左から右に歩いている人の画像は、所定の時刻を経過すると、図８Ｂで示されるように、画面の右側に表示される。   FIG. 8 is a diagram illustrating an example of an image of a person walking. As shown in FIG. 8A, an image of a person walking from left to right displayed on the left side of the screen at a predetermined time is displayed on the screen as shown in FIG. 8B after the predetermined time has elapsed. Displayed on the right side of.

追尾をしない場合、画像提示装置１４に、歩いている人の全身が表示される。   When tracking is not performed, the whole body of the walking person is displayed on the image presentation device 14.

一方、追尾をする場合、リモートコントローラ１３を操作することで、枠１５１の位置または大きさが指定され、追尾の対象（画像オブジェクト）が決定される。例えば、図８Ａで示されるように、画像提示装置１４に表示された人の顔に枠１５１を指定することにより、追尾の対象となる画像オブジェクトである人の顔の追尾が指示される。   On the other hand, in the case of tracking, the position or size of the frame 151 is designated by operating the remote controller 13, and the tracking target (image object) is determined. For example, as shown in FIG. 8A, by specifying a frame 151 on the face of the person displayed on the image presentation device 14, the tracking of the face of the person who is the image object to be tracked is instructed.

図９は、追尾され、拡大された画像オブジェクトの例を示す図である。図９Ａで示される画像は、図８Ａの枠１５１で指定されている、追尾の対象である画像オブジェクトを拡大したものである。また、図９Ｂで示される画像は、追尾された画像オブジェクト（図８Ｂの枠１５１で示される画像オブジェクト）を拡大したものである。   FIG. 9 is a diagram illustrating an example of an image object that has been tracked and enlarged. The image shown in FIG. 9A is an enlargement of the image object that is the target of tracking specified in the frame 151 in FIG. 8A. Further, the image shown in FIG. 9B is an enlarged version of the tracked image object (the image object shown by the frame 151 in FIG. 8B).

追尾の対象となる画像オブジェクトである人の顔の追尾が指示されると、画像処理装置１２は、入力された画像データから、追尾の対象となる画像オブジェクトを検出して、画像上の画像オブジェクトの位置を特定し、特定された位置を基準として、画像を拡大して、画像提示装置１４に表示させる。その結果、画像提示装置１４に、追尾の対象とした人の顔を拡大した画像が表示される。   When tracking of the face of a person who is an image object to be tracked is instructed, the image processing device 12 detects the image object to be tracked from the input image data, and the image object on the image is detected. And the image is enlarged and displayed on the image presentation device 14 based on the specified position. As a result, an image obtained by enlarging the face of the person targeted for tracking is displayed on the image presentation device 14.

以上のようにして、追尾が行われる。   Tracking is performed as described above.

また、提示された画像をＣＣＤ（Charge Coupled Devices）で撮影し、ポインティングを行う画像処理システムが用いられている。   In addition, an image processing system is used in which a presented image is taken by a CCD (Charge Coupled Devices) and pointing is performed.

冷蔵庫に保管される保管物を各々表す複数のアイコンデータをサーバに接続されているハードディスクに予め記憶しておき、冷蔵庫に保管物を保管する際に当該保管物を示す画像の画像データをリモコンのＣＣＤセンサによって取得し、取得した画像データに基づいて当該保管物を特定し、特定した保管物に対応するアイコンデータが示すアイコンを必要に応じてモニタに表示する手法がある。（例えば、特許文献１参照）   A plurality of icon data respectively representing stored items stored in the refrigerator is stored in advance in a hard disk connected to the server, and when storing the stored items in the refrigerator, the image data of the image indicating the stored items is stored on the remote controller. There is a method of acquiring a stored item based on image data acquired by a CCD sensor and displaying an icon indicated by icon data corresponding to the specified stored item on a monitor as necessary. (For example, see Patent Document 1)

また、キーを押下するとレーザーポインタが発光し、キーを放すとＣＣＤカメラが表示画面を撮像し、表示画面像及び指示ポイント像を含むＣＣＤ入力画像を取得し、表示画面像の辺や指示ポイント像の画像上の位置情報を求め、位置情報から表示画面上の指示ポイントの座標を求め、座標情報を指示画面表示装置に送信する手法がある。（例えば、特許文献２参照）   Also, when the key is pressed, the laser pointer emits light, and when the key is released, the CCD camera captures the display screen, obtains the CCD input image including the display screen image and the indication point image, and displays the side of the display screen image and the indication point image. There is a method for obtaining position information on the image, obtaining the coordinates of the instruction point on the display screen from the position information, and transmitting the coordinate information to the instruction screen display device. (For example, see Patent Document 2)

また、赤外ポインターを用いて画像表示領域に投写されたスポット光の位置検出を行うシステムにおいて、画像表示領域を撮像するＣＣＤカメラと、撮像された画像表示領域に含まれるスポット光の指示位置を検出し、赤外ポインターによる指示動作時に、赤外ポインターから送信されてくる状態信号を受信し、状態信号の受信タイミングに基づくスポット光の検出位置を画像表示領域上における指示位置として検出するように構成する手法がある。（例えば、特許文献３参照）   Further, in a system that detects the position of a spot light projected on an image display area using an infrared pointer, a CCD camera that images the image display area and an indication position of the spot light included in the captured image display area are displayed. Detecting and receiving the status signal transmitted from the infrared pointer during the pointing operation by the infrared pointer, and detecting the spot light detection position based on the reception timing of the status signal as the pointing position on the image display area There are techniques to configure. (For example, see Patent Document 3)

また、画像を表示する為のプロジェクタと、ディスプレイ領域を撮像するＣＣＤカメラと、撮像信号に基づき、ディスプレイ領域に含まれるプレゼンターの指示画像の影の領域、または実像領域からポインティング位置を検出する手法がある。（例えば、特許文献４参照）   In addition, there is a method for detecting a pointing position from a shadow area or a real image area of an instruction image of a presenter included in a display area based on an imaging signal, a projector for displaying an image, a CCD camera for imaging a display area, and an imaging signal. is there. (For example, see Patent Document 4)

特開２００２−９２３０８号公報JP 2002-92308 A

特開２００１−２３６１８１号公報JP 2001-236181 A

特開２００１−２３６１７９号公報JP 2001-236179 A

特開平１１−３４５０８７号公報Japanese Patent Laid-Open No. 11-345087

しかしながら、従来は、ＯＳＤ（On Screen Device）とカーソルなどを組み合わせてポインティングをしていたため、所望の位置のポインティングを迅速かつ簡単に行うことができなかった。   However, conventionally, since pointing is performed by combining an OSD (On Screen Device) and a cursor, pointing at a desired position cannot be performed quickly and easily.

また、ＣＣＤの撮像時の部屋の明るさなどの影響を受けてしまうと、検出する座標の位置などに誤差が生じてしまい、画像オブジェクトのポインティングを正確に行うことができなかった。   In addition, if it is affected by the brightness of the room at the time of image capturing of the CCD, an error occurs in the position of coordinates to be detected and the pointing of the image object cannot be performed accurately.

そのため、画像オブジェクトのポインティングにおいて、迅速に簡単なポインティングが行われているとは言えなかった。   Therefore, it cannot be said that quick and simple pointing is performed in pointing of an image object.

本発明の画像処理システムは、リモートコントローラが、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段と、画像オブジェクトの決定を画像処理装置に指示する入力手段と、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示を画像処理装置に送信する送信手段とを含み、画像処理装置は、リモートコントローラから送信されてきた第２の画像データ、または画像オブジェクトの決定の指示を受信する受信手段と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出手段と、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御手段とを含み、検出手段は、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出することを特徴とする。 In the image processing system of the present invention, the remote controller determines an image object and an imaging unit that captures an image object included in the image displayed by the first image data output from the image processing apparatus. Input means for instructing the image processing apparatus, and transmission means for transmitting second image data obtained by imaging the image object or an instruction for determining the image object to the image processing apparatus. Receiving means for receiving second image data or an instruction for determining an image object transmitted from the controller; detecting means for detecting an image object from the first image data based on the second image data ; as to display a frame indicating the detected image objects, including a display control means for controlling the display of an image , Detecting means, if the determination of the image object is designated, the first image data, and detects an image frame as an image object to be tracked.

本発明のリモートコントローラは、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段と、画像オブジェクトの決定を画像処理装置に指示する入力手段と、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示を画像処理装置に送信する送信手段とを備えることを特徴とする。 The remote controller according to the present invention instructs the image processing apparatus to determine an image object and an imaging unit that captures an image object included in the image displayed by the first image data output from the image processing apparatus. And an input unit for transmitting the second image data obtained by capturing the image object or an instruction for determining the image object to the image processing apparatus.

入力手段は、画像オブジェクトの拡大率を画像処理装置に指示し、送信手段は、さらに画像処理装置に、画像オブジェクトの拡大率の指示を送信するようにすることができる。 The input means may instruct the image processing apparatus to specify an enlargement ratio of the image object, and the transmission means may further transmit an instruction of the enlargement ratio of the image object to the image processing apparatus.

制御方法は、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの決定の画像処理装置への指示を制御する入力制御ステップと、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示の画像処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。 The control method includes an imaging control step for controlling imaging of an image object included in an image displayed by the first image data output from the image processing apparatus, and determination of the image object to the image processing apparatus. An input control step for controlling the instruction; and a transmission control step for controlling transmission of the second image data obtained by imaging the image object or an instruction for determining the image object to the image processing apparatus. To do.

本発明の第１の記録媒体のプログラムは、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの決定の画像処理装置への指示を制御する入力制御ステップと、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示の画像処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。 The first recording medium program of the present invention includes an imaging control step for controlling imaging of an image object included in an image displayed by the first image data output from the image processing apparatus, and an image object. Input control step for controlling an instruction to determine the image processing apparatus, and transmission control for controlling transmission of the second image data obtained by imaging the image object or an instruction to determine the image object to the image processing apparatus And a step.

本発明の第１のプログラムは、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの決定の画像処理装置への指示を制御する入力制御ステップと、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示の画像処理装置への送信を制御する送信制御ステップとをコンピュータに実行させることを特徴とする。 The first program of the present invention includes an imaging control step for controlling imaging of an image object included in an image displayed by the first image data output from the image processing apparatus , and determination of the image object. An input control step for controlling an instruction to the image processing device, and a transmission control step for controlling transmission of the second image data obtained by imaging the image object or an instruction for determining the image object to the image processing device. The computer is executed.

本発明の画像処理装置は、リモートコントローラから送信されてきた、自分が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示を受信する受信手段と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出手段と、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御手段とを備え、検出手段は、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出する。 The image processing apparatus according to the present invention includes second image data obtained by capturing an image displayed by the first image data output from the remote controller and output from the remote controller , or an image object. A receiving means for receiving an instruction for determination, a detecting means for detecting an image object from the first image data based on the second image data, and a frame indicating the detected image object are displayed. Display control means for controlling display, and when the determination of the image object is instructed, the detection means detects the image of the frame as the image object to be tracked from the first image data .

受信手段は、リモートコントローラから送信されてきた、画像オブジェクトの拡大率の
指示をさらに受信し、表示制御手段は、指示された拡大率に対応する、枠を表示させるよ
うに、画像の表示を制御するようにすることができる。 The receiving means is for the enlargement ratio of the image object transmitted from the remote controller.
The instruction is further received, and the display control means displays a frame corresponding to the designated enlargement ratio.
Thus, the display of the image can be controlled .

第１の画像データに対応する所定の検索領域の画像データを記憶する第１の記憶手段と、第２の画像データを記憶する第２の記憶手段とがさらに設けられており、検出手段は、第１の記憶手段に記憶された検索領域の画像データから、第２の記憶手段に記憶された第２の画像データにより示される、追尾の対象となる画像オブジェクトを検索するようにすることができる。  First storage means for storing image data of a predetermined search area corresponding to the first image data, and second storage means for storing second image data are further provided. An image object to be tracked indicated by the second image data stored in the second storage means can be searched from the image data in the search area stored in the first storage means. .

本発明の画像処理方法は、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップと、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御ステップとを含み、検出ステップの処理によって、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出することを特徴とする。 According to the image processing method of the present invention, the second image data obtained by capturing the image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or the image A reception control step for controlling reception of an object determination instruction , a detection step for detecting an image object from the first image data based on the second image data, and a frame indicating the detected image object are displayed. as, seen including a display control step for controlling the display of images, the processing of the detecting step, if the determination of the image object is instructed, the frame of the first image data, as an image object to be tracked It is characterized by detecting the image .

本発明の第２の記録媒体のプログラムは、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップと、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御ステップとを含み、検出ステップの処理によって、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出することを特徴とする。 The program of the second recording medium of the present invention is a second image obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller. A reception control step for controlling reception of an instruction for determining data or an image object, a detection step for detecting an image object from the first image data based on the second image data, and the detected image object so as to display the frame, seen including a display control step for controlling the display of images, the processing of the detecting step, if the determination of the image object is designated, composed of the first image data, an object tracking image It is characterized by detecting an image of a frame as an object .

本発明の第２のプログラムは、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップと、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御ステップとを含み、検出ステップの処理によって、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出する処理をコンピュータに実行させることを特徴とする。 The second program of the present invention is the second image data obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or A reception control step for controlling reception of an instruction for determining an image object, a detection step for detecting an image object from the first image data based on the second image data, and a frame indicating the detected image object are displayed. A display control step for controlling the display of the image, and when the determination of the image object is instructed by the processing of the detection step, a frame as an image object to be tracked from the first image data The computer is caused to execute processing for detecting the image .

本発明の画像処理システムにおいては、リモートコントローラにより、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトが撮像され、画像オブジェクトの決定が画像処理装置に指示され、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示が画像処理装置に送信され、画像処理装置により、リモートコントローラから送信されてきた第２の画像データ、または画像オブジェクトの決定の指示が受信され、第２の画像データを基に、第１の画像データから画像オブジェクトが検出され、検出された画像オブジェクトを示す枠を表示させるように、画像の表示が制御され、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像が検出される。 In the image processing system of the present invention, by a remote controller, is included in the image displayed by the first image data output from the image processing apparatus, an image object is captured, the determination of the image object is an image processing device is instructed, the second image data obtained by the imaging of the image object or indication of the determination of the image object, is sent to the image processing apparatus, the image processing apparatus, the second image transmitted from a remote controller data or instructions for determining the image object is received, on the basis of the second image data, from the first image data is detected image object, so as to display a frame indicating the detected image object, an image of When the display is controlled and the determination of the image object is instructed, the first image data Et al., The image frame as an image object to be tracked is detected.

本発明のリモートコントローラおよび方法、第１の記録媒体、並びに第１のプログラムにおいては、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトが撮像され、画像オブジェクトの決定が画像処理装置に指示され、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示が画像処理装置に送信される。 Remote controller and method of the present invention, the first recording medium, and the first program, are included in the image displayed by the first image data output from the image processing apparatus, an image object is captured Then , the determination of the image object is instructed to the image processing apparatus, and the second image data obtained by imaging the image object or the instruction to determine the image object is transmitted to the image processing apparatus.

本発明の画像処理装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示が受信され、第２の画像データを基に、第１の画像データから画像オブジェクトが検出され、検出された画像オブジェクトを示す枠を表示させるように、画像の表示が制御され、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像が検出される。 In the image processing apparatus and method, the second recording medium, and the second program of the present invention, an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller is captured. It is received indication of the determination of the obtained second image data or image object, by being, based on the second image data, the image object is detected from the first image data, the detected image object When the display of the image is controlled so that a frame indicating the image is displayed and the determination of the image object is instructed, the image of the frame as the image object to be tracked is detected from the first image data .

第１の本発明によれば、画像オブジェクトを追尾することができる。また、第１の本発明によれば、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。   According to the first aspect of the present invention, an image object can be tracked. In addition, according to the first aspect of the present invention, it is possible to point an image object to be tracked more quickly and easily.

第２の本発明によれば、画像処理装置において、画像オブジェクトをポインティングすることができる。また、第２の本発明によれば、画像処理装置において、より迅速に、より簡単に画像オブジェクトをポインティングすることができる。   According to the second aspect of the present invention, it is possible to point an image object in the image processing apparatus. According to the second aspect of the present invention, an image object can be pointed more quickly and easily in the image processing apparatus.

第３の本発明によれば、画像オブジェクトを追尾することができる。また、第３の本発明によれば、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。   According to the third aspect of the present invention, an image object can be tracked. Further, according to the third aspect of the present invention, it is possible to point to an image object to be tracked more quickly and easily.

以下、図面を参照しながら本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１０は、本発明に係る画像処理システムの一実施の形態の構成を示す図である。   FIG. 10 is a diagram showing a configuration of an embodiment of an image processing system according to the present invention.

画像処理システム２は、画像再生装置１１、画像提示装置１４、画像処理装置２０１、およびリモートコントローラ２０２を含むように構成される。   The image processing system 2 is configured to include an image reproduction device 11, an image presentation device 14, an image processing device 201, and a remote controller 202.

画像再生装置１１は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置２０１に供給する。例えば、画像再生装置１１は、ビデオカセットレコーダ、ハードディスクレコーダ、およびＤＶＤ（Digital Versatile Disk）プレーヤなどの画像再生装置、並びにテレビチューナなどの放送受信装置とすることが可能である。   The image reproduction device 11 reproduces an image or receives a broadcast to generate image data, and supplies the generated image data to the image processing device 201. For example, the image reproducing device 11 can be an image reproducing device such as a video cassette recorder, a hard disk recorder, and a DVD (Digital Versatile Disk) player, and a broadcast receiving device such as a television tuner.

画像提示装置１４は、ＣＲＴ（Cathode-Ray Tube）表示装置または液晶表示装置などからなり、画像処理装置２０１から供給された、画像オブジェクトを追尾した結果の画像データを基に、追尾されている画像オブジェクトを表示する。   The image presentation device 14 includes a CRT (Cathode-Ray Tube) display device or a liquid crystal display device, and is tracked based on image data supplied from the image processing device 201 as a result of tracking an image object. Display the object.

画像処理装置２０１は、リモートコントローラ２０２から供給された制御信号を基に、画像再生装置１１より供給された画像データから、画像オブジェクトを追尾した結果の画像データを生成し、画像提示装置１４に供給する。   Based on the control signal supplied from the remote controller 202, the image processing device 201 generates image data as a result of tracking the image object from the image data supplied from the image reproduction device 11 and supplies the image data to the image presentation device 14. To do.

また、画像処理装置２０１は、例えば、従来のリモートコントローラ１３（図１）にから供給された制御信号を基に、画像データを処理することができる。すなわち、画像処理装置２０１は、単独で画像オブジェクトを追尾する画像処理装置として機能することができる。   The image processing apparatus 201 can process image data based on, for example, a control signal supplied from the conventional remote controller 13 (FIG. 1). That is, the image processing apparatus 201 can function as an image processing apparatus that independently tracks an image object.

リモートコントローラ２０２は、ユーザの操作により、画像処理装置２０１を制御するための制御信号（コマンド）を生成し、生成した制御信号を画像処理装置２０１に供給する。リモートコントローラ２０２の詳細については、図１１を参照して後述する。   The remote controller 202 generates a control signal (command) for controlling the image processing apparatus 201 by a user operation, and supplies the generated control signal to the image processing apparatus 201. Details of the remote controller 202 will be described later with reference to FIG.

画像処理装置２０１は、画像入出力部２２１、制御部２２２、画像追尾処理部２２３、および画像拡大処理部２２４をさらに含む。例えば、画像入出力部２２１、制御部２２２、画像追尾処理部２２３、および画像拡大処理部２２４は、それぞれ、１つの基板として構成される。このようにすることで、機能の追加が容易になる。   The image processing apparatus 201 further includes an image input / output unit 221, a control unit 222, an image tracking processing unit 223, and an image enlargement processing unit 224. For example, the image input / output unit 221, the control unit 222, the image tracking processing unit 223, and the image enlargement processing unit 224 are each configured as one substrate. This makes it easy to add functions.

画像入出力部２２１は、画像再生装置１１から供給された画像データを入力する。また、画像入出力部２２１は、画像オブジェクトを追尾した結果の画像データを画像提示装置１４に供給する。   The image input / output unit 221 inputs the image data supplied from the image reproduction device 11. Further, the image input / output unit 221 supplies image data as a result of tracking the image object to the image presentation device 14.

制御部２２２は、リモートコントローラ２０２から送信されてきた制御信号、および追尾する画像オブジェクトの画像データを受信する。制御部２２２は、制御信号および受信した画像データを基に、画像処理装置２０１全体を制御する。制御部２２２は、追尾する画像オブジェクトの画像データを画像追尾処理部２２３に供給する。   The control unit 222 receives the control signal transmitted from the remote controller 202 and the image data of the image object to be tracked. The control unit 222 controls the entire image processing apparatus 201 based on the control signal and the received image data. The control unit 222 supplies the image data of the image object to be tracked to the image tracking processing unit 223.

画像追尾処理部２２３は、リモートコントローラ２０２から送信され、制御部２２２によって受信され、制御部２２２から供給された追尾する画像オブジェクトの画像データを基に、画像処再生装置１１より供給された画像データから、画像オブジェクトを追尾する。画像追尾処理部２２３は、追尾した画像オブジェクトの画面上の位置を画像拡大処理部２２４に供給する。   The image tracking processing unit 223 is transmitted from the remote controller 202, received by the control unit 222, and based on the image data of the image object to be tracked supplied from the control unit 222, the image data supplied from the image processing reproduction device 11. Then, the image object is tracked. The image tracking processing unit 223 supplies the position of the tracked image object on the screen to the image enlargement processing unit 224.

画像拡大処理部２２４は、画像追尾処理部２２３から供給された、追尾された画像オブジェクトの画面上の位置を基に、画像に含まれる画像オブジェクトを拡大する。画像拡大処理部２２４は、拡大した画像オブジェクトを表示させる画像データを画像入出力部２２１に供給する。   The image enlargement processing unit 224 enlarges the image object included in the image based on the position of the tracked image object supplied from the image tracking processing unit 223 on the screen. The image enlargement processing unit 224 supplies image data for displaying the enlarged image object to the image input / output unit 221.

次に、リモートコントローラ２０２の外観について、図１１を参照して説明する。   Next, the external appearance of the remote controller 202 will be described with reference to FIG.

リモートコントローラ２０２の上面には、ユーザにより押圧操作されるキー入力部２４１が配置され、リモートコントローラ２０２がユーザに把持された場合、リモートコントローラ２０２の画像処理装置２０１側を向く面には、送信部２４２および撮像部２４３が配置されている。   On the upper surface of the remote controller 202, a key input unit 241 to be pressed by the user is arranged. When the remote controller 202 is gripped by the user, the surface of the remote controller 202 facing the image processing apparatus 201 side has a transmitting unit. 242 and an imaging unit 243 are arranged.

キー入力部２４１は、画像オブジェクトを指定するとき、または拡大率を画像処理装置２０１に指示するときなど、ユーザによって操作される。   The key input unit 241 is operated by the user when designating an image object or instructing the image processing apparatus 201 of an enlargement ratio.

また、リモートコントローラ２０２は、単独で視聴環境のセンサとしても機能する。例えば、チャンネルの切り替え、音量の制御、またはその他画質を制御するパラメータの変更などを指示することが可能である。   The remote controller 202 also functions as a viewing environment sensor alone. For example, it is possible to instruct channel switching, volume control, or other parameter change control.

送信部２４２は、画像処理装置２０１に制御信号を送信する。制御信号等を、送信部２４２が画像処理装置２０１に送信する方式、すなわち、リモートコントローラ２０２と画像処理装置２０１との間の通信方式は特に限定しない。例えば、通信方式として、赤外線または無線を用いることができる。   The transmission unit 242 transmits a control signal to the image processing apparatus 201. A method for transmitting a control signal or the like to the image processing apparatus 201 by the transmission unit 242, that is, a communication method between the remote controller 202 and the image processing apparatus 201 is not particularly limited. For example, infrared or wireless can be used as a communication method.

撮像部２４３は、画像提示装置１４に表示された画像を撮像する。例えば、撮像部２４３は、ＣＣＤ（Charge Coupled Device）とすることができる。例えば、撮像部２４３は、望遠レンズからなる光学系を有し、撮像部２４３の視野角は、極めて狭く設定される。   The imaging unit 243 captures an image displayed on the image presentation device 14. For example, the imaging unit 243 can be a CCD (Charge Coupled Device). For example, the imaging unit 243 has an optical system including a telephoto lens, and the viewing angle of the imaging unit 243 is set to be extremely narrow.

このように、撮像部２４３は、画像提示装置１４に表示された画像のうち、一部の画像である画像オブジェクトを撮像するのに適するように構成される。送信部２４２は、撮像された画像オブジェクトの画像データを画像処理装置２０１に送信する。   As described above, the imaging unit 243 is configured to be suitable for capturing an image object that is a part of the image displayed on the image presentation device 14. The transmission unit 242 transmits the image data of the captured image object to the image processing apparatus 201.

図１２は、図１０の構成を有する画像処理システムの構成を示すブロック図である。   FIG. 12 is a block diagram showing the configuration of the image processing system having the configuration of FIG.

リモートコントローラ２０２は、キー入力部２４１、送信部２４２、および撮像部２４３に加えて、制御部２４４を含むように構成されている。   The remote controller 202 is configured to include a control unit 244 in addition to the key input unit 241, the transmission unit 242, and the imaging unit 243.

ユーザによりキー入力部２４１のボタンが押下された場合、キー入力部２４１は、押下されたボタンに対応する操作信号を制御部２４４に供給する。   When the user presses a button on the key input unit 241, the key input unit 241 supplies an operation signal corresponding to the pressed button to the control unit 244.

撮像部２４３は、制御部２４４の制御を基に、画像提示装置１４に表示された画像のうち、追尾する画像オブジェクトを撮像し、撮像により生成された画像データを制御部２４４に供給する。   Based on the control of the control unit 244, the imaging unit 243 captures an image object to be tracked among images displayed on the image presentation device 14, and supplies image data generated by the imaging to the control unit 244.

以下、撮像部２４３の撮像により生成された画像データを、撮像データと称する。   Hereinafter, the image data generated by the imaging of the imaging unit 243 is referred to as imaging data.

送信部２４２は、制御部２４４の制御を基に、キー入力部２４１からの操作信号に対応する制御信号を画像処理装置２０１に送信すると共に、撮像部２４３の撮像により生成された撮像データを画像処理装置２０１に送信する。   The transmission unit 242 transmits a control signal corresponding to the operation signal from the key input unit 241 to the image processing device 201 based on the control of the control unit 244, and captures image data generated by the imaging of the imaging unit 243 as an image. It transmits to the processing apparatus 201.

画像入出力部２２１は、画像入力部２６１および画像出力部２６２をさらに含むように構成される。   The image input / output unit 221 is configured to further include an image input unit 261 and an image output unit 262.

画像入力部２６１は、画像再生装置１１より供給された画像データを入力して、入力した画像データを画像出力部２６２および画像追尾処理部２２３に供給する。   The image input unit 261 inputs the image data supplied from the image reproduction device 11 and supplies the input image data to the image output unit 262 and the image tracking processing unit 223.

画像出力部２６２は、画像入力部２６１より供給された画像データ、または画像拡大処理部２２４から供給された、追尾する画像オブジェクトを拡大した画像データのいずれか一方を選択する。また、画像処理部２６２は、制御部２２２から供給された、後述する枠などを表示するための表示データを、選択した画像データに重畳する。画像出力部２６２は、選択した画像データを画像提示装置１４に供給する。   The image output unit 262 selects either the image data supplied from the image input unit 261 or the image data supplied from the image enlargement processing unit 224 and obtained by enlarging the image object to be tracked. Further, the image processing unit 262 superimposes display data supplied from the control unit 222 for displaying a frame and the like described later on the selected image data. The image output unit 262 supplies the selected image data to the image presentation device 14.

制御部２２２は、受信部２８１、制御ＣＰＵ２８２、およびＯＳＤ表示制御部２８３を含むように構成される。   The control unit 222 is configured to include a reception unit 281, a control CPU 282, and an OSD display control unit 283.

受信部２８１は、送信部２４２より送信された制御信号を受信し、受信した制御信号を制御ＣＰＵ２８２に供給する。また、受信部２８１は、送信部２４２より送信された、追尾する画像オブジェクトの撮像データを受信し、受信した撮像データを画像追尾処理部２２３に供給する。   The receiving unit 281 receives the control signal transmitted from the transmitting unit 242 and supplies the received control signal to the control CPU 282. In addition, the reception unit 281 receives imaging data of the image object to be tracked transmitted from the transmission unit 242 and supplies the received imaging data to the image tracking processing unit 223.

制御ＣＰＵ２８２は、受信部２８１より供給された制御信号を基に、ＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を生成し、生成したＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を、それぞれ、ＯＳＤ表示制御部２８３、画像追尾処理部２２３および画像拡大処理部２２４に供給する。   The control CPU 282 generates an OSD display control signal, a tracking control signal, and an enlargement control signal based on the control signal supplied from the receiving unit 281, and generates the generated OSD display control signal, tracking control signal, and enlargement control signal, respectively. The OSD display control unit 283, the image tracking processing unit 223, and the image enlargement processing unit 224 are supplied.

画像追尾処理部２２３は、追尾オブジェクト指示部３０１、テンプレート記憶部３０２、サーチエリア記憶部３０３、および追尾処理部３０４を含むように構成される。   The image tracking processing unit 223 is configured to include a tracking object instruction unit 301, a template storage unit 302, a search area storage unit 303, and a tracking processing unit 304.

追尾オブジェクト指示部３０１は、制御ＣＰＵ２８２より供給された追尾制御信号に含まれる追尾領域の位置情報を抽出し、抽出した追尾領域の位置情報をテンプレート記憶部３０２に供給する。   The tracking object instruction unit 301 extracts tracking area position information included in the tracking control signal supplied from the control CPU 282, and supplies the extracted tracking area position information to the template storage unit 302.

テンプレート記憶部３０２は、追尾する画像オブジェクトを示す、受信部２８１から供給された撮像データを記憶する。または、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された追尾領域の位置情報を基に、画像入力部２６１より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。   The template storage unit 302 stores imaging data supplied from the reception unit 281 that indicates an image object to be tracked. Alternatively, the template storage unit 302 extracts the image object of the tracking area from the image data supplied from the image input unit 261 based on the position information of the tracking area supplied from the tracking object instruction unit 301, and extracts the extracted image object Remember.

例えば、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報を基に、画像入力部２６１より供給された画像データから、６４画素×６４画素の領域の画像オブジェクト（の画像データ）を抽出し、抽出した画像オブジェクトを追尾する画像オブジェクトとして記憶する。   For example, the template storage unit 302, based on the position information supplied from the tracking object instruction unit 301, from the image data supplied from the image input unit 261 (image data of an area of 64 pixels × 64 pixels). And the extracted image object is stored as a tracking image object.

以下、追尾される画像オブジェクトが抽出される領域を追尾領域とも称する。   Hereinafter, an area from which an image object to be tracked is extracted is also referred to as a tracking area.

テンプレート記憶部３０２は、記憶している画像オブジェクトを示す画像データを追尾処理部３０４に供給する。   The template storage unit 302 supplies image data indicating the stored image object to the tracking processing unit 304.

サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。サーチエリア記憶部３０３は、記憶している検索領域の画像データを追尾処理部３０４に供給する。   The search area storage unit 303 extracts the image data of the search area (search area) from the image data supplied from the image input unit 261, and stores the extracted image data of the search area. The search area storage unit 303 supplies the stored image data of the search area to the tracking processing unit 304.

例えば、サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから、１２８画素×１２８画素の検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。   For example, the search area storage unit 303 extracts image data of a search area (search area) of 128 pixels × 128 pixels from the image data supplied from the image input unit 261, and stores the extracted image data of the search area. .

追尾処理部３０４は、サーチエリア記憶部３０３より供給された検索領域から、テンプレート記憶部３０２より供給された画像データより示される、追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部３０１および画像拡大処理部２２４に供給する。   The tracking processing unit 304 detects an image object to be tracked indicated by the image data supplied from the template storage unit 302 from the search area supplied from the search area storage unit 303, and the position of the detected image object Is supplied to the tracking object instruction unit 301 and the image enlargement processing unit 224.

画像オブジェクトの追尾が指示されている場合、追尾オブジェクト指示部３０１は、追尾処理部３０４より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部３０２に供給する。その後、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報を基に、画像入力部２６１より供給された画像データから画像オブジェクト（の画像データ）を抽出し、抽出した画像オブジェクトを追尾する画像オブジェクトとして記憶して、追尾の処理が繰り返される。   When the tracking of the image object is instructed, the tracking object instruction unit 301 acquires the positional information supplied from the tracking processing unit 304 and indicating the position of the detected image object, and the acquired positional information is the template storage unit 302. To supply. Thereafter, the template storage unit 302 extracts an image object (image data thereof) from the image data supplied from the image input unit 261 based on the position information supplied from the tracking object instruction unit 301, and extracts the extracted image object. This is stored as an image object to be tracked, and the tracking process is repeated.

画像拡大処理部２２４は、拡大パラメータ指示部３２１および拡大処理部３２２を含むように構成される。   The image enlargement processing unit 224 is configured to include an enlargement parameter instruction unit 321 and an enlargement processing unit 322.

拡大パラメータ指示部３２１は、制御ＣＰＵ２８２より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部３０４より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ（拡大位置、拡大率などを指定するパラメータ）を生成し、生成した拡大パラメータを拡大処理部３２２に供給する。   The enlargement parameter instruction unit 321 extracts the enlargement rate from the enlargement control signal supplied from the control CPU 282, and the position indicating the extracted enlargement rate and the position of the image object to be tracked supplied from the tracking processing unit 304. Based on the information, an enlargement parameter (a parameter for designating an enlargement position, an enlargement ratio, etc.) is generated, and the generated enlargement parameter is supplied to the enlargement processing unit 322.

拡大処理部３２２は、拡大パラメータ指示部３２１より供給された拡大パラメータを基に、画像入力部２６１より供給された画像データにより表示される画像データの一部を拡大し、拡大した画像の画像データ（画像オブジェクト）を画像入出力部２２１の画像出力部２６２に供給する。   The enlargement processing unit 322 enlarges a part of the image data displayed by the image data supplied from the image input unit 261 based on the enlargement parameter supplied from the enlargement parameter instruction unit 321, and the image data of the enlarged image (Image object) is supplied to the image output unit 262 of the image input / output unit 221.

画像入出力部２２１の画像出力部２６２は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置１４に出力して、画像提示装置１４に追尾され、拡大された画像オブジェクトを表示させる。   The image output unit 262 of the image input / output unit 221 outputs image data indicating the tracked and enlarged image object to the image presentation device 14, and causes the image presentation device 14 to display the tracked and enlarged image object. .

画像提示装置１４は、画像出力部２６２より供給された画像データを基に、画像を表示する。   The image presentation device 14 displays an image based on the image data supplied from the image output unit 262.

このように、リモートコントローラ２０２は、表示されている画像から追尾する画像オブジェクトを撮像して、追尾する画像オブジェクトを示す撮像データを生成して、生成した撮像データを画像処理装置２０１に供給する。画像処理装置２０１は、リモートコントローラ２０２から供給された、追尾する画像オブジェクトを示す撮像データを基に、画像データから画像オブジェクトを検出して、検出した画像オブジェクトの位置を特定することができる。   As described above, the remote controller 202 captures an image object to be tracked from the displayed image, generates image capturing data indicating the image object to be tracked, and supplies the generated image capturing data to the image processing apparatus 201. The image processing apparatus 201 can detect the image object from the image data based on the imaging data indicating the image object to be tracked supplied from the remote controller 202 and specify the position of the detected image object.

図１３は、図１２の構成を有する画像処理システムによる、追尾の処理を説明するフローチャートである。   FIG. 13 is a flowchart for explaining tracking processing by the image processing system having the configuration of FIG.

ステップＳ１において、画像再生装置１１は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置２０１に供給する。   In step S <b> 1, the image reproduction device 11 reproduces an image or receives a broadcast to generate image data, and supplies the generated image data to the image processing device 201.

ステップＳ２において、画像処理装置２０１の画像入力部２６１は、画像再生装置１１より供給された画像データを取得し、取得した画像データを画像出力部２６２に供給する。画像出力部２６２は、画像入力部２６１より供給された画像データを取得し、取得した画像データを画像提示装置１４に供給する。   In step S <b> 2, the image input unit 261 of the image processing apparatus 201 acquires the image data supplied from the image reproduction device 11 and supplies the acquired image data to the image output unit 262. The image output unit 262 acquires the image data supplied from the image input unit 261 and supplies the acquired image data to the image presentation device 14.

ステップＳ３において、画像提示装置１４は、画像出力部２６２より供給された画像データを基に、画像を表示する。この場合、追尾の指定を行っていないので、画像再生装置１１より供給された画像データが、そのまま画像提示装置１４に供給され、画像データによる画像が画像提示装置１４に表示される。   In step S <b> 3, the image presentation device 14 displays an image based on the image data supplied from the image output unit 262. In this case, since tracking is not designated, the image data supplied from the image reproduction device 11 is supplied to the image presentation device 14 as it is, and an image based on the image data is displayed on the image presentation device 14.

図１４の左側は、画像提示装置１４に表示されている画像を示す。例えば、画像提示装置１４には、人の画像が表示される。   The left side of FIG. 14 shows an image displayed on the image presentation device 14. For example, an image of a person is displayed on the image presentation device 14.

また、図１４の右側は、リモートコントローラ２０２を示す。リモートコントローラ２０２のキー入力部２４１は、追尾位置指定ボタン３４１、拡大ボタン３４２、縮小ボタン３４３、および決定ボタン３４４を備える。   The right side of FIG. 14 shows the remote controller 202. The key input unit 241 of the remote controller 202 includes a tracking position designation button 341, an enlargement button 342, a reduction button 343, and an enter button 344.

ステップＳ４において、制御部２４４は、キー入力部２４１からの操作信号を基に、ユーザがキー入力部２４１の追尾位置指定ボタン３４１を押下したか否か判定する。   In step S <b> 4, the control unit 244 determines whether the user has pressed the tracking position designation button 341 of the key input unit 241 based on the operation signal from the key input unit 241.

ステップＳ４において、ユーザが追尾位置指定ボタン３４１を押下したと判定された場合、ステップＳ５に進み、画像処理装置２０１およびリモートコントローラ２０２は、追尾設定の処理を実行する。追尾の設定の処理の詳細は後述する。   If it is determined in step S4 that the user has pressed the tracking position designation button 341, the process proceeds to step S5, and the image processing apparatus 201 and the remote controller 202 execute tracking setting processing. Details of the tracking setting process will be described later.

ステップＳ６において、画像処理装置２０１は、追尾の処理を実行して、処理は終了する。追尾の処理の詳細は後述する。   In step S6, the image processing apparatus 201 executes a tracking process, and the process ends. Details of the tracking process will be described later.

ステップＳ４において、ユーザが追尾指定ボタン３４１を押下していないと判定された場合、ステップＳ５およびステップＳ６の処理はスキップされて、追尾の処理は実行されず、画像提示装置１４は、画像再生装置１１より供給された画像を表示して、処理は終了する。   If it is determined in step S4 that the user has not pressed the tracking designation button 341, the processing in step S5 and step S6 is skipped, the tracking processing is not executed, and the image presentation device 14 The image supplied from 11 is displayed and the process ends.

次に、ステップＳ５の追尾の設定の処理に対応する、追尾の設定の処理の詳細について、図１５のフローチャートを参照して説明する。   Next, details of the tracking setting process corresponding to the tracking setting process of step S5 will be described with reference to the flowchart of FIG.

ステップＳ１０１において、ユーザによる、リモートコントローラ２０２の操作に対応して、リモートコントローラ２０２の撮像部２４３は、画像提示装置１４に表示されている画像を撮像する。   In step S <b> 101, the imaging unit 243 of the remote controller 202 captures an image displayed on the image presentation device 14 in response to a user operation on the remote controller 202.

図１６で示されるように、リモートコントローラ２０２の撮像部２４３は、画像提示装置１４に表示される画像のうち、図中において円で示される領域の画像を撮像する。ユーザは、リモートコントローラ２０２を上下左右に動かしたり、向きを変えたりすることで、画像提示装置１４に表示される画像のうち、所望の領域の画像をリモートコントローラ２０２に撮像させることができる。   As illustrated in FIG. 16, the imaging unit 243 of the remote controller 202 captures an image of a region indicated by a circle in the drawing among images displayed on the image presentation device 14. The user can cause the remote controller 202 to capture an image of a desired region among images displayed on the image presentation device 14 by moving the remote controller 202 up and down, left and right, or changing the orientation.

撮像部２４３が撮像する撮像データの詳細について、図１７を参照して説明する。   Details of the imaging data captured by the imaging unit 243 will be described with reference to FIG.

図１７Ａは、画像提示装置１４に表示される円を含む画像の例を示す。   FIG. 17A shows an example of an image including a circle displayed on the image presentation device 14.

図１７Ｂは、画像提示装置１４に表示される円を含む画像のうち、リモートコントローラ２０２の撮像部２４３により、撮像されている領域３５１を示す。ユーザがリモートコントローラ２０２を動かすとと、画像提示装置１４に表示される画像のうち、リモートコントローラ２０２の撮像部２４３により、表示されている画像に対して、撮像される領域３５１が移動する。例えば、図１７Ｂに示される例においては、リモートコントローラ２０２の撮像部２４３は、画像提示装置１４に表示される円を含む画像のうち、円の左上の扇形の部分を撮像している。   FIG. 17B shows a region 351 captured by the imaging unit 243 of the remote controller 202 in the image including the circle displayed on the image presentation device 14. When the user moves the remote controller 202, the imaged area 351 is moved relative to the image displayed by the imaging unit 243 of the remote controller 202 among the images displayed on the image presentation device 14. For example, in the example illustrated in FIG. 17B, the imaging unit 243 of the remote controller 202 captures a fan-shaped portion at the upper left of the circle in the image including the circle displayed on the image presentation device 14.

図１７Ｃは、撮像部２４３が、撮像した画像３５２を表す。例えば、撮像部２４３は、画像提示装置１４に表示される画像のうち、円の左上の扇形の部分の画像３５２を撮像する。   FIG. 17C shows an image 352 captured by the imaging unit 243. For example, the imaging unit 243 captures an image 352 of a fan-shaped portion at the upper left of the circle among the images displayed on the image presentation device 14.

ステップＳ１０２において、リモートコントローラ２０２の送信部２４２は、ステップＳ１０１において、撮像部２４３により撮像された画像３５２を、画像処理装置２０１の受信部２８１に送信する。より詳細には、ステップＳ１０２において、送信部２４２は、撮像部２４３により撮像された画像３５２に対応する撮像データを、受信部２８１に送信する。   In step S102, the transmission unit 242 of the remote controller 202 transmits the image 352 captured by the imaging unit 243 to the reception unit 281 of the image processing apparatus 201 in step S101. More specifically, in step S <b> 102, the transmission unit 242 transmits imaging data corresponding to the image 352 captured by the imaging unit 243 to the reception unit 281.

ステップＳ１０３において、画像処理装置２０１の受信部２８１は、リモートコントローラ２０２の送信部２４２から送信された撮像データを受信し、受信した撮像データを制御ＣＰＵ２８２およびテンプレート記憶部３０２に供給する。   In step S <b> 103, the reception unit 281 of the image processing apparatus 201 receives the imaging data transmitted from the transmission unit 242 of the remote controller 202 and supplies the received imaging data to the control CPU 282 and the template storage unit 302.

図１８は、画像再生装置１１によって再生され、画像処理装置１２を介して供給された画像データを基に、画像提示装置１４が表示している人の画像の例を示す図である。リモートコントローラ２０２を操作して、画像提示装置１４に表示される人の顔の画像に撮像部２４３を向けた場合、撮像部２４３は、表示されている画像のうち、人の顔の画像を撮像し、撮像した人の顔の撮像データを制御部２４４を介して送信部２４２に供給する。リモートコントローラ２０２の送信部２４２は、撮像部２４３から供給された撮像データを画像処理装置２０１の受信部２８１に送信する。受信部２８１は、送信部２４２から送信されてきた撮像データを受信して、受信した撮像データをテンプレート記憶部３０２に供給する。   FIG. 18 is a diagram illustrating an example of a human image displayed by the image presentation device 14 based on the image data reproduced by the image reproduction device 11 and supplied via the image processing device 12. When the imaging unit 243 is directed to the human face image displayed on the image presentation device 14 by operating the remote controller 202, the imaging unit 243 captures the human face image among the displayed images. Then, the captured image data of the person's face is supplied to the transmission unit 242 via the control unit 244. The transmission unit 242 of the remote controller 202 transmits the imaging data supplied from the imaging unit 243 to the reception unit 281 of the image processing apparatus 201. The reception unit 281 receives the imaging data transmitted from the transmission unit 242 and supplies the received imaging data to the template storage unit 302.

テンプレート記憶部３０２は、受信部２８１から供給された撮像データを記憶する。   The template storage unit 302 stores the imaging data supplied from the receiving unit 281.

図１９で示される例において、図中左側は、テンプレート記憶部３０２に記憶されている撮像データに対応する画像３５２を表す。より詳細には、テンプレート記憶部３０２に記憶されている撮像データに対応する画像３５２は、テンプレート記憶部３０２のメモリに記憶される。例えば、撮像データは、６４画素×６４画素からなる。   In the example shown in FIG. 19, the left side in the drawing represents an image 352 corresponding to the imaging data stored in the template storage unit 302. More specifically, the image 352 corresponding to the imaging data stored in the template storage unit 302 is stored in the memory of the template storage unit 302. For example, the imaging data is composed of 64 pixels × 64 pixels.

ステップＳ１０４において、サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから、検索領域を抽出し、抽出した検索領域を追尾処理部３０４に供給する。   In step S104, the search area storage unit 303 extracts a search area from the image data supplied from the image input unit 261, and supplies the extracted search area to the tracking processing unit 304.

図１９で示される例において、図中右側は、サーチエリア記憶部３０３に記憶されている画像データに対応する画像３６１を表す。サーチエリア記憶部３０３に記憶されている画像データは、画像入力部２２１より供給された画像データであるフレームの一部であり、フレームの検索対象となる領域の画像データが、サーチエリア記憶部３０３に備えるメモリに記憶される。例えば、検索対象となる領域は、１２８画素×１２８画素の領域である。   In the example shown in FIG. 19, the right side in the drawing represents an image 361 corresponding to the image data stored in the search area storage unit 303. The image data stored in the search area storage unit 303 is a part of the frame that is the image data supplied from the image input unit 221, and the image data of the area to be searched for the frame is the search area storage unit 303. Is stored in a memory prepared for. For example, the search target area is an area of 128 pixels × 128 pixels.

以下、検索対象となる領域の画像データを、検出対象画像データとも称する。   Hereinafter, the image data of the region to be searched is also referred to as detection target image data.

ステップＳ１０４において、追尾処理部３０４は、テンプレート記憶部３０２より供給された撮像データを基に、サーチエリア記憶部３０３より供給された検出対象画像データから画像を検索する。例えば、ステップＳ１０４において、追尾処理部３０４は、テンプレート記憶部３０２より供給された撮像データを基に、サーチエリア記憶部３０３より供給された検出対象画像データから、撮像データに最も類似する画像オブジェクトを検出する。   In step S <b> 104, the tracking processing unit 304 searches for an image from the detection target image data supplied from the search area storage unit 303 based on the imaging data supplied from the template storage unit 302. For example, in step S104, the tracking processing unit 304 selects the image object most similar to the imaging data from the detection target image data supplied from the search area storage unit 303 based on the imaging data supplied from the template storage unit 302. To detect.

類似する画像オブジェクトの検出の方法の詳細について、図２０乃至図２２を参照して説明する。図２０で示されるように、例えば、追尾処理部３０４は、検出対象画像データに対する撮像データの位置を、いわゆるラスタスキャン順に移動させて、その位置における検出対象画像データの画像オブジェクトと撮像データで示される画像オブジェクトとの類似の度合いを評価して、撮像データ３５１で示される画像オブジェクトに最も類似する、検出対象画像データに含まれる画像オブジェクトを検出する。   Details of a method for detecting similar image objects will be described with reference to FIGS. As shown in FIG. 20, for example, the tracking processing unit 304 moves the position of the imaging data with respect to the detection target image data in the so-called raster scan order, and shows the image object and the imaging data of the detection target image data at that position. The degree of similarity with the image object to be detected is evaluated, and the image object included in the detection target image data that is most similar to the image object indicated by the imaging data 351 is detected.

例えば、画像オブジェクトを検出において、検出対象画像データに対する撮像データの位置は、検出対象画像データの左上の隅から右側に順に平行に移動し、右端に達すると、所定の画素だけ下であって、最も左に移動して、そこからまた右側に順に平行に移動する。このような撮像データの位置の移動は、撮像データが検出対象画像データの右下に達するまで繰り返される。   For example, in detecting the image object, the position of the imaging data with respect to the detection target image data moves in parallel from the upper left corner of the detection target image data to the right side in order, and when reaching the right end, the predetermined pixel is below, Move to the left and move in parallel from there to the right. Such movement of the position of the imaging data is repeated until the imaging data reaches the lower right of the detection target image data.

例えば、検出対象画像データに対する撮像データの１つの位置毎に、検出対象画像データの画素の画素値と、撮像データの対応する位置の画素の画素値との差が算出され、その差の絶対値の総和が評価値として算出される。例えば、評価値としての画素値の差の絶対値が最小となる撮像データの位置が、画像データにおける、検出しようとする画像オブジェクトの位置である。   For example, for each position of the imaging data with respect to the detection target image data, the difference between the pixel value of the pixel of the detection target image data and the pixel value of the pixel at the corresponding position of the imaging data is calculated, and the absolute value of the difference Is calculated as an evaluation value. For example, the position of the image data that minimizes the absolute value of the difference between the pixel values as the evaluation value is the position of the image object to be detected in the image data.

なお、検出対象画像データに対する撮像データの移動の間隔は、例えば、１画素ずつ移動するようにすることができる。   Note that the interval of movement of the imaging data with respect to the detection target image data can be moved, for example, pixel by pixel.

この場合、移動の間隔は所望の間隔とすることが可能である。検出対象画像データに対する撮像データの移動の間隔をより小さくしたほうが、より正確に類似する画像オブジェクトを検出することができる。   In this case, the movement interval can be set to a desired interval. Similar image objects can be detected more accurately by reducing the movement interval of the imaging data with respect to the detection target image data.

図２１は、画像オブジェクトの検出の処理において、ラスタスキャン順に撮像データを移動させる場合の、検出対象画像データの画像３６１に対する、撮像データの画像３５１の最初の位置の例を示す。すなわち、図２１は、図２０で示される左上の画像を拡大したものである。図２１で示されるように、撮像データと、検出対象画像データの背景の部分とが比較されることになるので、画素値の差の絶対値が大きくなり、検出しようとする画像オブジェクトは存在しないと判定される。   FIG. 21 shows an example of the initial position of the image 351 of the imaging data relative to the image 361 of the detection target image data when the imaging data is moved in the raster scan order in the image object detection process. That is, FIG. 21 is an enlarged view of the upper left image shown in FIG. As shown in FIG. 21, since the imaging data and the background portion of the detection target image data are compared, the absolute value of the difference between the pixel values increases, and there is no image object to be detected. It is determined.

これに対して、図２２で示されるように、撮像データの画像３５１と検出対象画像データの画像３６１のもっとも類似する部分の画像とが、重なる位置においては、検出しようとする画像オブジェクトを示す撮像データと、画像データに含まれる、検出されるべき画像オブジェクトとが比較され、画素値の差が小さくなる。従って、この位置における、画素値の差の絶対値（評価値）が、他の位置における画素値の差の絶対値（評価値）よりも小さくなり、検出しようとする画像オブジェクトがその位置に存在すると判定される。   On the other hand, as shown in FIG. 22, at the position where the image 351 of the imaging data and the image of the most similar part of the image 361 of the detection target image data overlap, the imaging indicating the image object to be detected. The data and the image object to be detected included in the image data are compared, and the difference in pixel value is reduced. Therefore, the absolute value (evaluation value) of the pixel value difference at this position is smaller than the absolute value (evaluation value) of the pixel value difference at other positions, and the image object to be detected exists at that position. Then, it is determined.

画像オブジェクトを検出する評価値は、画素値の差分の絶対値の総和に限らず、画素値の差分の自乗の総和など、画像の相関を示すものであれば良い。   The evaluation value for detecting an image object is not limited to the sum of absolute values of pixel value differences, but may be any value that indicates correlation of images, such as the sum of squares of pixel value differences.

また、追尾処理部３０４は、画像オブジェクトを検出する場合、撮像データおよび検出対象画像データを内部に備えるメモリに記憶する。撮像データおよび検出対象画像データのデータ量が、追尾処理部３０４の内部のメモリの容量よりも大きい場合、撮像データおよび検出対象画像データについて、データの間引きの処理を行い、データ量を少なくしてから、処理を実行するようにしてもよい。   In addition, when detecting an image object, the tracking processing unit 304 stores imaging data and detection target image data in a memory provided therein. When the data amount of the imaging data and the detection target image data is larger than the capacity of the memory inside the tracking processing unit 304, the data thinning process is performed on the imaging data and the detection target image data to reduce the data amount. Then, the process may be executed.

図１５に戻り、ステップＳ１０５において、追尾処理部３０４は、検出した画像オブジェクトから、画像オブジェクトの中心位置を取得する。例えば、ステップＳ１０５において、追尾処理部３０４は、画像オブジェクトの中心位置として、検出しようとする画像オブジェクトが存在すると判定された位置における、撮像データと比較された検出対象画像データの領域の中心位置を取得する。   Returning to FIG. 15, in step S <b> 105, the tracking processing unit 304 acquires the center position of the image object from the detected image object. For example, in step S105, the tracking processing unit 304 uses, as the center position of the image object, the center position of the area of the detection target image data compared with the imaging data at the position where it is determined that the image object to be detected exists. get.

また、例えば、画像オブジェクトの中心位置は、画像オブジェクトの重心とするようにしてもよい。   Further, for example, the center position of the image object may be the center of gravity of the image object.

このように、画像オブジェクトの中心位置を検出することで、後の処理において、より正確に画像オブジェクトの位置を表示できるようになると共に、より正確に画像オブジェクトを追尾することができるようになる。   In this way, by detecting the center position of the image object, the position of the image object can be displayed more accurately in the subsequent processing, and the image object can be tracked more accurately.

ステップＳ１０５において、追尾処理部３０４は、画像オブジェクトの中心位置を示す位置データを追尾オブジェクト指示部３０１および拡大パラメータ指示部３２１に供給する。さらに、追尾オブジェクト指示部３０１は、検出した画像オブジェクトの中心位置を示す位置データをＯＳＤ表示制御部２８３に供給する。   In step S <b> 105, the tracking processing unit 304 supplies position data indicating the center position of the image object to the tracking object instruction unit 301 and the enlargement parameter instruction unit 321. Further, the tracking object instruction unit 301 supplies position data indicating the center position of the detected image object to the OSD display control unit 283.

ステップＳ１０６において、ＯＳＤ表示制御部２８３は、画像提示装置１４に、拡大枠を表示させる。例えば、ステップＳ１０６において、ＯＳＤ表示制御部２８３は、ステップＳ１０５の処理で検出された画像オブジェクトの中心位置に、拡大枠を画像提示装置１４に表示させる表示データを生成して、生成した表示データを画像出力部２６２に供給する。画像出力部２６２は、画像データに表示データを重畳して、表示データを重畳した画像データを画像提示装置１４に供給する。   In step S106, the OSD display control unit 283 causes the image presentation device 14 to display an enlarged frame. For example, in step S106, the OSD display control unit 283 generates display data that causes the image presentation device 14 to display an enlarged frame at the center position of the image object detected in the process of step S105, and generates the generated display data. The image is supplied to the image output unit 262. The image output unit 262 superimposes display data on the image data, and supplies the image presentation device 14 with the image data on which the display data is superimposed.

図２３で示される例は、図１８で示される人の顔を画像オブジェクトとした場合の、画像提示装置１４に表示される画像オブジェクトの中心位置ｔを示す。   The example shown in FIG. 23 shows the center position t of the image object displayed on the image presentation device 14 when the human face shown in FIG. 18 is an image object.

ステップＳ１０７において、制御ＣＰＵ２８２は、リモートコントローラ２０２から送信されてくる制御信号を基に、拡大率が指定されたか否かを判定する。   In step S107, the control CPU 282 determines whether or not an enlargement ratio has been designated based on the control signal transmitted from the remote controller 202.

例えば、ユーザが拡大ボタン３４２または縮小ボタン３４３を押下し、拡大率が指定された場合、キー入力部２４１から供給される操作信号を基に、制御部２４４は、拡大または縮小の制御信号を生成し、生成した拡大または縮小の制御信号を送信部２４２に供給する。送信部２４２は、制御部２４４の制御の基に、拡大または縮小の制御信号を画像処理装置２０１に送信する。   For example, when the user presses the enlarge button 342 or the reduce button 343 and an enlargement rate is designated, the control unit 244 generates an enlargement or reduction control signal based on an operation signal supplied from the key input unit 241. Then, the generated enlargement / reduction control signal is supplied to the transmission unit 242. The transmission unit 242 transmits an enlargement / reduction control signal to the image processing apparatus 201 under the control of the control unit 244.

画像処理装置２０１の受信部２８１は、送信部２８１より送信されてきた、拡大または縮小の制御信号を受信して、受信した制御信号を制御ＣＰＵ２８２に供給する。制御ＣＰＵ２８２は、受信部２８１から供給された拡大または縮小の制御信号を基に、拡大率が指定されたか否かを判定する。   The reception unit 281 of the image processing apparatus 201 receives the enlargement or reduction control signal transmitted from the transmission unit 281 and supplies the received control signal to the control CPU 282. The control CPU 282 determines whether or not an enlargement ratio is designated based on the enlargement or reduction control signal supplied from the reception unit 281.

ステップＳ１０７において、拡大率が指定されたと判定された場合、ステップＳ１０８に進み、制御ＣＰＵ２８２は、拡大率を設定して、ステップＳ１０９に進む。例えば、ステップＳ１０８において、制御ＣＰＵ２８２は、受信部２８１より供給された、拡大または縮小制御信号を基に、ＯＳＤ表示制御信号を生成し、生成したＯＳＤ表示制御信号をＯＳＤ表示制御部２８３に供給する。また、ステップＳ１０８において、制御ＣＰＵ２８２は、拡大または縮小制御信号を基に、拡大率を指示する拡大制御信号を生成し、生成した拡大制御信号を画像拡大処理部２２４に供給する。   If it is determined in step S107 that an enlargement ratio has been designated, the process proceeds to step S108, the control CPU 282 sets the enlargement ratio, and the process proceeds to step S109. For example, in step S108, the control CPU 282 generates an OSD display control signal based on the enlargement / reduction control signal supplied from the reception unit 281 and supplies the generated OSD display control signal to the OSD display control unit 283. . In step S <b> 108, the control CPU 282 generates an enlargement control signal that indicates an enlargement ratio based on the enlargement or reduction control signal, and supplies the generated enlargement control signal to the image enlargement processing unit 224.

ＯＳＤ表示制御部２８３は、制御ＣＰＵ２８２より供給されたＯＳＤ表示制御信号を基に、枠３７１の大きさを制御する。また、画像拡大処理部２２４の拡大パラメータ指示部３２１は、制御ＣＰＵ２８２より供給された拡大制御信号を基に、拡大パラメータを生成する。   The OSD display control unit 283 controls the size of the frame 371 based on the OSD display control signal supplied from the control CPU 282. The enlargement parameter instruction unit 321 of the image enlargement processing unit 224 generates an enlargement parameter based on the enlargement control signal supplied from the control CPU 282.

一方、ステップＳ１０７において、拡大率が指定されなかったと判定された場合、ステップＳ１０８の処理はスキップされ、手続きは、ステップＳ１０９に進む。   On the other hand, if it is determined in step S107 that the enlargement ratio has not been specified, the process of step S108 is skipped, and the procedure proceeds to step S109.

ステップＳ１０９において、制御ＣＰＵ２８２は、受信した制御信号を基に、決定ボタン３４４が押下されたか否かを判定する。   In step S109, the control CPU 282 determines whether or not the enter button 344 has been pressed based on the received control signal.

ユーザが決定ボタン３４４を押下した場合、キー入力部２４１は、決定ボタン３４４に対応する操作信号を制御部２２４に供給する。制御部２２４は、決定ボタン３４４に対応する操作信号が供給された場合、決定の制御信号を生成して、生成した制御信号を送信部２４２に供給する。送信部２４２は、制御部２４４の制御の基に、決定の制御信号を画像処理装置２０１に送信する。   When the user presses the enter button 344, the key input unit 241 supplies an operation signal corresponding to the enter button 344 to the control unit 224. When an operation signal corresponding to the determination button 344 is supplied, the control unit 224 generates a determination control signal and supplies the generated control signal to the transmission unit 242. The transmission unit 242 transmits a determination control signal to the image processing apparatus 201 under the control of the control unit 244.

画像処理装置２０１の受信部２８１は、送信部２８１より送信されてきた、決定の制御信号を受信して、受信した制御信号を制御ＣＰＵ２８２に供給する。制御ＣＰＵ２８２は、受信部２８１から供給された決定の制御信号を基に、決定ボタン３４４が押下されたと判定する。   The reception unit 281 of the image processing apparatus 201 receives the determination control signal transmitted from the transmission unit 281 and supplies the received control signal to the control CPU 282. The control CPU 282 determines that the determination button 344 has been pressed based on the determination control signal supplied from the reception unit 281.

また、決定ボタン３４４が押下されていない場合、画像処理装置２０１には、決定の制御信号が送信されないので、制御ＣＰＵ２８２は、決定ボタン３４４が押下されていないと判定する。   When the determination button 344 is not pressed, the control signal for determination is not transmitted to the image processing apparatus 201, so the control CPU 282 determines that the determination button 344 is not pressed.

ステップＳ１０９において、決定ボタン３４４が押下されていないと判定された場合、ステップＳ１０１に戻り、決定ボタン３４４が押下されるまで、上述した追尾の設定の処理が繰り返される。   If it is determined in step S109 that the determination button 344 has not been pressed, the process returns to step S101, and the tracking setting process described above is repeated until the determination button 344 is pressed.

ステップＳ１０１乃至ステップＳ１０６が繰り返されることにより、リモートコントローラ２０２の動きまたは向きによって、新たな画像オブジェクトを撮像して、撮像された画像オブジェクトを基に、追尾する画像オブジェクトが検出されるので、追尾する画像オブジェクトを簡単に変更することができる。   By repeating steps S101 to S106, a new image object is imaged by the movement or orientation of the remote controller 202, and the image object to be tracked is detected based on the imaged image object. Image objects can be changed easily.

図２４は、画像提示装置１４に表示される拡大枠の例を示す図である。   FIG. 24 is a diagram illustrating an example of an enlarged frame displayed on the image presentation device 14.

追尾位置指定ボタン３４１を押下し、リモートコントローラ２０２が、追尾開始の制御信号を画像処理装置２０１に送信して、画像処理装置２０１が追尾の設定の処理を開始した場合、ステップＳ１０１乃至ステップＳ１０４の処理を実行する前に、画像処理装置２０１は、画像提示装置１４に、画像データに対応する人の画像に重畳させて、表示データに対応する枠３７１を表示させる。なお、この場合、枠３７１は、初期位置に表示される。   When the tracking position designation button 341 is pressed, the remote controller 202 transmits a tracking start control signal to the image processing apparatus 201, and when the image processing apparatus 201 starts the tracking setting process, steps S101 to S104 are performed. Before executing the process, the image processing apparatus 201 causes the image presentation apparatus 14 to display a frame 371 corresponding to the display data by superimposing the image on the person image corresponding to the image data. In this case, the frame 371 is displayed at the initial position.

図２５で示されるように、ステップＳ１０１乃至ステップＳ１０６が繰り返し実行されている場合、ユーザがリモートコントローラ２０２を上下左右に動かすことで、画像提示装置１４に表示する画像に重畳した拡大枠３７１が移動する。   As shown in FIG. 25, when steps S101 to S106 are repeatedly executed, the user moves the remote controller 202 up, down, left, and right, and the enlarged frame 371 superimposed on the image displayed on the image presentation device 14 moves. To do.

このように、リモートコントローラ２０２を動かすことでポインティングを行い、同時にポインティングした画像を撮像しているので、ユーザは、画像を撮像していることを意識する必要はない。   Thus, since the pointing is performed by moving the remote controller 202 and the pointing image is captured at the same time, the user does not need to be aware that the image is captured.

すなわち、リモートコントローラ２０２を向けた方向の画像オブジェクトが、追尾の対象となるので、より直感的なポインティングをすることができる。   That is, since the image object in the direction toward the remote controller 202 is a target to be tracked, more intuitive pointing can be performed.

また、図２６で示されるように、ユーザが拡大ボタン３４２を押下した場合、画像処理装置２０１は、画像提示装置１４に、人の画像に重畳して、拡大した枠３７１を表示させる。すなわち、図２６における枠３７１の外側の四角が拡大後の枠３７１となる。   As shown in FIG. 26, when the user presses the enlarge button 342, the image processing apparatus 201 causes the image presentation apparatus 14 to display an enlarged frame 371 so as to be superimposed on the human image. That is, the outer square of the frame 371 in FIG. 26 is the enlarged frame 371.

図２７で示されるように、ユーザが縮小ボタン３４３を押下した場合、画像処理装置２０１は、画像提示装置１４に、人の画像に重畳して、縮小した枠３７１を表示させる。すなわち、図２７における枠３７１の内側の四角が縮小後の枠３７１となる。   As illustrated in FIG. 27, when the user presses the reduction button 343, the image processing apparatus 201 causes the image presentation apparatus 14 to display a reduced frame 371 superimposed on a human image. That is, the square inside the frame 371 in FIG. 27 is the reduced frame 371.

ステップＳ１０９において、決定ボタン３４４が押下されていないと判定された場合、ステップＳ１１０に進み、テンプレート記憶部３０２は、拡大枠の画像をテンプレートとして記憶して、処理は終了する。   If it is determined in step S109 that the enter button 344 has not been pressed, the process proceeds to step S110, where the template storage unit 302 stores the image of the enlarged frame as a template, and the process ends.

例えば、ステップＳ１１０において、テンプレート記憶部３０２は、設定された拡大率に対応する撮像データをテンプレートとして記憶する。   For example, in step S110, the template storage unit 302 stores imaging data corresponding to the set magnification rate as a template.

すなわち、例えば、追尾オブジェクト指示部３０１は、ステップＳ１０４の検索の処理得られた画像オブジェクトから、テンプレートをステップＳ１０８の処理で設定された拡大率、およびステップＳ１０５の処理で取得した検出した画像オブジェクトの中心位置を基に、追尾する画像オブジェクトを示すテンプレートを抽出する。   That is, for example, the tracking object instruction unit 301 uses the enlargement rate set in the process in step S108 and the detected image object acquired in the process in step S105 from the image object obtained in the search process in step S104. Based on the center position, a template indicating an image object to be tracked is extracted.

例えば、最初の設定の拡大率に比較して、２倍の拡大率が設定された場合（枠３７１の大きさが半分に設定された場合）、追尾オブジェクト指示部３０１は、中心位置を中心として、ステップＳ１０４の検索の処理得られた画像オブジェクトに対して、横方向に半分の数の画素、および縦方向に半分の数の画素を画像データからテンプレートとして抽出するように、テンプレート記憶部３０２に指示する。   For example, in the case where a magnification twice as large as that of the initial setting is set (when the size of the frame 371 is set in half), the tracking object instruction unit 301 has the center position as the center. In the template storage unit 302, half the number of pixels in the horizontal direction and half the number of pixels in the vertical direction are extracted from the image data as a template for the image object obtained by the search processing in step S104. Instruct.

例えば、最初の設定の拡大率に比較して、半分の拡大率が設定された場合（枠３７１の大きさが２倍に設定された場合）、追尾オブジェクト指示部３０１は、中心位置を中心として、ステップＳ１０４の検索の処理得られた画像オブジェクトに対して、横方向に２倍の数の画素、および縦方向に２倍の数の画素を画像データからテンプレートとして抽出するように、テンプレート記憶部３０２に指示する。   For example, when a half magnification is set compared to the initially set magnification (when the size of the frame 371 is set to double), the tracking object instruction unit 301 has the center position as the center. The template storage unit extracts a pixel twice as many in the horizontal direction and twice as many pixels in the vertical direction from the image data as a template for the image object obtained by the search processing in step S104. 302 is instructed.

テンプレート記憶部３０２は、追尾オブジェクト指示部３０１からの指示の基に、画像データからテンプレートとして抽出して、抽出したテンプレートを記憶する。   The template storage unit 302 extracts a template from image data based on an instruction from the tracking object instruction unit 301 and stores the extracted template.

このように、画像オブジェクトの検出は撮像データ３５１または画像データ３６１を変更しながら実行することで、拡大ボタン３４２または縮小ボタン３４３の押下より大きさの異なる画像オブジェクトを検出することができる。   As described above, by detecting the image object while changing the imaging data 351 or the image data 361, it is possible to detect an image object having a size different from that of pressing the enlarge button 342 or the reduce button 343.

図２８で示されるように、ユーザが決定ボタン３４４を押下した場合、画像処理装置２０１は、画像提示装置１４に、枠３７１で指定した、画像オブジェクトを拡大して表示させる。   As illustrated in FIG. 28, when the user presses the enter button 344, the image processing apparatus 201 causes the image presentation apparatus 14 to display an enlarged image object designated by the frame 371.

次に、図２９および図３０を参照して、部屋の明るさに対応した画像出力について説明する。   Next, image output corresponding to room brightness will be described with reference to FIGS. 29 and 30. FIG.

図２９は、暗い部屋の画像提示装置１４により表示されている画像を示す。図３０は、明るい部屋の画像提示装置１４に表示される画像示す。   FIG. 29 shows an image displayed by the image presentation device 14 in a dark room. FIG. 30 shows an image displayed on the image presentation device 14 in a bright room.

撮像部２４３は、部屋を撮像し、撮像した撮像データを制御部２４４に供給する。   The imaging unit 243 images the room and supplies the captured image data to the control unit 244.

制御部２４４は、撮像部２４３から供給される撮像データを基に、画質情報（例えば、部屋の明るさの情報）を生成し、生成した画質情報を送信部２４２に供給する。送信部２４２は、制御部２４４から供給された画質情報を受信部２８１に送信する。   The control unit 244 generates image quality information (for example, room brightness information) based on the imaging data supplied from the imaging unit 243, and supplies the generated image quality information to the transmission unit 242. The transmission unit 242 transmits the image quality information supplied from the control unit 244 to the reception unit 281.

受信部２８１は、送信部２４２から供給された画質情報を制御ＣＰＵ２８２に供給する。制御ＣＰＵ２８２は、受信部２８１から供給された画質情報を基に、画質パラメータを生成し、例えば、拡大パラメータ指示部３２１に供給する。   The reception unit 281 supplies the image quality information supplied from the transmission unit 242 to the control CPU 282. The control CPU 282 generates an image quality parameter based on the image quality information supplied from the reception unit 281 and supplies the image quality parameter to the enlargement parameter instruction unit 321, for example.

拡大パラメータ指示部３２１は、制御ＣＰＵ２８２から供給される画質パラメータを基に、明るさの指示を含む拡大パラメータを生成し、生成した拡大パラメータを拡大処理部３２２に供給する。   The enlargement parameter instruction unit 321 generates an enlargement parameter including a brightness instruction based on the image quality parameter supplied from the control CPU 282, and supplies the generated enlargement parameter to the enlargement processing unit 322.

拡大処理部３２２は、画像入力部２２１から供給される画像データおよび拡大パラメータ指示部３２１から供給される、明るさの指示を含む拡大パラメータを基に、画像データの明るさを変更して、画像出力部２６２に供給する。   The enlargement processing unit 322 changes the brightness of the image data based on the image data supplied from the image input unit 221 and the enlargement parameter including the brightness instruction supplied from the enlargement parameter instruction unit 321. This is supplied to the output unit 262.

画像出力部２６２は、画像データを画像提示装置１４に供給する。画像処理装置２０１は、画像提示装置１４に、部屋の明るさに対応した画像を表示させる。例えば、画像処理装置２０１は、部屋が暗い場合、画像提示装置１４に暗い画像を表示させる。   The image output unit 262 supplies the image data to the image presentation device 14. The image processing device 201 causes the image presentation device 14 to display an image corresponding to the brightness of the room. For example, the image processing device 201 displays a dark image on the image presentation device 14 when the room is dark.

例えば、画像処理装置２０１は、部屋が明るい場合、画像提示装置１４に明るい画像を表示させる。   For example, when the room is bright, the image processing apparatus 201 causes the image presentation apparatus 14 to display a bright image.

また、上述した処理は、ＯＳＤ表示制御部２８３が行うようにしてもよい。すなわち、制御ＣＰＵ２８２は、受信部２８２から供給された画質パラメータをＯＳＤ表示制御部２８３に供給する。   Further, the above-described processing may be performed by the OSD display control unit 283. That is, the control CPU 282 supplies the image quality parameter supplied from the receiving unit 282 to the OSD display control unit 283.

ＯＳＤ表示制御部２８３は、制御ＣＰＵ２８２から供給された画質パラメータを基に、表示データを生成し、生成した表示データを画像処理部２６２に供給することで、画像提示装置１４は、部屋の明るさに対応した画像を表示する。このようにすることで、環境が変化しても、確実に、画像オブジェクトをポインティングすることができる。   The OSD display control unit 283 generates display data based on the image quality parameter supplied from the control CPU 282, and supplies the generated display data to the image processing unit 262. An image corresponding to is displayed. In this way, even if the environment changes, the image object can be reliably pointed.

また、画質パラメータの設定は上述した例に限定されるものではない。例えば、ユーザにより設定されるようにしてもよい。   The setting of the image quality parameter is not limited to the above-described example. For example, it may be set by the user.

次にステップＳ６の追尾の処理に対応する、追尾の処理の詳細について、図３１のフローチャートを参照して説明する。   Next, details of the tracking process corresponding to the tracking process of step S6 will be described with reference to the flowchart of FIG.

ステップＳ２０１において、サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから、検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。例えば、検索領域の画像データは、１２８画素×１２８画素とされる。サーチエリア記憶部３０３は、記憶している検索領域の画像データを追尾処理部３０４に供給する。例えば、検索領域は、ステップＳ１０５の処理で取得された中心位置、または、後述するステップＳ２０３の処理で更新される拡大中心位置を基準として抽出される。   In step S201, the search area storage unit 303 extracts the image data of the search area (search area) from the image data supplied from the image input unit 261, and stores the extracted image data of the search area. For example, the image data in the search area is 128 pixels × 128 pixels. The search area storage unit 303 supplies the stored image data of the search area to the tracking processing unit 304. For example, the search area is extracted on the basis of the center position acquired in the process of step S105 or the enlarged center position updated in the process of step S203 described later.

ステップＳ２０２において、画像追尾処理部２２３は、画像を検索する。例えば、ステップＳ２０２において、画像追尾処理部２２３の追尾処理部３０４は、サーチエリア記憶部３０３より供給された検索領域から、テンプレート記憶部３０２より供給された追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部３０１および拡大パラメータ指示部３２１に供給する。   In step S202, the image tracking processing unit 223 searches for an image. For example, in step S202, the tracking processing unit 304 of the image tracking processing unit 223 detects an image object to be tracked supplied from the template storage unit 302 from the search area supplied from the search area storage unit 303, and Position information indicating the position of the detected image object is supplied to the tracking object instruction unit 301 and the enlargement parameter instruction unit 321.

図３２は、歩いている人の画像を示す図である。図３２Ａで示されるように、時刻ｔ−１において、画面の左側に表示されている左から右に歩いている人の画像は、時刻ｔになると、図３２Ｂに示されるように、図３２Ａより右側に表示される。   FIG. 32 is a diagram showing an image of a person walking. As shown in FIG. 32A, at time t-1, the image of the person walking from the left to the right displayed on the left side of the screen becomes time t, as shown in FIG. Displayed on the right side.

図３２Ａで示される、時刻ｔ−１の画像における、画像オブジェクト３８１は、追尾の対象となる画像オブジェクトである。図３２Ｂで示される、時刻ｔの画像における検索領域３９１から、画像オブジェクト３８１が検出される。   An image object 381 in the image at time t−1 shown in FIG. 32A is an image object to be tracked. An image object 381 is detected from the search area 391 in the image at time t shown in FIG. 32B.

図３３で示されるように、追尾処理部３０４は、サーチエリア記憶部３０３より供給された時刻ｔにおける検索領域３９１（図３３Ｂ）からテンプレート記憶部３０２より供給された時刻ｔ−１における追尾の対象となる画像オブジェクト３８１（図３３Ａ）を検出する。   As shown in FIG. 33, the tracking processing unit 304 performs tracking at the time t−1 supplied from the template storage unit 302 from the search area 391 (FIG. 33B) at the time t supplied from the search area storage unit 303. The image object 381 (FIG. 33A) is detected.

画像オブジェクトの検出の方法の詳細について、図３４を参照して説明する。   Details of the image object detection method will be described with reference to FIG.

図３４で示されるように、例えば、追尾処理部３０４は、検索領域３９１に対する画像オブジェクト３８１の位置を、いわゆるラスタスキャン順に移動させて、その位置における検索領域３９１の画像オブジェクトと画像オブジェクト３８１との類似の度合いを評価して、画像オブジェクト３８１に最も類似する、検索領域３９１に含まれる画像オブジェクトを検出する。   As shown in FIG. 34, for example, the tracking processing unit 304 moves the position of the image object 381 relative to the search area 391 in the so-called raster scan order, and the image object in the search area 391 at that position and the image object 381 are moved. The degree of similarity is evaluated, and the image object included in the search area 391 that is most similar to the image object 381 is detected.

例えば、画像オブジェクトを検出において、検索領域３９１に対する画像オブジェクト３８１の位置は、検索領域３９１の左上の隅から右側に順に平行に移動し、右端に達すると、所定の画素数だけ下であって、最も左に移動して、そこからまた右側に順に平行に移動する。このような画像オブジェクト３８１の位置の移動は、画像オブジェクト３８１が検索領域３９１の右下に達するまで繰り返される。   For example, in detecting an image object, the position of the image object 381 with respect to the search area 391 moves in parallel from the upper left corner of the search area 391 to the right side in order, and when reaching the right end, is lower by a predetermined number of pixels, Move to the left and move in parallel from there to the right. Such movement of the position of the image object 381 is repeated until the image object 381 reaches the lower right of the search area 391.

例えば、検索領域３９１に対する画像オブジェクト３８１の１つの位置毎に、検索領域３９１の画素の画素値と、画像オブジェクト３８１の対応する位置の画素の画素値との差が算出され、その差の絶対値の総和が評価値として算出される。例えば、評価値としての画素値の差の絶対値が最小となる画像オブジェクト３８１の位置が、画像データにおける、検出しようとする画像オブジェクトの位置である。   For example, for each position of the image object 381 with respect to the search area 391, the difference between the pixel value of the pixel of the search area 391 and the pixel value of the pixel at the corresponding position of the image object 381 is calculated, and the absolute value of the difference Is calculated as an evaluation value. For example, the position of the image object 381 where the absolute value of the difference between the pixel values as the evaluation value is the minimum is the position of the image object to be detected in the image data.

なお、検索領域３９１に対する画像オブジェクト３８１の移動の間隔は、例えば、１画素ずつ移動するようにすることができる。   Note that the movement interval of the image object 381 relative to the search area 391 can be moved, for example, one pixel at a time.

この場合、移動の間隔は所望の間隔とすることが可能である。検索領域３９１に対する画像オブジェクト３８１の移動の間隔をより小さくしたほうが、より正確に類似する画像オブジェクトを検出することができる。   In this case, the movement interval can be set to a desired interval. Similar image objects can be detected more accurately if the interval of movement of the image object 381 relative to the search area 391 is made smaller.

画像オブジェクトを検出する評価値は、画素値の差分の絶対値の総和に限らず、画素値の差分の自乗の総和など、画像の相関を示すものであれば良い。   The evaluation value for detecting an image object is not limited to the sum of absolute values of pixel value differences, but may be any value that indicates correlation of images, such as the sum of squares of pixel value differences.

例えば、図３４で示される例の右端の列の中央の画像が画像オブジェクト３８１に最も類似する画像オブジェクトととして検出される。   For example, the center image in the rightmost column in the example shown in FIG. 34 is detected as the image object most similar to the image object 381.

追尾処理部３０４は、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部３０１および拡大パラメータ指示部３２１に供給する。追尾オブジェクト指示部３０１は、追尾処理部３０４より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部３０２に供給する。   The tracking processing unit 304 supplies position information indicating the position of the detected image object to the tracking object instruction unit 301 and the enlargement parameter instruction unit 321. The tracking object instruction unit 301 acquires position information supplied from the tracking processing unit 304 and indicating the position of the detected image object, and supplies the acquired position information to the template storage unit 302.

ステップＳ２０３において、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報を基に、追尾する画像オブジェクトの位置を示す位置情報（拡大中心位置）を更新する。   In step S <b> 203, the template storage unit 302 updates position information (enlarged center position) indicating the position of the image object to be tracked based on the position information supplied from the tracking object instruction unit 301.

図３５は、画像提示装置１４に表示される、歩いている人の画像を示す例である。図中の「＋印」は、画像オブジェクトの位置を示す位置情報であり、時刻ｔ−１および時刻ｔにおける、画像オブジェクトの位置を示す。   FIG. 35 is an example showing an image of a walking person displayed on the image presentation device 14. “+” In the figure is position information indicating the position of the image object, and indicates the position of the image object at time t−1 and time t.

位置情報を更新した場合、画像オブジェクトの位置は、時刻ｔ−１の位置から時刻ｔの位置に移動する。   When the position information is updated, the position of the image object moves from the position at time t-1 to the position at time t.

例えば、ステップＳ２０３において、位置情報が、図３５で示される、時刻ｔ−１の位置から時刻ｔの位置に更新される。   For example, in step S203, the position information is updated from the position at time t-1 shown in FIG. 35 to the position at time t.

ステップＳ２０３において、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報および設定されている拡大率を基に、画像入力部２６１より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。   In step S203, the template storage unit 302 extracts the image object of the tracking area from the image data supplied from the image input unit 261 based on the position information supplied from the tracking object instruction unit 301 and the set enlargement ratio. Then, the extracted image object is stored.

画像オブジェクトの追尾の処理が実行されている場合、ステップＳ２０３の処理を繰り返すたびに、テンプレート記憶部３０２に記憶される画像オブジェクトは、繰り返し更新される。   When the image object tracking process is executed, the image object stored in the template storage unit 302 is repeatedly updated each time the process of step S203 is repeated.

ステップＳ２０４において、拡大パラメータ指示部３２１は、検出した画像オブジェクトの位置を示す位置情報およびステップＳ１０８の処理で設定された拡大率を基に、拡大処理部３２２に画像の拡大を指示する。例えば、ステップＳ２０４において、拡大パラメータ指示部３２１は、画像オブジェクトの位置を示す位置情報および拡大パラメータを拡大処理部３２２に供給することにより、拡大処理部３２２に画像の拡大を指示する。   In step S204, the enlargement parameter instruction unit 321 instructs the enlargement processing unit 322 to enlarge the image based on the position information indicating the position of the detected image object and the enlargement rate set in the process of step S108. For example, in step S204, the enlargement parameter instruction unit 321 instructs the enlargement processing unit 322 to enlarge the image by supplying position information indicating the position of the image object and the enlargement parameter to the enlargement processing unit 322.

なお、ステップＳ２０４において、拡大パラメータ指示部３２１は、制御ＣＰＵ２８２より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部３０４より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ（拡大位置、拡大率）を生成し、生成した拡大パラメータを拡大処理部３２２に供給するようにしてもよい。   In step S204, the enlargement parameter instruction unit 321 extracts the enlargement rate from the enlargement control signal supplied from the control CPU 282, and the image to be tracked supplied from the extracted enlargement rate and the tracking processing unit 304 is extracted. An enlargement parameter (enlargement position, enlargement ratio) may be generated based on position information indicating the position of the object, and the generated enlargement parameter may be supplied to the enlargement processing unit 322.

ステップＳ２０５において、拡大処理部３２２は、拡大パラメータ指示部３２１からの指示の基に、画像を拡大する。例えば、ステップＳ２０５において、拡大処理部３２２は、拡大パラメータ指示部３２１より供給された拡大パラメータを基に、画像入力部５１より供給された画像データのうち、位置情報により示される位置の画像を拡大し、拡大した画像を示す画像データ（画像オブジェクト）を画像出力部５２に供給する。   In step S <b> 205, the enlargement processing unit 322 enlarges the image based on an instruction from the enlargement parameter instruction unit 321. For example, in step S205, the enlargement processing unit 322 enlarges the image at the position indicated by the position information among the image data supplied from the image input unit 51 based on the enlargement parameter supplied from the enlargement parameter instruction unit 321. Then, image data (image object) indicating the enlarged image is supplied to the image output unit 52.

ステップＳ２０６において、画像出力部２６２は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置１４に出力して、画像提示装置１４に、追尾され、拡大された画像オブジェクトを表示させる。   In step S <b> 206, the image output unit 262 outputs image data indicating the tracked and enlarged image object to the image presentation device 14, and causes the image presentation device 14 to display the tracked and enlarged image object.

ステップＳ２０７において、制御ＣＰＵ２８２は、追尾の処理が終了したか否かを判定する。   In step S207, the control CPU 282 determines whether or not the tracking process has ended.

例えば、リモートコントローラ２０２に図示せぬ、追尾終了ボタンを押下し、リモートコントローラ２０２が上述した処理と同様の処理で追尾終了制御信号を画像処理装置２０１に送信することで、制御ＣＰＵ２８２が終了の判定するようにしてもよいし、追尾の処理を実行中に追尾位置指定ボタン３４１を押下することで、追尾終了制御信号を送信し、制御ＣＰＵ２８２が終了の判定するようにしてもよい。   For example, when a tracking end button (not shown) is pressed on the remote controller 202 and the remote controller 202 transmits a tracking end control signal to the image processing apparatus 201 in the same process as described above, the control CPU 282 determines the end. Alternatively, the tracking end designation button 341 may be pressed during the tracking process to transmit a tracking end control signal, and the control CPU 282 may determine the end.

また、追尾の処理の終了の方法は、上述した例に限定されるものではない。   Further, the method for ending the tracking process is not limited to the above-described example.

ステップＳ２０７において、終了が指示されていないと判定された場合、ステップＳ２０１に戻り、上述した追尾の処理が繰り返される。ステップＳ２０１乃至ステップＳ２０７の処理を繰り返すことで、ステップＳ２０３において、テンプレート記憶部３０２に記憶される画像オブジェクトが、繰り返し更新されることにより追尾の処理が実行される。   If it is determined in step S207 that termination is not instructed, the process returns to step S201, and the above-described tracking process is repeated. By repeating the processing from step S201 to step S207, the tracking processing is executed by repeatedly updating the image object stored in the template storage unit 302 in step S203.

より具体的には、追尾オブジェクト指示部３０１は、追尾する画像オブジェクトの位置の初期値として、追尾の設定の処理において取得された中心位置をテンプレート記憶部３０２に供給し、追尾の処理が開始されると、追尾する画像オブジェクトの位置として、更新された拡大中心位置をテンプレート記憶部３０２に供給する。   More specifically, the tracking object instruction unit 301 supplies the center position acquired in the tracking setting process to the template storage unit 302 as an initial value of the position of the image object to be tracked, and the tracking process is started. Then, the updated enlarged center position is supplied to the template storage unit 302 as the position of the image object to be tracked.

すなわち、追尾する画像オブジェクトは、１フレーム毎に更新されることになる。   That is, the image object to be tracked is updated every frame.

このようにすることで、例えば、顔の向きが変わるなど、追尾しようとする画像オブジェクトの画素値が変化しても、正確に画像オブジェクトを追尾して、追尾した画像オブジェクトを表示することができる。   By doing this, for example, even if the pixel value of the image object to be tracked changes, such as when the face direction changes, it is possible to accurately track the image object and display the tracked image object. .

ステップＳ２０７において、終了が指示された場合、処理は終了する。   If the end is instructed in step S207, the process ends.

以上のように、ユーザは、リモートコントローラ２０２が向けられた方向をポインティングできるので、より直感的なポインティングで追尾の対象を指定することが可能となる。   As described above, since the user can point in the direction in which the remote controller 202 is pointed, it is possible to specify the tracking target with more intuitive pointing.

画像処理装置がリモートコントローラから送信されたデータを受信するようにした場合、そのデータを基に、画像オブジェクトを追尾することができる。また、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像し、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信し、リモートコントローラから送信されてきた第２の画像データを受信し、第２の画像データを基に、第１の画像データから画像オブジェクトを検出するようにした場合、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。   When the image processing apparatus receives data transmitted from the remote controller, the image object can be tracked based on the data. In addition, the image object included in the image displayed by the first image data output from the image processing apparatus is imaged, and the second image data obtained by imaging the image object is stored in the image processing apparatus. When the second image data transmitted from the remote controller is received and the image object is detected from the first image data based on the second image data, it is quicker and simpler. The image object to be tracked can be pointed to.

制御信号を送信するようにした場合、画像処理装置において、画像オブジェクトをポインティングすることができる。また、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像し、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信するようにした場合、画像処理装置において、より迅速に、より簡単に画像オブジェクトをポインティングすることができる。   When the control signal is transmitted, the image object can be pointed at the image processing apparatus. In addition, the image object included in the image displayed by the first image data output from the image processing apparatus is imaged, and the second image data obtained by imaging the image object is stored in the image processing apparatus. When the transmission is performed, the image processing apparatus can point the image object more quickly and more easily.

リモートコントローラから送信されたデータを受信するようにした場合、そのデータを基に、画像オブジェクトを追尾することができる。また、リモートコントローラから送信されてきた、自分が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データを受信し、第２の画像データを基に、第１の画像データから画像オブジェクトを検出するようにした場合、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。   When the data transmitted from the remote controller is received, the image object can be tracked based on the data. Also, the second image data obtained by capturing the image displayed by the first image data output from the remote controller and received by the user is received, and the second image data is received based on the second image data. In addition, when an image object is detected from the first image data, the image object to be tracked can be pointed more quickly and easily.

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。   The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer.

図３６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Central Processing Unit）５０１は、ＲＯＭ（Read Only Memory）５０２、または記録部５０８に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ５０１、ＲＯＭ２０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。   FIG. 36 is a block diagram showing an example of the configuration of a personal computer that executes the above-described series of processing by a program. A CPU (Central Processing Unit) 501 executes various processes according to a program recorded in a ROM (Read Only Memory) 502 or a recording unit 508. A RAM (Random Access Memory) 503 appropriately stores programs executed by the CPU 501 and data. The CPU 501, ROM 202, and RAM 503 are connected to each other via a bus 504.

ＣＰＵ５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。ＣＵＰ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ５０１は、処理の結果得られた画像等を出力部５０７に出力する。   An input / output interface 505 is also connected to the CPU 501 via the bus 504. The input / output interface 505 is connected to an input unit 506 made up of a keyboard, mouse, microphone, etc., and an output unit 507 made up of a display, speaker, etc. The CUP 501 executes various processes in response to a command input from the input unit 506. Then, the CPU 501 outputs an image or the like obtained as a result of the processing to the output unit 507.

入出力インタフェース５０５に接続されている記録部５０８は、例えばハードディスクなどで構成され、ＣＰＵ５０１が実行するプログラムや各種のデータを記録する。通信部５０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部５０９は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。   The recording unit 508 connected to the input / output interface 505 includes, for example, a hard disk, and records programs executed by the CPU 501 and various data. A communication unit 509 communicates with an external device via the Internet or other networks. In this example, the communication unit 509 operates as an interface with the outside that acquires an input image or outputs an output image.

また、通信部５０９を介してプログラムを取得し、記録部５０８に記録してもよい。   A program may be acquired via the communication unit 509 and recorded in the recording unit 508.

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク５２１、光ディスク５２２、光磁気ディスク５２３、或いは半導体メモリ５２４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部５０８に転送され、記録される。   The drive 510 connected to the input / output interface 505 drives the magnetic disk 521, the optical disk 522, the magneto-optical disk 523, the semiconductor memory 524, and the like when they are mounted, and programs and data recorded there. Get etc. The acquired program and data are transferred to the recording unit 508 and recorded as necessary.

一連の処理をさせるプログラムが格納されている記録媒体は、図３６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５２１（フレキシブルディスクを含む）、光ディスク５２２（ＣＤ-ＲＯＭ（Compact Disc-Read Only Memory)、ＤＶＤ（Digital Versatile Disc）を含む）、光磁気ディスク５２３（ＭＤ（Mini-Disc）（商標）を含む）、若しくは半導体メモリ５２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ５０２や、記録部５０８に含まれるハードディスクなどで構成される。   As shown in FIG. 36, a recording medium storing a program for performing a series of processing is distributed to provide a program to a user separately from a computer. Disk), optical disk 522 (including compact disc-read only memory (CD-ROM), DVD (digital versatile disc)), magneto-optical disk 523 (including MD (mini-disc) (trademark)), or semiconductor In addition to a package medium composed of the memory 524, etc., it is composed of a ROM 502 on which a program is recorded, a hard disk included in the recording unit 508, etc. provided to the user in a state of being preinstalled in a computer. .

なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。   The program for executing the series of processes described above is installed in a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.

また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   Further, in the present specification, the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   In the present specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

従来の画像処理システムの構成を示す図であるIt is a figure which shows the structure of the conventional image processing system. 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of the image object by the conventional remote controller. 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of the image object by the conventional remote controller. 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of the image object by the conventional remote controller. 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of the image object by the conventional remote controller. 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of the image object by the conventional remote controller. 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of the image object by the conventional remote controller. 追尾の概念を説明する図である。It is a figure explaining the concept of tracking. 追尾の概念を説明する図である。It is a figure explaining the concept of tracking. 本発明に係る画像処理システムの一実施の形態を示す図である。It is a figure which shows one Embodiment of the image processing system which concerns on this invention. 本発明のリモートコントローラの外観を示す図である。It is a figure which shows the external appearance of the remote controller of this invention. 本発明に係る画像処理システムの一実施の形態の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an embodiment of an image processing system according to the present invention. 追尾の処理を説明するフローチャートである。It is a flowchart explaining the process of tracking. 本発明によるリモートコントローラによる画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of the image object by the remote controller by this invention. 追尾の設定の詳細の処理を説明するフローチャートである。It is a flowchart explaining the detailed process of a tracking setting. 追尾の設定を説明する図である。It is a figure explaining the setting of tracking. 追尾の設定を説明する図である。It is a figure explaining the setting of tracking. 画像提示装置により表示される画像の例を示す図である。It is a figure which shows the example of the image displayed by an image presentation apparatus. 撮像データおよび検索領域を説明する図である。It is a figure explaining imaging data and a search area. 画像の検索を説明する図である。It is a figure explaining the search of an image. 画像の検索を説明する図である。It is a figure explaining the search of an image. 画像の検索を説明する図である。It is a figure explaining the search of an image. 中心位置を説明する図である。It is a figure explaining a center position. 画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of an image object. 画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of an image object. 画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of an image object. 画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of an image object. 画像オブジェクトの設定を説明する図である。It is a figure explaining the setting of an image object. 部屋の明るさに対応した画像出力について説明する図である。It is a figure explaining the image output corresponding to the brightness of a room. 部屋の明るさに対応した画像出力について説明する図である。It is a figure explaining the image output corresponding to the brightness of a room. 追尾の処理の詳細の処理を説明するフローチャートである。It is a flowchart explaining the detail process of a tracking process. 追尾の処理を説明する図である。It is a figure explaining the process of tracking. 画像オブジェクトおよび検索領域を説明する図である。It is a figure explaining an image object and a search area. 画像オブジェクトの検出を説明する図である。It is a figure explaining the detection of an image object. 中心位置を説明する図である。It is a figure explaining a center position. パーソナルコンピュータの構成を説明するブロック図である。It is a block diagram explaining the structure of a personal computer.

符号の説明Explanation of symbols

２ 画像処理システム， １１ 画像再生装置， １４ 画像提示装置， ２０１ 画像処理装置， ２０２ リモートコントローラ， ２２１ 画像入出力部， ２２２ 制御部， ２２３ 画像追尾処理部， ２２４ 画像拡大処理部， ２４１ キー入力部， ２４２ 送信部， ２４３ 撮像部， ２４４ 制御部， ２６１ 画像入力部， ２６２ 画像出力部， ２８１ 受信部， ２８２ 制御ＣＰＵ， ２８３ ＯＳＤ表示制御部， ３０１ 追尾オブジェクト指示部， ３０２ テンプレート記憶部， ３０３ サーチエリア記憶部， ３０４ 追尾処理部， ３２１ 拡大パラメータ指示部， ３２２ 拡大処理部   2 image processing system, 11 image reproduction device, 14 image presentation device, 201 image processing device, 202 remote controller, 221 image input / output unit, 222 control unit, 223 image tracking processing unit, 224 image enlargement processing unit, 241 key input unit , 242 transmission unit, 243 imaging unit, 244 control unit, 261 image input unit, 262 image output unit, 281 reception unit, 282 control CPU, 283 OSD display control unit, 301 tracking object instruction unit, 302 template storage unit, 303 search Area storage unit, 304 tracking processing unit, 321 expansion parameter instruction unit, 322 expansion processing unit

Claims (12)

リモートコントローラおよび画像オブジェクトを追尾する画像処理装置からなる画像処理システムにおいて、
前記リモートコントローラは、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトを撮像する撮像手段と、
前記画像オブジェクトの決定を前記画像処理装置に指示する入力手段と、
前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示を前記画像処理装置に送信する送信手段と
を含み
前記画像処理装置は、
前記リモートコントローラから送信されてきた前記第２の画像データ、または前記画像オブジェクトの決定の指示を受信する受信手段と、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出手段と、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御手段と
を含み
前記検出手段は、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とする画像処理システム。 In an image processing system including a remote controller and an image processing apparatus that tracks an image object,
The remote controller is
Imaging means for imaging the image object included in the image displayed by the first image data output from the image processing device;
Input means for instructing the image processing apparatus to determine the image object;
Transmission means for transmitting second image data obtained by imaging the image object or an instruction to determine the image object to the image processing device, the image processing device,
Receiving means for receiving an instruction to determine the second image data or the image object transmitted from the remote controller;
Detecting means for detecting the image object from the first image data based on the second image data ;
As to display a frame indicating the detected the image object, seen including a display control means for controlling the display of the image
When the determination of the image object is instructed, the detection unit detects an image of the frame as the image object to be tracked from the first image data.
An image processing system characterized by that. 画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示するリモートコントローラにおいて、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトを撮像する撮像手段と、
前記画像オブジェクトの決定を前記画像処理装置に指示する入力手段と、
前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示を前記画像処理装置に送信する送信手段と
を備えることを特徴とするリモートコントローラ。 In a remote controller that instructs the image processing apparatus that tracks an image object to track the image object,
Imaging means for imaging the image object included in the image displayed by the first image data output from the image processing device;
Input means for instructing the image processing apparatus to determine the image object;
A remote controller comprising: second image data obtained by imaging the image object ; or transmission means for transmitting an instruction to determine the image object to the image processing apparatus. 前記入力手段は、前記画像オブジェクトの拡大率を前記画像処理装置に指示し、
前記送信手段は、さらに前記画像処理装置に、前記画像オブジェクトの拡大率の指示を送信する
ことを特徴とする請求項２に記載のリモートコントローラ。 The input means instructs the image processing apparatus on a magnification rate of the image object;
The remote controller according to claim 2, wherein the transmission unit further transmits an instruction of an enlargement ratio of the image object to the image processing apparatus. 画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示する制御方法において、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
前記画像オブジェクトの決定の前記画像処理装置への指示を制御する入力制御ステップと、
前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の前記画像処理装置への送信を制御する送信制御ステップと
を含むことを特徴とする制御方法。 In a control method for instructing an image processing apparatus that tracks an image object to track the image object,
An imaging control step for controlling imaging of the image object included in the image displayed by the first image data output from the image processing device;
An input control step for controlling an instruction to the image processing apparatus for determining the image object;
And a transmission control step of controlling transmission of the second image data obtained by imaging the image object or an instruction to determine the image object to the image processing apparatus. 画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示する制御処理用のプログラムであって、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
前記画像オブジェクトの決定の前記画像処理装置への指示を制御する入力制御ステップと、
前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の前記画像処理装置への送信を制御する送信制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 A program for control processing that instructs an image processing apparatus that tracks an image object to track the image object,
An imaging control step for controlling imaging of the image object included in the image displayed by the first image data output from the image processing device;
An input control step for controlling an instruction to the image processing apparatus for determining the image object;
Transmission control step for controlling transmission of second image data obtained by imaging the image object or an instruction to determine the image object to the image processing apparatus. A recording medium on which the program is recorded. 画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示する制御処理を、コンピュータに行わせるプログラムにおいて、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
前記画像オブジェクトの決定の前記画像処理装置への指示を制御する入力制御ステップと、
前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の前記画像処理装置への送信を制御する送信制御ステップと
を含むことを特徴とするプログラム。 In a program for causing a computer to perform control processing for instructing an image processing apparatus that tracks an image object to track the image object,
An imaging control step for controlling imaging of the image object included in the image displayed by the first image data output from the image processing device;
An input control step for controlling an instruction to the image processing apparatus for determining the image object;
A transmission control step for controlling transmission of second image data obtained by imaging the image object or an instruction to determine the image object to the image processing apparatus. リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置において、
前記リモートコントローラから送信されてきた、自分が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または前記画像オブジェクトの決定の指示を受信する受信手段と、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出手段と、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御手段と
を備え
前記検出手段は、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とする画像処理装置。 In an image processing apparatus that tracks an image object based on an instruction from a remote controller,
Receives the second image data transmitted from the remote controller and obtained by capturing an image displayed by the first image data output by the user , or an instruction to determine the image object. Receiving means;
Detecting means for detecting the image object from the first image data based on the second image data ;
Display control means for controlling the display of the image so as to display a frame indicating the detected image object.
When the determination of the image object is instructed, the detection unit detects an image of the frame as the image object to be tracked from the first image data.
An image processing apparatus. 前記受信手段は、前記リモートコントローラから送信されてきた、前記画像オブジェクトの拡大率の指示をさらに受信し、
前記表示制御手段は、指示された拡大率に対応する、前記枠を表示させるように、前記画像の表示を制御する
ことを特徴とする請求項７に記載の画像処理装置。 The receiving means further receives an instruction of an enlargement ratio of the image object transmitted from the remote controller,
The image processing apparatus according to claim 7 , wherein the display control unit controls display of the image so as to display the frame corresponding to the designated enlargement ratio. 前記第１の画像データに対応する所定の検索領域の画像データを記憶する第１の記憶手段と、  First storage means for storing image data of a predetermined search area corresponding to the first image data;
前記第２の画像データを記憶する第２の記憶手段と  Second storage means for storing the second image data;
をさらに備え、  Further comprising
前記検出手段は、前記第１の記憶手段に記憶された検索領域の画像データから、前記第２の記憶手段に記憶された第２の画像データにより示される、追尾の対象となる前記画像オブジェクトを検索する  The detection means detects the image object to be tracked indicated by the second image data stored in the second storage means from the image data in the search area stored in the first storage means. Search for
ことを特徴とする請求項８に記載の画像処理装置。  The image processing apparatus according to claim 8. リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置の画像処理方法において、
前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出ステップと、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御ステップと
を含み
前記検出ステップの処理によって、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とする画像処理方法。 In an image processing method of an image processing apparatus that tracks an image object based on an instruction from a remote controller,
Instructions for determining second image data obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or the image object A reception control step for controlling reception of
A detection step of detecting the image object from the first image data based on the second image data ;
As to display a frame indicating the detected the image object, seen including a display control step for controlling the display of the image
When the determination of the image object is instructed by the processing of the detection step, the image of the frame as the image object to be tracked is detected from the first image data.
An image processing method. リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置の画像処理用のプログラムであって、
前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出ステップと、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御ステップと
を含み
前記検出ステップの処理によって、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 An image processing program for an image processing apparatus that tracks an image object based on an instruction from a remote controller,
Instructions for determining second image data obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or the image object A reception control step for controlling reception of
A detection step of detecting the image object from the first image data based on the second image data ;
As to display a frame indicating the detected the image object, seen including a display control step for controlling the display of the image
When the determination of the image object is instructed by the processing of the detection step, the image of the frame as the image object to be tracked is detected from the first image data.
A recording medium on which a computer-readable program is recorded. リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置の画像処理を、前記画像処理装置のコンピュータに行わせるプログラムにおいて、
前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出ステップと、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御ステップと
を含み
前記検出ステップの処理によって、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とするプログラム。 In a program for causing a computer of the image processing apparatus to perform image processing of an image processing apparatus that tracks an image object based on an instruction of a remote controller,
Instructions for determining second image data obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or the image object A reception control step for controlling reception of
A detection step of detecting the image object from the first image data based on the second image data ;
As to display a frame indicating the detected the image object, seen including a display control step for controlling the display of the image
When the determination of the image object is instructed by the processing of the detection step, the image of the frame as the image object to be tracked is detected from the first image data.
A program characterized by that.
JP2003426202A 2003-12-24 2003-12-24 Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program Expired - Fee Related JP4595322B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003426202A JP4595322B2 (en) 2003-12-24 2003-12-24 Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003426202A JP4595322B2 (en) 2003-12-24 2003-12-24 Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program

Publications (2)

Publication Number Publication Date
JP2005184722A JP2005184722A (en) 2005-07-07
JP4595322B2 true JP4595322B2 (en) 2010-12-08

Family

ID=34785800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003426202A Expired - Fee Related JP4595322B2 (en) 2003-12-24 2003-12-24 Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program

Country Status (1)

Country Link
JP (1) JP4595322B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262416A (en) * 2007-04-12 2008-10-30 Olympus Imaging Corp Image reproduction device, image reproduction program, recording medium and image reproduction method
JP5181781B2 (en) * 2008-03-31 2013-04-10 富士通株式会社 Image tracking device, image tracking method, and image tracking program
US9646200B2 (en) 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265639A (en) * 1992-03-16 1993-10-15 Nippon Telegr & Teleph Corp <Ntt> Image display device and video telephone set using the device
JPH05341905A (en) * 1992-06-09 1993-12-24 Matsushita Electric Ind Co Ltd Coordinate indicating device
JPH07234755A (en) * 1994-02-25 1995-09-05 Hitachi Ltd Coordinate input means and information processor
JPH1098779A (en) * 1996-09-19 1998-04-14 Yamaha Corp Remote control system
JPH11167453A (en) * 1997-12-02 1999-06-22 Canon Inc Coordinate input device/system/method and storage medium
JP2003111063A (en) * 2001-10-02 2003-04-11 Hitachi Kokusai Electric Inc Intruded object tracing method and intruded object supervisory system
JP2003256946A (en) * 2002-02-28 2003-09-12 Minolta Co Ltd Monitoring device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265639A (en) * 1992-03-16 1993-10-15 Nippon Telegr & Teleph Corp <Ntt> Image display device and video telephone set using the device
JPH05341905A (en) * 1992-06-09 1993-12-24 Matsushita Electric Ind Co Ltd Coordinate indicating device
JPH07234755A (en) * 1994-02-25 1995-09-05 Hitachi Ltd Coordinate input means and information processor
JPH1098779A (en) * 1996-09-19 1998-04-14 Yamaha Corp Remote control system
JPH11167453A (en) * 1997-12-02 1999-06-22 Canon Inc Coordinate input device/system/method and storage medium
JP2003111063A (en) * 2001-10-02 2003-04-11 Hitachi Kokusai Electric Inc Intruded object tracing method and intruded object supervisory system
JP2003256946A (en) * 2002-02-28 2003-09-12 Minolta Co Ltd Monitoring device

Also Published As

Publication number Publication date
JP2005184722A (en) 2005-07-07

Similar Documents

Publication Publication Date Title
US6624846B1 (en) Visual user interface for use in controlling the interaction of a device with a spatial region
JP4727117B2 (en) Intelligent feature selection and pan / zoom control
US9086790B2 (en) Image displaying method, image displaying program, and display
US9733718B2 (en) Display apparatus and display method thereof
US20090067723A1 (en) Video image processing apparatus and video image processing method
JP2008269396A (en) Image processor, image processing method, and program
JP2003143505A (en) Device and method for processing display image control, system and method for transmitting and receiving moving picture information, and computer program
JP2007272732A (en) Image processing apparatus and method, and program
JP7176861B2 (en) Video processing method, video restoration method and computer program
KR20180027132A (en) Display device
EP1288864A2 (en) Image processing apparatus, image processing method, and image processing program
JP2002341755A (en) Video display device
JP4595322B2 (en) Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program
US20190286318A1 (en) Display device
JP2009010453A (en) Image processing apparatus and method, and program
JP2003208260A (en) Pointing device
JP2008301191A (en) Video monitoring system, video monitoring control device, video monitoring control method, and video monitor controlling program
WO2019211936A1 (en) Information processing device, information processing method, and recording medium
JP2011130323A (en) Broadcast receiver and control method thereof
CN116801027A (en) Display device and screen projection method
KR20170057056A (en) Remote Control Apparatus, Driving Method of Remote Control Apparatus, Image Display Apparatus, Driving Method of Image Display Apparatus, and Computer Readable Recording Medium
CN104956681A (en) Handheld display zoom feature
KR100917166B1 (en) Leture shooting device and leture shooting method
US8054332B2 (en) Advanced input controller for multimedia processing
JP2009181043A (en) Video signal processor, image signal processing method, program and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100906

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees