JP4595322B2 - Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program - Google Patents
Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program Download PDFInfo
- Publication number
- JP4595322B2 JP4595322B2 JP2003426202A JP2003426202A JP4595322B2 JP 4595322 B2 JP4595322 B2 JP 4595322B2 JP 2003426202 A JP2003426202 A JP 2003426202A JP 2003426202 A JP2003426202 A JP 2003426202A JP 4595322 B2 JP4595322 B2 JP 4595322B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- image object
- processing apparatus
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Selective Calling Equipment (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像オブジェクトをポインティングするか、画像オブジェクトを追尾する画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラムに関する。 The present invention relates to an image processing system, a remote controller and method, an image processing apparatus and method, a recording medium, and a program, and in particular, an image processing system, remote controller and method, and image processing for pointing an image object or tracking an image object The present invention relates to an apparatus and method, a recording medium, and a program.
従来、画像処理装置から出力される画像データにより表示される画像に含まれる画像オブジェクトを追尾の対象として設定し、設定された画像オブジェクトを追尾する画像処理システムが利用されている。 2. Description of the Related Art Conventionally, there has been used an image processing system that sets an image object included in an image displayed by image data output from an image processing apparatus as a tracking target and tracks the set image object.
図1は、画像オブジェクトを追跡する画像処理システムの従来の構成を示す図である。 FIG. 1 is a diagram showing a conventional configuration of an image processing system for tracking an image object.
画像再生装置11は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置12に供給する。
The
画像処理装置12は、リモートコントローラ13より供給された制御信号を基に、画像再生装置11より供給された画像データから、画像オブジェクトを追尾した結果の画像データを生成し、画像提示装置14に供給する。
Based on the control signal supplied from the
リモートコントローラ13は、ユーザの操作により、制御信号を生成し、生成した制御信号を画像処理装置12に供給する。
The
画像提示装置14は、液晶表示装置などからなり、画像処理装置12から供給された、画像オブジェクトを追尾した結果の画像データを基に、追尾されている画像オブジェクトを表示する。
The
画像処理装置12は、画像入出力部31、制御部32、画像追尾処理部33、および画像拡大処理部34から構成される。
The image processing apparatus 12 includes an image input /
画像入出力部31は、画像再生装置11から供給された画像データを入力し、画像オブジェクトを追尾した結果の画像データを画像提示装置14に供給する。制御部32は、画像処理装置12全体を制御する。画像追尾処理部33は、画像再生装置11より供給された画像データから、画像オブジェクトを追尾し、追尾された画像オブジェクトの画面上の位置を画像拡大処理部34に供給する。画像拡大処理部34は、画像追尾処理部33から供給された画像オブジェクトの画面上の位置を基に、画像に含まれる画像オブジェクトを拡大して、拡大した画像オブジェクトを表示させる画像データを画像入出力部31に供給する。
The image input /
画像入出力部31は、画像入力部51および画像出力部52から構成される。
The image input /
画像入力部51は、画像再生装置11より供給された画像データを入力して、入力した画像データを画像出力部52および画像追尾処理部33に供給する。
The
画像出力部52は、画像入力部51より供給された画像データ、または画像拡大処理部34から供給された画像データのいずれか一方を選択する。また、画像出力部52は、制御部32から供給された表示データを選択した画像データに重畳する。画像出力部52は、選択した画像データを画像提示装置14に供給する。
The
リモートコントローラ13は、キー入力部71および送信部72から構成される。
The
ユーザによりキー入力部71のボタンが押下された場合、キー入力部71は、ボタンに対応する操作信号を送信部72に供給する。
When the user presses a button on the
送信部72は、キー入力部71より供給された操作信号に対応する制御信号を制御部32に送信する。
The
制御部32は、受信部91、制御CPU(Central Processing Unit)92、およびOSD(On Screen Display)表示制御部93から構成される。
The
受信部91は、送信部72より送信された制御信号を受信し、受信した制御信号を制御CPU92に供給する。
The
制御CPU92は、受信部91より供給された制御信号を基に、OSD表示制御信号、追尾制御信号および拡大制御信号を生成し、生成したOSD表示制御信号、追尾制御信号および拡大制御信号を、それぞれ、OSD表示制御部93、画像追尾処理部33および画像拡大処理部34に供給する。
The
OSD表示制御部93は、制御CPU92より供給されたOSD表示制御信号を基に、枠などを表示させるための表示データを生成し、生成した表示データを画像出力部52に供給する。
The OSD
画像追尾処理部33は、追尾オブジェクト指示部111、テンプレート記憶部112、サーチエリア記憶部113、および追尾処理部114から構成される。
The image
追尾オブジェクト指示部111は、制御CPU92より供給された追尾制御信号に含まれる追尾領域の位置情報を抽出し、抽出した追尾領域の位置情報をテンプレート記憶部112に供給する。
The tracking
テンプレート記憶部112は、追尾オブジェクト指示部111より供給された追尾領域の位置情報を基に、画像入力部51より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。テンプレート記憶部112は、記憶している画像オブジェクトを追尾処理部114に供給する。
The
サーチエリア記憶部113は、画像入力部51より供給された画像データから検索領域(サーチエリア)の画像データを抽出し、抽出した検索領域の画像データを記憶する。サーチエリア記憶部113は、記憶している検索領域の画像データを追尾処理部114に供給する。
The search
追尾処理部114は、サーチエリア記憶部113より供給された検索領域から、テンプレート記憶部112より供給された追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部111および画像拡大処理部34に供給する。
The
画像オブジェクトの追尾が指示されている場合、追尾オブジェクト指示部111は、追尾処理部114より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部112に供給する。その後、テンプレート記憶部112は、追尾オブジェクト指示部111より供給された位置情報を基に、画像入力部51より供給された画像データから画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶して、追尾の処理が繰り返される。
When the tracking of the image object is instructed, the tracking
画像拡大処理部34は、拡大パラメータ指示部131および拡大処理部132から構成される。
The image
拡大パラメータ指示部131は、制御CPU92より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部114より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ(拡大位置、拡大率)を生成し、生成した拡大パラメータを拡大処理部132に供給する。
The enlargement
拡大処理部132は、拡大パラメータ指示部131より供給された拡大パラメータを基に、画像入力部51より供給された画像データにより表示される画像データの一部を拡大し、拡大した画像の一部を示す画像データ(画像オブジェクト)を画像入出力部31の画像出力部52に供給する。
The
画像入出力部31の画像出力部52は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置14に出力して、画像提示装置14に追尾され、拡大された画像オブジェクトを表示させる。
The
以下、図2乃至図7の図を参照して、リモートコントローラ13による画像オブジェクトの設定の処理について説明する。
The image object setting process performed by the
図2乃至図7で示される例において、画像提示装置14は、人の画像を表示している。また、リモートコントローラ13のキー入力部71は、追尾位置指定ボタン141、枠移動ボタン142、拡大ボタン143、縮小ボタン144、および決定ボタン145を備える。
In the example shown in FIGS. 2 to 7, the
図2で示される例において、画像提示装置14は、画像出力部52より供給された画像データを基に、人の全身の画像を表示している。また、ユーザによりリモートコントローラ13は操作されていない。
In the example shown in FIG. 2, the
図3で示されるように、ユーザによりリモートコントローラ13の追尾位置指定ボタン141が押下された場合、キー入力部71は、追尾位置の指定の開始を示す操作信号を生成し、生成した操作信号を送信部72に供給する。送信部72は、操作信号に対応する、追尾位置の指定の開始を指示する制御信号を画像処理装置12に送信する。
As shown in FIG. 3, when the tracking
画像処理装置12は、リモートコントローラ13から送信されてきた、追尾位置の指定の開始を指示する制御信号を受信すると、図3で示されるように、画像提示装置14に、枠151が重畳された画像を表示させる。なお、枠151は、初期位置に表示される。
When the image processing apparatus 12 receives the control signal transmitted from the
図4で示されるように、ユーザによりリモートコントローラ13の枠移動ボタン142が押下された場合、画像処理装置12は、図4で示されるように、画像提示装置14に、枠151を移動させた画像を表示させる。
As illustrated in FIG. 4, when the
図5で示されるように、ユーザによりリモートコントローラ13の拡大ボタン143が押下された場合、画像処理装置12は、図5で示されるように、画像提示装置14に、拡大した枠151を重畳した画像を表示させる。すなわち、図5において、枠151の外側の四角の枠が拡大後の枠151となる。
As illustrated in FIG. 5, when the
図6で示されるように、ユーザによりリモートコントローラ13の縮小ボタン144が押下された場合、画像処理装置12は、図6で示されるように、画像提示装置14に、縮小した枠151を重畳した画像を表示させる。すなわち、図6において、枠151の内側の四角の枠が縮小後の枠151となる。
As shown in FIG. 6, when the user presses the
図7で示されるように、ユーザによりリモートコントローラ13の決定ボタン145が押下された場合、画像処理装置12は、枠151で指定されていた人の顔の画像である画像オブジェクトを拡大して、画像提示装置14に、拡大した人の顔の画像を表示しさせる。そして、追尾の処理が開始される。すなわち、この拡大された人の顔の画像は、追尾される画像オブジェクトである。
As shown in FIG. 7, when the user presses the
次に、図8および図9を参照して追尾について説明する。 Next, tracking will be described with reference to FIGS.
追尾とは、追尾の対象とした画像オブジェクトを画像から検出し、画像上の画像オブジェクトの位置を特定することをいう。 Tracking refers to detecting an image object as a tracking target from an image and specifying the position of the image object on the image.
図8は、歩いている人の画像の例を示す図である。図8Aで示されるように、所定の時刻において、画面の左側に表示されている、左から右に歩いている人の画像は、所定の時刻を経過すると、図8Bで示されるように、画面の右側に表示される。 FIG. 8 is a diagram illustrating an example of an image of a person walking. As shown in FIG. 8A, an image of a person walking from left to right displayed on the left side of the screen at a predetermined time is displayed on the screen as shown in FIG. 8B after the predetermined time has elapsed. Displayed on the right side of.
追尾をしない場合、画像提示装置14に、歩いている人の全身が表示される。
When tracking is not performed, the whole body of the walking person is displayed on the
一方、追尾をする場合、リモートコントローラ13を操作することで、枠151の位置または大きさが指定され、追尾の対象(画像オブジェクト)が決定される。例えば、図8Aで示されるように、画像提示装置14に表示された人の顔に枠151を指定することにより、追尾の対象となる画像オブジェクトである人の顔の追尾が指示される。
On the other hand, in the case of tracking, the position or size of the
図9は、追尾され、拡大された画像オブジェクトの例を示す図である。図9Aで示される画像は、図8Aの枠151で指定されている、追尾の対象である画像オブジェクトを拡大したものである。また、図9Bで示される画像は、追尾された画像オブジェクト(図8Bの枠151で示される画像オブジェクト)を拡大したものである。
FIG. 9 is a diagram illustrating an example of an image object that has been tracked and enlarged. The image shown in FIG. 9A is an enlargement of the image object that is the target of tracking specified in the
追尾の対象となる画像オブジェクトである人の顔の追尾が指示されると、画像処理装置12は、入力された画像データから、追尾の対象となる画像オブジェクトを検出して、画像上の画像オブジェクトの位置を特定し、特定された位置を基準として、画像を拡大して、画像提示装置14に表示させる。その結果、画像提示装置14に、追尾の対象とした人の顔を拡大した画像が表示される。
When tracking of the face of a person who is an image object to be tracked is instructed, the image processing device 12 detects the image object to be tracked from the input image data, and the image object on the image is detected. And the image is enlarged and displayed on the
以上のようにして、追尾が行われる。 Tracking is performed as described above.
また、提示された画像をCCD(Charge Coupled Devices)で撮影し、ポインティングを行う画像処理システムが用いられている。 In addition, an image processing system is used in which a presented image is taken by a CCD (Charge Coupled Devices) and pointing is performed.
冷蔵庫に保管される保管物を各々表す複数のアイコンデータをサーバに接続されているハードディスクに予め記憶しておき、冷蔵庫に保管物を保管する際に当該保管物を示す画像の画像データをリモコンのCCDセンサによって取得し、取得した画像データに基づいて当該保管物を特定し、特定した保管物に対応するアイコンデータが示すアイコンを必要に応じてモニタに表示する手法がある。(例えば、特許文献1参照) A plurality of icon data respectively representing stored items stored in the refrigerator is stored in advance in a hard disk connected to the server, and when storing the stored items in the refrigerator, the image data of the image indicating the stored items is stored on the remote controller. There is a method of acquiring a stored item based on image data acquired by a CCD sensor and displaying an icon indicated by icon data corresponding to the specified stored item on a monitor as necessary. (For example, see Patent Document 1)
また、キーを押下するとレーザーポインタが発光し、キーを放すとCCDカメラが表示画面を撮像し、表示画面像及び指示ポイント像を含むCCD入力画像を取得し、表示画面像の辺や指示ポイント像の画像上の位置情報を求め、位置情報から表示画面上の指示ポイントの座標を求め、座標情報を指示画面表示装置に送信する手法がある。(例えば、特許文献2参照) Also, when the key is pressed, the laser pointer emits light, and when the key is released, the CCD camera captures the display screen, obtains the CCD input image including the display screen image and the indication point image, and displays the side of the display screen image and the indication point image. There is a method for obtaining position information on the image, obtaining the coordinates of the instruction point on the display screen from the position information, and transmitting the coordinate information to the instruction screen display device. (For example, see Patent Document 2)
また、赤外ポインターを用いて画像表示領域に投写されたスポット光の位置検出を行うシステムにおいて、画像表示領域を撮像するCCDカメラと、撮像された画像表示領域に含まれるスポット光の指示位置を検出し、赤外ポインターによる指示動作時に、赤外ポインターから送信されてくる状態信号を受信し、状態信号の受信タイミングに基づくスポット光の検出位置を画像表示領域上における指示位置として検出するように構成する手法がある。(例えば、特許文献3参照) Further, in a system that detects the position of a spot light projected on an image display area using an infrared pointer, a CCD camera that images the image display area and an indication position of the spot light included in the captured image display area are displayed. Detecting and receiving the status signal transmitted from the infrared pointer during the pointing operation by the infrared pointer, and detecting the spot light detection position based on the reception timing of the status signal as the pointing position on the image display area There are techniques to configure. (For example, see Patent Document 3)
また、画像を表示する為のプロジェクタと、ディスプレイ領域を撮像するCCDカメラと、撮像信号に基づき、ディスプレイ領域に含まれるプレゼンターの指示画像の影の領域、または実像領域からポインティング位置を検出する手法がある。(例えば、特許文献4参照) In addition, there is a method for detecting a pointing position from a shadow area or a real image area of an instruction image of a presenter included in a display area based on an imaging signal, a projector for displaying an image, a CCD camera for imaging a display area, and an imaging signal. is there. (For example, see Patent Document 4)
しかしながら、従来は、OSD(On Screen Device)とカーソルなどを組み合わせてポインティングをしていたため、所望の位置のポインティングを迅速かつ簡単に行うことができなかった。 However, conventionally, since pointing is performed by combining an OSD (On Screen Device) and a cursor, pointing at a desired position cannot be performed quickly and easily.
また、CCDの撮像時の部屋の明るさなどの影響を受けてしまうと、検出する座標の位置などに誤差が生じてしまい、画像オブジェクトのポインティングを正確に行うことができなかった。 In addition, if it is affected by the brightness of the room at the time of image capturing of the CCD, an error occurs in the position of coordinates to be detected and the pointing of the image object cannot be performed accurately.
そのため、画像オブジェクトのポインティングにおいて、迅速に簡単なポインティングが行われているとは言えなかった。 Therefore, it cannot be said that quick and simple pointing is performed in pointing of an image object.
本発明の画像処理システムは、リモートコントローラが、画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段と、画像オブジェクトの決定を画像処理装置に指示する入力手段と、画像オブジェクトの撮像によって得られた第2の画像データ、または画像オブジェクトの決定の指示を画像処理装置に送信する送信手段とを含み、画像処理装置は、リモートコントローラから送信されてきた第2の画像データ、または画像オブジェクトの決定の指示を受信する受信手段と、第2の画像データを基に、第1の画像データから画像オブジェクトを検出する検出手段と、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御手段とを含み、検出手段は、画像オブジェクトの決定が指示された場合、第1の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出することを特徴とする。 In the image processing system of the present invention, the remote controller determines an image object and an imaging unit that captures an image object included in the image displayed by the first image data output from the image processing apparatus. Input means for instructing the image processing apparatus, and transmission means for transmitting second image data obtained by imaging the image object or an instruction for determining the image object to the image processing apparatus. Receiving means for receiving second image data or an instruction for determining an image object transmitted from the controller; detecting means for detecting an image object from the first image data based on the second image data ; as to display a frame indicating the detected image objects, including a display control means for controlling the display of an image , Detecting means, if the determination of the image object is designated, the first image data, and detects an image frame as an image object to be tracked.
本発明のリモートコントローラは、画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段と、画像オブジェクトの決定を画像処理装置に指示する入力手段と、画像オブジェクトの撮像によって得られた第2の画像データ、または画像オブジェクトの決定の指示を画像処理装置に送信する送信手段とを備えることを特徴とする。 The remote controller according to the present invention instructs the image processing apparatus to determine an image object and an imaging unit that captures an image object included in the image displayed by the first image data output from the image processing apparatus. And an input unit for transmitting the second image data obtained by capturing the image object or an instruction for determining the image object to the image processing apparatus.
入力手段は、画像オブジェクトの拡大率を画像処理装置に指示し、送信手段は、さらに画像処理装置に、画像オブジェクトの拡大率の指示を送信するようにすることができる。 The input means may instruct the image processing apparatus to specify an enlargement ratio of the image object, and the transmission means may further transmit an instruction of the enlargement ratio of the image object to the image processing apparatus.
制御方法は、画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの決定の画像処理装置への指示を制御する入力制御ステップと、画像オブジェクトの撮像によって得られた第2の画像データ、または画像オブジェクトの決定の指示の画像処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。 The control method includes an imaging control step for controlling imaging of an image object included in an image displayed by the first image data output from the image processing apparatus, and determination of the image object to the image processing apparatus. An input control step for controlling the instruction; and a transmission control step for controlling transmission of the second image data obtained by imaging the image object or an instruction for determining the image object to the image processing apparatus. To do.
本発明の第1の記録媒体のプログラムは、画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの決定の画像処理装置への指示を制御する入力制御ステップと、画像オブジェクトの撮像によって得られた第2の画像データ、または画像オブジェクトの決定の指示の画像処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。 The first recording medium program of the present invention includes an imaging control step for controlling imaging of an image object included in an image displayed by the first image data output from the image processing apparatus, and an image object. Input control step for controlling an instruction to determine the image processing apparatus, and transmission control for controlling transmission of the second image data obtained by imaging the image object or an instruction to determine the image object to the image processing apparatus And a step.
本発明の第1のプログラムは、画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの決定の画像処理装置への指示を制御する入力制御ステップと、画像オブジェクトの撮像によって得られた第2の画像データ、または画像オブジェクトの決定の指示の画像処理装置への送信を制御する送信制御ステップとをコンピュータに実行させることを特徴とする。 The first program of the present invention includes an imaging control step for controlling imaging of an image object included in an image displayed by the first image data output from the image processing apparatus , and determination of the image object. An input control step for controlling an instruction to the image processing device, and a transmission control step for controlling transmission of the second image data obtained by imaging the image object or an instruction for determining the image object to the image processing device. The computer is executed.
本発明の画像処理装置は、リモートコントローラから送信されてきた、自分が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データ、または画像オブジェクトの決定の指示を受信する受信手段と、第2の画像データを基に、第1の画像データから画像オブジェクトを検出する検出手段と、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御手段とを備え、検出手段は、画像オブジェクトの決定が指示された場合、第1の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出する。 The image processing apparatus according to the present invention includes second image data obtained by capturing an image displayed by the first image data output from the remote controller and output from the remote controller , or an image object. A receiving means for receiving an instruction for determination, a detecting means for detecting an image object from the first image data based on the second image data, and a frame indicating the detected image object are displayed. Display control means for controlling display, and when the determination of the image object is instructed, the detection means detects the image of the frame as the image object to be tracked from the first image data .
受信手段は、リモートコントローラから送信されてきた、画像オブジェクトの拡大率の
指示をさらに受信し、表示制御手段は、指示された拡大率に対応する、枠を表示させるよ
うに、画像の表示を制御するようにすることができる。
The receiving means is for the enlargement ratio of the image object transmitted from the remote controller.
The instruction is further received, and the display control means displays a frame corresponding to the designated enlargement ratio.
Thus, the display of the image can be controlled .
第1の画像データに対応する所定の検索領域の画像データを記憶する第1の記憶手段と、第2の画像データを記憶する第2の記憶手段とがさらに設けられており、検出手段は、第1の記憶手段に記憶された検索領域の画像データから、第2の記憶手段に記憶された第2の画像データにより示される、追尾の対象となる画像オブジェクトを検索するようにすることができる。 First storage means for storing image data of a predetermined search area corresponding to the first image data, and second storage means for storing second image data are further provided. An image object to be tracked indicated by the second image data stored in the second storage means can be searched from the image data in the search area stored in the first storage means. .
本発明の画像処理方法は、リモートコントローラから送信されてきた、画像処理装置が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データ、または画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、第2の画像データを基に、第1の画像データから画像オブジェクトを検出する検出ステップと、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御ステップとを含み、検出ステップの処理によって、画像オブジェクトの決定が指示された場合、第1の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出することを特徴とする。 According to the image processing method of the present invention, the second image data obtained by capturing the image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or the image A reception control step for controlling reception of an object determination instruction , a detection step for detecting an image object from the first image data based on the second image data, and a frame indicating the detected image object are displayed. as, seen including a display control step for controlling the display of images, the processing of the detecting step, if the determination of the image object is instructed, the frame of the first image data, as an image object to be tracked It is characterized by detecting the image .
本発明の第2の記録媒体のプログラムは、リモートコントローラから送信されてきた、画像処理装置が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データ、または画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、第2の画像データを基に、第1の画像データから画像オブジェクトを検出する検出ステップと、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御ステップとを含み、検出ステップの処理によって、画像オブジェクトの決定が指示された場合、第1の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出することを特徴とする。 The program of the second recording medium of the present invention is a second image obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller. A reception control step for controlling reception of an instruction for determining data or an image object, a detection step for detecting an image object from the first image data based on the second image data, and the detected image object so as to display the frame, seen including a display control step for controlling the display of images, the processing of the detecting step, if the determination of the image object is designated, composed of the first image data, an object tracking image It is characterized by detecting an image of a frame as an object .
本発明の第2のプログラムは、リモートコントローラから送信されてきた、画像処理装置が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データ、または画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、第2の画像データを基に、第1の画像データから画像オブジェクトを検出する検出ステップと、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御ステップとを含み、検出ステップの処理によって、画像オブジェクトの決定が指示された場合、第1の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出する処理をコンピュータに実行させることを特徴とする。 The second program of the present invention is the second image data obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or A reception control step for controlling reception of an instruction for determining an image object, a detection step for detecting an image object from the first image data based on the second image data, and a frame indicating the detected image object are displayed. A display control step for controlling the display of the image, and when the determination of the image object is instructed by the processing of the detection step, a frame as an image object to be tracked from the first image data The computer is caused to execute processing for detecting the image .
本発明の画像処理システムにおいては、リモートコントローラにより、画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、画像オブジェクトが撮像され、画像オブジェクトの決定が画像処理装置に指示され、画像オブジェクトの撮像によって得られた第2の画像データ、または画像オブジェクトの決定の指示が画像処理装置に送信され、画像処理装置により、リモートコントローラから送信されてきた第2の画像データ、または画像オブジェクトの決定の指示が受信され、第2の画像データを基に、第1の画像データから画像オブジェクトが検出され、検出された画像オブジェクトを示す枠を表示させるように、画像の表示が制御され、画像オブジェクトの決定が指示された場合、第1の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像が検出される。 In the image processing system of the present invention, by a remote controller, is included in the image displayed by the first image data output from the image processing apparatus, an image object is captured, the determination of the image object is an image processing device is instructed, the second image data obtained by the imaging of the image object or indication of the determination of the image object, is sent to the image processing apparatus, the image processing apparatus, the second image transmitted from a remote controller data or instructions for determining the image object is received, on the basis of the second image data, from the first image data is detected image object, so as to display a frame indicating the detected image object, an image of When the display is controlled and the determination of the image object is instructed, the first image data Et al., The image frame as an image object to be tracked is detected.
本発明のリモートコントローラおよび方法、第1の記録媒体、並びに第1のプログラムにおいては、画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、画像オブジェクトが撮像され、画像オブジェクトの決定が画像処理装置に指示され、画像オブジェクトの撮像によって得られた第2の画像データ、または画像オブジェクトの決定の指示が画像処理装置に送信される。 Remote controller and method of the present invention, the first recording medium, and the first program, are included in the image displayed by the first image data output from the image processing apparatus, an image object is captured Then , the determination of the image object is instructed to the image processing apparatus, and the second image data obtained by imaging the image object or the instruction to determine the image object is transmitted to the image processing apparatus.
本発明の画像処理装置および方法、第2の記録媒体、並びに第2のプログラムにおいては、リモートコントローラから送信されてきた、画像処理装置が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データ、または画像オブジェクトの決定の指示が受信され、第2の画像データを基に、第1の画像データから画像オブジェクトが検出され、検出された画像オブジェクトを示す枠を表示させるように、画像の表示が制御され、画像オブジェクトの決定が指示された場合、第1の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像が検出される。 In the image processing apparatus and method, the second recording medium, and the second program of the present invention, an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller is captured. It is received indication of the determination of the obtained second image data or image object, by being, based on the second image data, the image object is detected from the first image data, the detected image object When the display of the image is controlled so that a frame indicating the image is displayed and the determination of the image object is instructed, the image of the frame as the image object to be tracked is detected from the first image data .
第1の本発明によれば、画像オブジェクトを追尾することができる。また、第1の本発明によれば、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。 According to the first aspect of the present invention, an image object can be tracked. In addition, according to the first aspect of the present invention, it is possible to point an image object to be tracked more quickly and easily.
第2の本発明によれば、画像処理装置において、画像オブジェクトをポインティングすることができる。また、第2の本発明によれば、画像処理装置において、より迅速に、より簡単に画像オブジェクトをポインティングすることができる。 According to the second aspect of the present invention, it is possible to point an image object in the image processing apparatus. According to the second aspect of the present invention, an image object can be pointed more quickly and easily in the image processing apparatus.
第3の本発明によれば、画像オブジェクトを追尾することができる。また、第3の本発明によれば、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。 According to the third aspect of the present invention, an image object can be tracked. Further, according to the third aspect of the present invention, it is possible to point to an image object to be tracked more quickly and easily.
以下、図面を参照しながら本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図10は、本発明に係る画像処理システムの一実施の形態の構成を示す図である。 FIG. 10 is a diagram showing a configuration of an embodiment of an image processing system according to the present invention.
画像処理システム2は、画像再生装置11、画像提示装置14、画像処理装置201、およびリモートコントローラ202を含むように構成される。
The
画像再生装置11は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置201に供給する。例えば、画像再生装置11は、ビデオカセットレコーダ、ハードディスクレコーダ、およびDVD(Digital Versatile Disk)プレーヤなどの画像再生装置、並びにテレビチューナなどの放送受信装置とすることが可能である。
The
画像提示装置14は、CRT(Cathode-Ray Tube)表示装置または液晶表示装置などからなり、画像処理装置201から供給された、画像オブジェクトを追尾した結果の画像データを基に、追尾されている画像オブジェクトを表示する。
The
画像処理装置201は、リモートコントローラ202から供給された制御信号を基に、画像再生装置11より供給された画像データから、画像オブジェクトを追尾した結果の画像データを生成し、画像提示装置14に供給する。
Based on the control signal supplied from the
また、画像処理装置201は、例えば、従来のリモートコントローラ13(図1)にから供給された制御信号を基に、画像データを処理することができる。すなわち、画像処理装置201は、単独で画像オブジェクトを追尾する画像処理装置として機能することができる。
The
リモートコントローラ202は、ユーザの操作により、画像処理装置201を制御するための制御信号(コマンド)を生成し、生成した制御信号を画像処理装置201に供給する。リモートコントローラ202の詳細については、図11を参照して後述する。
The
画像処理装置201は、画像入出力部221、制御部222、画像追尾処理部223、および画像拡大処理部224をさらに含む。例えば、画像入出力部221、制御部222、画像追尾処理部223、および画像拡大処理部224は、それぞれ、1つの基板として構成される。このようにすることで、機能の追加が容易になる。
The
画像入出力部221は、画像再生装置11から供給された画像データを入力する。また、画像入出力部221は、画像オブジェクトを追尾した結果の画像データを画像提示装置14に供給する。
The image input /
制御部222は、リモートコントローラ202から送信されてきた制御信号、および追尾する画像オブジェクトの画像データを受信する。制御部222は、制御信号および受信した画像データを基に、画像処理装置201全体を制御する。制御部222は、追尾する画像オブジェクトの画像データを画像追尾処理部223に供給する。
The
画像追尾処理部223は、リモートコントローラ202から送信され、制御部222によって受信され、制御部222から供給された追尾する画像オブジェクトの画像データを基に、画像処再生装置11より供給された画像データから、画像オブジェクトを追尾する。画像追尾処理部223は、追尾した画像オブジェクトの画面上の位置を画像拡大処理部224に供給する。
The image
画像拡大処理部224は、画像追尾処理部223から供給された、追尾された画像オブジェクトの画面上の位置を基に、画像に含まれる画像オブジェクトを拡大する。画像拡大処理部224は、拡大した画像オブジェクトを表示させる画像データを画像入出力部221に供給する。
The image
次に、リモートコントローラ202の外観について、図11を参照して説明する。
Next, the external appearance of the
リモートコントローラ202の上面には、ユーザにより押圧操作されるキー入力部241が配置され、リモートコントローラ202がユーザに把持された場合、リモートコントローラ202の画像処理装置201側を向く面には、送信部242および撮像部243が配置されている。
On the upper surface of the
キー入力部241は、画像オブジェクトを指定するとき、または拡大率を画像処理装置201に指示するときなど、ユーザによって操作される。
The
また、リモートコントローラ202は、単独で視聴環境のセンサとしても機能する。例えば、チャンネルの切り替え、音量の制御、またはその他画質を制御するパラメータの変更などを指示することが可能である。
The
送信部242は、画像処理装置201に制御信号を送信する。制御信号等を、送信部242が画像処理装置201に送信する方式、すなわち、リモートコントローラ202と画像処理装置201との間の通信方式は特に限定しない。例えば、通信方式として、赤外線または無線を用いることができる。
The
撮像部243は、画像提示装置14に表示された画像を撮像する。例えば、撮像部243は、CCD(Charge Coupled Device)とすることができる。例えば、撮像部243は、望遠レンズからなる光学系を有し、撮像部243の視野角は、極めて狭く設定される。
The
このように、撮像部243は、画像提示装置14に表示された画像のうち、一部の画像である画像オブジェクトを撮像するのに適するように構成される。送信部242は、撮像された画像オブジェクトの画像データを画像処理装置201に送信する。
As described above, the
図12は、図10の構成を有する画像処理システムの構成を示すブロック図である。 FIG. 12 is a block diagram showing the configuration of the image processing system having the configuration of FIG.
リモートコントローラ202は、キー入力部241、送信部242、および撮像部243に加えて、制御部244を含むように構成されている。
The
ユーザによりキー入力部241のボタンが押下された場合、キー入力部241は、押下されたボタンに対応する操作信号を制御部244に供給する。
When the user presses a button on the
撮像部243は、制御部244の制御を基に、画像提示装置14に表示された画像のうち、追尾する画像オブジェクトを撮像し、撮像により生成された画像データを制御部244に供給する。
Based on the control of the
以下、撮像部243の撮像により生成された画像データを、撮像データと称する。
Hereinafter, the image data generated by the imaging of the
送信部242は、制御部244の制御を基に、キー入力部241からの操作信号に対応する制御信号を画像処理装置201に送信すると共に、撮像部243の撮像により生成された撮像データを画像処理装置201に送信する。
The
画像入出力部221は、画像入力部261および画像出力部262をさらに含むように構成される。
The image input /
画像入力部261は、画像再生装置11より供給された画像データを入力して、入力した画像データを画像出力部262および画像追尾処理部223に供給する。
The
画像出力部262は、画像入力部261より供給された画像データ、または画像拡大処理部224から供給された、追尾する画像オブジェクトを拡大した画像データのいずれか一方を選択する。また、画像処理部262は、制御部222から供給された、後述する枠などを表示するための表示データを、選択した画像データに重畳する。画像出力部262は、選択した画像データを画像提示装置14に供給する。
The
制御部222は、受信部281、制御CPU282、およびOSD表示制御部283を含むように構成される。
The
受信部281は、送信部242より送信された制御信号を受信し、受信した制御信号を制御CPU282に供給する。また、受信部281は、送信部242より送信された、追尾する画像オブジェクトの撮像データを受信し、受信した撮像データを画像追尾処理部223に供給する。
The receiving
制御CPU282は、受信部281より供給された制御信号を基に、OSD表示制御信号、追尾制御信号および拡大制御信号を生成し、生成したOSD表示制御信号、追尾制御信号および拡大制御信号を、それぞれ、OSD表示制御部283、画像追尾処理部223および画像拡大処理部224に供給する。
The
画像追尾処理部223は、追尾オブジェクト指示部301、テンプレート記憶部302、サーチエリア記憶部303、および追尾処理部304を含むように構成される。
The image
追尾オブジェクト指示部301は、制御CPU282より供給された追尾制御信号に含まれる追尾領域の位置情報を抽出し、抽出した追尾領域の位置情報をテンプレート記憶部302に供給する。
The tracking
テンプレート記憶部302は、追尾する画像オブジェクトを示す、受信部281から供給された撮像データを記憶する。または、テンプレート記憶部302は、追尾オブジェクト指示部301より供給された追尾領域の位置情報を基に、画像入力部261より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。
The
例えば、テンプレート記憶部302は、追尾オブジェクト指示部301より供給された位置情報を基に、画像入力部261より供給された画像データから、64画素×64画素の領域の画像オブジェクト(の画像データ)を抽出し、抽出した画像オブジェクトを追尾する画像オブジェクトとして記憶する。
For example, the
以下、追尾される画像オブジェクトが抽出される領域を追尾領域とも称する。 Hereinafter, an area from which an image object to be tracked is extracted is also referred to as a tracking area.
テンプレート記憶部302は、記憶している画像オブジェクトを示す画像データを追尾処理部304に供給する。
The
サーチエリア記憶部303は、画像入力部261より供給された画像データから検索領域(サーチエリア)の画像データを抽出し、抽出した検索領域の画像データを記憶する。サーチエリア記憶部303は、記憶している検索領域の画像データを追尾処理部304に供給する。
The search
例えば、サーチエリア記憶部303は、画像入力部261より供給された画像データから、128画素×128画素の検索領域(サーチエリア)の画像データを抽出し、抽出した検索領域の画像データを記憶する。
For example, the search
追尾処理部304は、サーチエリア記憶部303より供給された検索領域から、テンプレート記憶部302より供給された画像データより示される、追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部301および画像拡大処理部224に供給する。
The
画像オブジェクトの追尾が指示されている場合、追尾オブジェクト指示部301は、追尾処理部304より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部302に供給する。その後、テンプレート記憶部302は、追尾オブジェクト指示部301より供給された位置情報を基に、画像入力部261より供給された画像データから画像オブジェクト(の画像データ)を抽出し、抽出した画像オブジェクトを追尾する画像オブジェクトとして記憶して、追尾の処理が繰り返される。
When the tracking of the image object is instructed, the tracking
画像拡大処理部224は、拡大パラメータ指示部321および拡大処理部322を含むように構成される。
The image
拡大パラメータ指示部321は、制御CPU282より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部304より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ(拡大位置、拡大率などを指定するパラメータ)を生成し、生成した拡大パラメータを拡大処理部322に供給する。
The enlargement
拡大処理部322は、拡大パラメータ指示部321より供給された拡大パラメータを基に、画像入力部261より供給された画像データにより表示される画像データの一部を拡大し、拡大した画像の画像データ(画像オブジェクト)を画像入出力部221の画像出力部262に供給する。
The
画像入出力部221の画像出力部262は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置14に出力して、画像提示装置14に追尾され、拡大された画像オブジェクトを表示させる。
The
画像提示装置14は、画像出力部262より供給された画像データを基に、画像を表示する。
The
このように、リモートコントローラ202は、表示されている画像から追尾する画像オブジェクトを撮像して、追尾する画像オブジェクトを示す撮像データを生成して、生成した撮像データを画像処理装置201に供給する。画像処理装置201は、リモートコントローラ202から供給された、追尾する画像オブジェクトを示す撮像データを基に、画像データから画像オブジェクトを検出して、検出した画像オブジェクトの位置を特定することができる。
As described above, the
図13は、図12の構成を有する画像処理システムによる、追尾の処理を説明するフローチャートである。 FIG. 13 is a flowchart for explaining tracking processing by the image processing system having the configuration of FIG.
ステップS1において、画像再生装置11は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置201に供給する。
In step S <b> 1, the
ステップS2において、画像処理装置201の画像入力部261は、画像再生装置11より供給された画像データを取得し、取得した画像データを画像出力部262に供給する。画像出力部262は、画像入力部261より供給された画像データを取得し、取得した画像データを画像提示装置14に供給する。
In step S <b> 2, the
ステップS3において、画像提示装置14は、画像出力部262より供給された画像データを基に、画像を表示する。この場合、追尾の指定を行っていないので、画像再生装置11より供給された画像データが、そのまま画像提示装置14に供給され、画像データによる画像が画像提示装置14に表示される。
In step S <b> 3, the
図14の左側は、画像提示装置14に表示されている画像を示す。例えば、画像提示装置14には、人の画像が表示される。
The left side of FIG. 14 shows an image displayed on the
また、図14の右側は、リモートコントローラ202を示す。リモートコントローラ202のキー入力部241は、追尾位置指定ボタン341、拡大ボタン342、縮小ボタン343、および決定ボタン344を備える。
The right side of FIG. 14 shows the
ステップS4において、制御部244は、キー入力部241からの操作信号を基に、ユーザがキー入力部241の追尾位置指定ボタン341を押下したか否か判定する。
In step S <b> 4, the
ステップS4において、ユーザが追尾位置指定ボタン341を押下したと判定された場合、ステップS5に進み、画像処理装置201およびリモートコントローラ202は、追尾設定の処理を実行する。追尾の設定の処理の詳細は後述する。
If it is determined in step S4 that the user has pressed the tracking
ステップS6において、画像処理装置201は、追尾の処理を実行して、処理は終了する。追尾の処理の詳細は後述する。
In step S6, the
ステップS4において、ユーザが追尾指定ボタン341を押下していないと判定された場合、ステップS5およびステップS6の処理はスキップされて、追尾の処理は実行されず、画像提示装置14は、画像再生装置11より供給された画像を表示して、処理は終了する。
If it is determined in step S4 that the user has not pressed the
次に、ステップS5の追尾の設定の処理に対応する、追尾の設定の処理の詳細について、図15のフローチャートを参照して説明する。 Next, details of the tracking setting process corresponding to the tracking setting process of step S5 will be described with reference to the flowchart of FIG.
ステップS101において、ユーザによる、リモートコントローラ202の操作に対応して、リモートコントローラ202の撮像部243は、画像提示装置14に表示されている画像を撮像する。
In step S <b> 101, the
図16で示されるように、リモートコントローラ202の撮像部243は、画像提示装置14に表示される画像のうち、図中において円で示される領域の画像を撮像する。ユーザは、リモートコントローラ202を上下左右に動かしたり、向きを変えたりすることで、画像提示装置14に表示される画像のうち、所望の領域の画像をリモートコントローラ202に撮像させることができる。
As illustrated in FIG. 16, the
撮像部243が撮像する撮像データの詳細について、図17を参照して説明する。
Details of the imaging data captured by the
図17Aは、画像提示装置14に表示される円を含む画像の例を示す。
FIG. 17A shows an example of an image including a circle displayed on the
図17Bは、画像提示装置14に表示される円を含む画像のうち、リモートコントローラ202の撮像部243により、撮像されている領域351を示す。ユーザがリモートコントローラ202を動かすとと、画像提示装置14に表示される画像のうち、リモートコントローラ202の撮像部243により、表示されている画像に対して、撮像される領域351が移動する。例えば、図17Bに示される例においては、リモートコントローラ202の撮像部243は、画像提示装置14に表示される円を含む画像のうち、円の左上の扇形の部分を撮像している。
FIG. 17B shows a
図17Cは、撮像部243が、撮像した画像352を表す。例えば、撮像部243は、画像提示装置14に表示される画像のうち、円の左上の扇形の部分の画像352を撮像する。
FIG. 17C shows an
ステップS102において、リモートコントローラ202の送信部242は、ステップS101において、撮像部243により撮像された画像352を、画像処理装置201の受信部281に送信する。より詳細には、ステップS102において、送信部242は、撮像部243により撮像された画像352に対応する撮像データを、受信部281に送信する。
In step S102, the
ステップS103において、画像処理装置201の受信部281は、リモートコントローラ202の送信部242から送信された撮像データを受信し、受信した撮像データを制御CPU282およびテンプレート記憶部302に供給する。
In step S <b> 103, the
図18は、画像再生装置11によって再生され、画像処理装置12を介して供給された画像データを基に、画像提示装置14が表示している人の画像の例を示す図である。リモートコントローラ202を操作して、画像提示装置14に表示される人の顔の画像に撮像部243を向けた場合、撮像部243は、表示されている画像のうち、人の顔の画像を撮像し、撮像した人の顔の撮像データを制御部244を介して送信部242に供給する。リモートコントローラ202の送信部242は、撮像部243から供給された撮像データを画像処理装置201の受信部281に送信する。受信部281は、送信部242から送信されてきた撮像データを受信して、受信した撮像データをテンプレート記憶部302に供給する。
FIG. 18 is a diagram illustrating an example of a human image displayed by the
テンプレート記憶部302は、受信部281から供給された撮像データを記憶する。
The
図19で示される例において、図中左側は、テンプレート記憶部302に記憶されている撮像データに対応する画像352を表す。より詳細には、テンプレート記憶部302に記憶されている撮像データに対応する画像352は、テンプレート記憶部302のメモリに記憶される。例えば、撮像データは、64画素×64画素からなる。
In the example shown in FIG. 19, the left side in the drawing represents an
ステップS104において、サーチエリア記憶部303は、画像入力部261より供給された画像データから、検索領域を抽出し、抽出した検索領域を追尾処理部304に供給する。
In step S104, the search
図19で示される例において、図中右側は、サーチエリア記憶部303に記憶されている画像データに対応する画像361を表す。サーチエリア記憶部303に記憶されている画像データは、画像入力部221より供給された画像データであるフレームの一部であり、フレームの検索対象となる領域の画像データが、サーチエリア記憶部303に備えるメモリに記憶される。例えば、検索対象となる領域は、128画素×128画素の領域である。
In the example shown in FIG. 19, the right side in the drawing represents an
以下、検索対象となる領域の画像データを、検出対象画像データとも称する。 Hereinafter, the image data of the region to be searched is also referred to as detection target image data.
ステップS104において、追尾処理部304は、テンプレート記憶部302より供給された撮像データを基に、サーチエリア記憶部303より供給された検出対象画像データから画像を検索する。例えば、ステップS104において、追尾処理部304は、テンプレート記憶部302より供給された撮像データを基に、サーチエリア記憶部303より供給された検出対象画像データから、撮像データに最も類似する画像オブジェクトを検出する。
In step S <b> 104, the
類似する画像オブジェクトの検出の方法の詳細について、図20乃至図22を参照して説明する。図20で示されるように、例えば、追尾処理部304は、検出対象画像データに対する撮像データの位置を、いわゆるラスタスキャン順に移動させて、その位置における検出対象画像データの画像オブジェクトと撮像データで示される画像オブジェクトとの類似の度合いを評価して、撮像データ351で示される画像オブジェクトに最も類似する、検出対象画像データに含まれる画像オブジェクトを検出する。
Details of a method for detecting similar image objects will be described with reference to FIGS. As shown in FIG. 20, for example, the
例えば、画像オブジェクトを検出において、検出対象画像データに対する撮像データの位置は、検出対象画像データの左上の隅から右側に順に平行に移動し、右端に達すると、所定の画素だけ下であって、最も左に移動して、そこからまた右側に順に平行に移動する。このような撮像データの位置の移動は、撮像データが検出対象画像データの右下に達するまで繰り返される。 For example, in detecting the image object, the position of the imaging data with respect to the detection target image data moves in parallel from the upper left corner of the detection target image data to the right side in order, and when reaching the right end, the predetermined pixel is below, Move to the left and move in parallel from there to the right. Such movement of the position of the imaging data is repeated until the imaging data reaches the lower right of the detection target image data.
例えば、検出対象画像データに対する撮像データの1つの位置毎に、検出対象画像データの画素の画素値と、撮像データの対応する位置の画素の画素値との差が算出され、その差の絶対値の総和が評価値として算出される。例えば、評価値としての画素値の差の絶対値が最小となる撮像データの位置が、画像データにおける、検出しようとする画像オブジェクトの位置である。 For example, for each position of the imaging data with respect to the detection target image data, the difference between the pixel value of the pixel of the detection target image data and the pixel value of the pixel at the corresponding position of the imaging data is calculated, and the absolute value of the difference Is calculated as an evaluation value. For example, the position of the image data that minimizes the absolute value of the difference between the pixel values as the evaluation value is the position of the image object to be detected in the image data.
なお、検出対象画像データに対する撮像データの移動の間隔は、例えば、1画素ずつ移動するようにすることができる。 Note that the interval of movement of the imaging data with respect to the detection target image data can be moved, for example, pixel by pixel.
この場合、移動の間隔は所望の間隔とすることが可能である。検出対象画像データに対する撮像データの移動の間隔をより小さくしたほうが、より正確に類似する画像オブジェクトを検出することができる。 In this case, the movement interval can be set to a desired interval. Similar image objects can be detected more accurately by reducing the movement interval of the imaging data with respect to the detection target image data.
図21は、画像オブジェクトの検出の処理において、ラスタスキャン順に撮像データを移動させる場合の、検出対象画像データの画像361に対する、撮像データの画像351の最初の位置の例を示す。すなわち、図21は、図20で示される左上の画像を拡大したものである。図21で示されるように、撮像データと、検出対象画像データの背景の部分とが比較されることになるので、画素値の差の絶対値が大きくなり、検出しようとする画像オブジェクトは存在しないと判定される。
FIG. 21 shows an example of the initial position of the
これに対して、図22で示されるように、撮像データの画像351と検出対象画像データの画像361のもっとも類似する部分の画像とが、重なる位置においては、検出しようとする画像オブジェクトを示す撮像データと、画像データに含まれる、検出されるべき画像オブジェクトとが比較され、画素値の差が小さくなる。従って、この位置における、画素値の差の絶対値(評価値)が、他の位置における画素値の差の絶対値(評価値)よりも小さくなり、検出しようとする画像オブジェクトがその位置に存在すると判定される。
On the other hand, as shown in FIG. 22, at the position where the
画像オブジェクトを検出する評価値は、画素値の差分の絶対値の総和に限らず、画素値の差分の自乗の総和など、画像の相関を示すものであれば良い。 The evaluation value for detecting an image object is not limited to the sum of absolute values of pixel value differences, but may be any value that indicates correlation of images, such as the sum of squares of pixel value differences.
また、追尾処理部304は、画像オブジェクトを検出する場合、撮像データおよび検出対象画像データを内部に備えるメモリに記憶する。撮像データおよび検出対象画像データのデータ量が、追尾処理部304の内部のメモリの容量よりも大きい場合、撮像データおよび検出対象画像データについて、データの間引きの処理を行い、データ量を少なくしてから、処理を実行するようにしてもよい。
In addition, when detecting an image object, the
図15に戻り、ステップS105において、追尾処理部304は、検出した画像オブジェクトから、画像オブジェクトの中心位置を取得する。例えば、ステップS105において、追尾処理部304は、画像オブジェクトの中心位置として、検出しようとする画像オブジェクトが存在すると判定された位置における、撮像データと比較された検出対象画像データの領域の中心位置を取得する。
Returning to FIG. 15, in step S <b> 105, the
また、例えば、画像オブジェクトの中心位置は、画像オブジェクトの重心とするようにしてもよい。 Further, for example, the center position of the image object may be the center of gravity of the image object.
このように、画像オブジェクトの中心位置を検出することで、後の処理において、より正確に画像オブジェクトの位置を表示できるようになると共に、より正確に画像オブジェクトを追尾することができるようになる。 In this way, by detecting the center position of the image object, the position of the image object can be displayed more accurately in the subsequent processing, and the image object can be tracked more accurately.
ステップS105において、追尾処理部304は、画像オブジェクトの中心位置を示す位置データを追尾オブジェクト指示部301および拡大パラメータ指示部321に供給する。さらに、追尾オブジェクト指示部301は、検出した画像オブジェクトの中心位置を示す位置データをOSD表示制御部283に供給する。
In step S <b> 105, the
ステップS106において、OSD表示制御部283は、画像提示装置14に、拡大枠を表示させる。例えば、ステップS106において、OSD表示制御部283は、ステップS105の処理で検出された画像オブジェクトの中心位置に、拡大枠を画像提示装置14に表示させる表示データを生成して、生成した表示データを画像出力部262に供給する。画像出力部262は、画像データに表示データを重畳して、表示データを重畳した画像データを画像提示装置14に供給する。
In step S106, the OSD
図23で示される例は、図18で示される人の顔を画像オブジェクトとした場合の、画像提示装置14に表示される画像オブジェクトの中心位置tを示す。
The example shown in FIG. 23 shows the center position t of the image object displayed on the
ステップS107において、制御CPU282は、リモートコントローラ202から送信されてくる制御信号を基に、拡大率が指定されたか否かを判定する。
In step S107, the
例えば、ユーザが拡大ボタン342または縮小ボタン343を押下し、拡大率が指定された場合、キー入力部241から供給される操作信号を基に、制御部244は、拡大または縮小の制御信号を生成し、生成した拡大または縮小の制御信号を送信部242に供給する。送信部242は、制御部244の制御の基に、拡大または縮小の制御信号を画像処理装置201に送信する。
For example, when the user presses the enlarge
画像処理装置201の受信部281は、送信部281より送信されてきた、拡大または縮小の制御信号を受信して、受信した制御信号を制御CPU282に供給する。制御CPU282は、受信部281から供給された拡大または縮小の制御信号を基に、拡大率が指定されたか否かを判定する。
The
ステップS107において、拡大率が指定されたと判定された場合、ステップS108に進み、制御CPU282は、拡大率を設定して、ステップS109に進む。例えば、ステップS108において、制御CPU282は、受信部281より供給された、拡大または縮小制御信号を基に、OSD表示制御信号を生成し、生成したOSD表示制御信号をOSD表示制御部283に供給する。また、ステップS108において、制御CPU282は、拡大または縮小制御信号を基に、拡大率を指示する拡大制御信号を生成し、生成した拡大制御信号を画像拡大処理部224に供給する。
If it is determined in step S107 that an enlargement ratio has been designated, the process proceeds to step S108, the
OSD表示制御部283は、制御CPU282より供給されたOSD表示制御信号を基に、枠371の大きさを制御する。また、画像拡大処理部224の拡大パラメータ指示部321は、制御CPU282より供給された拡大制御信号を基に、拡大パラメータを生成する。
The OSD
一方、ステップS107において、拡大率が指定されなかったと判定された場合、ステップS108の処理はスキップされ、手続きは、ステップS109に進む。 On the other hand, if it is determined in step S107 that the enlargement ratio has not been specified, the process of step S108 is skipped, and the procedure proceeds to step S109.
ステップS109において、制御CPU282は、受信した制御信号を基に、決定ボタン344が押下されたか否かを判定する。
In step S109, the
ユーザが決定ボタン344を押下した場合、キー入力部241は、決定ボタン344に対応する操作信号を制御部224に供給する。制御部224は、決定ボタン344に対応する操作信号が供給された場合、決定の制御信号を生成して、生成した制御信号を送信部242に供給する。送信部242は、制御部244の制御の基に、決定の制御信号を画像処理装置201に送信する。
When the user presses the
画像処理装置201の受信部281は、送信部281より送信されてきた、決定の制御信号を受信して、受信した制御信号を制御CPU282に供給する。制御CPU282は、受信部281から供給された決定の制御信号を基に、決定ボタン344が押下されたと判定する。
The
また、決定ボタン344が押下されていない場合、画像処理装置201には、決定の制御信号が送信されないので、制御CPU282は、決定ボタン344が押下されていないと判定する。
When the
ステップS109において、決定ボタン344が押下されていないと判定された場合、ステップS101に戻り、決定ボタン344が押下されるまで、上述した追尾の設定の処理が繰り返される。
If it is determined in step S109 that the
ステップS101乃至ステップS106が繰り返されることにより、リモートコントローラ202の動きまたは向きによって、新たな画像オブジェクトを撮像して、撮像された画像オブジェクトを基に、追尾する画像オブジェクトが検出されるので、追尾する画像オブジェクトを簡単に変更することができる。
By repeating steps S101 to S106, a new image object is imaged by the movement or orientation of the
図24は、画像提示装置14に表示される拡大枠の例を示す図である。
FIG. 24 is a diagram illustrating an example of an enlarged frame displayed on the
追尾位置指定ボタン341を押下し、リモートコントローラ202が、追尾開始の制御信号を画像処理装置201に送信して、画像処理装置201が追尾の設定の処理を開始した場合、ステップS101乃至ステップS104の処理を実行する前に、画像処理装置201は、画像提示装置14に、画像データに対応する人の画像に重畳させて、表示データに対応する枠371を表示させる。なお、この場合、枠371は、初期位置に表示される。
When the tracking
図25で示されるように、ステップS101乃至ステップS106が繰り返し実行されている場合、ユーザがリモートコントローラ202を上下左右に動かすことで、画像提示装置14に表示する画像に重畳した拡大枠371が移動する。
As shown in FIG. 25, when steps S101 to S106 are repeatedly executed, the user moves the
このように、リモートコントローラ202を動かすことでポインティングを行い、同時にポインティングした画像を撮像しているので、ユーザは、画像を撮像していることを意識する必要はない。
Thus, since the pointing is performed by moving the
すなわち、リモートコントローラ202を向けた方向の画像オブジェクトが、追尾の対象となるので、より直感的なポインティングをすることができる。
That is, since the image object in the direction toward the
また、図26で示されるように、ユーザが拡大ボタン342を押下した場合、画像処理装置201は、画像提示装置14に、人の画像に重畳して、拡大した枠371を表示させる。すなわち、図26における枠371の外側の四角が拡大後の枠371となる。
As shown in FIG. 26, when the user presses the enlarge
図27で示されるように、ユーザが縮小ボタン343を押下した場合、画像処理装置201は、画像提示装置14に、人の画像に重畳して、縮小した枠371を表示させる。すなわち、図27における枠371の内側の四角が縮小後の枠371となる。
As illustrated in FIG. 27, when the user presses the
ステップS109において、決定ボタン344が押下されていないと判定された場合、ステップS110に進み、テンプレート記憶部302は、拡大枠の画像をテンプレートとして記憶して、処理は終了する。
If it is determined in step S109 that the
例えば、ステップS110において、テンプレート記憶部302は、設定された拡大率に対応する撮像データをテンプレートとして記憶する。
For example, in step S110, the
すなわち、例えば、追尾オブジェクト指示部301は、ステップS104の検索の処理得られた画像オブジェクトから、テンプレートをステップS108の処理で設定された拡大率、およびステップS105の処理で取得した検出した画像オブジェクトの中心位置を基に、追尾する画像オブジェクトを示すテンプレートを抽出する。
That is, for example, the tracking
例えば、最初の設定の拡大率に比較して、2倍の拡大率が設定された場合(枠371の大きさが半分に設定された場合)、追尾オブジェクト指示部301は、中心位置を中心として、ステップS104の検索の処理得られた画像オブジェクトに対して、横方向に半分の数の画素、および縦方向に半分の数の画素を画像データからテンプレートとして抽出するように、テンプレート記憶部302に指示する。
For example, in the case where a magnification twice as large as that of the initial setting is set (when the size of the
例えば、最初の設定の拡大率に比較して、半分の拡大率が設定された場合(枠371の大きさが2倍に設定された場合)、追尾オブジェクト指示部301は、中心位置を中心として、ステップS104の検索の処理得られた画像オブジェクトに対して、横方向に2倍の数の画素、および縦方向に2倍の数の画素を画像データからテンプレートとして抽出するように、テンプレート記憶部302に指示する。
For example, when a half magnification is set compared to the initially set magnification (when the size of the
テンプレート記憶部302は、追尾オブジェクト指示部301からの指示の基に、画像データからテンプレートとして抽出して、抽出したテンプレートを記憶する。
The
このように、画像オブジェクトの検出は撮像データ351または画像データ361を変更しながら実行することで、拡大ボタン342または縮小ボタン343の押下より大きさの異なる画像オブジェクトを検出することができる。
As described above, by detecting the image object while changing the
図28で示されるように、ユーザが決定ボタン344を押下した場合、画像処理装置201は、画像提示装置14に、枠371で指定した、画像オブジェクトを拡大して表示させる。
As illustrated in FIG. 28, when the user presses the
次に、図29および図30を参照して、部屋の明るさに対応した画像出力について説明する。 Next, image output corresponding to room brightness will be described with reference to FIGS. 29 and 30. FIG.
図29は、暗い部屋の画像提示装置14により表示されている画像を示す。図30は、明るい部屋の画像提示装置14に表示される画像示す。
FIG. 29 shows an image displayed by the
撮像部243は、部屋を撮像し、撮像した撮像データを制御部244に供給する。
The
制御部244は、撮像部243から供給される撮像データを基に、画質情報(例えば、部屋の明るさの情報)を生成し、生成した画質情報を送信部242に供給する。送信部242は、制御部244から供給された画質情報を受信部281に送信する。
The
受信部281は、送信部242から供給された画質情報を制御CPU282に供給する。制御CPU282は、受信部281から供給された画質情報を基に、画質パラメータを生成し、例えば、拡大パラメータ指示部321に供給する。
The
拡大パラメータ指示部321は、制御CPU282から供給される画質パラメータを基に、明るさの指示を含む拡大パラメータを生成し、生成した拡大パラメータを拡大処理部322に供給する。
The enlargement
拡大処理部322は、画像入力部221から供給される画像データおよび拡大パラメータ指示部321から供給される、明るさの指示を含む拡大パラメータを基に、画像データの明るさを変更して、画像出力部262に供給する。
The
画像出力部262は、画像データを画像提示装置14に供給する。画像処理装置201は、画像提示装置14に、部屋の明るさに対応した画像を表示させる。例えば、画像処理装置201は、部屋が暗い場合、画像提示装置14に暗い画像を表示させる。
The
例えば、画像処理装置201は、部屋が明るい場合、画像提示装置14に明るい画像を表示させる。
For example, when the room is bright, the
また、上述した処理は、OSD表示制御部283が行うようにしてもよい。すなわち、制御CPU282は、受信部282から供給された画質パラメータをOSD表示制御部283に供給する。
Further, the above-described processing may be performed by the OSD
OSD表示制御部283は、制御CPU282から供給された画質パラメータを基に、表示データを生成し、生成した表示データを画像処理部262に供給することで、画像提示装置14は、部屋の明るさに対応した画像を表示する。このようにすることで、環境が変化しても、確実に、画像オブジェクトをポインティングすることができる。
The OSD
また、画質パラメータの設定は上述した例に限定されるものではない。例えば、ユーザにより設定されるようにしてもよい。 The setting of the image quality parameter is not limited to the above-described example. For example, it may be set by the user.
次にステップS6の追尾の処理に対応する、追尾の処理の詳細について、図31のフローチャートを参照して説明する。 Next, details of the tracking process corresponding to the tracking process of step S6 will be described with reference to the flowchart of FIG.
ステップS201において、サーチエリア記憶部303は、画像入力部261より供給された画像データから、検索領域(サーチエリア)の画像データを抽出し、抽出した検索領域の画像データを記憶する。例えば、検索領域の画像データは、128画素×128画素とされる。サーチエリア記憶部303は、記憶している検索領域の画像データを追尾処理部304に供給する。例えば、検索領域は、ステップS105の処理で取得された中心位置、または、後述するステップS203の処理で更新される拡大中心位置を基準として抽出される。
In step S201, the search
ステップS202において、画像追尾処理部223は、画像を検索する。例えば、ステップS202において、画像追尾処理部223の追尾処理部304は、サーチエリア記憶部303より供給された検索領域から、テンプレート記憶部302より供給された追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部301および拡大パラメータ指示部321に供給する。
In step S202, the image
図32は、歩いている人の画像を示す図である。図32Aで示されるように、時刻t−1において、画面の左側に表示されている左から右に歩いている人の画像は、時刻tになると、図32Bに示されるように、図32Aより右側に表示される。 FIG. 32 is a diagram showing an image of a person walking. As shown in FIG. 32A, at time t-1, the image of the person walking from the left to the right displayed on the left side of the screen becomes time t, as shown in FIG. Displayed on the right side.
図32Aで示される、時刻t−1の画像における、画像オブジェクト381は、追尾の対象となる画像オブジェクトである。図32Bで示される、時刻tの画像における検索領域391から、画像オブジェクト381が検出される。
An
図33で示されるように、追尾処理部304は、サーチエリア記憶部303より供給された時刻tにおける検索領域391(図33B)からテンプレート記憶部302より供給された時刻t−1における追尾の対象となる画像オブジェクト381(図33A)を検出する。
As shown in FIG. 33, the
画像オブジェクトの検出の方法の詳細について、図34を参照して説明する。 Details of the image object detection method will be described with reference to FIG.
図34で示されるように、例えば、追尾処理部304は、検索領域391に対する画像オブジェクト381の位置を、いわゆるラスタスキャン順に移動させて、その位置における検索領域391の画像オブジェクトと画像オブジェクト381との類似の度合いを評価して、画像オブジェクト381に最も類似する、検索領域391に含まれる画像オブジェクトを検出する。
As shown in FIG. 34, for example, the
例えば、画像オブジェクトを検出において、検索領域391に対する画像オブジェクト381の位置は、検索領域391の左上の隅から右側に順に平行に移動し、右端に達すると、所定の画素数だけ下であって、最も左に移動して、そこからまた右側に順に平行に移動する。このような画像オブジェクト381の位置の移動は、画像オブジェクト381が検索領域391の右下に達するまで繰り返される。
For example, in detecting an image object, the position of the
例えば、検索領域391に対する画像オブジェクト381の1つの位置毎に、検索領域391の画素の画素値と、画像オブジェクト381の対応する位置の画素の画素値との差が算出され、その差の絶対値の総和が評価値として算出される。例えば、評価値としての画素値の差の絶対値が最小となる画像オブジェクト381の位置が、画像データにおける、検出しようとする画像オブジェクトの位置である。
For example, for each position of the
なお、検索領域391に対する画像オブジェクト381の移動の間隔は、例えば、1画素ずつ移動するようにすることができる。
Note that the movement interval of the
この場合、移動の間隔は所望の間隔とすることが可能である。検索領域391に対する画像オブジェクト381の移動の間隔をより小さくしたほうが、より正確に類似する画像オブジェクトを検出することができる。
In this case, the movement interval can be set to a desired interval. Similar image objects can be detected more accurately if the interval of movement of the
画像オブジェクトを検出する評価値は、画素値の差分の絶対値の総和に限らず、画素値の差分の自乗の総和など、画像の相関を示すものであれば良い。 The evaluation value for detecting an image object is not limited to the sum of absolute values of pixel value differences, but may be any value that indicates correlation of images, such as the sum of squares of pixel value differences.
例えば、図34で示される例の右端の列の中央の画像が画像オブジェクト381に最も類似する画像オブジェクトととして検出される。
For example, the center image in the rightmost column in the example shown in FIG. 34 is detected as the image object most similar to the
追尾処理部304は、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部301および拡大パラメータ指示部321に供給する。追尾オブジェクト指示部301は、追尾処理部304より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部302に供給する。
The
ステップS203において、テンプレート記憶部302は、追尾オブジェクト指示部301より供給された位置情報を基に、追尾する画像オブジェクトの位置を示す位置情報(拡大中心位置)を更新する。
In step S <b> 203, the
図35は、画像提示装置14に表示される、歩いている人の画像を示す例である。図中の「+印」は、画像オブジェクトの位置を示す位置情報であり、時刻t−1および時刻tにおける、画像オブジェクトの位置を示す。
FIG. 35 is an example showing an image of a walking person displayed on the
位置情報を更新した場合、画像オブジェクトの位置は、時刻t−1の位置から時刻tの位置に移動する。 When the position information is updated, the position of the image object moves from the position at time t-1 to the position at time t.
例えば、ステップS203において、位置情報が、図35で示される、時刻t−1の位置から時刻tの位置に更新される。 For example, in step S203, the position information is updated from the position at time t-1 shown in FIG. 35 to the position at time t.
ステップS203において、テンプレート記憶部302は、追尾オブジェクト指示部301より供給された位置情報および設定されている拡大率を基に、画像入力部261より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。
In step S203, the
画像オブジェクトの追尾の処理が実行されている場合、ステップS203の処理を繰り返すたびに、テンプレート記憶部302に記憶される画像オブジェクトは、繰り返し更新される。
When the image object tracking process is executed, the image object stored in the
ステップS204において、拡大パラメータ指示部321は、検出した画像オブジェクトの位置を示す位置情報およびステップS108の処理で設定された拡大率を基に、拡大処理部322に画像の拡大を指示する。例えば、ステップS204において、拡大パラメータ指示部321は、画像オブジェクトの位置を示す位置情報および拡大パラメータを拡大処理部322に供給することにより、拡大処理部322に画像の拡大を指示する。
In step S204, the enlargement
なお、ステップS204において、拡大パラメータ指示部321は、制御CPU282より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部304より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ(拡大位置、拡大率)を生成し、生成した拡大パラメータを拡大処理部322に供給するようにしてもよい。
In step S204, the enlargement
ステップS205において、拡大処理部322は、拡大パラメータ指示部321からの指示の基に、画像を拡大する。例えば、ステップS205において、拡大処理部322は、拡大パラメータ指示部321より供給された拡大パラメータを基に、画像入力部51より供給された画像データのうち、位置情報により示される位置の画像を拡大し、拡大した画像を示す画像データ(画像オブジェクト)を画像出力部52に供給する。
In step S <b> 205, the
ステップS206において、画像出力部262は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置14に出力して、画像提示装置14に、追尾され、拡大された画像オブジェクトを表示させる。
In step S <b> 206, the
ステップS207において、制御CPU282は、追尾の処理が終了したか否かを判定する。
In step S207, the
例えば、リモートコントローラ202に図示せぬ、追尾終了ボタンを押下し、リモートコントローラ202が上述した処理と同様の処理で追尾終了制御信号を画像処理装置201に送信することで、制御CPU282が終了の判定するようにしてもよいし、追尾の処理を実行中に追尾位置指定ボタン341を押下することで、追尾終了制御信号を送信し、制御CPU282が終了の判定するようにしてもよい。
For example, when a tracking end button (not shown) is pressed on the
また、追尾の処理の終了の方法は、上述した例に限定されるものではない。 Further, the method for ending the tracking process is not limited to the above-described example.
ステップS207において、終了が指示されていないと判定された場合、ステップS201に戻り、上述した追尾の処理が繰り返される。ステップS201乃至ステップS207の処理を繰り返すことで、ステップS203において、テンプレート記憶部302に記憶される画像オブジェクトが、繰り返し更新されることにより追尾の処理が実行される。
If it is determined in step S207 that termination is not instructed, the process returns to step S201, and the above-described tracking process is repeated. By repeating the processing from step S201 to step S207, the tracking processing is executed by repeatedly updating the image object stored in the
より具体的には、追尾オブジェクト指示部301は、追尾する画像オブジェクトの位置の初期値として、追尾の設定の処理において取得された中心位置をテンプレート記憶部302に供給し、追尾の処理が開始されると、追尾する画像オブジェクトの位置として、更新された拡大中心位置をテンプレート記憶部302に供給する。
More specifically, the tracking
すなわち、追尾する画像オブジェクトは、1フレーム毎に更新されることになる。 That is, the image object to be tracked is updated every frame.
このようにすることで、例えば、顔の向きが変わるなど、追尾しようとする画像オブジェクトの画素値が変化しても、正確に画像オブジェクトを追尾して、追尾した画像オブジェクトを表示することができる。 By doing this, for example, even if the pixel value of the image object to be tracked changes, such as when the face direction changes, it is possible to accurately track the image object and display the tracked image object. .
ステップS207において、終了が指示された場合、処理は終了する。 If the end is instructed in step S207, the process ends.
以上のように、ユーザは、リモートコントローラ202が向けられた方向をポインティングできるので、より直感的なポインティングで追尾の対象を指定することが可能となる。
As described above, since the user can point in the direction in which the
画像処理装置がリモートコントローラから送信されたデータを受信するようにした場合、そのデータを基に、画像オブジェクトを追尾することができる。また、画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像し、画像オブジェクトの撮像によって得られた第2の画像データを画像処理装置に送信し、リモートコントローラから送信されてきた第2の画像データを受信し、第2の画像データを基に、第1の画像データから画像オブジェクトを検出するようにした場合、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。 When the image processing apparatus receives data transmitted from the remote controller, the image object can be tracked based on the data. In addition, the image object included in the image displayed by the first image data output from the image processing apparatus is imaged, and the second image data obtained by imaging the image object is stored in the image processing apparatus. When the second image data transmitted from the remote controller is received and the image object is detected from the first image data based on the second image data, it is quicker and simpler. The image object to be tracked can be pointed to.
制御信号を送信するようにした場合、画像処理装置において、画像オブジェクトをポインティングすることができる。また、画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像し、画像オブジェクトの撮像によって得られた第2の画像データを画像処理装置に送信するようにした場合、画像処理装置において、より迅速に、より簡単に画像オブジェクトをポインティングすることができる。 When the control signal is transmitted, the image object can be pointed at the image processing apparatus. In addition, the image object included in the image displayed by the first image data output from the image processing apparatus is imaged, and the second image data obtained by imaging the image object is stored in the image processing apparatus. When the transmission is performed, the image processing apparatus can point the image object more quickly and more easily.
リモートコントローラから送信されたデータを受信するようにした場合、そのデータを基に、画像オブジェクトを追尾することができる。また、リモートコントローラから送信されてきた、自分が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データを受信し、第2の画像データを基に、第1の画像データから画像オブジェクトを検出するようにした場合、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。 When the data transmitted from the remote controller is received, the image object can be tracked based on the data. Also, the second image data obtained by capturing the image displayed by the first image data output from the remote controller and received by the user is received, and the second image data is received based on the second image data. In addition, when an image object is detected from the first image data, the image object to be tracked can be pointed more quickly and easily.
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。 The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer.
図36は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記録部508に記録されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが適宜記憶される。これらのCPU501、ROM202、およびRAM503は、バス504により相互に接続されている。
FIG. 36 is a block diagram showing an example of the configuration of a personal computer that executes the above-described series of processing by a program. A CPU (Central Processing Unit) 501 executes various processes according to a program recorded in a ROM (Read Only Memory) 502 or a
CPU501にはまた、バス504を介して入出力インタフェース505が接続されている。入出力インタフェース505には、キーボード、マウス、マイクロホンなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。CUP501は、入力部506から入力される指令に対応して各種の処理を実行する。そして、CPU501は、処理の結果得られた画像等を出力部507に出力する。
An input /
入出力インタフェース505に接続されている記録部508は、例えばハードディスクなどで構成され、CPU501が実行するプログラムや各種のデータを記録する。通信部509は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部509は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。
The
また、通信部509を介してプログラムを取得し、記録部508に記録してもよい。
A program may be acquired via the
入出力インタフェース505に接続されているドライブ510は、磁気ディスク521、光ディスク522、光磁気ディスク523、或いは半導体メモリ524などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部508に転送され、記録される。
The
一連の処理をさせるプログラムが格納されている記録媒体は、図36に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク521(フレキシブルディスクを含む)、光ディスク522(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク523(MD(Mini-Disc)(商標)を含む)、若しくは半導体メモリ524などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や、記録部508に含まれるハードディスクなどで構成される。
As shown in FIG. 36, a recording medium storing a program for performing a series of processing is distributed to provide a program to a user separately from a computer. Disk), optical disk 522 (including compact disc-read only memory (CD-ROM), DVD (digital versatile disc)), magneto-optical disk 523 (including MD (mini-disc) (trademark)), or semiconductor In addition to a package medium composed of the
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。 The program for executing the series of processes described above is installed in a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Further, in the present specification, the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 In the present specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
2 画像処理システム, 11 画像再生装置, 14 画像提示装置, 201 画像処理装置, 202 リモートコントローラ, 221 画像入出力部, 222 制御部, 223 画像追尾処理部, 224 画像拡大処理部, 241 キー入力部, 242 送信部, 243 撮像部, 244 制御部, 261 画像入力部, 262 画像出力部, 281 受信部, 282 制御CPU, 283 OSD表示制御部, 301 追尾オブジェクト指示部, 302 テンプレート記憶部, 303 サーチエリア記憶部, 304 追尾処理部, 321 拡大パラメータ指示部, 322 拡大処理部 2 image processing system, 11 image reproduction device, 14 image presentation device, 201 image processing device, 202 remote controller, 221 image input / output unit, 222 control unit, 223 image tracking processing unit, 224 image enlargement processing unit, 241 key input unit , 242 transmission unit, 243 imaging unit, 244 control unit, 261 image input unit, 262 image output unit, 281 reception unit, 282 control CPU, 283 OSD display control unit, 301 tracking object instruction unit, 302 template storage unit, 303 search Area storage unit, 304 tracking processing unit, 321 expansion parameter instruction unit, 322 expansion processing unit
Claims (12)
前記リモートコントローラは、
前記画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、前記画像オブジェクトを撮像する撮像手段と、
前記画像オブジェクトの決定を前記画像処理装置に指示する入力手段と、
前記画像オブジェクトの撮像によって得られた第2の画像データ、または前記画像オブジェクトの決定の指示を前記画像処理装置に送信する送信手段と
を含み
前記画像処理装置は、
前記リモートコントローラから送信されてきた前記第2の画像データ、または前記画像オブジェクトの決定の指示を受信する受信手段と、
前記第2の画像データを基に、前記第1の画像データから前記画像オブジェクトを検出する検出手段と、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御手段と
を含み
前記検出手段は、前記画像オブジェクトの決定が指示された場合、前記第1の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とする画像処理システム。 In an image processing system including a remote controller and an image processing apparatus that tracks an image object,
The remote controller is
Imaging means for imaging the image object included in the image displayed by the first image data output from the image processing device;
Input means for instructing the image processing apparatus to determine the image object;
Transmission means for transmitting second image data obtained by imaging the image object or an instruction to determine the image object to the image processing device, the image processing device,
Receiving means for receiving an instruction to determine the second image data or the image object transmitted from the remote controller;
Detecting means for detecting the image object from the first image data based on the second image data ;
As to display a frame indicating the detected the image object, seen including a display control means for controlling the display of the image
When the determination of the image object is instructed, the detection unit detects an image of the frame as the image object to be tracked from the first image data.
An image processing system characterized by that.
前記画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、前記画像オブジェクトを撮像する撮像手段と、
前記画像オブジェクトの決定を前記画像処理装置に指示する入力手段と、
前記画像オブジェクトの撮像によって得られた第2の画像データ、または前記画像オブジェクトの決定の指示を前記画像処理装置に送信する送信手段と
を備えることを特徴とするリモートコントローラ。 In a remote controller that instructs the image processing apparatus that tracks an image object to track the image object,
Imaging means for imaging the image object included in the image displayed by the first image data output from the image processing device;
Input means for instructing the image processing apparatus to determine the image object;
A remote controller comprising: second image data obtained by imaging the image object ; or transmission means for transmitting an instruction to determine the image object to the image processing apparatus.
前記送信手段は、さらに前記画像処理装置に、前記画像オブジェクトの拡大率の指示を送信する
ことを特徴とする請求項2に記載のリモートコントローラ。 The input means instructs the image processing apparatus on a magnification rate of the image object;
The remote controller according to claim 2, wherein the transmission unit further transmits an instruction of an enlargement ratio of the image object to the image processing apparatus.
前記画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
前記画像オブジェクトの決定の前記画像処理装置への指示を制御する入力制御ステップと、
前記画像オブジェクトの撮像によって得られた第2の画像データ、または前記画像オブジェクトの決定の指示の前記画像処理装置への送信を制御する送信制御ステップと
を含むことを特徴とする制御方法。 In a control method for instructing an image processing apparatus that tracks an image object to track the image object,
An imaging control step for controlling imaging of the image object included in the image displayed by the first image data output from the image processing device;
An input control step for controlling an instruction to the image processing apparatus for determining the image object;
And a transmission control step of controlling transmission of the second image data obtained by imaging the image object or an instruction to determine the image object to the image processing apparatus.
前記画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
前記画像オブジェクトの決定の前記画像処理装置への指示を制御する入力制御ステップと、
前記画像オブジェクトの撮像によって得られた第2の画像データ、または前記画像オブジェクトの決定の指示の前記画像処理装置への送信を制御する送信制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 A program for control processing that instructs an image processing apparatus that tracks an image object to track the image object,
An imaging control step for controlling imaging of the image object included in the image displayed by the first image data output from the image processing device;
An input control step for controlling an instruction to the image processing apparatus for determining the image object;
Transmission control step for controlling transmission of second image data obtained by imaging the image object or an instruction to determine the image object to the image processing apparatus. A recording medium on which the program is recorded.
前記画像処理装置から出力された第1の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
前記画像オブジェクトの決定の前記画像処理装置への指示を制御する入力制御ステップと、
前記画像オブジェクトの撮像によって得られた第2の画像データ、または前記画像オブジェクトの決定の指示の前記画像処理装置への送信を制御する送信制御ステップと
を含むことを特徴とするプログラム。 In a program for causing a computer to perform control processing for instructing an image processing apparatus that tracks an image object to track the image object,
An imaging control step for controlling imaging of the image object included in the image displayed by the first image data output from the image processing device;
An input control step for controlling an instruction to the image processing apparatus for determining the image object;
A transmission control step for controlling transmission of second image data obtained by imaging the image object or an instruction to determine the image object to the image processing apparatus.
前記リモートコントローラから送信されてきた、自分が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データ、または前記画像オブジェクトの決定の指示を受信する受信手段と、
前記第2の画像データを基に、前記第1の画像データから前記画像オブジェクトを検出する検出手段と、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御手段と
を備え
前記検出手段は、前記画像オブジェクトの決定が指示された場合、前記第1の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とする画像処理装置。 In an image processing apparatus that tracks an image object based on an instruction from a remote controller,
Receives the second image data transmitted from the remote controller and obtained by capturing an image displayed by the first image data output by the user , or an instruction to determine the image object. Receiving means;
Detecting means for detecting the image object from the first image data based on the second image data ;
Display control means for controlling the display of the image so as to display a frame indicating the detected image object.
When the determination of the image object is instructed, the detection unit detects an image of the frame as the image object to be tracked from the first image data.
An image processing apparatus.
前記表示制御手段は、指示された拡大率に対応する、前記枠を表示させるように、前記画像の表示を制御する
ことを特徴とする請求項7に記載の画像処理装置。 The receiving means further receives an instruction of an enlargement ratio of the image object transmitted from the remote controller,
The image processing apparatus according to claim 7 , wherein the display control unit controls display of the image so as to display the frame corresponding to the designated enlargement ratio.
前記第2の画像データを記憶する第2の記憶手段と Second storage means for storing the second image data;
をさらに備え、 Further comprising
前記検出手段は、前記第1の記憶手段に記憶された検索領域の画像データから、前記第2の記憶手段に記憶された第2の画像データにより示される、追尾の対象となる前記画像オブジェクトを検索する The detection means detects the image object to be tracked indicated by the second image data stored in the second storage means from the image data in the search area stored in the first storage means. Search for
ことを特徴とする請求項8に記載の画像処理装置。 The image processing apparatus according to claim 8.
前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データ、または前記画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、
前記第2の画像データを基に、前記第1の画像データから前記画像オブジェクトを検出する検出ステップと、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御ステップと
を含み
前記検出ステップの処理によって、前記画像オブジェクトの決定が指示された場合、前記第1の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とする画像処理方法。 In an image processing method of an image processing apparatus that tracks an image object based on an instruction from a remote controller,
Instructions for determining second image data obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or the image object A reception control step for controlling reception of
A detection step of detecting the image object from the first image data based on the second image data ;
As to display a frame indicating the detected the image object, seen including a display control step for controlling the display of the image
When the determination of the image object is instructed by the processing of the detection step, the image of the frame as the image object to be tracked is detected from the first image data.
An image processing method.
前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データ、または前記画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、
前記第2の画像データを基に、前記第1の画像データから前記画像オブジェクトを検出する検出ステップと、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御ステップと
を含み
前記検出ステップの処理によって、前記画像オブジェクトの決定が指示された場合、前記第1の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 An image processing program for an image processing apparatus that tracks an image object based on an instruction from a remote controller,
Instructions for determining second image data obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or the image object A reception control step for controlling reception of
A detection step of detecting the image object from the first image data based on the second image data ;
As to display a frame indicating the detected the image object, seen including a display control step for controlling the display of the image
When the determination of the image object is instructed by the processing of the detection step, the image of the frame as the image object to be tracked is detected from the first image data.
A recording medium on which a computer-readable program is recorded.
前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第1の画像データによって表示されている画像が撮像されることによって得られた第2の画像データ、または前記画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、
前記第2の画像データを基に、前記第1の画像データから前記画像オブジェクトを検出する検出ステップと、
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御ステップと
を含み
前記検出ステップの処理によって、前記画像オブジェクトの決定が指示された場合、前記第1の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
ことを特徴とするプログラム。 In a program for causing a computer of the image processing apparatus to perform image processing of an image processing apparatus that tracks an image object based on an instruction of a remote controller,
Instructions for determining second image data obtained by capturing an image displayed by the first image data output from the image processing apparatus transmitted from the remote controller , or the image object A reception control step for controlling reception of
A detection step of detecting the image object from the first image data based on the second image data ;
As to display a frame indicating the detected the image object, seen including a display control step for controlling the display of the image
When the determination of the image object is instructed by the processing of the detection step, the image of the frame as the image object to be tracked is detected from the first image data.
A program characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003426202A JP4595322B2 (en) | 2003-12-24 | 2003-12-24 | Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003426202A JP4595322B2 (en) | 2003-12-24 | 2003-12-24 | Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005184722A JP2005184722A (en) | 2005-07-07 |
JP4595322B2 true JP4595322B2 (en) | 2010-12-08 |
Family
ID=34785800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003426202A Expired - Fee Related JP4595322B2 (en) | 2003-12-24 | 2003-12-24 | Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4595322B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008262416A (en) * | 2007-04-12 | 2008-10-30 | Olympus Imaging Corp | Image reproduction device, image reproduction program, recording medium and image reproduction method |
JP5181781B2 (en) * | 2008-03-31 | 2013-04-10 | 富士通株式会社 | Image tracking device, image tracking method, and image tracking program |
US9646200B2 (en) | 2012-06-08 | 2017-05-09 | Qualcomm Incorporated | Fast pose detector |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265639A (en) * | 1992-03-16 | 1993-10-15 | Nippon Telegr & Teleph Corp <Ntt> | Image display device and video telephone set using the device |
JPH05341905A (en) * | 1992-06-09 | 1993-12-24 | Matsushita Electric Ind Co Ltd | Coordinate indicating device |
JPH07234755A (en) * | 1994-02-25 | 1995-09-05 | Hitachi Ltd | Coordinate input means and information processor |
JPH1098779A (en) * | 1996-09-19 | 1998-04-14 | Yamaha Corp | Remote control system |
JPH11167453A (en) * | 1997-12-02 | 1999-06-22 | Canon Inc | Coordinate input device/system/method and storage medium |
JP2003111063A (en) * | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | Intruded object tracing method and intruded object supervisory system |
JP2003256946A (en) * | 2002-02-28 | 2003-09-12 | Minolta Co Ltd | Monitoring device |
-
2003
- 2003-12-24 JP JP2003426202A patent/JP4595322B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265639A (en) * | 1992-03-16 | 1993-10-15 | Nippon Telegr & Teleph Corp <Ntt> | Image display device and video telephone set using the device |
JPH05341905A (en) * | 1992-06-09 | 1993-12-24 | Matsushita Electric Ind Co Ltd | Coordinate indicating device |
JPH07234755A (en) * | 1994-02-25 | 1995-09-05 | Hitachi Ltd | Coordinate input means and information processor |
JPH1098779A (en) * | 1996-09-19 | 1998-04-14 | Yamaha Corp | Remote control system |
JPH11167453A (en) * | 1997-12-02 | 1999-06-22 | Canon Inc | Coordinate input device/system/method and storage medium |
JP2003111063A (en) * | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | Intruded object tracing method and intruded object supervisory system |
JP2003256946A (en) * | 2002-02-28 | 2003-09-12 | Minolta Co Ltd | Monitoring device |
Also Published As
Publication number | Publication date |
---|---|
JP2005184722A (en) | 2005-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6624846B1 (en) | Visual user interface for use in controlling the interaction of a device with a spatial region | |
JP4727117B2 (en) | Intelligent feature selection and pan / zoom control | |
US9086790B2 (en) | Image displaying method, image displaying program, and display | |
US9733718B2 (en) | Display apparatus and display method thereof | |
US20090067723A1 (en) | Video image processing apparatus and video image processing method | |
JP2008269396A (en) | Image processor, image processing method, and program | |
JP2003143505A (en) | Device and method for processing display image control, system and method for transmitting and receiving moving picture information, and computer program | |
JP2007272732A (en) | Image processing apparatus and method, and program | |
JP7176861B2 (en) | Video processing method, video restoration method and computer program | |
KR20180027132A (en) | Display device | |
EP1288864A2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2002341755A (en) | Video display device | |
JP4595322B2 (en) | Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program | |
US20190286318A1 (en) | Display device | |
JP2009010453A (en) | Image processing apparatus and method, and program | |
JP2003208260A (en) | Pointing device | |
JP2008301191A (en) | Video monitoring system, video monitoring control device, video monitoring control method, and video monitor controlling program | |
WO2019211936A1 (en) | Information processing device, information processing method, and recording medium | |
JP2011130323A (en) | Broadcast receiver and control method thereof | |
CN116801027A (en) | Display device and screen projection method | |
KR20170057056A (en) | Remote Control Apparatus, Driving Method of Remote Control Apparatus, Image Display Apparatus, Driving Method of Image Display Apparatus, and Computer Readable Recording Medium | |
CN104956681A (en) | Handheld display zoom feature | |
KR100917166B1 (en) | Leture shooting device and leture shooting method | |
US8054332B2 (en) | Advanced input controller for multimedia processing | |
JP2009181043A (en) | Video signal processor, image signal processing method, program and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100824 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100906 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |