JP2003018460A - Information processor, graphic processing unit, graphic processing method, storage medium and computer program - Google Patents
Information processor, graphic processing unit, graphic processing method, storage medium and computer programInfo
- Publication number
- JP2003018460A JP2003018460A JP2001152501A JP2001152501A JP2003018460A JP 2003018460 A JP2003018460 A JP 2003018460A JP 2001152501 A JP2001152501 A JP 2001152501A JP 2001152501 A JP2001152501 A JP 2001152501A JP 2003018460 A JP2003018460 A JP 2003018460A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- acquired
- processing apparatus
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、例えば、通常の放
送画像に新たな価値を付加するための画像処理の技術に
係り、より詳しくは、このような画像処理を実現するた
めの情報処理技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique for adding new value to a normal broadcast image, for example, and more specifically, an information processing technique for realizing such image processing. Regarding
【０００２】[0002]
【従来の技術】放送は、地上波や衛星、有線により広く
行われており、最も手軽な情報源となっている。最近
は、従来のアナログ放送に加えてデジタル放送も実用化
されており、それに伴い従来のアナログ放送用のテレビ
受像機に加え、デジタル放送対応のテレビ受像機も普及
しつつある。2. Description of the Related Art Broadcasting is widely performed by terrestrial waves, satellites, and wires, and is the most convenient information source. Recently, digital broadcasting has been put into practical use in addition to conventional analog broadcasting, and accordingly, television receivers compatible with digital broadcasting are becoming widespread in addition to conventional television receivers for analog broadcasting.
【０００３】デジタル放送の受信設備には、デジタル放
送により配信された情報を受信して、受信した情報をデ
コードするＳＴＢ（Set Top Box）などが用いられてい
る。ＳＴＢは、受信した情報のデコードを行うデコーダ
を、ハードウェア若しくはソフトウェアにより実現して
いる。ハードウェアによる場合は、デコード専用に設計
されたＩＣなどを用いる。ソフトウェアによる場合は、
プログラマブル専用のＤＳＰ（Digital Signal Process
or）を用いたり、或いはマルチメディア命令のような機
能を強化した汎用のＣＰＵ（Central Processing Uni
t）を用いて、ＤＳＰやＣＰＵにプログラムを読み込ま
せてソフトウェア処理によりデコード機能を実現する。
ソフトウェアによりデコード機能を実現するＤＳＰやＣ
ＰＵには汎用性があり、別のプログラムを読み込ませる
ことによりデコード機能以外の機能を、デコード機能と
同時に実現させることも可能である。しかし、現状では
定型的なフィルタ処理以外に有効な機能を実現させてい
る例は殆どない。As a receiving facility for digital broadcasting, an STB (Set Top Box) or the like that receives information distributed by digital broadcasting and decodes the received information is used. The STB realizes a decoder that decodes the received information by hardware or software. When using hardware, an IC or the like designed exclusively for decoding is used. With software,
Programmable DSP (Digital Signal Process)
or) or a general-purpose CPU (Central Processing Uni) with enhanced functions such as multimedia instructions.
t) is used to cause the DSP or CPU to read the program and realize the decoding function by software processing.
DSP or C that realizes decoding function by software
The PU has versatility, and a function other than the decoding function can be realized simultaneously with the decoding function by reading another program. However, at present, there are few examples in which effective functions other than the standard filter processing are realized.
【０００４】一方、ＳＴＢ自体にハードディスクやマル
チチャンネルのメディアを備え、複数の放送により配信
された情報を受信、蓄積できるようになったが、各々を
独立に利用する、或いはソフトウェアのバージョンアッ
プ以外には有効利用されていないのが現実である。On the other hand, the STB itself is equipped with a hard disk and multi-channel media so that it is possible to receive and store information distributed by a plurality of broadcasts. However, it is possible to use each of them independently or to upgrade the software version. The reality is that is not used effectively.
【０００５】[0005]
【発明が解決しようとする課題】本発明の課題は、以上
のようなＳＴＢなどの受信設備内の資源を有効に利用す
ることにより、複数の経路から入力される画像を合成し
てユーザに提供するための具体的な仕組みを提供するこ
とにある。特に、従来手法によって配信された画像に新
たな価値を付加した画像を生成するための画像処理技術
の実現体、実現方法を提供する。SUMMARY OF THE INVENTION An object of the present invention is to provide a user by synthesizing images input from a plurality of routes by effectively utilizing the resources in the receiving equipment such as STB as described above. It is to provide a concrete mechanism for doing so. In particular, the present invention provides a realization body and realization method of an image processing technique for generating an image in which a new value is added to an image distributed by a conventional method.
【０００６】[0006]
【課題を解決するための手段】上記の課題を解決する本
発明の情報処理装置は、第１画像を第１経路を通じて取
得し、第２画像を第１経路とは別の第２経路を通じて取
得するとともに、取得した第２画像を第１画像の内容に
応じて加工する。そして、取得した第１画像及び加工さ
れた第２画像を所定のタイミング情報に基づいて合成さ
せるようにしたものである。より具体的には、第１画像
とこの第１画像の表示タイミング情報とを第１経路を通
じて取得するとともに、第２画像を第１経路とは別の第
２経路を通じて取得する手段（例えば情報取得のための
機構）と、取得した第２画像を第１画像の内容に応じて
加工する画像処理手段と、取得した第１画像、画像処理
手段により加工された第２画像及び前記表示タイミング
情報を所定の表示装置に出力してこれらの画像を合成し
た合成画像をその表示装置に表示させる制御手段と具え
てなる。つまり２つの画像の一方の内容を他方に反映さ
せて、合成画像を生成し、これを表示させる装置であ
る。According to an information processing apparatus of the present invention which solves the above-mentioned problems, a first image is acquired through a first route and a second image is acquired through a second route different from the first route. In addition, the acquired second image is processed according to the content of the first image. Then, the acquired first image and the processed second image are combined based on predetermined timing information. More specifically, a means for acquiring the first image and the display timing information of the first image through the first path, and the second image through a second path different from the first path (for example, information acquisition). The image processing means for processing the acquired second image according to the content of the first image, the acquired first image, the second image processed by the image processing means, and the display timing information. It comprises a control means for outputting to a predetermined display device and displaying a composite image obtained by combining these images on the display device. In other words, it is a device that reflects the contents of one of the two images on the other to generate a composite image and displays it.
【０００７】前記第１画像を、高解像度動画の解像度を
前記第１経路用に低下させた動画像、前記第２画像を、
前記高解像度動画と前記第１画像との差分情報とする。
すると、情報処理装置の前記画像処理手段が、前記高解
像度動画と同じ解像度の合成画像が前記表示装置に表示
されるように前記第２画像を加工する。これにより、高
解像度動画が得られるようになる。前記第１経路が、例
えば、放送局からの無線放送経路であり、前記第２経路
が、例えば、前記放送局をその起点とする有線通信路で
あるとすると、通常放送により得られる第１画像を、イ
ンターネット等の有線通信路で得られる第２画像によ
り、ハイビジョンと同じ解像度をもつ画像とすることが
できる。The first image is a moving image in which the resolution of a high-resolution moving image is reduced for the first path, and the second image is
The difference information between the high resolution moving image and the first image is used.
Then, the image processing means of the information processing device processes the second image so that a composite image having the same resolution as the high-resolution moving image is displayed on the display device. As a result, a high resolution moving image can be obtained. If the first route is, for example, a wireless broadcast route from a broadcasting station, and the second route is, for example, a wired communication route starting from the broadcasting station, a first image obtained by normal broadcasting Can be made an image having the same resolution as that of high-definition by using the second image obtained through a wired communication path such as the Internet.
【０００８】前記第１画像を、立体視用に作成された右
目用又は左目用の一方の画像、前記第２画像を、右目用
又は左目用の他方の画像とする。すると、情報処理装置
の前記画像処理手段が、前記立体視画像が前記表示装置
に表示されるように前記第２画像を加工する。これによ
り、立体視の画像が得られるようになる。右目用及び左
目用の画像は、２台の撮影装置により右目用、左目用と
して作成するようにしてもよいが、以下のようにする
と、容易に得られる。例えば、前記第１画像及び第２画
像が同一画像を２分岐した画像とする。前記画像処理手
段は、第１経路と第２経路の一方を通過した画像を他方
を通過した画像に対して１ないし数ピクセル分ずらして
合成画像を生成する。The first image is one image for the right eye or the left eye created for stereoscopic viewing, and the second image is the other image for the right eye or the left eye. Then, the image processing means of the information processing device processes the second image so that the stereoscopic image is displayed on the display device. As a result, a stereoscopic image can be obtained. The images for the right eye and the image for the left eye may be created for the right eye and the left eye by the two photographing devices, but can be easily obtained by the following process. For example, the first image and the second image are images obtained by bifurcating the same image. The image processing means shifts an image passing through one of the first path and the second path by one to several pixels with respect to an image passing through the other path to generate a composite image.
【０００９】前記第１画像を、外部装置により撮影され
た動画像、前記第２画像を、動きの表現が可能なオブジ
ェクトを含むＣＧ画像とする。すると、情報処理装置の
前記画像処理手段は、前記表示タイミング情報に基づい
て、前記オブジェクトの動き及び表現態様を、前記第１
画像の動きに連動させ且つ所定の画像処理プログラムの
実行手順に応じて変化させる。これにより、第１画像の
動きに影響を受けて、ＣＧ画像内のオブジェクトの動作
及び表示態様が変化するような画像が得られる。The first image is a moving image photographed by an external device, and the second image is a CG image including an object capable of expressing motion. Then, the image processing means of the information processing device determines the movement and expression mode of the object based on the display timing information as the first
It is linked with the movement of the image and changed in accordance with the execution procedure of a predetermined image processing program. As a result, an image in which the motion and display mode of the object in the CG image changes due to the movement of the first image is obtained.
【００１０】また、前記情報取得機構が、撮影されてい
る現場の状況又は状態を表す付加情報を前記表示タイミ
ング情報と同期して取得するようにしてもよい。前記画
像処理手段は、前記オブジェクトの動き及び表現態様を
前記付加情報が反映された内容に変化させることが可能
となる。付加情報により、撮影現場と同じ状況、状態で
オブジェクトの動きが制御可能となる。例えば、前記付
加情報が、前記動画像に登場する人間又は物が存在する
場所の相対位置情報を含む情報のときに、前記画像処理
手段が、前記オブジェクトの向き及び表示位置を前記相
対位置情報に応じて変化可能となる。例えば、動画像に
登場する人に向かってＣＧ画像内のオブジェクトが動く
画像が得られるようになる。前記付加情報が、さらに前
記場所の気象条件情報を含む情報であるときには、前記
画像処理手段が、前記オブジェクトの動き及び表現態様
を前記気象条件情報に応じて変化可能となる。例えば、
動画像内の気象条件と同じ気象条件下のＣＧ画像が得ら
れ、動画像内で雨が降っているときには、ＣＧ画像内の
オブジェクトも濡れて表示される。情報処理装置が、操
作者による所定のコントローラの操作内容を表す操作情
報の入力を受け付ける入力機構をさらに具えるようにし
てもよい。前記画像処理手段は、前記オブジェクトの動
き及び表現態様を前記受け付けた操作情報によっても変
化可能に構成される。このような構成により、オブジェ
クトは、動画像以外に操作情報によっても動き及び表現
態様が変化するようになる。Further, the information acquisition mechanism may acquire the additional information representing the situation or state of the scene being photographed in synchronization with the display timing information. The image processing means can change the movement and expression mode of the object to a content in which the additional information is reflected. With the additional information, the movement of the object can be controlled in the same situation and state as at the shooting site. For example, when the additional information is information including relative position information of a place where a person or thing appearing in the moving image exists, the image processing unit sets the orientation and display position of the object to the relative position information. It can be changed accordingly. For example, an image in which an object in a CG image moves toward a person who appears in the moving image can be obtained. When the additional information is information including the weather condition information of the place, the image processing unit can change the movement and expression mode of the object according to the weather condition information. For example,
A CG image under the same weather condition as that in the moving image is obtained, and when it is raining in the moving image, the object in the CG image is also displayed wet. The information processing apparatus may further include an input mechanism that receives an input of operation information indicating an operation content of a predetermined controller by an operator. The image processing means is configured to be able to change the movement and expression mode of the object according to the received operation information. With such a configuration, the movement and expression of the object change depending on the operation information as well as the moving image.
【００１１】上記課題を解決する本発明の画像処理デバ
イスは、動画像である第１画像とこの第１画像の表示タ
イミング情報とを第１経路を通じて取得するとともに、
第２画像を前記第１経路とは別の第２経路を通じて取得
する情報取得機構と、前記取得した第１画像と前記第２
画像とを合成した合成画像を所定の表示装置に表示させ
る制御手段とを具えた情報処理装置に装着され当該情報
処理装置と協働で画像処理を行うデバイスである。前記
情報取得機構によって取得された第２画像を前記第１画
像の内容に応じて加工し、この加工された第２画像を前
記合成画像の一部をなす画像として前記制御手段へ送出
する。The image processing device of the present invention for solving the above-mentioned problems acquires the first image which is a moving image and the display timing information of the first image through the first route, and
An information acquisition mechanism for acquiring a second image through a second path different from the first path, the acquired first image and the second
It is a device that is mounted on an information processing apparatus including a control unit that causes a predetermined display device to display a combined image that is combined with an image and that performs image processing in cooperation with the information processing device. The second image acquired by the information acquisition mechanism is processed according to the content of the first image, and the processed second image is sent to the control means as an image forming a part of the composite image.
【００１２】上記課題を解決する本発明の画像処理方法
は、複数の経路を通じて取得した画像を所定の表示装置
に表示させる機能を具えたコンピュータにおいて、動画
像である第１画像とこの第１画像の表示タイミング情報
とを放送受信波を通じて取得するとともに、前記第１画
像とは無関係の画像処理によって得られた第２画像を前
記放送受信波とは独立した経路で前記第１画像の発信元
又は内部画像処理手段より取得するステップと、前記第
２画像を前記取得した第１画像の内容に応じて加工する
ステップと、第１画像及び加工後の第２画像が同期して
動く合成画像を前記取得した表示タイミング情報に基づ
いて前記表示装置に表示させるステップとを実行する画
像処理方法である。According to the image processing method of the present invention for solving the above-mentioned problems, in a computer having a function of displaying an image acquired through a plurality of paths on a predetermined display device, a first image which is a moving image and the first image. Display timing information of the first image through a broadcast reception wave and a second image obtained by image processing unrelated to the first image is transmitted from the source of the first image through a route independent of the broadcast reception wave. A step of acquiring from the internal image processing means; a step of processing the second image according to the content of the acquired first image; and a composite image in which the first image and the processed second image move in synchronization with each other. And a step of displaying the information on the display device based on the acquired display timing information.
【００１３】上記課題を解決する本発明の記録媒体は、
複数の経路を通じて取得した画像を所定の表示装置に表
示させるコンピュータに、第１画像とこの第１画像の表
示タイミング情報とを第１経路を通じて取得するととも
に、第２画像を前記第１経路とは別の第２経路を通じて
取得する処理、取得した前記第２画像を前記第１画像の
内容に応じて加工する処理、取得した前記第１画像、前
記画像処理手段により加工された第２画像及び前記表示
タイミング情報を所定の表示装置に出力してこれらの画
像を合成した合成画像をその表示装置に表示させる処
理、を実行させるためのプログラムが記録された、コン
ピュータ読み取り可能な記録媒体である。The recording medium of the present invention for solving the above-mentioned problems is
A computer that displays images acquired through a plurality of paths on a predetermined display device acquires a first image and display timing information of the first image through a first path, and a second image is referred to as the first path. A process of acquiring through another second path, a process of processing the acquired second image according to the contents of the first image, the acquired first image, a second image processed by the image processing means, and the It is a computer-readable recording medium in which a program for outputting display timing information to a predetermined display device and displaying a composite image obtained by combining these images on the display device is executed.
【００１４】[0014]
【発明の実施の形態】以下、本発明の実施形態について
図面を参照して詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below in detail with reference to the drawings.
【００１５】図１は、本発明を実施するための全体構成
図である。ネットワーク４ａには、本発明の情報処理装
置１とサーバ局２とが接続されており、相互の通信を可
能としている。ネットワーク４ｂにはサーバ局２と放送
局３とが接続されており、相互の通信を可能としてい
る。サーバ局２は、ネットワーク４ａにより情報処理装
置１との間で個別的に情報の送受を行ったり、或いは複
数の情報処理装置１に対して一斉に情報の送信を行うよ
うに構成される。放送局３は、情報処理装置１に対して
放送により情報を配信する通常の放送設備を備える。放
送は、有線や地上波、衛星放送など、複数の情報処理装
置１に対して一斉に情報の配信が可能であればその形態
は問わない。また、サーバ局２及び放送局３は、ネット
ワーク４ｂにより相互に通信可能に接続されることによ
り、協同して情報処理装置１に対して情報を供給可能で
ある。FIG. 1 is an overall configuration diagram for implementing the present invention. The information processing device 1 and the server station 2 of the present invention are connected to the network 4a, and enable mutual communication. The server station 2 and the broadcasting station 3 are connected to the network 4b, and enable mutual communication. The server station 2 is configured to individually send and receive information to and from the information processing device 1 via the network 4a, or to simultaneously send information to a plurality of information processing devices 1. The broadcasting station 3 includes normal broadcasting equipment for distributing information to the information processing device 1 by broadcasting. The form of broadcasting is not limited as long as information can be simultaneously delivered to a plurality of information processing devices 1 such as cable, ground wave, and satellite broadcasting. Further, the server station 2 and the broadcasting station 3 are able to cooperate with each other to supply information to the information processing apparatus 1 by being communicably connected to each other via the network 4b.
【００１６】本実施形態で紹介する情報処理装置１は、
メインバスＢ１とサブバスＢ２の２本のバスを有するエ
ンタテインメント装置である。これらのバスＢ１、Ｂ２
がバスインタフェースＩＮＴを介して互いに接続され又
は切り離されるようになっている。The information processing apparatus 1 introduced in this embodiment is
The entertainment device has two buses, a main bus B1 and a sub bus B2. These buses B1 and B2
Are connected to or disconnected from each other via the bus interface INT.
【００１７】メインバスＢ１には、メインＣＰＵ１０
と、ＲＡＭで構成されるメインメモリ１１と、メインＤ
ＭＡＣ（direct memory access controller）１２と、
ＭＰＥＧ（Moving Picture Experts Group）デコーダ
（ＭＤＥＣ）１３と、フレームメモリ１５を内蔵する本
発明の画像処理デバイス（graphic processing unit、
以下、「ＧＰＵ」）１４が接続される。ＧＰＵ１４に
は、ビデオ出力信号を生成するための制御手段であるＣ
ＲＴＣ（CRT controller）１６が接続される。ビデオ出
力信号により、ケーブル等によって情報処理装置１と接
続されている所定の表示装置に画像が表示される。The main CPU B10 is connected to the main bus B1.
, A main memory 11 composed of RAM, and a main D
MAC (direct memory access controller) 12,
An MPEG (Moving Picture Experts Group) decoder (MDEC) 13 and a frame memory 15 are incorporated in the image processing device (graphic processing unit) of the present invention.
Hereinafter, the “GPU”) 14 is connected. The GPU 14 has a control means C for generating a video output signal.
An RTC (CRT controller) 16 is connected. An image is displayed by a video output signal on a predetermined display device connected to the information processing device 1 by a cable or the like.
【００１８】メインＣＰＵ１０は、情報処理装置１の起
動時にサブバスＢ２上のＲＯＭ２３から、バスインタフ
ェースＩＮＴを介して起動プログラムを読み込み、その
起動プログラムを実行してオペレーティングシステムを
動作させる。また、メディアドライブ２７を制御すると
ともに、このメディアドライブ２７に装着されたメディ
ア２８からアプリケーションプログラムやデータを読み
出し、これをメインメモリ１１に記憶させる。さらに、
メディア２８から読み出した各種データ、例えば複数の
基本図形（ポリゴン）で構成された３次元オブジェクト
データ（ポリゴンの頂点（代表点）の座標値など）に対
して、ジオメトリ処理を行う。ジオメトリ処理によりポ
リゴン定義情報をその内容とするディスプレイリストを
生成する。また、ＭＰＥＧ（Moving Picture Experts G
roup）方式あるいはＪＰＥＧ（Joint Photographic Exp
erts Group）方式等で圧縮されたデータを伸張する。つ
まりメインＣＰＵ１０は、ソフトウェアにより情報を解
読する情報解読機能を持つ。When the information processing apparatus 1 is activated, the main CPU 10 reads the activation program from the ROM 23 on the sub-bus B2 via the bus interface INT, and executes the activation program to operate the operating system. In addition, while controlling the media drive 27, the application program and data are read from the medium 28 mounted in the media drive 27 and stored in the main memory 11. further,
Geometry processing is performed on various data read from the medium 28, for example, three-dimensional object data (coordinate values of the vertices (representative points) of polygons) composed of a plurality of basic figures (polygons). A display list having polygon definition information as its contents is generated by the geometry processing. In addition, MPEG (Moving Picture Experts G
roup) method or JPEG (Joint Photographic Exp)
Decompress data compressed by erts group) method. That is, the main CPU 10 has an information decoding function of decoding information by software.
【００１９】ポリゴン定義情報は、描画領域設定情報と
ポリゴン情報とからなる。描画領域設定情報は、描画領
域のフレームバッファアドレスにおけるオフセット座標
と、描画領域の外部にポリゴンの座標があった場合に、
描画をキャンセルするための描画クリッピング領域の座
標からなる。ポリゴン情報は、ポリゴン属性情報と頂点
情報とからなり、ポリゴン属性情報は、シェーディング
モード、αブレンディングモード、およびテクスチャマ
ッピングモード等を指定する情報であり、頂点情報は、
頂点描画領域内座標、頂点テクスチャ領域内座標、およ
び頂点色等の情報である。The polygon definition information comprises drawing area setting information and polygon information. The drawing area setting information includes the offset coordinates in the frame buffer address of the drawing area and the coordinates of the polygon outside the drawing area.
It consists of the coordinates of the drawing clipping area for canceling the drawing. The polygon information is composed of polygon attribute information and vertex information. The polygon attribute information is information that specifies a shading mode, an α blending mode, a texture mapping mode, etc., and the vertex information is
It is information such as coordinates in the vertex drawing area, coordinates in the vertex texture area, and vertex color.
【００２０】ＧＰＵ１４は、描画コンテクストを保持し
ており、メインＣＰＵ１０から通知されるディスプレイ
リストに含まれる画像コンテクストの識別情報に基づい
て該当する描画コンテクストを読み出し、これを用いて
レンダリング処理を行い、フレームメモリ１５にポリゴ
ンを描画する。フレームメモリ１５は、テクスチャメモ
リとしても使用できるため、フレームメモリ１５上のピ
クセルイメージをテクスチャとして描画するポリゴンに
貼り付けることができる。The GPU 14 holds the drawing context, reads out the corresponding drawing context based on the identification information of the image context included in the display list notified from the main CPU 10, performs the rendering process using the drawing context, and renders the frame. A polygon is drawn in the memory 15. Since the frame memory 15 can also be used as a texture memory, the pixel image on the frame memory 15 can be attached to a polygon to be drawn as a texture.
【００２１】メインＤＭＡＣ１２は、メインバスＢ１に
接続されている各回路を対象としてＤＭＡ転送制御を行
うとともに、バスインタフェースＩＮＴの状態に応じ
て、サブバスＢ２に接続されている各回路を対象として
ＤＭＡ転送制御を行う。ＭＤＥＣ１３は、メインＣＰＵ
１０と並列に動作し、ＭＰＥＧ方式あるいはＪＰＥＧ方
式等で圧縮されたデータを伸張する。つまりＭＤＥＣ１
３は、チューナ３０やＡＴＭ２６、メディアドライブ２
７により取得した情報を受領し解読する情報解読手段で
ある。ＭＤＥＣ１３は、デコード専用に設計されたＩＣ
や、あるいはプログラマブル専用のＤＳＰを用いてソフ
トウェアにより実現可能である。また、メインＣＰＵ１
０やサブＣＰＵ２０内に、ソフトウェアにより実現する
ようにしてもよい。The main DMAC 12 controls DMA transfer for each circuit connected to the main bus B1 and also performs DMA transfer for each circuit connected to the sub-bus B2 according to the state of the bus interface INT. Take control. MDEC13 is the main CPU
It operates in parallel with 10, and expands data compressed by the MPEG system or the JPEG system. That is MDEC1
3 is a tuner 30, ATM 26, and media drive 2
It is an information decoding means for receiving and decoding the information acquired by 7. MDEC13 is an IC designed exclusively for decoding
Alternatively, it can be realized by software using a DSP dedicated to programming. In addition, the main CPU1
0 or in the sub CPU 20 may be realized by software.
【００２２】サブバスＢ２には、マイクロプロセッサな
どで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサ
ブメモリ２１、サブＤＭＡＣ２２、オペレーティングシ
ステムなどのプログラムが記憶されているＲＯＭ２３、
サウンドメモリ２５に蓄積された音データを読み出して
オーディオ出力として出力する音声処理装置（ＳＰＵ
（sound processing unit））２４、ネットワーク４ａ
を介してサーバ局２などの外部装置と情報の送受信を行
う通信制御部（ＡＴＭ）２６、所定のメデイア２８を装
着するためのメディアドライブ２７、大容量の情報を記
憶する補助記憶装置２９、チューナ３０及び入力部３１
が接続されている。メディア２８は、画像処理用のプロ
グラムが記録されたＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の
記録媒体である。情報処理装置１は、この画像処理用の
プログラムを読み取って実行することにより、所要のエ
ンタテインメント処理を実行できるようになる。The sub-bus B2 includes a sub CPU 20 including a microprocessor, a sub memory 21 including a RAM, a sub DMAC 22, and a ROM 23 in which programs such as an operating system are stored.
A voice processing device (SPU that reads out the sound data accumulated in the sound memory 25 and outputs it as an audio output)
(Sound processing unit) 24, network 4a
A communication control unit (ATM) 26 for transmitting / receiving information to / from an external device such as a server station 2 via a media, a media drive 27 for mounting a predetermined media 28, an auxiliary storage device 29 for storing a large amount of information, a tuner 30 and input unit 31
Are connected. The medium 28 is a recording medium such as a CD-ROM or a DVD-ROM in which a program for image processing is recorded. The information processing apparatus 1 can execute the required entertainment process by reading and executing the image processing program.
【００２３】サブＣＰＵ２０は、ＲＯＭ２３に記憶され
ているプログラムに従って各種動作を行う。サブＤＭＡ
Ｃ２２は、バスインタフェースＩＮＴがメインバスＢ１
とサブバスＢ２を切り離している状態においてのみ、サ
ブバスＢ２に接続されている各回路を対象としてＤＭＡ
転送などの制御を行う。The sub CPU 20 performs various operations according to the programs stored in the ROM 23. Sub DMA
In C22, the bus interface INT is the main bus B1.
DMA for each circuit connected to the sub-bus B2 only when the sub-bus B2 is separated from
Performs control such as transfer.
【００２４】チューナ３０は、アンテナＡＮＴにより受
信する放送局３からの情報から、操作者により選局され
たチャンネルの情報を抽出する。入力部３１は、操作装
置３３からの入力信号が入力される接続端子３２を備え
る。補助記憶装置２９は、通常のハードディスクドライ
ブであり、ＡＴＭ２６により受信したサーバ局２からの
情報や、チューナ３０により受信した放送局３からの情
報を一時保管する。The tuner 30 extracts the information of the channel selected by the operator from the information from the broadcasting station 3 received by the antenna ANT. The input unit 31 includes a connection terminal 32 to which an input signal from the operating device 33 is input. The auxiliary storage device 29 is a normal hard disk drive, and temporarily stores the information from the server station 2 received by the ATM 26 and the information from the broadcasting station 3 received by the tuner 30.
【００２５】なお、本実施形態では情報処理装置１内に
チューナ３０を設けることとしているが、汎用のコンピ
ュータ装置等の情報処理装置には、通常、チューナは設
けられていない。そこで、チューナを情報処理装置１の
外部に設け、チューナで受信した情報を情報処理装置１
へ送るようにしてもよい。この場合、情報処理装置１に
は、入力部３１にチューナからの情報が入力される入力
端子を設けるようにするとよい。Although the tuner 30 is provided in the information processing apparatus 1 in this embodiment, the tuner is not normally provided in an information processing apparatus such as a general-purpose computer apparatus. Therefore, a tuner is provided outside the information processing device 1, and the information received by the tuner is stored in the information processing device 1
You may send it to. In this case, the information processing apparatus 1 may be provided with an input terminal for inputting information from the tuner to the input unit 31.
【００２６】以上のような情報処理装置１において、情
報の入力経路は、サーバ局２からネットワーク４ａを介
してＡＴＭ２６により受信する経路、放送局３からの放
送をアンテナＡＮＴを介してチューナ３０により受信す
る経路、メディアドライブ２７によりメディア２８を再
生することにより得る経路、の３経路がある。それぞれ
の入力経路は独立しており、放送を受信中にサーバ局２
からの情報を受信し、なおかつメディア２８を再生して
読み込むことも可能である。ＡＴＭ２６、チューナ３
０、メディアドライブ２７のそれぞれが情報取得機構の
一例となる。In the information processing apparatus 1 as described above, an information input path is a path received by the ATM 26 from the server station 2 via the network 4a, and a broadcast from the broadcast station 3 is received by the tuner 30 via the antenna ANT. There are three routes, that is, a route to be obtained and a route obtained by reproducing the medium 28 by the media drive 27. Each input path is independent and the server station 2 receives the broadcast.
It is also possible to receive the information from and to play and read the medium 28. ATM26, tuner 3
0 and the media drive 27 are each an example of an information acquisition mechanism.
【００２７】このような入力経路により情報処理装置１
に取り込まれる情報は、ＳＰＵ２４によりオーディオ出
力となる音声情報のほかにＣＲＴＣ１６によりビデオ出
力となる画像情報を有する。画像情報は、連続的に再生
されて動画像となる動画情報と、動画像を構成するフレ
ーム画像毎のフレーム番号を表すフレーム番号情報とを
有する。フレーム番号情報は表示タイミング情報の一例
である。表示タイミング情報には、この他に、垂直同期
信号、水平同期信号などを用いることができる。The information processing apparatus 1 is configured by such an input path.
The information that is taken in includes audio information that becomes an audio output by the SPU 24 and image information that becomes a video output by the CRTC 16. The image information includes moving image information that is continuously reproduced to form a moving image, and frame number information that indicates a frame number for each frame image that forms the moving image. The frame number information is an example of display timing information. In addition to this, a vertical synchronizing signal, a horizontal synchronizing signal, or the like can be used as the display timing information.
【００２８】ここで、本発明の特徴の一つである画像合
成の処理について説明する。この処理は、メインＣＰＵ
１０またはＧＰＵ１４により行う。図２、図３は、画像
合成に関する説明図である。The image synthesizing process, which is one of the features of the present invention, will now be described. This process is executed by the main CPU
10 or GPU14. 2 and 3 are explanatory diagrams related to image composition.
【００２９】図２は、メインＣＰＵ１０により画像合成
を行う場合の説明図であり、図２（Ａ）はフローチャー
ト、図２（Ｂ）は主要部の回路図である。2A and 2B are explanatory views when the main CPU 10 synthesizes an image, FIG. 2A is a flow chart, and FIG. 2B is a circuit diagram of a main part.
【００３０】メインＣＰＵ１０により画像合成を行う場
合、まず、上記の３つの入力経路、即ちＡＴＭ２６、チ
ューナ３０、メディアドライブ２７のいずれか２つの経
路により、画像を含む情報を取得する（ステップＳ１０
１）。取得する情報は、主画像を含む情報（以下、この
実施形態では「主画像情報」という）と、付加画像を含
む情報（以下、この実施形態では「付加画像情報」とい
う）である。取得した情報は、主画像情報がＭＤＥＣ１
３により解読される。解読されることにより主画像が生
成される。またＭＤＥＣ１３は、主画像を生成するとと
もに主画像の進行状況を表すフレーム番号情報を読み出
す。ＭＤＥＣ１３により生成された主画像及びフレーム
番号情報は、メインＣＰＵ１０に送られる。付加画像情
報は、メインＣＰＵ１０でソフトウェア処理により解読
されて付加画像となる（ステップＳ１０２）。このと
き、付加画像は主画像の内容に応じて加工される。When the main CPU 10 performs image composition, first, information including an image is acquired through any of the above three input paths, that is, any two paths of the ATM 26, the tuner 30, and the media drive 27 (step S10).
1). The information to be acquired is information including a main image (hereinafter referred to as “main image information” in this embodiment) and information including an additional image (hereinafter referred to as “additional image information” in this embodiment). The main information of the acquired information is MDEC1
Decoded by 3. The main image is generated by being decoded. The MDEC 13 also generates a main image and reads frame number information indicating the progress of the main image. The main image and frame number information generated by the MDEC 13 are sent to the main CPU 10. The additional image information is decoded by software processing in the main CPU 10 to become an additional image (step S102). At this time, the additional image is processed according to the content of the main image.
【００３１】メインＣＰＵ１０は、ＭＤＥＣ１３から送
られた主画像及び自ら解読した付加画像をフレーム番号
情報に基づいて重ね合わせることにより、２つの画像の
合成を行い、合成した画像に基づくディスプレイリスト
を生成する（ステップＳ１０３）。生成されたディスプ
レイリストは、ＧＰＵ１４に送られて、ＧＰＵ１４によ
りフレームメモリ１５に描画される（ステップＳ１０
４）。フレームメモリ１５に描画された描画像は、ＧＰ
Ｕ１４を介してＣＲＴＣ１６に送られ、ＣＲＴＣ１６で
ビデオ出力信号に変換されてビデオ出力される（ステッ
プＳ１０５）。このビデオ出力信号により、所定の表示
装置に合成画像が表示される。The main CPU 10 superimposes the main image sent from the MDEC 13 and the additional image decoded by itself on the basis of the frame number information to synthesize the two images and generate a display list based on the synthesized image. (Step S103). The generated display list is sent to the GPU 14 and drawn by the GPU 14 in the frame memory 15 (step S10).
4). The drawn image drawn in the frame memory 15 is GP
It is sent to the CRTC 16 via U14, converted into a video output signal by the CRTC 16 and output as a video (step S105). With this video output signal, a composite image is displayed on a predetermined display device.
【００３２】図３は、ＧＰＵ１４により画像合成を行う
場合の説明図であり、図３（Ａ）は、フローチャート、
図３（Ｂ）は主要部の回路図である。FIG. 3 is an explanatory diagram in the case of performing image composition by the GPU 14, FIG. 3 (A) is a flowchart,
FIG. 3B is a circuit diagram of the main part.
【００３３】ＧＰＵ１４により画像合成を行う場合、ま
ず、上記の３つの入力経路、即ちＡＴＭ２６、チューナ
３０、メディアドライブ２７のいずれか２つの経路によ
り画像情報を含む情報を取得する（ステップＳ２０
１）。取得した情報は、主画像情報がＭＤＥＣ１３によ
り解読される。解読されることにより主画像が生成され
る。またＭＤＥＣ１３は、主画像を生成するとともに主
画像の画像の進行状況を表すフレーム番号情報を読み出
す。ＭＤＥＣ１３により生成された主画像及びフレーム
番号情報は、メインＣＰＵ１０に送られる。付加画像情
報は、メインＣＰＵ１０でソフトウェア処理により解読
されて付加画像となる（ステップＳ２０２）。このと
き、付加画像は主画像の内容に応じて加工される。メイ
ンＣＰＵ１０は、ＭＤＥＣ１３から送られた主画像に基
づく主画像ディスプレイリスト及び自ら解読した付加画
像に基づく付加画像ディスプレイリストを生成してフレ
ーム番号情報とともにＧＰＵ１４に送る。When image synthesis is performed by the GPU 14, first, information including image information is acquired through any of the above three input paths, that is, any two paths of the ATM 26, the tuner 30, and the media drive 27 (step S20).
1). Main image information of the acquired information is decoded by the MDEC 13. The main image is generated by being decoded. The MDEC 13 also generates a main image and reads frame number information indicating the progress of the image of the main image. The main image and frame number information generated by the MDEC 13 are sent to the main CPU 10. The additional image information is decoded by software processing in the main CPU 10 to become an additional image (step S202). At this time, the additional image is processed according to the content of the main image. The main CPU 10 generates a main image display list based on the main image sent from the MDEC 13 and an additional image display list based on the additional image decoded by itself, and sends it to the GPU 14 together with the frame number information.
【００３４】ＧＰＵ１４は、送られてきた主画像ディス
プレイリスト及び付加画像ディスプレリストをフレーム
メモリ１５を合成及び描画する（ステップ２０３）。Ｇ
ＰＵ１４による画像合成には２通りある。一つ目はフレ
ームメモリ１５に描画時に合成を行う方法であり、もう
一つはフレームメモリ１５に描画後に合成を行う方法で
ある。描画時に合成を行う場合、主画像ディスプレイリ
スト及び付加画像ディスプレイリストをフレームメモリ
１５の同じ領域に、フレーム番号情報に基づいて重ねて
描画することにより行う。描画後に合成を行う場合、主
画像ディスプレイリスト及び付加画像ディスプレイリス
トをフレームメモリ１５の異なる領域に描画する。その
後、ＧＰＵ１４がフレームメモリ１５から２つの描画像
をフレーム番号情報に基づいて同時に読み出して合成す
る。以上のようにして合成された描画像はＣＲＴＣ１６
に送られ、ＣＲＴＣ１６でビデオ出力信号に変換されて
ビデオ出力される（ステップＳ２０４）。このビデオ出
力信号により、所定の表示装置に合成画像が表示され
る。The GPU 14 synthesizes and draws the sent main image display list and additional image display list in the frame memory 15 (step 203). G
There are two types of image composition by the PU 14. The first is a method of performing composition in the frame memory 15 at the time of drawing, and the other is a method of performing composition in the frame memory 15 after drawing. When the combination is performed at the time of drawing, the main image display list and the additional image display list are drawn in the same area of the frame memory 15 so as to be overlapped based on the frame number information. When the combination is performed after drawing, the main image display list and the additional image display list are drawn in different areas of the frame memory 15. After that, the GPU 14 simultaneously reads two drawn images from the frame memory 15 based on the frame number information and combines them. The drawn image synthesized as described above is CRTC16.
The video signal is converted to a video output signal by the CRTC 16 and is output as a video (step S204). With this video output signal, a composite image is displayed on a predetermined display device.
【００３５】メインＣＰＵ１０、ＧＰＵ１４のどちらで
画像合成を行う場合でも、合成する２つの画像のいずれ
か一つを補助記憶装置２９に一旦記憶することで同一の
入力経路から画像情報を取得することが可能となる。つ
まり、先に取得した画像情報を補助記憶装置２９に一旦
記憶し、その後同じ入力経路により異なる画像情報を取
得する。補助記憶装置２９は、先に取得した画像情報を
そのまま記憶してもよく、また、デコード後に記憶して
もよい。補助記憶装置２９に記憶された画像情報は、必
要に応じて読み出すようにするとよい。Whichever of the main CPU 10 and GPU 14 is used for image composition, image information can be obtained from the same input path by temporarily storing one of the two images to be composed in the auxiliary storage device 29. It will be possible. That is, the previously acquired image information is temporarily stored in the auxiliary storage device 29, and then different image information is acquired through the same input path. The auxiliary storage device 29 may store the previously acquired image information as it is, or may store it after decoding. The image information stored in the auxiliary storage device 29 may be read as needed.
【００３６】[0036]
【実施例】このような画像合成処理を行う情報処理装置
により、以下のような画像を生成することが可能とな
る。EXAMPLE An information processing apparatus for performing such image synthesizing processing can generate the following images.
【００３７】実施例１：まず、２つの入力経路により情
報を受信して、これらの情報から生成された画像を重ね
合わせることにより、より高解像度の動画像を提供する
場合の例を挙げる。図４は、このようにして生成される
高解像度の画像（動画像の一部のフレーム画像）の例で
ある。図４（Ａ）は高解像度の画像から画像情報を生成
する過程を示し、図４（Ｂ）は受信した画像情報から高
解像度画像を生成する過程を示す。この画像は「／」を
表している。ここでは、通常放送による解像度をもつ画
像と解像度を高めるための画像を重ね合わせる例を示
す。通常放送による解像度を持つ画像となる情報を主画
像情報、解像度を高めるための画像となる情報を付加画
像情報とする。主画像情報は、画像となる動画情報と、
動画を構成する各フレーム画像毎のフレーム番号情報を
有している。主画像は、例えばハイビジョン撮影された
画像などの高解像度動画の解像度を、放送局３からの無
線放送用に低下させた動画像である。付加画像情報は、
主画像情報による画像を高解像度化する画像情報であ
り、図４（Ａ）を例にすると、画像Ｃとなる画像情報で
ある。画像Ｃは、高解像度撮影により得られる画像Ａ
と、画像Ａから解像度を落として通常放送による解像度
とした画像Ｂとの差分の画像である。図４（Ａ）の画像
Ｂが図４（Ｂ）の通常放送による解像度をもつ画像とな
り、図４（Ａ）の画像Ｃが図４（Ｂ）解像度を高めるた
めの画像となる。この実施例では、主画像情報を放送局
３から放送し、付加画像情報をサーバ局２から送信す
る。また、画像合成はメインＣＰＵ１０で行うものとす
る。Embodiment 1: First, an example will be given in which information is received through two input paths and images generated from these information are superposed to provide a moving image of higher resolution. FIG. 4 is an example of a high-resolution image (a partial frame image of a moving image) thus generated. FIG. 4A shows a process of generating image information from a high resolution image, and FIG. 4B shows a process of generating a high resolution image from the received image information. This image represents "/". Here, an example is shown in which an image having a resolution of normal broadcasting and an image for increasing the resolution are superimposed. Information that becomes an image having the resolution of normal broadcasting is defined as main image information, and information that becomes an image for increasing the resolution is defined as additional image information. Main image information is video information that is an image,
It has frame number information for each frame image forming a moving image. The main image is a moving image in which the resolution of a high-resolution moving image such as a high-definition image is reduced for wireless broadcasting from the broadcasting station 3. The additional image information is
It is the image information for increasing the resolution of the image based on the main image information, and is the image information which becomes the image C in the example of FIG. Image C is image A obtained by high-resolution shooting
And an image B having a resolution lower than that of the image A and having a resolution of normal broadcasting. The image B in FIG. 4A is the image having the resolution of the normal broadcast in FIG. 4B, and the image C in FIG. 4A is the image for increasing the resolution in FIG. 4B. In this embodiment, the main image information is broadcast from the broadcasting station 3 and the additional image information is transmitted from the server station 2. The image composition is performed by the main CPU 10.
【００３８】主画像情報は、放送局３から放送されてア
ンテナＡＮＴを介してチューナ３０に入力される。チュ
ーナ３０では、選局されたチャンネルの情報のみが抽出
されてＭＤＥＣ１３へ送られる。ＭＤＥＣ１３は、送ら
れた情報をデコードして主画像を生成してこれをメイン
ＣＰＵ１０へ送る。また、ＭＤＥＣ１３は、チューナ３
０から送られた主画像情報からフレーム番号情報を抽出
する。抽出したフレーム番号情報もメインＣＰＵ１０へ
送られる。付加画像情報は、画像Ａと画像Ｂの差分であ
る。そのために、通常、付加画像情報は放送局３で生成
されて、サーバ局２へ送られる。そして、付加画像情報
は、サーバ局２からネットワーク４を介してＡＴＭ２６
へ入力される。入力された付加画像情報は、メインＣＰ
Ｕ１０で解読される。メインＣＰＵ１０は、付加画像を
生成する。メインＣＰＵ１０は、ＭＤＥＣ１３から送ら
れた主画像及び自身で解読した付加画像を合成してディ
スプレイリストを生成する。合成は、フレーム番号情報
に同期して行われ、全く異なる画面が合成されることが
ないようにする。The main image information is broadcast from the broadcasting station 3 and input to the tuner 30 via the antenna ANT. The tuner 30 extracts only the information of the selected channel and sends it to the MDEC 13. The MDEC 13 decodes the sent information to generate a main image and sends it to the main CPU 10. In addition, MDEC13 is a tuner 3
The frame number information is extracted from the main image information sent from 0. The extracted frame number information is also sent to the main CPU 10. The additional image information is the difference between image A and image B. Therefore, normally, the additional image information is generated by the broadcasting station 3 and sent to the server station 2. Then, the additional image information is transferred from the server station 2 to the ATM 26 via the network 4.
Is input to. The input additional image information is the main CP
Decoded in U10. The main CPU 10 generates an additional image. The main CPU 10 synthesizes the main image sent from the MDEC 13 and the additional image decoded by itself to generate a display list. The combination is performed in synchronization with the frame number information so that completely different screens are not combined.
【００３９】メインＣＰＵ１０で生成されたディスプレ
イリストは、ＧＰＵ１４に送られてフレームメモリ１５
に描画され、その後ＣＲＴＣ１６へ送られて、ビデオ出
力信号に変換される。このビデオ出力信号を所定の表示
装置で表示させることにより、高解像度の画像が得られ
る。The display list generated by the main CPU 10 is sent to the GPU 14 and sent to the frame memory 15
, And then sent to the CRTC 16 to be converted into a video output signal. By displaying this video output signal on a predetermined display device, a high-resolution image can be obtained.
【００４０】以上のようにして画像を生成することによ
り、従来の放送による解像度をもつ画像を、高解像度の
画像として表示することが可能となり、従来の放送設備
を利用しながら高画質放送を実現できるようになる。By generating an image as described above, it becomes possible to display an image having a resolution of conventional broadcasting as a high-resolution image, and realize high-quality broadcasting while using conventional broadcasting equipment. become able to.
【００４１】実施例２：次に、２つの入力経路により情
報を入手して、これらの情報から生成された画像を重ね
合わせることにより、視覚的に立体的な画像となるステ
レオ画像を提供する場合の例を挙げる。図５は、このよ
うにして生成されるステレオ画像の例である。画像は直
方体を表している。ここでは、左目用の画像と右目用の
画像とを重ね合わせる例を示す。左目用の画像となる情
報を主画像情報、右目用の画像となる情報を付加画像情
報とする。主画像情報は、左目用の画像となる動画情報
と、動画を構成する各フレーム画像毎のフレーム番号情
報を有している。左目用及び右目用の画像は、例えば２
台のカメラをそれぞれ左目用、右目用として、所定間隔
離して同じ物体を撮影することにより生成される。この
実施例では、主画像情報をサーバ局２から送信し、付加
画像情報をメディア２８から読み出すことにより入手す
る。また、画像合成はＧＰＵ１４で行うものとする。Example 2: Next, in the case of providing a stereo image which is a visually stereoscopic image by obtaining information through two input paths and superimposing images generated from these information Take the example of. FIG. 5 is an example of a stereo image generated in this way. The image shows a rectangular parallelepiped. Here, an example is shown in which the image for the left eye and the image for the right eye are superimposed. The information that becomes the image for the left eye is the main image information, and the information that becomes the image for the right eye is the additional image information. The main image information has moving image information that is an image for the left eye, and frame number information for each frame image that constitutes the moving image. The images for the left and right eyes are, for example, 2
It is generated by photographing the same object by separating the cameras for the left eye and the right eye from each other for a predetermined period. In this embodiment, the main image information is transmitted from the server station 2 and the additional image information is obtained by reading it from the medium 28. The image composition is performed by the GPU 14.
【００４２】主画像情報は、サーバ局２からネットワー
ク４を介してＡＴＭ２６に入力される。入力された主画
像情報は、ＭＤＥＣ１３でデコードされて主画像とな
る。また、ＭＤＥＣ１３は主画像情報からフレーム番号
情報を抽出する。主画像は、メインＣＰＵ１０に送られ
て主画像ディスプレイリストとなる。フレーム番号情報
は、メインＣＰＵ１０を介してＧＰＵ１４へ送られる。
付加画像情報は、メディアドライブ２７によりメディア
２８から読み出される。読み出された情報は、メインＣ
ＰＵ１０で解読され付加画像ディスプレイリストとな
る。主画像ディスプレイリスト及び付加画像ディスプレ
イリストは、ＧＰＵ１４へ送られる。The main image information is input to the ATM 26 from the server station 2 via the network 4. The input main image information is decoded by the MDEC 13 and becomes a main image. The MDEC 13 also extracts frame number information from the main image information. The main image is sent to the main CPU 10 and becomes a main image display list. The frame number information is sent to the GPU 14 via the main CPU 10.
The additional image information is read from the medium 28 by the medium drive 27. The read information is the main C
The additional image display list is decoded by the PU 10. The main image display list and the additional image display list are sent to the GPU 14.
【００４３】ＧＰＵ１３へ送られた主画像ディスプレイ
リスト及び付加画像ディスプレイリストは、フレーム番
号情報に同期してフレームメモリ１５の同じ領域に重な
るようにして描画される。同じ領域に重ねて描画するこ
とにより主画像である左目用画像と付加画像である右目
用画像とが合成される。The main image display list and the additional image display list sent to the GPU 13 are drawn so as to overlap the same area of the frame memory 15 in synchronization with the frame number information. The image for the left eye, which is the main image, and the image for the right eye, which is the additional image, are combined by drawing the images in the same region in an overlapping manner.
【００４４】フレームメモリ１５上の描画像はその後Ｃ
ＲＴＣ１６へ送られ、ビデオ出力信号に変換される。こ
のビデオ出力信号を所定の表示装置で表示させることに
より、ステレオ画像が得られる。The drawn image on the frame memory 15 is then C
It is sent to the RTC 16 and converted into a video output signal. A stereo image can be obtained by displaying the video output signal on a predetermined display device.
【００４５】以上のようにして画像を生成することによ
り、従来のモノラルの画像を、ステレオ画像として表示
することが可能となる。ステレオ画像は、この他に、同
一の画像を２分岐して主画像及び付加画像としても実現
できる。メインＣＰＵ１０により、一方の画像を他方の
画像に対して１ないし数ピクセルずらした画像になるよ
うにディスプレイリストを作成すれば、両画像を重ね合
わせた際に、ステレオ画像となる。By generating an image as described above, a conventional monaural image can be displayed as a stereo image. In addition to this, the stereo image can also be realized as a main image and an additional image by branching the same image into two. If the display list is created by the main CPU 10 so that one image is shifted by one or several pixels from the other image, a stereo image is obtained when the two images are superposed.
【００４６】実施例３：次に、２つの入力経路により情
報を入手して、これらの情報から生成された画像を重ね
合わせることにより、放送された画像上に、動きの表現
が可能なオブジェクトを含むＣＧ画像（ゲーム画像等）
を重ねた画像を提供する場合の例を挙げる。図６は、こ
のようにして生成される画像の例である。ここで、重ね
合わせるゲーム画像は、放送画像に必ずしも関連したも
のでなくてもよい。図６（Ａ）は、放送画像に関連しな
いゲーム画像を重ねて表示した画像であり、放送画像上
に育成ゲームの画像を重ねて表示したものである。図６
（Ｂ）は、放送画像に関連したゲーム画像を重ねて表示
した画像であり、ゴルフの放送画像上にゴルフゲームの
画像を重ねて表示したものである。放送された画像とな
る情報を主画像情報、ゲーム画像となる情報を付加画像
情報とする。主画像情報は、画像となる動画情報と、動
画を構成する各フレーム画像毎のフレーム番号情報を有
している。また、主画像情報には、主画像により表示さ
れる場所の状況や状態を表す付加情報も含まれる。例え
ば、付加情報には、主画像に登場する人間又は物が存在
する場所の相対位置情報（図６（Ａ）であれば、山、
家、車の位置や大きさ等の情報、図６（Ｂ）であれば、
どこのコースの何ホール目か等の情報）や、主画像によ
り表示される場所の気象条件情報（図６（Ｂ）であれ
ば、天候、風向き等の情報）が含まれる。この実施例で
は、主画像情報を放送局３から放送し、付加画像情報を
メディア２８により読み出すことにより入手する。ま
た、画像合成はＧＰＵ１４で行うものとする。Example 3 Next, by obtaining information through two input paths and superimposing images generated from these information, an object capable of expressing a motion is displayed on a broadcast image. CG images including (game images, etc.)
An example of providing an image in which is superimposed will be described. FIG. 6 is an example of an image generated in this way. Here, the game images to be superimposed do not necessarily have to be related to the broadcast image. FIG. 6A is an image in which game images not related to the broadcast image are displayed in an overlapping manner, and the image of the training game is displayed in an overlapping manner on the broadcast image. Figure 6
(B) is an image in which the game image related to the broadcast image is displayed in an overlapping manner, and the image of the golf game is displayed in an overlapping manner on the broadcast image of golf. Information that is a broadcast image is main image information, and information that is a game image is additional image information. The main image information has moving image information that is an image and frame number information for each frame image that constitutes the moving image. The main image information also includes additional information indicating the situation or state of the place displayed by the main image. For example, the additional information includes relative position information of a place where a person or an object appearing in the main image exists (in the case of FIG. 6A, a mountain,
Information such as the position and size of the house and vehicle, as shown in FIG.
Information such as which hole of which course) and weather condition information of the place displayed by the main image (in FIG. 6B, information such as weather and wind direction). In this embodiment, the main image information is broadcast from the broadcasting station 3 and the additional image information is obtained by reading the medium 28. The image composition is performed by the GPU 14.
【００４７】主画像情報は、放送局３から放送されてア
ンテナＡＮＴを介してチューナ３０に入力される。チュ
ーナ３０では、選局されたチャンネルの情報のみが抽出
されてＭＤＥＣ１３へ送られる。ＭＤＥＣ１３は、送ら
れた情報をデコードして主画像を生成してこれをメイン
ＣＰＵ１０へ送る。メインＣＰＵ１０へ送られた主画像
は、主画像ディスプレイリストとなる。また、ＭＤＥＣ
１３は、チューナ３０から送られた主画像情報からフレ
ーム番号情報を抽出する。抽出したフレーム番号情報も
メインＣＰＵ１０を介してＧＰＵ１４へ送られる。さら
に付加情報も抽出されてメインＣＰＵ１０へ送られる。
付加画像情報は、メディアドライブ２７によりメディア
２８から読み出される。読み出された情報は、メインＣ
ＰＵ１０で解読され付加画像ディスプレイリストとな
る。主画像ディスプレイリスト及び付加画像ディスプレ
イリストは、ＧＰＵ１４へ送られる。メインＣＰＵ１０
は、ＭＤＥＣ１３から送られるフレーム番号情報に基づ
いて、オブジェクトの動き及び表現態様を、主画像の動
きに連動させ且つゲームプログラムの実行順序に応じて
変化させる。The main image information is broadcast from the broadcasting station 3 and input to the tuner 30 via the antenna ANT. The tuner 30 extracts only the information of the selected channel and sends it to the MDEC 13. The MDEC 13 decodes the sent information to generate a main image and sends it to the main CPU 10. The main image sent to the main CPU 10 becomes a main image display list. Also, MDEC
Reference numeral 13 extracts frame number information from the main image information sent from the tuner 30. The extracted frame number information is also sent to the GPU 14 via the main CPU 10. Further, additional information is also extracted and sent to the main CPU 10.
The additional image information is read from the medium 28 by the medium drive 27. The read information is the main C
The additional image display list is decoded by the PU 10. The main image display list and the additional image display list are sent to the GPU 14. Main CPU 10
On the basis of the frame number information sent from the MDEC 13, changes the movement and expression mode of the object in accordance with the movement of the main image and changes the execution order of the game program.
【００４８】付加画像ディスプレイリストは、ゲーム画
像を示すディスプレイリストであるため操作装置３３か
ら入力された信号が反映されたものとなる。操作装置３
３からの入力信号は、入力部３１を介してメインＣＰＵ
１０に入力される。メインＣＰＵ１０は、入力信号を解
析して、これを３次元オブジェクトに反映させてジオメ
トリ処理を行うなどして、オブジェクトの動き及び表現
態様に変更を加えた付加画像ディスプレイリストを生成
する。また、メインＣＰＵ１０は、付加情報から、画面
上のどの位置に何があるかなどの相対位置情報を入手す
る。相対位置情報により、ゲーム画像を構成するオブジ
ェクト（図６（Ａ）では育成対象のペット、図６（Ｂ）
ではボール）の動き及び表現態様に影響を与えるように
する。例えば、図６（Ａ）で車が移動している画像であ
るとすると、ペットは車の位置を示す付加情報により車
の座標を確認し、この座標を追いかけるようにすること
により、画面上ではペットが車を追いかける画像が得ら
れる。そして、車を追いかけたという情報をペットが持
つことにより、ペットが車に興味を持つ、といった情報
を生成してペットの情報としてペットの育成を図るよう
にする。また、図６（Ｂ）では、付加情報から、取得し
ている主画像のコース名や何ホール目かの情報を確認で
きる。これらの情報から、該当する画像となるゲーム画
像を生成する。操作者は、操作装置３３を用いて、生成
されたゲーム画像上でゲームを楽しむことが可能とな
る。操作装置３３によりオブジェクトの動き及び表現態
様を変化させる際に、付加情報から得られる気象条件情
報をも考慮したオブジェクトの動き及び表現態様を提供
することができる。これにより、主画像で表示される場
所で、画像内の実際のプレイヤと同じ条件でゴルフを行
っているような疑似体験をすることができる。このよう
にしてゲーム画像、操作装置３３による操作を付加画像
に反映させる。Since the additional image display list is a display list showing the game images, the signal input from the operation device 33 is reflected. Operating device 3
The input signal from the CPU 3 is sent via the input unit 31 to the main CPU.
Input to 10. The main CPU 10 analyzes an input signal, reflects the input signal on a three-dimensional object, and performs geometry processing to generate an additional image display list in which the movement and expression of the object are changed. Further, the main CPU 10 obtains relative position information such as what is on the screen and what is on the screen from the additional information. Objects that compose the game image based on the relative position information (in FIG. 6A, the pet to be raised, FIG. 6B)
Then, the movement of the ball) and the mode of expression should be influenced. For example, if the image is a moving vehicle in FIG. 6 (A), the pet confirms the coordinates of the vehicle from the additional information indicating the position of the vehicle, and the petition is made to follow this coordinate. You can get an image of a pet chasing a car. Then, by having the information that the pet chased the car, information that the pet is interested in the car is generated, and the pet is raised as the pet information. Further, in FIG. 6B, it is possible to confirm the course name and the number of holes of the acquired main image from the additional information. A game image that is a corresponding image is generated from these pieces of information. The operator can enjoy the game on the generated game image by using the operation device 33. It is possible to provide the movement and expression mode of the object in consideration of the weather condition information obtained from the additional information when the movement and expression mode of the object are changed by the operation device 33. As a result, it is possible to give a simulated experience of playing golf under the same conditions as the actual player in the image in the place displayed in the main image. In this way, the game image and the operation of the operation device 33 are reflected in the additional image.
【００４９】ＧＰＵ１４に送られた主画像ディスプレイ
リスト及び付加画像ディスプレイリストは、フレームメ
モリ１５の異なる領域に描画される。その後、ＧＰＵ１
４は、フレームメモリ１５から２つの描画像をフレーム
番号情報に基づいて同時に読み出して合成する。合成さ
れた描画像は、ＣＲＴＣ１６へ送られてビデオ出力信号
に変換されて出力される。The main image display list and the additional image display list sent to the GPU 14 are drawn in different areas of the frame memory 15. Then GPU1
Reference numeral 4 simultaneously reads two drawn images from the frame memory 15 based on the frame number information and combines them. The combined drawn image is sent to the CRTC 16, converted into a video output signal, and output.
【００５０】以上のように付加情報及び操作装置３３か
らの入力信号を考慮して合成画像を生成することによ
り、育成ゲームのようなゲームでは育成対象のペットに
主画像による影響を与えることができるようになり、ゴ
ルフゲームのようなゲームでは、主画像で競技している
競技者と同じコースを同じ条件下で同時に競技している
感覚を得ることができる。As described above, by generating the composite image in consideration of the additional information and the input signal from the operating device 33, in the game such as the breeding game, the pet to be raised can be influenced by the main image. Thus, in a game such as a golf game, it is possible to obtain the feeling that a player competing in the main image is simultaneously competing on the same course under the same conditions.
【００５１】以上の実施例において、重ね合わされる画
像となる情報は、３つの入力経路のどの２つから情報を
取得するようにしてもよい。また、補助記憶装置２９を
備えることで、同一の経路から情報を取得して、先に取
得した情報を補助記憶装置２９に記憶し、後に取得した
情報に同期して読み出すようにしてもよい。In the above embodiment, the information to be the image to be superimposed may be obtained from any two of the three input paths. Further, by providing the auxiliary storage device 29, information may be acquired from the same route, the previously acquired information may be stored in the auxiliary storage device 29, and the information may be read in synchronization with the information acquired later.
【００５２】なお、本実施形態では、画像処理デバイス
を搭載したエンタテインメント装置を用いて画像処理を
行う場合の例について説明したが、本発明は、上記の例
以外の形態でも実施可能なものである。例えば、オペレ
ーティングシステムを搭載し、これによって複数の経路
で取得した画像を所定の表示装置に表示させる機能を具
えた汎用のコンピュータが、ＣＤ−ＲＯＭあるいはＤＶ
Ｄ−ＲＯＭ等の記録媒体に記録された画像処理用のコン
ピュータプログラムを読み取って実行することによって
も実施が可能である。In the present embodiment, an example in which the image processing is performed by using the entertainment apparatus equipped with the image processing device has been described, but the present invention can be implemented in a mode other than the above example. . For example, a general-purpose computer equipped with an operating system and having a function of displaying images acquired through a plurality of routes on a predetermined display device is a CD-ROM or a DV.
It can also be implemented by reading and executing a computer program for image processing recorded in a recording medium such as a D-ROM.
【００５３】[0053]
【発明の効果】以上のような本発明により、複数の経路
から入力される情報を統合してより高度な情報とした情
報をユーザに提供可能となる。As described above, according to the present invention, it is possible to provide the user with information that is more advanced information by integrating the information input from a plurality of routes.
【図面の簡単な説明】[Brief description of drawings]
【図１】情報提示システムを示す図である。FIG. 1 is a diagram showing an information presentation system.
【図２】ＣＰＵにより画像合成を行う場合の説明図であ
り、図２（Ａ）はフローチャート、図２（Ｂ）は主要部
の回路図である。2A and 2B are explanatory diagrams when an image is synthesized by a CPU, FIG. 2A is a flowchart, and FIG. 2B is a circuit diagram of a main part.
【図３】ＧＰＵにより画像合成を行う場合の説明図であ
り、図３（Ａ）はフローチャート、図３（Ｂ）は主要部
の回路図である。3A and 3B are explanatory diagrams in the case of performing image synthesis by a GPU, FIG. 3A is a flowchart, and FIG. 3B is a circuit diagram of a main part.
【図４】高解像度の画像の説明図であり、図４（Ａ）は
高解像度の画像から画像情報を生成する過程を示し、図
４（Ｂ）は受信した画像情報から高解像度画像を生成す
る過程を示す。FIG. 4 is an explanatory diagram of a high resolution image, FIG. 4 (A) shows a process of generating image information from the high resolution image, and FIG. 4 (B) generates a high resolution image from the received image information. The process is shown.
【図５】ステレオ画像の説明図である。FIG. 5 is an explanatory diagram of a stereo image.
【図６】放送画像上にゲーム画像を重ね合わせた画像の
説明図であり、図６（Ａ）は放送画像とゲーム画像が関
連しない場合、図６（Ｂ）は放送画像とゲーム画像が関
連する場合の説明図である。FIG. 6 is an explanatory diagram of an image in which a game image is superimposed on a broadcast image. FIG. 6 (A) shows a case where the broadcast image and the game image are not related, and FIG. 6 (B) shows a case where the broadcast image and the game image are related. It is explanatory drawing at the time of doing.
１ 情報処理装置 ２ サーバ局 ３ 放送局 ４ａ、ｂ ネットワーク １０ メインＣＰＵ １１ メインメモリ １２ メインＤＭＡＣ １３ ＭＤＥＣ １４ ＧＰＵ １５ フレームメモリ １６ ＣＲＴＣ ２０ サブＣＰＵ ２１ サブメモリ ２２ サブＤＭＡＣ ２３ ＲＯＭ ２４ ＳＰＵ ２５ サウンドメモリ ２６ ＡＴＭ ２７ メディアドライブ ２８ メディア ２９ 補助記憶装置 ３０ チューナ ３１ 入力部 ３２ 接続端子 ３３ 操作装置 ＡＮＴ アンテナ Ｂ１、Ｂ２ バス 1 Information processing equipment 2 server stations 3 broadcasting stations 4a, b network 10 Main CPU 11 main memory 12 Main DMAC 13 MDEC 14 GPU 15 frame memory 16 CRTC 20 sub CPU 21 sub memory 22 Sub DMAC 23 ROM 24 SPU 25 sound memory 26 ATM 27 Media Drive 28 Media 29 Auxiliary storage device 30 tuners 31 Input section 32 connection terminals 33 Operating device ANT antenna B1 and B2 buses
─────────────────────────────────────────────────────
─────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成１４年１月２５日（２００２．１．２
５）[Submission date] January 25, 2002 (2002.1.2
5)
【手続補正１】[Procedure Amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項１[Name of item to be corrected] Claim 1
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正２】[Procedure Amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項２[Name of item to be corrected] Claim 2
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正３】[Procedure 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項３[Name of item to be corrected] Claim 3
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正４】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項４[Name of item to be corrected] Claim 4
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正５】[Procedure Amendment 5]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項６[Name of item to be corrected] Claim 6
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正６】[Procedure correction 6]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項１２[Name of item to be corrected] Claim 12
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正７】[Procedure Amendment 7]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項１３[Name of item to be corrected] Claim 13
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正８】[Procedure Amendment 8]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項１４[Name of item to be corrected] Claim 14
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正９】[Procedure Amendment 9]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】請求項１５[Name of item to be corrected] Claim 15
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【手続補正１０】[Procedure Amendment 10]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０００６[Correction target item name] 0006
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【０００６】[0006]
【課題を解決するための手段】上記の課題を解決する本
発明の情報処理装置は、第１画像を取得し、前記第１画
像の解像度を高めるための第２画像を取得するととも
に、取得した第２画像を第１画像の内容に応じて加工す
る。そして、取得した第１画像及び加工された第２画像
を所定のタイミング情報に基づいて合成させるようにし
たものである。より具体的には、第１画像とこの第１画
像の表示タイミング情報とを取得するとともに、第１画
像の解像度を高めるための第２画像を取得する手段（例
えば情報取得のための機構）と、取得した第２画像を第
１画像の内容に応じて加工する画像処理手段と、取得し
た第１画像、画像処理手段により加工された第２画像及
び前記表示タイミング情報を所定の表示装置に出力して
これらの画像を合成した合成画像をその表示装置に表示
させる制御手段とを具えてなる。つまり２つの画像の一
方の内容を他方に反映させて、合成画像を生成し、これ
を表示させる装置である。Means for Solving the Problems] To solve the above problems the information processing apparatus of the present invention, Tokushi preparative first image, the first stroke
Together acquire the second image in order to increase the resolution of the image is processed in accordance with a second image obtained with the contents of the first image. Then, the acquired first image and the processed second image are combined based on predetermined timing information. More specifically, the get the first image and display timing information of the first image, the first stroke
A means for acquiring a second image for increasing the resolution of the image (for example, a mechanism for acquiring information), an image processing means for processing the acquired second image according to the content of the first image, and the acquired first image. image, and control means for displaying the composite image of the images and outputs the second image and the display timing information processed in a predetermined display device by the image processing unit to the display device. In other words, it is a device that reflects the contents of one of the two images on the other to generate a composite image and displays it.
【手続補正１１】[Procedure Amendment 11]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０００７[Correction target item name] 0007
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【０００７】前記第１画像を、高解像度動画の解像度を
低下させた動画像、前記第２画像を、前記高解像度動画
と前記第１画像との差分情報とすることができる。この
場合、情報処理装置の前記画像処理手段は、前記高解像
度動画と同じ解像度の合成画像が前記表示装置に表示さ
れるように前記第２画像を加工するように構成する。こ
れにより、高解像度動画が得られるようになる。また、
前記第１画像を放送局からの無線放送により放送される
画像とし、前記第２画像を前記放送局をその起点とする
有線通信により送信される画像であるとすることによ
り、例えば、通常放送により得られる第１画像を、第２
画像と合成して、ハイビジョンと同じ解像度をもつ画像
とすることができる。The first image is converted into the resolution of a high resolution moving image.
Moving image that has low Do, the second image can be said high-resolution video and difference information between the first image. this
In this case, the image processing means of the information processing device is configured to process the second image so that a composite image having the same resolution as the high resolution moving image is displayed on the display device. As a result, a high resolution moving image can be obtained. Also,
The first image is broadcast by radio from a broadcasting station
And an image, in particular to an image to be transmitted to the broadcast station the second image by wire communication to the origin
Ri, for example, the first image obtained by normal broadcast, second
It can be combined with an image to form an image having the same resolution as high definition.
【手続補正１２】[Procedure Amendment 12]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０００８[Correction target item name] 0008
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【０００８】前記第１画像を、立体視用に作成された右
目用又は左目用の一方の画像、前記第２画像を、右目用
又は左目用の他方の画像とすることができる。この場
合、情報処理装置の前記画像処理手段は、前記立体視画
像が前記表示装置に表示されるように前記第２画像を加
工するように構成する。これにより、立体視の画像が得
られるようになる。右目用及び左目用の画像は、２台の
撮影装置により右目用、左目用として作成するようにし
てもよいが、以下のようにすると、容易に得られる。例
えば、前記第１画像及び第２画像が同一画像を２分岐し
た画像とする。前記画像処理手段は、前記第１画像と第
２画像の一方の画像を他方の画像に対して１ないし数ピ
クセル分ずらして合成画像を生成する。The first image may be one image for the right eye or the left eye created for stereoscopic viewing, and the second image may be the other image for the right eye or the left eye . This place
In this case, the image processing means of the information processing device is configured to process the second image so that the stereoscopic image is displayed on the display device. As a result, a stereoscopic image can be obtained. The images for the right eye and the image for the left eye may be created for the right eye and the left eye by the two photographing devices, but can be easily obtained by the following process. For example, the first image and the second image are images obtained by bifurcating the same image. It said image processing means is shifted by one or a few pixels to generate a composite image with respect to the first image and one other image of the image of the second image.
【手続補正１３】[Procedure Amendment 13]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１１[Correction target item name] 0011
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００１１】上記課題を解決する本発明の画像処理デバ
イスは、動画像である第１画像とこの第１画像の表示タ
イミング情報とを取得するとともに、第１画像の解像度
を高めるための第２画像を取得する情報取得機構と、前
記取得した第１画像と前記第２画像とを合成した合成画
像を所定の表示装置に表示させる制御手段とを具えた情
報処理装置に装着され当該情報処理装置と協働で画像処
理を行うデバイスである。前記情報取得機構によって取
得された第２画像を前記第１画像の内容に応じて加工
し、この加工された第２画像を前記合成画像の一部をな
す画像として前記制御手段へ送出する。An image processing device of the present invention which solves the above-mentioned problems obtains a first image which is a moving image and display timing information of the first image, and also has a resolution of the first image.
An information processing apparatus including an information acquisition mechanism for acquiring a second image for enhancing the image quality, and a control unit for displaying a composite image obtained by combining the acquired first image and the second image on a predetermined display device. It is a device that is mounted and performs image processing in cooperation with the information processing apparatus. The second image acquired by the information acquisition mechanism is processed according to the content of the first image, and the processed second image is sent to the control means as an image forming a part of the composite image.
【手続補正１４】[Procedure Amendment 14]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１２[Correction target item name] 0012
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００１２】上記課題を解決する本発明の画像処理方法
は、画像を所定の表示装置に表示させる機能を具えたコ
ンピュータにおいて、動画像である第１画像とこの第１
画像の表示タイミング情報とを放送受信波を通じて取得
するとともに、前記第１画像とは無関係の画像処理によ
って得られた第２画像を前記放送受信波とは独立に前記
第１画像の発信元又は内部画像処理手段より取得するス
テップと、前記第２画像を前記取得した第１画像の内容
に応じて加工するステップと、第１画像及び加工後の第
２画像が同期して動く合成画像を前記取得した表示タイ
ミング情報に基づいて前記表示装置に表示させるステッ
プとを実行する画像処理方法である。[0012] The image processing method of the present invention for solving the aforementioned problems is the computer having the function of displaying the images on a predetermined display device, the first and the first image is a moving image 1
Obtains a display timing information of the image through the broadcast receiving wave, the originator of the previous SL first image and the second image obtained by the first independent image processing and image independent of the broadcast receiving wave or A step of acquiring from the internal image processing means; a step of processing the second image according to the content of the acquired first image; and a composite image in which the first image and the processed second image move in synchronization with each other. And a step of displaying the information on the display device based on the acquired display timing information.
【手続補正１５】[Procedure Amendment 15]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１３[Correction target item name] 0013
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００１３】上記課題を解決するため、本発明は、画像
を所定の表示装置に表示させるコンピュータに、第１画
像とこの第１画像の表示タイミング情報とを取得すると
ともに、前記第１画像の解像度を高めるための第２画像
を取得する処理、取得した前記第２画像を前記第１画像
の内容に応じて加工する処理、取得した前記第１画像、
加工された第２画像及び前記表示タイミング情報を所定
の表示装置に出力してこれらの画像を合成した合成画像
をその表示装置に表示させる処理、を実行させるための
コンピュータプログラムを提供する。このコンピュータ
プログラムは、通常、コンピュータ読み取り可能な記録
媒体に記録される。[0013] To solve the above problems, the present invention causes a computer to display the images on a predetermined display device, together with the get the first image and display timing information of the first image, the first image Second image to increase resolution
Get the process, a process of processing the second image obtained in accordance with the content of the first image, the acquired first image,
For executing the process, for displaying a composite image by combining these images and outputs the second image and the display timing information pressurized Engineering on a predetermined display device for the display device
Provide a computer program . This computer
The program typically Ru recorded on a computer-readable recording medium.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/00 Ｇ０９Ｇ 5/00 ５３０Ｍ ５３０ Ｈ０４Ｎ 13/04 Ｈ０４Ｎ 13/04 Ｇ０９Ｇ 5/00 ５５５Ｄ (72)発明者 茶谷 公之 東京都港区赤坂７丁目１番１号 株式会社 ソニー・コンピュータエンタテインメント 内 Ｆターム(参考） 5B050 AA08 BA07 BA08 BA11 EA19 EA24 FA02 FA06 5C023 AA11 AA14 AA27 AA38 BA11 BA16 CA03 DA04 DA08 EA03 5C061 AA11 AB12 AB18 5C082 AA02 BA12 BA47 BB01 CA56 DA01 DA87 MM05 MM10 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) G09G 5/00 G09G 5/00 530M 530 H04N 13/04 H04N 13/04 G09G 5/00 555D (72) Invention Noriyuki Chatani 7-1-1 Akasaka, Minato-ku, Tokyo F-term in Sony Computer Entertainment Inc. (reference) 5B050 AA08 BA07 BA08 BA11 EA19 EA24 FA02 FA06 5C023 AA11 AA14 AA27 AA38 BA11 BA16 CA03 DA04 DA08 EA03 5C061 AA AB AB18 5C082 AA02 BA12 BA47 BB01 CA56 DA01 DA87 MM05 MM10
Claims (15)
ともに、第２画像を前記第１経路とは別の第２経路を通
じて取得する手段と、 取得した前記第２画像を前記第１画像の内容に応じて加
工する手段と、 取得した前記第１画像及び前記加工された第２画像を所
定のタイミング情報に基づいて合成させる手段と具えて
なる、 情報処理装置。1. A means for acquiring a first image through a first path and a second image through a second path different from the first path, and the acquired second image of the first image. An information processing apparatus, comprising: a unit that processes according to the content; and a unit that combines the acquired first image and the processed second image based on predetermined timing information.
グ情報とを第１経路を通じて取得するとともに、第２画
像を前記第１経路とは別の第２経路を通じて取得する情
報取得機構と、 取得した前記第２画像を前記第１画像の内容に応じて加
工する画像処理手段と、 取得した前記第１画像、前記画像処理手段により加工さ
れた第２画像及び前記表示タイミング情報を所定の表示
装置に出力してこれらの画像を合成した合成画像をその
表示装置に表示させる制御手段と具えてなる、 情報処理装置。2. An information acquisition mechanism for acquiring a first image and display timing information of the first image through a first path and a second image through a second path different from the first path. An image processing unit that processes the acquired second image according to the content of the first image; a predetermined display of the acquired first image, the second image processed by the image processing unit, and the display timing information. An information processing apparatus, comprising: a control unit that outputs the composite image obtained by combining the images to the device and displays the composite image on the display device.
前記第１経路用に低下させた動画像であり、 前記第２画像が前記高解像度動画と前記第１画像との差
分情報であり、 前記画像処理手段は、前記高解像度動画と同じ解像度の
合成画像が前記表示装置に表示されるように前記第２画
像を加工するものである、 請求項２記載の情報処理装置。3. The first image is a moving image in which the resolution of a high resolution moving image is reduced for the first path, and the second image is difference information between the high resolution moving image and the first image. The information processing apparatus according to claim 2, wherein the image processing unit processes the second image so that a composite image having the same resolution as the high-resolution moving image is displayed on the display device.
路であり、前記第２経路が前記放送局をその起点とする
有線通信路である、 請求項３記載の情報処理装置。4. The information processing apparatus according to claim 3, wherein the first route is a wireless broadcast route from a broadcasting station, and the second route is a wired communication path starting from the broadcasting station.
目用又は左目用の一方の画像であり、 前記第２画像が右目用又は左目用の他方の画像であり、 前記画像処理手段は、前記立体視画像が前記表示装置に
表示されるように前記第２画像を加工するものである、 請求項２記載の情報処理装置。5. The image processing means, wherein the first image is one image for the right eye or the left eye created for stereoscopic viewing, and the second image is the other image for the right eye or the left eye. The information processing apparatus according to claim 2, wherein the second image is processed so that the stereoscopic image is displayed on the display device.
２分岐した画像であり、前記画像処理手段が、第１経路
と第２経路の一方を通過した画像を他方を通過した画像
に対して１ないし数ピクセル分ずらすものである、 請求項５記載の情報処理装置。6. The first image and the second image are images obtained by bifurcating the same image, and the image processing means converts an image passing through one of the first route and the second route into an image passing through the other. The information processing apparatus according to claim 5, wherein the information processing apparatus is shifted by 1 to several pixels.
た動画像であり、 前記第２画像が、動きの表現が可能なオブジェクトを含
むＣＧ画像であり、 前記画像処理手段は、前記表示タイミング情報に基づい
て、前記オブジェクトの動き及び表現態様を、前記第１
画像の動きに連動させ且つ所定の画像処理プログラムの
実行手順に応じて変化させるものである、 請求項２記載の情報処理装置。7. The first image is a moving image photographed by an external device, the second image is a CG image including an object capable of expressing a motion, and the image processing means is configured to display the display timing. Based on the information, the movement and the representation mode of the object are determined by the first
The information processing apparatus according to claim 2, wherein the information processing apparatus is adapted to be linked with a movement of an image and to be changed according to an execution procedure of a predetermined image processing program.
場の状況又は状態を表す付加情報を前記表示タイミング
情報と同期して取得するものであり、 前記画像処理手段は、前記オブジェクトの動き及び表現
態様を前記付加情報が反映された内容に変化させるもの
である、 請求項７記載の情報処理装置。8. The information acquisition mechanism acquires additional information indicating a situation or state of a scene being photographed, in synchronization with the display timing information, and the image processing means includes movement of the object and movement of the object. The information processing apparatus according to claim 7, wherein the expression mode is changed to a content in which the additional information is reflected.
人間又は物が存在する場所の相対位置情報を含む情報で
あり、 前記画像処理手段は、前記オブジェクトの向き及び表示
位置を前記相対位置情報に応じて変化させるものであ
る、 請求項８記載の情報処理装置。9. The additional information is information including relative position information of a place where a person or an object appearing in the moving image exists, and the image processing means sets the orientation and the display position of the object to the relative position. The information processing device according to claim 8, which is changed according to information.
象条件情報を含む情報であり、 前記画像処理手段は、前記オブジェクトの動き及び表現
態様を前記気象条件情報に応じて変化させるものであ
る、 請求項８記載の情報処理装置。10. The additional information is information further including weather condition information of the place, and the image processing means changes the movement and expression mode of the object according to the weather condition information. The information processing apparatus according to claim 8.
作内容を表す操作情報の入力を受け付ける入力機構をさ
らに具え、 前記画像処理手段が、前記オブジェクトの動き及び表現
態様を前記受け付けた操作情報によっても変化可能に構
成されるものである、 請求項８記載の情報処理装置。11. An input mechanism for accepting an input of operation information indicating an operation content of a predetermined controller by an operator, wherein the image processing means changes the movement and expression mode of the object according to the accepted operation information. The information processing apparatus according to claim 8, which is configured to be possible.
の表示タイミング情報とを第１経路を通じて取得すると
ともに、第２画像を前記第１経路とは別の第２経路を通
じて取得する情報取得機構と、前記取得した第１画像と
前記第２画像とを合成した合成画像を所定の表示装置に
表示させる制御手段とを具えた情報処理装置に装着され
当該情報処理装置と協働で画像処理を行うデバイスであ
って、 前記情報取得機構によって取得された第２画像を前記第
１画像の内容に応じて加工し、この加工された第２画像
を前記合成画像の一部をなす画像として前記制御手段へ
送出することを特徴とする、 画像処理デバイス。12. Information for obtaining a first image, which is a moving image, and display timing information of the first image through a first route, and obtaining a second image through a second route different from the first route. An image is provided in cooperation with the information processing apparatus, which is mounted on an information processing apparatus that includes an acquisition mechanism and a control unit that causes a predetermined display device to display a combined image that combines the acquired first image and the acquired second image. A device for performing processing, wherein the second image acquired by the information acquisition mechanism is processed according to the content of the first image, and the processed second image is used as an image forming a part of the composite image. An image processing device, wherein the image processing device sends the image to the control means.
定の表示装置に表示させる機能を具えたコンピュータに
おいて、 動画像である第１画像とこの第１画像の表示タイミング
情報とを放送受信波を通じて取得するとともに、前記第
１画像とは無関係の画像処理によって得られた第２画像
を前記放送受信波とは独立した経路で前記第１画像の発
信元又は内部画像処理手段より取得するステップと、 前記第２画像を前記取得した第１画像の内容に応じて加
工するステップと、 第１画像及び加工後の第２画像が同期して動く合成画像
を前記取得した表示タイミング情報に基づいて前記表示
装置に表示させるステップとを実行することを特徴とす
る、画像処理方法。13. A computer having a function of displaying an image acquired through a plurality of paths on a predetermined display device, and acquiring a first image which is a moving image and display timing information of the first image through a broadcast reception wave. And a step of acquiring a second image obtained by image processing unrelated to the first image from a source of the first image or an internal image processing means through a path independent of the broadcast reception wave, The step of processing a second image according to the content of the acquired first image, and the display device based on the acquired display timing information of a composite image in which the first image and the processed second image move in synchronization. An image processing method, comprising:
定の表示装置に表示させるコンピュータに、 第１画像とこの第１画像の表示タイミング情報とを第１
経路を通じて取得するとともに、第２画像を前記第１経
路とは別の第２経路を通じて取得する処理、 取得した前記第２画像を前記第１画像の内容に応じて加
工する処理、 取得した前記第１画像、前記画像処理手段により加工さ
れた第２画像及び前記表示タイミング情報を所定の表示
装置に出力してこれらの画像を合成した合成画像をその
表示装置に表示させる処理、 を実行させるためのプログラムが記録された、コンピュ
ータ読み取り可能な記録媒体。14. A computer for displaying an image acquired through a plurality of paths on a predetermined display device, the first image and the display timing information of the first image being stored in the computer.
A process of obtaining the second image through a second route different from the first route while obtaining through the route, a process of processing the obtained second image according to the content of the first image, the obtained first image A process of outputting one image, the second image processed by the image processing means, and the display timing information to a predetermined display device and displaying a composite image obtained by combining these images on the display device. A computer-readable recording medium in which a program is recorded.
定の表示装置に表示させるコンピュータを、 第１画像とこの第１画像の表示タイミング情報とを第１
経路を通じて取得するとともに、第２画像を前記第１経
路とは別の第２経路を通じて取得する情報取得手段と、 取得した前記第２画像を前記第１画像の内容に応じて加
工する画像処理手段と、 取得した前記第１画像、前記画像処理手段により加工さ
れた第２画像及び前記表示タイミング情報を所定の表示
装置に出力してこれらの画像を合成した合成画像をその
表示装置に表示させる制御手段として機能させるため
の、 コンピュータプログラム。15. A computer for displaying an image acquired through a plurality of paths on a predetermined display device, the first image and the display timing information of the first image.
Information acquisition means for acquiring the second image through a second path different from the first path while acquiring through the path, and image processing means for processing the acquired second image according to the content of the first image. And a control for outputting the acquired first image, the acquired second image processed by the image processing means, and the display timing information to a predetermined display device to display a composite image obtained by combining these images on the display device. A computer program that functions as a means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001152501A JP3819253B2 (en) | 2000-05-22 | 2001-05-22 | Information processing apparatus, image processing device, image processing method, recording medium, and computer program |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-150591 | 2000-05-22 | ||
| JP2000150591 | 2000-05-22 | ||
| JP2001133147 | 2001-04-27 | ||
| JP2001-133147 | 2001-04-27 | ||
| JP2001152501A JP3819253B2 (en) | 2000-05-22 | 2001-05-22 | Information processing apparatus, image processing device, image processing method, recording medium, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003018460A true JP2003018460A (en) | 2003-01-17 |
| JP3819253B2 JP3819253B2 (en) | 2006-09-06 |
Family
ID=27343464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001152501A Expired - Lifetime JP3819253B2 (en) | 2000-05-22 | 2001-05-22 | Information processing apparatus, image processing device, image processing method, recording medium, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3819253B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011018888A1 (en) * | 2009-08-10 | 2011-02-17 | パナソニック株式会社 | Display control device and display control method |
| WO2012157394A1 (en) * | 2011-05-19 | 2012-11-22 | ソニー株式会社 | Image data transmitting device, image data transmitting method and image data receiving device |
| WO2017208839A1 (en) | 2016-05-31 | 2017-12-07 | ソニー株式会社 | Information processing device, television receiver, information processing system, and information processing program |
-
2001
- 2001-05-22 JP JP2001152501A patent/JP3819253B2/en not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011018888A1 (en) * | 2009-08-10 | 2011-02-17 | パナソニック株式会社 | Display control device and display control method |
| WO2012157394A1 (en) * | 2011-05-19 | 2012-11-22 | ソニー株式会社 | Image data transmitting device, image data transmitting method and image data receiving device |
| WO2017208839A1 (en) | 2016-05-31 | 2017-12-07 | ソニー株式会社 | Information processing device, television receiver, information processing system, and information processing program |
| US10743060B2 (en) | 2016-05-31 | 2020-08-11 | Sony Corporation | Information processing apparatus, television receiver, information processing system, and information processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3819253B2 (en) | 2006-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6924846B2 (en) | Information processing apparatus, graphic processing unit, graphic processing method, storage medium, and computer program | |
| CA2140643C (en) | Image processing device and method | |
| TW201036437A (en) | Systems and methods for providing closed captioning in three-dimensional imagery | |
| JPWO2008139730A1 (en) | Display device | |
| JP2000259860A (en) | Game device, moving image display method and recording medium | |
| JP2000126463A (en) | Computer game device | |
| JP2006229768A (en) | Video signal processing device, method therefor, and virtual reality creator | |
| CN113206992A (en) | Method for converting projection format of panoramic video and display equipment | |
| JP2006094458A (en) | Video signal processor, virtual reality creating apparatus, and recording medium | |
| JP2000057350A (en) | Image processor, image processing method and image transmitting method | |
| US11310476B2 (en) | Virtual reality image reproduction device for reproducing plurality of virtual reality images to improve image quality of specific region, and method for generating virtual reality image | |
| JP3366894B2 (en) | 3D image composition apparatus and method, information storage medium, program distribution apparatus and method | |
| JP5379064B2 (en) | Information processing apparatus, information processing system, information processing method, program, and information storage medium | |
| JPWO2003041405A1 (en) | Data receiving device | |
| JP3819253B2 (en) | Information processing apparatus, image processing device, image processing method, recording medium, and computer program | |
| JP6934052B2 (en) | Display control device, display control method and program | |
| CN114500970A (en) | Panoramic video image processing and displaying method and device | |
| CN109862385B (en) | Live broadcast method and device, computer readable storage medium and terminal equipment | |
| JP2002336542A (en) | Videogame device, videogame screen control program, and its recording medium | |
| WO2001005144A1 (en) | Video display control method, video display processing system, video display processing device, screen display device | |
| CN113840170B (en) | Method and device for live broadcast of wheat | |
| JP4295470B2 (en) | Content providing system, content receiving apparatus, content providing method, content receiving method, content providing program, and content receiving program | |
| JPH07162773A (en) | Screen display method | |
| JP3252580B2 (en) | Video game device having a composite screen of live action and CG | |
| JPH03289280A (en) | Picture output device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050330 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050719 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050830 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060614 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3819253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |