JP3668019B2 - 記録媒体、画像処理装置および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、ＣＲＴ等の表示装置上の画面に表示される３次元画像の効果的な画像表示や画像処理に係わる記録媒体、画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
画像（映像）に対して、立体感あるいは遠近感等の一定の効果を与えるために、「ぼかし」がある。たとえば、カメラにより写真を撮った場合、焦点（ピント）の合った部分は鮮明に写り、焦点の合ったところから離れるに従いぼけの度合いが大きくなる。この「ぼかし」が、写真に遠近感を与えることが知られている。
【０００３】
コンピュータ処理により行われるぼかし処理として、例えば、特開平１０―７４２５８号公報に開示された技術がある。
【０００４】
この技術は、遠近情報を有する画像データに対して、前記遠近情報に対応するカットオフ周波数を有するデジタルローパスフィルタにより処理することにより遠近情報に応じたぼかしを有する画像データを生成する技術である。
【０００５】
【発明が解決しようとする課題】
しかしながら、この技術では、デジタルバターワースフィルタ等のデジタルローパスフィルタにより画像データを処理する必要があるため、ぼけ画像を得るまでの計算量がきわめて多く、したがって、処理時間がかかるという問題がある。
【０００６】
この発明はこのような課題を考慮してなされたものであり、従来にはない、きわめて卓越した特殊効果を、３次元画像（３次元映像を含む）に与えることを可能とする記録媒体、画像処理装置および画像処理方法を提供することを目的とする。
【０００７】
また、この発明は、ぼけ画像を簡易に作成することを可能とする画像処理装置および画像処理方法を提供することを目的とする。
【０００８】
さらに、この発明は、近くに存在するものはぼけないようにしながら、近くに存在するものに比較して遠くに存在するものがよりぼけて見えるような特殊効果を与える画像（映像）を簡易に生成することを可能とする画像処理装置および画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この発明の記録媒体には、複数の３次元オブジェクトの奥行き量情報に基づき、前記複数の３次元オブジェクト中、奥行き量の大きいオブジェクトに対応する画像を画面上で少なくとも１画素分ずらすステップと、
前記１画素分ずらした画像を１画素分ずらす前の画像に重ねた画像を、奥行き量の小さいオブジェクトに対応する画像とともに画面に表示するための画像を生成するステップと
を有するプログラムが格納されている。
【００１０】
この発明によれば、複数の３次元画像の中、奥行き量の大きい画像を、いわゆるピントのぼけた画像とすることができる。この結果、観測者（カメラ）の視点からみて、より遠方にある画像をぼけた画像で、奥行き量の小さい画像（ぼけた画像の前方にある画像）をピントのあった画像（鮮明画像）で見ることが可能となる。なお、画面上でずらす画素数は、例えば、ディスプレイの種類あるいは観測者の好み等に応じて、最適と思える画素数に選択することができる。
【００１１】
この場合、奥行き量が最も大きい２次元の背景画像を描画した上に、奥行き量の大きい３次元オブジェクトに対応する画像を描画するようにすることで、画面表示をより自然な画面表示とすることができる。
【００１２】
また、前記画面上で少なくとも１画素分ずらす方向は、任意の方向とすることができるが、前記画面上、上方向または下方向のいずれかの方向とすることにより、例えば、水平走査型ディスプレイを利用するエンタテインメントシステム｛例えば、コンパクトディスク（ＣＤ）等の音声再生機能、あるいはビデオＣＤ等の画像と音声の再生機能、さらにはゲーム機能等を有する装置｝等に適用して好適である。
【００１３】
上記記載の発明において、ぼけた画像を半透明化処理することにより、ぼけ画像を、より違和感の小さい画像とすることができる。
【００１４】
なお、前記３次元オブジェクトは、該オブジェクトに対応する画像を生成する視点から見た固定物および（または）移動物とすることにより、例えば、視点が固定されているときに、画面の後方から前方に移動する移動物を、その奥行き量に対応してぼけ画像から鮮明画像に変化させることができる。その逆に、画面の前方から後方に移動する画像を、その奥行き量に対応して鮮明画像（ピントの合った画像）からぼけ画像にすることができる。
【００１５】
また、この発明の画像処理装置は、複数の３次元オブジェクトが奥行き量情報とともに記録される記録手段と、
前記複数の３次元オブジェクトが所定の処理により画像に変換されて描画される描画領域を有するフレームバッファと、
該フレームバッファの前記描画領域に描画されている画像を画面に表示する表示手段と、前記３次元オブジェクトから前記画像への変換処理をも行う描画制御手段とを有し、
該描画制御手段は、前記複数の３次元オブジェクトの奥行き情報に基づき、前記複数の３次元オブジェクト中、奥行き量の大きいオブジェクトに対応する画像を前記フレームバッファ上で少なくとも１画素分ずらして描画し、前記１画素分ずらして描画した画像を、１画素分ずらす前の画像に半透明化処理して重ねた画像（ぼけ画像という。）を生成して描画し、前記ぼけ画像を前記複数の３次元オブジェクトに対応する画像の奥行き量の小さい画像とともに前記描画領域に描画し、前記表示手段上に前記ぼけ画像と前記奥行き量の小さい画像とを表示させることを特徴とする。
【００１６】
この発明は、記録手段とフレームバッファと表示手段と描画制御手段とを有する、例えば、エンタテインメントシステムに好適に適用することができる。
【００１７】
この場合においても、最遠景に２次元の背景画像を重ねることができる。
【００１８】
また、前記フレームバッファに描画領域を２領域設定し、前記描画制御手段は、一方の描画領域に描画されている画像を前記表示手段上の画面に表示させているとき、他方の描画領域に、前記ぼけ画像を含む画像の描画を行い、該ぼけ画像を含む画像の描画が終了した後、該他方の描画領域に描画された画像が、前記表示手段の画面上に表示されるように制御することで、この発明を、描画領域を複数有するフレームバッファに適用することができる。
【００１９】
この場合においても、画面上で少なくとも１画素分ずらす方向は任意の方向とすることができるが、水平走査型ディスプレイの場合には、前記画面上、上方向または下方向が好ましい。
【００２０】
もちろん、前記３次元オブジェクトは、該オブジェクトに対応する画像を生成する視点から見た固定物および（または）移動物とすることができる。
【００２１】
また、この発明の画像処理方法は、各画素値がＲＧＢ値で表現される原画像データを準備するステップと、
前記原画像データを所定の方向に少なくとも１画素ずらした１画素ずらし画像データを作成するステップと、
前記原画像データに前記１画素ずらし画像データを重ね、位置が対応する画素のＲＧＢ値をそれぞれ所定比率で加算したＲＧＢ値からなるぼけ画像データを作成するステップと、
を有することを特徴とする。
【００２２】
この発明によれば、ぼけ画像データを簡易に作成することができる。
【００２３】
この場合、所定の方向は、上下左右いずれかの方向とし、前記所定比率を、略５０％：５０％とすることにより、原画像に対してピントのずれた画像を簡易に作成することができる。
【００２４】
さらに、この発明の画像処理装置は、複数の３次元オブジェクトが奥行き情報とともに記録される記録手段と、
前記複数の３次元オブジェクトが、所定の視点で透視投影変換されて画像に変換された後に描画される描画領域を有するフレームバッファと、
前記描画領域に描画されている複数の画像を画面に表示する表示手段と、
前記透視投影変換処理を行う描画制御手段とを有し、
前記描画制御手段は、
前記フレームバッファの描画領域に、前記複数の３次元オブジェクトに対応する画像を、前記所定の視点に基づき、前記奥行き情報にかかる遠距離画像群、中距離画像群および近距離画像群に分類して、前記遠距離画像群を前記描画領域に描画し、
該遠距離画像群を第１の所定方向に少なくとも１画素ずらした遠距離画像群を、ずらす前の前記遠距離画像群に半透明化処理して重ねた画像（ぼけ遠距離画像群という。）を前記描画領域に描画し、
さらに、この描画領域上に、前記中距離画像群を描画し、
さらに、前記中距離画像群と前記ぼけ遠距離画像群とが描画されている描画領域に対して、前記中距離画像群と前記ぼけ遠距離画像群を第２の所定方向に少なくとも１画素ずらし、ずらす前の画像群に半透明化処理して重ねた画像（２重ぼけ遠距離画像群とぼけ中距離画像群とからなる画像）を前記描画領域に描画し、
さらに、この描画領域上に、前記近距離画像群を描画することを特徴とする。
【００２５】
この発明によれば、ぼかし処理を行っていない近距離画像群と、該近距離画像群の後方に少なくとも１画素ずれたぼけ中距離画像群と、さらに、この中距離画像の後方に少なくとも２画素ずれたぼけ遠距離画像群とを同時に表示装置上に表示することが可能となる。このようにすれば、表示装置の画面上で、例えば、鮮明な近距離画像群と、少しだけぼけた中距離画像分と、よりぼけた遠距離画像群とを見ることが可能となり、カメラの焦点を近距離画像群に合わせた場合と同等の画像（映像）を見ることができる。
【００２６】
この場合においても、遠距離オブジェクト群の後方に２次元の背景画像群を表示させることができる。
【００２７】
また、前記第１の所定方向と前記第２の所定方向を同方向または異なる方向とすることにより、ぼけの方向を任意の方向とすることができる。
【００２８】
さらに、水平走査型のディスプレイの場合には、前記画面上で少なくとも１画素分ずらす方向は、前記画面上、上方向または下方向のいずれかの方向とすることが好ましい。
【００２９】
さらにまた、前記３次元オブジェクトは、該オブジェクトに対応する画像を生成する視点から見た固定物および（または）移動物とすることができる。
【００３０】
【発明の実施の形態】
以下、この発明の一実施の形態について図面を参照して説明する。
【００３１】
図１は、この発明の一実施の形態が適用されたエンタテインメントシステムの例としてのビデオゲーム装置１の外観構成を示している。
【００３２】
このビデオゲーム装置１は、例えば光ディスク等に記録されているゲーム等のプログラムを読み出して、使用者（ゲームプレイヤ）からの指示に応じてゲーム等を実行するためのものである。なお、ゲーム等の実行とは、主としてゲーム等の進行、及び表示や音声を制御することをいう。
【００３３】
ビデオゲーム装置１の本体２は、平面視形状が略四角形状の筐体に収容されており、その中央部にビデオゲーム等のアプリケーションプログラムを供給するための記録媒体であるＣＤ−ＲＯＭ等の光ディスクが装着されるディスク装着部３と、ゲームを任意にリセットするためのリセットスイッチ４と、電源スイッチ５と、上記の光ディスクの装着を操作するためのディスク操作スイッチ６と、例えば２つのスロット部７Ａ、７Ｂを備えて構成されている。
【００３４】
なお、アプリケーションプログラムを供給するための記録媒体は光ディスクに限定されるものではなく、例えば、通信回線を介してアプリケーションプログラムが供給されるようにしてもよい。
【００３５】
スロット部７Ａ、７Ｂには、それぞれ１つの合計２つの操作装置（コントローラともいう。）２０を接続することができ、２人の使用者が対戦ゲーム等を行うことができる。また、このスロット部７Ａ、７Ｂには、メモリカード１０や携帯型情報端末としての携帯用電子機器１００を挿着することもできる。
【００３６】
なお、図１では２系統のスロット部７Ａ、７Ｂを設けた構造を例示しているが、その数は２系統に限定されるものではない。
【００３７】
操作装置２０は、第１、第２の操作部２１、２２と、Ｌボタン２３Ｌ、Ｒボタン２３Ｒと、スタートボタン２４、選択ボタン２５とを有し、さらに、アナログ操作が可能な操作部３１、３２と、これらの操作部３１、３２の操作モードを選択するモード選択スイッチ３３と、選択された操作モードを表示するための表示部３４とを有している。さらに、操作装置２０の内部には、図示しない振動付与機構が設けられている。
図２は、上記ビデオゲーム装置１の本体２の前面に設けられているスロット部７Ａ、７Ｂの様子を示している。
【００３８】
本実施の形態では、スロット部７Ａ、７Ｂは、それぞれ２段に形成されており、その上段にはメモリカード１０や、携帯用電子機器１００が挿着されるメモリカード挿入部８Ａ、８Ｂが設けられ、その下段にはコントローラ２０の接続端子部（コネクタ）２６（図１参照）が接続されるコントローラ接続部（ジャック）９Ａ、９Ｂが設けられている。
【００３９】
メモリカード挿入部８Ａ、８Ｂの挿入孔（スロット）は、横方向に長い長方形状に形成し、その下側の両端のコーナーを上側の両端のコーナーに比べて丸みを多くして、メモリカード１０や携帯用電子機器１００が誤った向きに挿入されない構造になっている。また、メモリカード挿入部８Ａ、８Ｂには、その内部に設けられている電気的接続を得るための接続端子を保護するシャッタが設けられている。
【００４０】
一方、コントローラ接続部９Ａ、９Ｂは、横方向に長い長方形状をした挿入孔の下側の両端のコーナーを上側の両端のコーナーに比べて丸みを多くした形状にして、コントローラ２０の接続端子部２６が誤った向きに接続されない構造になっており、かつメモリカード１０および携帯用電子機器１００が誤挿入されないようにメモリカード挿入部８Ａ、８Ｂとは挿入孔の形状を異にした構造にされている。
【００４１】
図３は、ビデオゲーム装置１の前面のスロット部７Ａのメモリカード挿入部８Ａに、携帯用電子機器１００が挿入された状態を示している。
【００４２】
図４は、上記のビデオゲーム装置１の主要部の概略的な回路構成の一例を示すブロック図である。なお、ビデオゲーム装置１には、テレビジョン等のディスプレイ６９を接続している。
【００４３】
このビデオゲーム装置１は、中央演算処理装置（ＣＰＵ：Central Processing Unit ）５１及びその周辺装置等からなる制御系５０と、フレームバッファ６３に描画を行う画像処理装置（ＧＰＵ：Graphic Processing Unit ）６２等からなるグラフィックシステム６０と、楽音、効果音等を発生する音声処理装置（ＳＰＵ：Sound Processing Unit ）等からなるサウンドシステム７０と、アプリケーションプログラムが記録されている光ディスク７９の制御を行う光ディスク制御部８０と、使用者からの指示が入力されるコントローラ２０からの信号及びゲームの設定等を記録するメモリカード１０や、携帯用電子機器１００からのデータの入出力を制御する通信制御部９０と、上記の各部が接続されているバスＢＵＳ等を備えて構成されている。
【００４４】
上記の制御系５０は、ＣＰＵ５１と、割り込み制御やダイレクトメモリアクセス（ＤＭＡ：Direct Memory Access）転送の制御等を行う周辺装置制御部５２と、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）からなるメインメモリ（主記憶装置）５３と、メインメモリ５３、グラフィックシステム６０、サウンドシステム７０等の管理を行ういわゆるオペレーティングシステム等のプログラムが格納されたリードオンリーメモリ（ＲＯＭ：Read Only Memory）５４とを備えている。なお、ここでいうメインメモリ５３は、そのメモリ上でプログラムを実行できるものをいう。
【００４５】
上記のＣＰＵ５１は、ＲＯＭ５４に記憶されているオペレーティングシステムを実行することにより、このビデオゲーム装置１の全体を制御するもので、例えば３２ビットのＲＩＳＣ−ＣＰＵからなる。
【００４６】
そして、このビデオゲーム装置１は、電源が投入されると、上記の制御系５０のＣＰＵ５１がＲＯＭ５４に記憶されているオペレーティングシステムを実行することにより、ＣＰＵ５１が、上記のグラフィックシステム６０、サウンドシステム７０等の制御を行うようになっている。また、オペレーティングシステムが実行されると、ＣＰＵ５１は、動作確認等のビデオゲーム装置１の全体の初期化を行った後、上記の光ディスク制御部８０を制御して、ディスク装着部３（図１、図３参照）内に装着収容された光ディスク７９に記録されているゲーム等のアプリケーションプログラムを実行する。このゲーム等のプログラムの実行により、ＣＰＵ５１は、使用者からの入力に応じて上記のグラフィックシステム６０、サウンドシステム７０等を制御して、画像の表示、効果音、楽音の発生を制御する。
【００４７】
また、上記のグラフィックシステム６０は、透視投影変換を含む座標変換等の処理を行うジオメトリトランスファエンジン（ＧＴＥ：Geometry Transfer Engine）６１と、ＣＰＵ５１からの描画指示に従って描画を行うＧＰＵ６２と、このＧＰＵ６２により描画された画像を記憶するとともに、原則として垂直同期信号Ｖｓｙｎｃ等の画面切替信号（画像切替）の発生毎に画像が更新されるフレームバッファ６３と、離散コサイン変換等の直交変換により圧縮されて符号化された画像データを復号する画像デコーダ６４とを備えている。この場合、フレームバッファ６３に描画された画像がＧＰＵ６２を介してビデオ出力とされ、このビデオ出力が出力端子を介してテレビジョン等の画像表示装置であるモニタとしてのディスプレイ（表示手段）６９に供給される。ディスプレイ６９の画面（スクリーン）に表示された画像（３次元画像を含む。）は、垂直同期信号Ｖｓｙｎｃ毎に更新される。
【００４８】
上記のＧＴＥ６１は、例えば複数の演算を並列に実行する並列演算機構を備え、上記のＣＰＵ５１からの演算要求に応じて座標変換（透視投影を実行するために、３次元空間上の画像を２次元空間上の画像に変換する透視投影変換を含む）、光源計算、行列あるいはベクトル等の演算を高速に行うことができるようになっている。具体的には、このＧＴＥ６１は、例えば１つの三角形状のポリゴンに同じ色で描画するフラットシェーディングを行う演算の場合では、１秒間に最大１５０万程度のポリゴンの座標演算を行うことができるようになっており、これによって、このビデオゲーム装置１では、ＣＰＵ５１の負荷を低減するとともに、高速な座標演算を行うことができるようになっている。この実施の形態において、ＣＰＵ５１とＧＴＥ６１は、描画制御手段を構成する。
【００４９】
上記のＧＰＵ６２は、ＣＰＵ５１からの描画命令に従って、フレームバッファ６３に対して多角形（ポリゴン）等の描画を行う。このＧＰＵ６２は、１秒間に最大３６万程度のポリゴンの描画を行うことができるようになっている。
【００５０】
さらに、上記のフレームバッファ６３は、いわゆるデュアルポートＲＡＭからなり、ＧＰＵ６２からの描画あるいはメインメモリ５３からの転送と、表示のための読み出しとを同時に行うことができるようになっている。このフレームバッファ６３は、例えば１Ｍバイトの容量を有し、それぞれ１６ビットの、横が１０２４画素、縦が５１２画素からなるマトリックスとして扱われる。また、このフレームバッファ６３には、画像が描画される描画領域とビデオ出力として出力される表示領域（描画領域ともいう。）の他に、ＧＰＵ６２がポリゴン等の描画を行う際に参照されるカラールックアップテーブル（ＣＬＵＴ：Color Look Up Table ）が記憶されるＣＬＵＴ領域と、描画時に座標変換されてＧＰＵ６２によって描画されるポリゴン等の中に挿入（マッピング）される素材（テクスチャ）が記憶されるテクスチャ領域が設けられている。このテクスチャ領域には、空とか雲等を表す最遠景の２次元の背景画像の素材も記憶される。
【００５１】
これらのＣＬＵＴ領域とテクスチャ領域は、表示領域の変更等に従って動的に変更されるようになっている。
【００５２】
なお、上記のＧＰＵ６２は、上述のフラットシェーディングの他にポリゴンの頂点の色から補完してポリゴン内の色を決めるグーローシェーディングと、上記のテクスチャ領域に記憶されているテクスチャをポリゴンに貼り付けるテクスチャマッピングを行うことができるようになっている。これらのグーローシェーディングまたはテクスチャマッピングを行う場合には、上記のＧＴＥ６１は、１秒間に最大５０万程度のポリゴンの座標演算を行うことができる。
【００５３】
さらに、画像デコーダ６４は、上記のＣＰＵ５１からの制御により、メインメモリ５３に記憶されている静止画あるいは動画の画像データを復号してメインメモリ５３に記憶する。
【００５４】
また、この再生された画像データを、ＧＰＵ６２を介してフレームバッファ６３に記憶することにより、上述のＧＰＵ６２によって描画される画像の背景として使用することができるようになっている。
【００５５】
上記のサウンドシステム７０は、ＣＰＵ５１からの指示に基づいて、楽音、効果音等を発生するＳＰＵ７１と、このＳＰＵ７１により、波形データ等が記録されるサウンドバッファ７２と、ＳＰＵ７１によって発生される楽音、効果音等を出力するスピーカ７３とを備えている。
【００５６】
上記のＳＰＵ７１は、例えば１６ビットの音声データを４ビットの差分信号として適応予測符号化（ＡＤＰＣＭ：Adaptive Diffrential PCM）された音声データを再生するＡＤＰＣＭ復号機能と、サウンドバッファ７２に記憶されている波形データを再生することにより、効果音等を発生する再生機能と、サウンドバッファ７２に記憶されている波形データを変調させて再生する変調機能等を備えている。
【００５７】
このような機能を備えることによって、このサウンドシステム７０は、ＣＰＵ５１からの指示によってサウンドバッファ７２に記録された波形データに基づいて楽音、効果音等を発生するいわゆるサンプリング音源として使用することができるようになっている。
【００５８】
上記の光ディスク制御部８０は、光ディスク７９に記録されたプログラムやデータ等を再生する光ディスク装置８１と、例えばエラー訂正符号（ＥＣＣ：Error Correction Code ）が付加されて記録されているプログラム、データ等を復号するデコーダ８２と、光ディスク装置８１からのデータを一時的に記憶することにより、光ディスク７９からのデータの読み出しを高速化するバッファ８３とを備えている。上記のデコーダ８２には、サブＣＰＵ８４が接続されている。
【００５９】
また、光ディスク装置８１で読み出される、光ディスク７９に記録されている音声データとしては、上述のＡＤＰＣＭデータの他に音声信号をアナログ／デジタル変換したいわゆるＰＣＭデータがある。
【００６０】
ＡＤＰＣＭデータとして、例えば１６ビットのデジタルデータの差分を４ビットで表わして記録されている音声データは、デコーダ８２で復号された後、上述のＳＰＵ７１に供給され、ＳＰＵ７１でデジタル／アナログ変換等の処理が施された後、スピーカ７３を駆動するために使用される。
【００６１】
また、ＰＣＭデータとして、例えば１６ビットのデジタルデータとして記録されている音声データは、デコーダ８２で復号された後、スピーカ７３を駆動するために使用される。
【００６２】
さらに、通信制御部９０は、バスＢＵＳを介してＣＰＵ５１との通信の制御を行う通信制御機９１を備え、使用者からの指示を入力するコントローラ２０が接続されるコントローラ接続部９Ａ、９Ｂと、ゲームの設定データ等を記憶する補助記憶装置としてメモリカード１０や携帯用電子機器１００が接続されるメモリカード挿入部８Ａ、８Ｂが上記の通信制御機９１に設けられている。
【００６３】
上記のコントローラ接続部９Ａ、９Ｂに接続されたコントローラ２０は、使用者からの指示を入力するために、例えば１６個の指示キーを有し、通信制御機９１からの指示に従って、この指示キーの状態を、同期式通信により、通信制御機９１に毎秒６０回程度送信する。そして、通信制御機９１は、コントローラ２０の指示キーの状態をＣＰＵ５１に送信する。
【００６４】
これにより、使用者からの指示がＣＰＵ５１に入力され、ＣＰＵ５１は、実行しているゲームプログラム等に基づいて、使用者からの指示に従った処理を行う。
【００６５】
ここで、上記のメインメモリ５３、ＧＰＵ６２、画像デコーダ６４及びデコーダ８２等の間では、プログラムの読み出し、画像の表示あるいは描画等を行う際に、大量の画像データを高速に転送する必要がある。そこで、このビデオゲーム装置１では、上述のようにＣＰＵ５１を介さずに周辺装置制御部５２からの制御により上記のメインメモリ５３、ＧＰＵ６２、画像デコーダ６４及びデコーダ８２等の間で直接データの転送を行ういわゆるＤＭＡ転送を行うことができるようになっている。これにより、データ転送によるＣＰＵ５１の負荷を低減させることができ、高速なデータの転送を行うことができる。
【００６６】
また、上記のＣＰＵ５１は、実行しているゲームの設定データ等を記憶する必要があるときに、その記憶するデータを通信制御機９１に送信し、通信制御機９１はＣＰＵ５１からのデータを上記のメモリカード挿入部８Ａまたはメモリカード挿入部８Ｂのスロットに挿着されたメモリカード１０や携帯用情報端末として機能する携帯用電子機器１００に書き込む。
【００６７】
ここで、メモリカード１０は、ビデオゲーム装置１に接続するための本体インタフェースと、内蔵される不揮発メモリにデータを入出力するためのメモリインタフェースを備えている。
【００６８】
また、携帯用電子機器１００は、ビデオゲーム装置１に接続するための本体インタフェースと、内蔵される不揮発メモリにプログラムあるいはデータを入出力するためのメモリインタフェースと、複数の操作子を有する操作部と、液晶表示装置（ＬＣＤ）等からなる表示部１３０と、ワイヤレス通信手段、例えば、赤外線によりワイヤレス通信を行うための窓部１４０とが設けられている。この携帯用電子機器１００のコネクタ部の形状や寸法等は、ビデオゲーム装置１に用いられるメモリカード１０と共通にされている。
【００６９】
上記の通信制御機９１（図４参照）には、電気的な破壊を防止するための保護回路が内蔵されている。上記のメモリカード１０や携帯用電子機器１００は、バスＢＵＳから分離されており、装置本体の電源を入れた状態で、着脱することができる。従って、上記のメモリカード１０や携帯用電子機器１００の記憶容量が足りなくなった場合等に、装置本体の電源を遮断することなく、新たなメモリカード１０を挿着することができる。このため、バックアップする必要があるゲームデータが失われてしまうことなく、新たなメモリカード１０を挿着して、必要なデータを新たなメモリカード１０に書き込むことができる。
【００７０】
また、パラレルＩ／Ｏインタフェース（ＰＩＯ）９６、及びシリアルＩ／Ｏインタフェース（ＳＩＯ）９７は、上記のメモリカード１０や携帯用電子機器１００と、ビデオゲーム装置１とを接続するためのインタフェースである。
【００７１】
次に、上記のように構成されるビデオゲーム装置１のぼかし処理（一部ぼかし処理、あるいはピント一部ずらし処理ともいう。）を含む画像処理について図５に示すフローチャートをも参照して説明する。なお、この図５に示すフローチャートは、光ディスク７９に記憶されているアプリケーションプログラムの一部がメインメモリ５３に既にダウンロードされており、ＣＰＵ５１によりこのアプリケーションプログラムが実行され、使用者（ゲームプレーヤ）によりゲームが既に開始されている状態における動作説明に供されるフローチャートである。
【００７２】
ステップＳ１では、ゲームの進行状況に応じて現在使用されているゲーム内アクティブカメラの視野が検出される。実際上、ゲーム内カメラは複数存在し、キャラクタ（人物や車等のオブジェクト）のゲーム内位置から現在有効となっているカメラ、すなわちアクティブカメラが検出される。
【００７３】
次に、ステップＳ２では、このアクティブカメラの視野内のオブジェクト（３次元画像）を検出する。
【００７４】
すなわち、図６の平面視的な図に示すように、アクティブカメラ１５０の視点１５１からの視野｛縦方向の視野（画角）がθｙで、横方向の視野（画角）がθｘとする。｝θにおいて、観測可能なオブジェクト（３次元のオブジェクト）を検出する。
【００７５】
このステップＳ２では、オブジェクトＯＢｎ（ｎ＝０−１０）を、ディスプレイ６９の画面（スクリーン）２００を奥行き（Ｚ軸）座標の原点Ｚ０（Ｚ＝Ｚ０＝０）とし、この原点Ｚ０を基準とする奥行き量Ｚに応じて、奥行き量Ｚ１、奥行き量Ｚ２、奥行き量Ｚ３（Ｚ１＜Ｚ２＜Ｚ３）毎に、それぞれ、近距離オブジェクト群（近距離画像群）１５２、中距離オブジェクト群（中距離画像群）１５４、遠距離オブジェクト群（遠距離画像群）１５６に分けて検出している。
【００７６】
なお、後述するように、図６上、奥行き量Ｚ＝Ｚ∞は、２次元画像としての背景ＢＧの位置を示している。
【００７７】
また、図６は、視線が水平方向に向いているアクティブカメラ１５０を垂直上方向から見た模式的な図を示しているので、縦方向の視野θｙについては表示されない。
【００７８】
オブジェクトＯＢｎは、それぞれ、３次元のオブジェクト（この実施の形態ではサーフェイスモデル）であり、実際上、各オブジェクトＯＢｎはポリゴンに分解され、そのポリゴンの頂点座標とその頂点における色が対で光ディスク７９に記憶され、必要に応じて、メインメモリ５３にダウンロードされて格納される。この意味から、光ディスク７９およびメインメモリ５３は、３次元オブジェクトの記録手段といえる。
【００７９】
図６において、それぞれ模式的に描いているオブジェクトＯＢｎ（ｎ＝０−１１）の中、オブジェクトＯＢ０は、例えば、ロード（ここでは、車の走行路）を表し、オブジェクトＯＢ１、ＯＢ２、ＯＢ４、ＯＢ６、ＯＢ８、ＯＢ１１は、それぞれ画面の後方（奥行き方向）に走行中の車を表し、オブジェクトＯＢ３は、街路樹（木）を表し、残りのオブジェクトＯＢ５、ＯＢ７、ＯＢ９、ＯＢ１０は、それぞれビル等の建造物を表している。
【００８０】
この場合、例えば、画像を生成する視点１５１から見て、アクティブカメラ１５０が静止しているとき、オブジェクトＯＢ０、ＯＢ３、ＯＢ５、ＯＢ７、ＯＢ９、ＯＢ１０は、相対的に固定物であり、オブジェクトＯＢ１、ＯＢ２、ＯＢ４、ＯＢ６、ＯＢ８、ＯＢ１１は、相対的に移動物である。
【００８１】
この図６例において、奥行き量Ｚ０〜Ｚ１（領域長ｄ１）間の近距離オブジェクト群１５２には、５個のオブジェクトＯＢ０〜ＯＢ４が含まれ、奥行き量Ｚ１〜Ｚ２（領域長ｄ２）間の中距離オブジェクト群１５４には、６個のオブジェクトＯＢ０、ＯＢ４〜ＯＢ８が含まれ、奥行き量Ｚ２〜Ｚ３（領域長ｄ３）間の遠距離オブジェクト群１５６には、６個のオブジェクトＯＢ０、ＯＢ７〜ＯＢ１１が含まれている。
【００８２】
ここで、ロードであるオブジェクトＯＢ０は、近距離オブジェクト群１５２、中距離オブジェクト群１５４、および遠距離オブジェクト群１５６の全てに含まれている点に留意する必要がある。また、オブジェクトＯＢ４は、近距離オブジェクト群１５２と中距離オブジェクト群１５４にまたがって存在し、オブジェクトＯＢ７とＯＢ８は、中距離オブジェクト群１５４と遠距離オブジェクト群１５６にまたがって存在している点に留意する必要がある。
【００８３】
また、奥行き量が無限大の位置（無限遠点であり、奥行き量ＺがＺ＝Ｚ∞）に空等の背景ＢＧを存在させてもよいことに留意する。画面上、空の前方に存在する雲は、背景ＢＧに含めてもよく、また、３次元オブジェクトとして例えば、遠距離オブジェクト群１５６に含めるようにしてもよい。もちろん、奥行き量Ｚ３とＺ∞との間に存在する３次元オブジェクトとしてもよい。この実施の形態では、簡単のために、背景ＢＧが青い空であり、この青い空には雲も含まれるものとする。雲の画像は、必要なときに、フレームバッファ６３の所定領域にテクスチャとして持つことができる。
【００８４】
このとき、図７に示すように、１０２４画素×５１２画素個の記憶領域を有するフレームバッファ６３には、図８に示すディスプレイ６９の表示領域である画面（２５６画素×２４０画素）２００の２画面分に対応する２つの描画領域２０２、２０４が設定されている。
【００８５】
フレームバッファ６３の一方の描画領域２０２は、図７に示すように、フレームバッファ６３のアドレス（ｘ：０〜２５５，ｙ：０〜２３９）の範囲に設定され、他方の描画領域２０４は、アドレス（ｘ：０〜２５５，ｙ：２５６〜４９５）の範囲に設定されている。
【００８６】
このように構成することにより、フレームバッファ６３の一方の描画領域２０４に描画されている画像（ここでは画面フレームである。）が、ディスプレイ６９の画面２００に表示されているとき（このとき描画領域２０４を表示領域２０４ともいう。）、フレームバッファ６３の他方の描画領域２０２に次に画面に表示しようとする画像（画面フレーム）が描画される。すなわち、このフレームバッファ６３の描画領域２０２、２０４に描画されている２つの画像（２画面フレーム）が、画面２００上に交互に表示される。この画面フレームの交互切り替えは、描画終了後の最初の垂直同期信号Ｖｓｙｎｃで切り替わるように設定している。
【００８７】
上述したステップＳ１の処理から後述するステップＳ１２までの最初の処理中には、例えば、図７中、下側の描画領域２０４に描画されている画像（画面フレーム）がディスプレイ６９の表示領域（画面ともいう。）２００に表示されているものとする。
【００８８】
そこで、ステップＳ３では、他方の描画領域２０２に対して、次に水平走査表示しようとする画像（画面フレーム）の生成を開始する。この場合、ＧＰＵ６２は、ＣＰＵ５１がＧＴＥ６１の助けを借りて生成したディスプレイリスト（次に表示するための画面リスト）を参照して画像を生成する。
【００８９】
ステップＳ４では、描画領域２０２に対して、最も遠景である背景ＢＧを視点１５１を基準に描画する。
【００９０】
図９Ａは、全面が青い空の上に雲画像３００〜３０３が浮かぶ背景ＢＧが画像１５５として書き込まれたフレームバッファ６３の描画領域２０２を模式的に示している。青い空画像の部分の画像１５５の画素値をＲＧＢ値で表せば、例えば、背景ＢＧ（Ｒ，Ｇ，Ｂ）＝（０，０，２５５）と書き込まれ、白い雲画像３００〜３０３の部分の画像１５５の画素値は、背景ＢＧ（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）と書き込まれる。
【００９１】
次に、ステップＳ５では、ステップＳ２により分類して検出したオブジェクトＯＢｎを参照し（図６参照）、奥行き量Ｚ＝Ｚ∞の次に奥行き量Ｚの最も大きい遠距離オブジェクト群１５６に含まれているオブジェクトＯＢ０、ＯＢ７〜ＯＢ１１の中、最も遠い（最も奥行き量の大きい）オブジェクト順、正確には、オブジェクトＯＢｎの遠端（１個のオブジェクト中で、最も奥行き量Ｚの値が大きい端部）がより遠くの位置に存在するオブジェクトＯＢｎの順、すなわち、オブジェクトＯＢ０、オブジェクトＯＢ１１、オブジェクトＯＢ１０、オブジェクトＯＢ９、オブジェクトＯＢ８の一部およびＯＢ７の一部の順にそれぞれのオブジェクトＯＢ０、ＯＢ１１、ＯＢ１０、ＯＢ９とオブジェクトＯＢ８の一部およびオブジェクトＯＢ７の一部を視点１５１の位置で、画面２００を基準に透視投影変換して得られた画像（３次元空間上の画像から変換された２次元空間上の画像）１５６Ｉａを、図９Ａの画像１５５が描かれている描画領域２０２の対応する位置に上書き描画する（図９Ｂ参照）。
【００９２】
図９Ｂの図面から分かるように、上書き描画しているので、例えば、雲画像３０３は、オブジェクトＯＢ１０に対応するビル画像３０６の下側に隠れてしまう。また、オブジェクト０Ｂ７に係る画像３０８およびオブジェクトＯＢ８に係る画像３１０は、奥行き長ｄ２の部分のみが描画される。なお、これらオブジェクト０Ｂ７に係る画像３０８およびオブジェクトＯＢ８に係る画像３１０は、視点１５１から見える面（ポリゴンからなる面）のみが描画され、画面の奥行き方向を向いている面は描画しない。なお、このポリゴンからなる面は、サーフェイスモデルとしてのオブジェクトＯＢｎのサーフェイスである。
【００９３】
図９Ｂにおいて、背景ＢＧの画像１５５上に遠距離オブジェクト群１５６の画像１５６Ｉａが上書きされた画像を、理解の容易化のために、以下、遠距離オブジェクト群画像１５６ａという。
【００９４】
遠距離オブジェクト群１５６内において、オブジェクトＯＢ０は、その遠端が奥行き量Ｚ３であり、近端が奥行き量Ｚ２であるので、遠距離オブジェクト群１５６のオブジェクトＯＢｎ中、遠端が最も遠いオブジェクトであると判断することができる。この遠端が最も遠いオブジェクト順に、描画領域２０２に上書き描画している。
【００９５】
次に、ステップＳ６では、遠距離オブジェクト群１５６内に存在する全てのオブジェクトＯＢｎのフレームバッファ６３の描画領域２０２への描画が完了しているかどうかが判定される。
【００９６】
ステップＳ６の判定が肯定的であったとき、ステップＳ７のぼかし処理が実行される。
【００９７】
図１０は、ステップＳ７等で実行されるぼかし処理の詳細な手順を示すフローチャート（サブルーチン）である。
【００９８】
図１１は、ぼかし処理の対象となる描画領域２０２の画素配列を示している。描画領域２０２は、２４０行２５６列のマトリクスで表した画素ａｎｍ＝ａ００〜ａ２３９２５５（それぞれ画素値も表すものとするが、実際上、各画素値はそれぞれＲＧＢ値で表される。）で構成される。
【００９９】
このぼかし処理では、ステップＳ１０１で原画素Ｐ（ａｎｍ）の２行目の画素ａ１０〜ａ１２５５をピックアップし（２行目の画素ａ１０〜ａ１２５５に注目し）、ピックアップした（注目した）２行目の各画素ａ１０〜ａ１２５５をステップＳ１０２で１画素分上にずらす。
【０１００】
ステップＳ１０３では、１画素分ずらした各画素ａ１０〜ａ１２５５と、１行目の各画素ａ００〜ａ０２５５と同じ列の対向する画素での平均をとる（半透明化処理をする）。
【０１０１】
ステップＳ１０４では、この平均をとった後の各画素値を１行目の各画素ａ００〜ａ０２５５の画素値として書き込む。
【０１０２】
このステップＳ１０１〜Ｓ１０４の１回目の処理では、例えば、画素ａ００の位置に、画素値として（ａ００＋ａ１０）／２が書き込まれる。同様に、画素ａ０２５５の位置には画素値として（ａ０２５５＋ａ１２５５）／２が書き込まれる。
【０１０３】
次に、ステップＳ１０５では、現在の処理が最終行（この実施の形態では２３９行）であるかどうかが判断され、最終行でない場合には、ステップＳ１０６でポインタが参照されて１行進められる。
【０１０４】
次のステップＳ１０１〜Ｓ１０４の処理では、３行目の画素ａ２０〜ａ２２５５が画素ａ１０〜ａ１２５５に重ねられてそれぞれ平均化された画素値｛（ａ１０＋ａ２０）／２−（ａ１２５５＋ａ２２５５）／２｝が、画素ａ１０〜ａ１２５５の画素値とされる。同様な処理を最終行の画素ａ２３９０〜ａ２３９２５５まで行う。ただし、最終行の画素ａ２３９０〜ａ２３９２５５の値はそのままの値とされる。
【０１０５】
ここで、このぼかし処理について、図１２に示す４×５個の画素α１１〜α４５から構成される特定のオブジェクトに対応する画像αについて説明する。ここで、理解の容易化のために、この特定のオブジェクトに対応する画像αの画素α１１〜α４５の色（画素値）は全て赤（Ｒ，Ｇ，Ｂ）＝Ｒ（２５５，０，０）であり、この画像αの周囲の画素（図示していない）の色（画素値）は、青（Ｒ，Ｇ，Ｂ）＝Ｂ（０，０，２５５）であるものとする。
【０１０６】
図１０に示したステップＳ１０１〜Ｓ１０６のぼかし処理では、結果として、まず、特定のオブジェクトに対応する画像α全体が１画素上にずらされて元の画像αに重ねられると考えることができる。
【０１０７】
図１３は、図１２に示した画像αを１画素上にずらした画像α′とともに描いた模式図である。
【０１０８】
画像α′を構成する１行目の各画素α１１〜α１５は、青（Ｒ，Ｇ，Ｂ）＝Ｂ（０，０，２５５）の画素と重なることとなる。
【０１０９】
図１４は、画像αと画像α′の平均化処理（半透明化処理）後の画像βの画素値を示している。この画像βでは、画像全体の大きさが１画素分だけ上方に大きくなったように見える。このとき、最上行（１行目）の画素値は、赤（Ｒ，Ｇ，Ｂ）＝Ｒ（２５５，０，０）と青（Ｒ，Ｇ，Ｂ）＝Ｂ（０，０，２５５）の画素値の透明化処理後の画素値であるので、マゼンタ（Ｒ，Ｇ，Ｂ）＝Ｍ（１２８，０，１２８）の色とされ、２行目から５行目の画素値は、半透明化処理後においても、同一画素値の半透明化処理であるので、画像αの色と同一の赤Ｒの画素とされる。このように処理された画像βは、色が変化している１行目の画像が擬似的にぼけ画像と認識される。
【０１１０】
もちろん、画像αの領域の画像が、赤一色ではなく、模様を持っている画像である場合には、１画素ずらして半透明化処理を行った場合の画像βでは、１行目の画像ばかりではなく、その模様もぼけた模様の画像になる。
【０１１１】
一般的に、半透明化処理は、画像Ａ（Ｒ，Ｇ，Ｂ）のある位置の画素に対向する画素の画像を画像Ａ′（Ｒ′，Ｇ′，Ｂ′）とするとき、半透明化処理後の画像Ｂ（Ｒｂ，Ｇｂ，Ｂｂ）は、次の（１）式の相加平均で計算されることが知られている。
【０１１２】
Ｂ（Ｒｂ，Ｇｂ，Ｂｂ）
＝Ｂ｛（Ｒ＋Ｒ′）／２，（Ｇ＋Ｇ′）／２，（Ｂ＋Ｂ′）／２｝ …（１）
なお、この実施の形態において、半透明化処理における平均化は、２で割った相加平均（５０％：５０％）ではなく、除数２以外の数字で割ったもの、あるいは、それぞれに加重をかけて平均したものでもよい。
【０１１３】
すなわち、画像Ａ（Ｒ，Ｇ，Ｂ）と画像Ａ′（Ｒ′，Ｇ′，Ｂ′）の半透明化処理後の画像Ｂ（Ｒｂ，Ｇｂ，Ｂｂ）を、ＲＧＢ値をそれぞれ所定比率で加算した次の（２）式で示す加重平均で計算するようにしてもよい。なお（２）式において、ｘのとりうる値は、０≦ｘ≦１である。
【０１１４】

また、この実施の形態において、画像をずらす方向は、上方向に１画素としているが、下方向に１画素でもよい。ディスプレイ６９が水平走査して画像（映像）を形成するテレビジョンをモニタとして用いている場合には、テレビジョンでは、画面の左右方向（水平方向）に色のにじみが発生していることからこの水平方向ではなく、ずらすことによりピントぼけの効果の高い上方向（垂直上方向）または下方向（垂直下方向）のいずれかの方向に決定することが好ましいからである。もちろん、ディスプレイの表示形式に応じて、上下左右方向あるいは放射状方向等、任意の方向にずらすことが可能である。
【０１１５】
また、ずらす画素数は、この実施の形態の１回のぼかし処理では、１画素分としている。現在のテレビジョンモニタの解像度（５２５本）では、１画素分以上のずらしは、ピントぼけではなく二重写りの効果となってしまう可能性が高いからである。もちろん、ディスプレイの種類に応じて最適な所定の画素数分を実験的に決めることができる。ただし、少なくとも１画素は、ずらすことが好ましい。
【０１１６】
図９Ｃは、ステップＳ７のぼかし処理後の描画領域２０２の画像１５６ａ′を示している。このぼけ画像１５６ａ′では、図９Ｂに示した背景ＢＧの画像と遠距離オブジェクト群１５６の画像１５６ａが上方に１画素分ぼけた画像になる。
【０１１７】
ステップＳ８では、奥行き量Ｚが次に大きい中距離オブジェクト群１５４に含まれているオブジェクトＯＢ０、ＯＢ４〜ＯＢ７の中、最も遠いオブジェクト順、正確には、オブジェクトＯＢｎの遠端がより遠いオブジェクトＯＢｎの順、すなわちオブジェクトＯＢ０、オブジェクトＯＢ７、オブジェクトＯＢ６、オブジェクトＯＢ５の順に、それぞれのオブジェクトＯＢ０、ＯＢ５〜ＯＢ７を視点１５１で画面２００に透視投影変換処理して得られた画像（３次元→２次元変換後の画像）１５４ａを描画領域２０２の対応する位置に上書き描画する。
【０１１８】
なお、オブジェクトＯＢ０は、中距離オブジェクト群１５４内において、近端が奥行き量Ｚ１であるが、その遠端が奥行き量Ｚ２（正確にはＺ３）であるので、オブジェクトＯＢｎ中、遠端が最も遠いオブジェクトであると判断している。
【０１１９】
次に、ステップＳ９では、中距離オブジェクト群１５４内に存在する全てのオブジェクトＯＢｎのフレームバッファ６３の描画領域２０２への描画が完了したかどうかが判定される。
【０１２０】
ステップＳ９の判定が肯定的であったときには、描画領域２０２には、図９Ｄに示すように、背景画像ＢＧを含む遠距離オブジェクト群１５６の１回ぼけ画像１５６ａ′と、未だぼかし処理の行われていない中距離オブジェクト群１５４の透視投影変換後の画像１５４ａが書き込まれた状態になっている。
【０１２１】
次に、ステップＳ１０で、再び、ぼかし処理が実行される。すなわち、図９Ｄに示した画像が描画された描画領域２０２に対して、図１０に示したステップＳ１０１〜Ｓ１０５までのサブルーチンに係るぼかし処理が実行される。
【０１２２】
描画領域２０２に描画されている図９Ｄに示したぼけ画像１５６ａ′に、さらにぼかし処理を施すことにより、図９Ｅに示すように、背景画像ＢＧを含む遠距離オブジェクト群１５６のぼけ画像１５６ａ′が、上方にさらに１画素分ずらされたぼけ画像１５６ａ″とされ、この２回ぼけ画像１５６ａ″上に、中距離オブジェクト群１５４の画像１５４ａを１画素上方にずらした中距離オブジェクト群１５４の１回ぼけ画像１５４ａ′が描画されることになる。
【０１２３】
このように、ぼかし処理を２回行うことにより、遠距離オブジェクト群１５６に係るぼけ画像１５６ａ″は、中距離オブジェクト群１５４に係るぼけ画像１５４ａ′より一層ぼけて見える（１画素分余計にぼけて見える）効果が得られる。
【０１２４】
次に、ステップＳ１１では、残っているオブジェクトである近距離オブジェクト群１５２の画像１５２ａ中、より遠いオブジェクトの順にフレームバッファ６３の描画領域２０２に書き込まれ、ステップＳ１２で近距離オブジェクト群１５２の画像１５２ａの描画の完了が判断される。
【０１２５】
描画が完成された時点での描画領域２０２の状態を図９Ｆに示す。また、図９Ｆの拡大図を図１５に示す。なお、図９Ｆおよび図１５の画像では、ぼかし効果の説明のためにずらし量を実際のずらし量に比較して大げさに描いている。実際のずらし量は、背景ＢＧを含む遠距離オブジェクト群１５６のぼけ画像１５６ａ″で上方に２画素分、中距離オブジェクト群１５４のぼけ画像１５４ａ′で上方に１画素分である。
【０１２６】
また、図１５において、例えば、符号ＯＢ１０ａ等、オブジェクトＯＢｎにアルファベット「ａ」を付けた符号ＯＢｎａは、オブジェクトＯＢｎに対応する画像を意味する。
【０１２７】
上述したように、この図９Ｆおよび図１５の画像では、ぼかし処理の行われていない、通常、鮮明な画像である近距離オブジェクト群１５２の画像（非ぼかし画像、非ぼけ画像）１５２ａと、１画素分のぼかし処理が行われた中距離オブジェクト群１５４のぼけ画像１５４ａ′と、２画素分のぼかし処理が行われた背景ＢＧを含む遠距離オブジェクト群１５６のぼけ画像１５６ａ″とが描画されている。
【０１２８】
ステップＳ１３において、この描画領域２０２の描画内容が次の垂直同期信号Ｖｓｙｎｃで、現在、画面２００に表示されている描画領域２０４の描画内容と切り替えられることで、画面２００の表示が切り替えられる。
【０１２９】
上述したように、図１５は、画面表示切替後にディスプレイ６９の画面２００に表示される画像である。コントローラ２０の操作者等であるビデオゲーム装置１の使用者（プレイヤ）は、近距離オブジェクト群１５２に対応する画像１５２ａは、ぼけていない鮮明な画像として視認し、中距離オブジェクト群１５４に対応する画像１５４ａ′は、少しぼけた画像として視認し、背景画像ＢＧを含む遠距離オブジェクト群１５６に対応する画像１５６ａ″は、最もぼけた画像として視認することができる。このようなぼかし処理を行うことにより、カメラの特性に近似した効果的な映像を得ることができる。すなわち、ピントを合わせた近くのものがはっきりと見え、より遠くのものがぼけて見えるカメラの特性に合致した映像（画像２２０）を画面２００上で見ることができる。
【０１３０】
図１６は、比較例として、ぼかし処理を行わなかった場合の画面２００の画像２２２を示しており、この画像２２２と図１５に示したぼかし処理後の画像２２０とを比較することにより、図１５に示したぼかし処理後の画像２２０の方がプレイヤ等が知覚する遠近感等において優れていることが理解される。
【０１３１】
次に、再びステップＳ１にもどり、現時点でのアクティブカメラ１５０を判断し、再びステップＳ２によりカメラ視野内のオブジェクトを検出し、再びステップＳ３により次の画面フレームを透視投影変換により作成する。以下、ステップＳ５からステップＳ１３の処理を繰り返す。
【０１３２】
このような処理を繰り返すことにより、この実施の形態のぼかし処理が継続される。
【０１３３】
以上詳述したように、上述した実施の形態によれば、背景画像ＢＧを含めて３次元空間におけるオブジェクトＯＢｎの奥行き量（奥行き情報）に応じて、前記オブジェクトＯＢｎを表現する原画像データに対し、該原画像データを略半透明化して得た画像データを位置をずらして重ね書きしてフレームバッファ６３に描画するようにしている。このため、奥行き情報に応じてピントのずれたようなオブジェクトＯＢｎ、いわゆるぼけ画像をディスプレイ６９の画面２００上に表示することができるという効果が達成される。
【０１３４】
そして、オブジェクトＯＢｎが複数存在する場合には、最も手前の（視覚上、プレイヤに最も近い）近距離オブジェクト群１５２を除き、奥行き量の大きいオブジェクト順に位置をずらす量を大きくしてフレームバッファ６３に描画するようにしている。このため、より奥行き量の大きいオブジェクトが、よりピントがずれて（ぼけて）見えるという効果が達成される。
【０１３５】
この場合、この実施の形態に係るピントずらし処理は、従来の技術のように、複雑なデジタルフィルタを使用していないので、演算が簡単であり、演算処理にかかる時間を短くすることができる。
【０１３６】
また、上述した実施の形態において、図５および図１０に示すフローチャートに係るプログラムは、もともとは、光ディスク７９に格納されているものであるから、光ディスク７９は、複数の３次元オブジェクトの奥行き量Ｚの情報に基づき、前記複数の３次元オブジェクトの中、奥行き量Ｚの大きいオブジェクトに対応する画像を画面２００上で少なくとも１画素分ずらすステップと、前記１画素分ずらした画像を前記１画素分ずらす前の画像に、必要に応じて半透明化処理して重ねた画像を、奥行き量Ｚの小さい画像とともに表示するための画像を生成するステップを有するプログラムが格納された記録媒体であるといえる。
【０１３７】
なお、上述した実施の形態においては、ぼかし処理を２回行っているが、走査線が５２５本程度の比較的解像度の低いテレビジョンをモニタを使用した場合には、この２回のぼかし処理が、視覚上、適切であることを確認している。解像度のより高いディスプレイの場合には、３回以上のぼかし処理を行うことにより、よりきめ細かくピントぼかし処理を行うことができ、よりリアルな映像表現とすることができる。
【０１３８】
なお、３回以上ずらす場合には、同方向にずらし続けると不自然な映像になる場合がある。この場合には、上方向の次は、例えば、左方向、次は、下方向、その次は右方向とするようにずらす方向を変えながらぼかすことが有効となる。
【０１３９】
また、上述の実施の形態では、画面をディスプレイ６９上の画面２００としているが、この発明は、劇場等のスクリーン（画面）に映像表示する場合にも同様に適用することができる。
【０１４０】
さらに、上述の実施の形態では、近距離オブジェクト群１５２の画像にピントを合わせるようにしているが、例えば、中距離オブジェクト群１５４の画像にピントを合わせ、遠距離オブジェクト群１５６の画像と近距離オブジェクト群１５２の画像のピントをずらすようにすることもできる。
【０１４１】
なお、この発明は、上述の実施の形態に限らず、この発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【０１４２】
【発明の効果】
以上説明したように、この発明によれば、現在描画されている画像を転送元として少なくとも１画素ずらした位置に画像を略半透明で描画するようにしている。このため、視覚的にピントのずれたような画像を簡易に生成することができる。
【０１４３】
また、画面上の距離の要素と組み合わせること、例えば、ぼかし処理を距離に応じて複数回繰り返すことにより、遠くの物体は処理を繰り返した回数分画素がずれて描画されるので、遠くの物体を、よりピントのずれたような画像で表示することができる。
【０１４４】
このようにすれば、従来にはない、きわめて卓越した特殊効果（具体的には、例えば、近くのものにカメラの焦点を合わせた場合には、近くのものがはっきりと見え、より遠くのものがぼけて見えるという光学特性に合致した効果等）を、３次元画像（３次元映像を含む）に与えることができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態が適用されたビデオゲーム装置の外観を示す平面図である。
【図２】ビデオゲーム装置本体のスロット部の構成を示す正面図である。
【図３】ビデオゲーム装置本体の外観斜視図である。
【図４】ビデオゲーム装置の主要部の具体的な構成例を示す電気的ブロック図である。
【図５】この発明の実施の形態の画像処理の処理手順を示すフローチャートである。
【図６】オブジェクトを、近、中、遠距離オブジェクト群に分割する様子の説明に供される模式図である。
【図７】フレームバッファの描画領域等の説明に供される線図である。
【図８】画面領域の説明に供される線図である。
【図９】図９Ａは、フレームバッファの描画領域に背景が描画された状態を示す模式図、
図９Ｂは、図９Ａの画像上に、遠距離オブジェクト群に係る画像が上書き描画された状態を示す模式図、
図９Ｃは、図９Ｂの画像に対して、ぼかし処理を施した後の画像が描画された状態を示す模式図、
図９Ｄは、図９Ｃの１回ぼかし画像上に、中距離オブジェクト群に係る画像が上書き描画された状態を示す模式図、
図９Ｅは、図９Ｄの画像に対して、ぼかし処理を施した後の画像が描画された状態を示す模式図、
図９Ｆは、図９Ｅの２回ぼかし画像と１回ぼかし画像の合成画像上に、近距離オブジェクト群に係る画像が描画された状態を示す模式図である。
【図１０】ぼかし処理手順を示すフローチャートである。
【図１１】フレームバッファの描画領域のぼかし処理の説明に供される線図である。
【図１２】ぼかし処理前の原画像を示す模式図である。
【図１３】原画像を１画素ずらした画像を、原画像に重ねた状態を示す模式図である。
【図１４】ぼけ画像を示す模式図である。
【図１５】図９Ｆの拡大図であって、この実施の形態に係るぼかし画像を含む画面表示例を示す模式図である。
【図１６】図１５の画面表示例に対応する比較例としての、ぼかし処理を含まない画面表示例を示す模式図である。
【符号の説明】
１…ビデオゲーム装置 ２…ビデオゲーム装置の本体
３…ディスク装着部 ２０…コントローラ
５０…制御系 ５１…中央処理装置（ＣＰＵ）
５３…メインメモリ ６０…グラフィックシステム
６１…ジオメトリトランスファエンジン（ＧＴＥ）
６２…画像処理装置（グラフィック処理ユニット：ＧＰＵ）
６３…フレームバッファ（デュアルポートＲＡＭ）
６９…ディスプレイ ７９…光ディスク（記録手段）
１５０…アクティブカメラ １５１…視点
１５２…近距離オブジェクト群
１５２ａ…近距離オブジェクト群に対応する画像
１５４…中距離オブジェクト群
１５４ａ…中距離オブジェクト群に対応する画像
１５４ａ′…中距離オブジェクト群に対応する画像のぼかし画像
１５６…遠距離オブジェクト群
１５６Ｉａ…遠距離オブジェクト群に対応する画像
１５６ａ…背景を含む遠距離オブジェクト群に対応する画像
１５６ａ′…背景を含む遠距離オブジェクト群に対応する画像の１回ぼかし画像
１５６ａ″…背景を含む遠距離オブジェクト群に対応する画像の２回ぼかし画像
２００…画面（スクリーン） ２０２、２０４…描画領域
２２０…一部ぼかし処理後の画像
２２２…ぼかし処理を施していない画像
α…原画像 α′…原画像と同一の画像
β…ぼけ画像
ＯＢ０〜ＯＢ１１、ＯＢｎ…オブジェクト
ＯＢｎａ…オブジェクトに対応する画像
Ｚ、Ｚ１、Ｚ２、Ｚ３、Ｚ∞…奥行き量

Claims (9)

1. 記録手段に、複数の３次元オブジェクトが奥行き情報とともに記録されるステップと、
   フレームバッファの描画領域に、前記複数の３次元オブジェクトが、描画制御手段により所定の視点で透視投影変換されて画像に変換された後に描画されるステップと、
   前記描画領域に描画されている複数の画像を表示手段の画面に表示するステップとを有し、
   前記描画制御手段による処理には、
   前記フレームバッファの描画領域に、前記複数の３次元オブジェクトに対応する画像を、前記所定の視点に基づき、前記奥行き情報にかかる遠距離画像群、中距離画像群および近距離画像群に分類して、前記遠距離画像群を前記描画領域に描画し、
   該遠距離画像群を所定方向に少なくとも１画素ずらした遠距離画像群を、ずらす前の前記遠距離画像群に半透明化処理して重ねた画像（ぼけ遠距離画像群という。）を前記描画領域に描画し、
   さらに、この描画領域上に、前記中距離画像群を描画し、
   さらに、前記中距離画像群と前記ぼけ遠距離画像群とが描画されている描画領域に対して、前記中距離画像群と前記ぼけ遠距離画像群を所定方向に少なくとも１画素ずらし、ずらす前の画像群に半透明化処理して重ねた画像（２重ぼけ遠距離画像群とぼけ中距離画像群とからなる画像）を前記描画領域に描画し、
   さらに、この描画領域上に、前記近距離画像群を描画し、
   前記少なくとも１画素分ずらす所定方向は、前記表示手段上、上方向または下方向のいずれかの方向とする
   処理が含まれることを特徴とするプログラムが格納された記録媒体。
2. 記録手段に、複数の３次元オブジェクトが奥行き情報とともに記録されるとともに、画面表示用の２次元の背景画像が記録されるステップと、
   フレームバッファの描画領域に、描画制御手段により前記背景画像が描画されるとともに、前記複数の３次元オブジェクトが、所定の視点で透視投影変換されて画像に変換された後に描画されるステップと、
   前記描画領域に描画されている複数の画像を表示手段の画面に表示するステップとを有し、
   前記描画制御手段による処理には、
   前記フレームバッファの前記描画領域に前記２次元の背景画像を描画した後、前記複数の３次元オブジェクトに対応する画像を、前記所定の視点に基づき、前記奥行き情報にかかる遠距離画像群、中距離画像群および近距離画像群に分類して、前記遠距離画像群を前記背景画像が描画されている描画領域に描画し、
   該遠距離画像群を前記背景画像とともに、所定方向に少なくとも１画素ずらした背景画像付き遠距離画像群を、ずらす前の背景画像付き遠距離画像群に半透明化処理して重ねた画像（ぼけ遠距離画像群という。）を前記描画領域に描画し、
   さらに、この描画領域上に、前記中距離画像群を描画し、
   さらに、前記中距離画像群と前記ぼけ遠距離画像群とが描画されている描画領域に対して、前記中距離画像群と前記ぼけ遠距離画像群を所定方向に少なくとも１画素ずらし、ずらす前の画像群に半透明化処理して重ねた画像（２重ぼけ遠距離画像群とぼけ中距離画像群とからなる画像）を前記描画領域に描画し、
   さらに、この描画領域上に、前記近距離画像群を描画し、
   前記少なくとも１画素分ずらす所定方向は、前記表示手段上、上方向または下方向のいずれかの方向とする
   処理が含まれることを特徴とするプログラムが格納された記録媒体。
3. 請求項１または２に記載の記録媒体において、
   前記３次元オブジェクトは、該オブジェクトに対応する画像を生成する視点から見た固定物および（または）移動物である
   ことを特徴とする記録媒体。
4. 記録手段に、複数の３次元オブジェクトが奥行き情報とともに記録されるステップと、
   フレームバッファの描画領域に、前記複数の３次元オブジェクトが、描画制御手段により所定の視点で透視投影変換されて画像に変換された後に描画されるステップと、
   前記描画領域に描画されている複数の画像を表示手段の画面に表示するステップとを有し、
   前記描画制御手段による処理には、
   前記フレームバッファの描画領域に、前記複数の３次元オブジェクトに対応する画像を、前記所定の視点に基づき、前記奥行き情報にかかる遠距離画像群、中距離画像群および近距離画像群に分類して、前記遠距離画像群を前記描画領域に描画し、
   該遠距離画像群を所定方向に少なくとも１画素ずらした遠距離画像群を、ずらす前の前記遠距離画像群に半透明化処理して重ねた画像（ぼけ遠距離画像群という。）を前記描画領域に描画し、
   さらに、この描画領域上に、前記中距離画像群を描画し、
   さらに、前記中距離画像群と前記ぼけ遠距離画像群とが描画されている描画領域に対して、前記中距離画像群と前記ぼけ遠距離画像群を所定方向に少なくとも１画素ずらし、ずらす前の画像群に半透明化処理して重ねた画像（２重ぼけ遠距離画像群とぼけ中距離画像群とからなる画像）を前記描画領域に描画し、
   さらに、この描画領域上に、前記近距離画像群を描画し、
   前記少なくとも１画素分ずらす所定方向は、前記表示手段上、上方向または下方向のいずれかの方向とする
   処理が含まれることを特徴とする画像処理方法。
5. 記録手段に、複数の３次元オブジェクトが奥行き情報とともに記録されるとともに、画面表示用の２次元の背景画像が記録されるステップと、
   フレームバッファの描画領域に、描画制御手段により前記背景画像が描画されるとともに、前記複数の３次元オブジェクトが、所定の視点で透視投影変換されて画像に変換された後に描画されるステップと、
   前記描画領域に描画されている複数の画像を表示手段の画面に表示するステップとを有し、
   前記描画制御手段による処理には、
   前記フレームバッファの前記描画領域に前記２次元の背景画像を描画した後、前記複数の３次元オブジェクトに対応する画像を、前記所定の視点に基づき、前記奥行き情報にかかる遠距離画像群、中距離画像群および近距離画像群に分類して、前記遠距離画像群を前記背景画像が描画されている描画領域に描画し、
   該遠距離画像群を前記背景画像とともに、所定方向に少なくとも１画素ずらした背景画像付き遠距離画像群を、ずらす前の背景画像付き遠距離画像群に半透明化処理して重ねた画像（ぼけ遠距離画像群という。）を前記描画領域に描画し、
   さらに、この描画領域上に、前記中距離画像群を描画し、
   さらに、前記中距離画像群と前記ぼけ遠距離画像群とが描画されている描画領域に対して、前記中距離画像群と前記ぼけ遠距離画像群を所定方向に少なくとも１画素ずらし、ずらす前の画像群に半透明化処理して重ねた画像（２重ぼけ遠距離画像群とぼけ中距離画像群とからなる画像）を前記描画領域に描画し、
   さらに、この描画領域上に、前記近距離画像群を描画し、
   前記少なくとも１画素分ずらす所定方向は、前記表示手段上、上方向または下方向のいずれかの方向とする
   処理が含まれることを特徴とする画像処理方法。
6. 請求項４または５に記載の画像処理方法において、
   前記３次元オブジェクトは、該オブジェクトに対応する画像を生成する視点から見た固定物および（または）移動物である
   ことを特徴とする画像処理方法。
7. 複数の３次元オブジェクトが奥行き情報とともに記録される記録手段と、
   前記複数の３次元オブジェクトが、所定の視点で透視投影変換されて画像に変換された後に描画される描画領域を有するフレームバッファと、
   前記描画領域に描画されている複数の画像を画面に表示する表示手段と、
   前記透視投影変換処理を行う描画制御手段とを有し、
   前記描画制御手段は、
   前記フレームバッファの描画領域に、前記複数の３次元オブジェクトに対応する画像を、前記所定の視点に基づき、前記奥行き情報にかかる遠距離画像群、中距離画像群および近距離画像群に分類して、前記遠距離画像群を前記描画領域に描画し、
   該遠距離画像群を所定方向に少なくとも１画素ずらした遠距離画像群を、ずらす前の前記遠距離画像群に半透明化処理して重ねた画像（ぼけ遠距離画像群という。）を前記描画領域に描画し、
   さらに、この描画領域上に、前記中距離画像群を描画し、
   さらに、前記中距離画像群と前記ぼけ遠距離画像群とが描画されている描画領域に対して、前記中距離画像群と前記ぼけ遠距離画像群を所定方向に少なくとも１画素ずらし、ずらす前の画像群に半透明化処理して重ねた画像（２重ぼけ遠距離画像群とぼけ中距離画像群とからなる画像）を前記描画領域に描画し、
   さらに、この描画領域上に、前記近距離画像群を描画し、
   前記少なくとも１画素分ずらす所定方向は、前記表示手段上、上方向または下方向のいずれかの方向とする
   ことを特徴とする画像処理装置。
8. 複数の３次元オブジェクトが奥行き情報とともに記録されるとともに、画面表示用の２次元の背景画像が記録される記録手段と、
   前記背景画像が描画されるとともに、前記複数の３次元オブジェクトが、所定の視点で透視投影変換されて画像に変換された後に描画される描画領域を有するフレームバッファと、
   前記描画領域に描画されている複数の画像を画面に表示する表示手段と、
   前記透視投影変換処理を行う描画制御手段とを有し、
   前記描画制御手段は、
   前記フレームバッファの前記描画領域に前記２次元の背景画像を描画した後、前記複数の３次元オブジェクトに対応する画像を、前記所定の視点に基づき、前記奥行き情報にかかる遠距離画像群、中距離画像群および近距離画像群に分類して、前記遠距離画像群を前記背景画像が描画されている描画領域に描画し、
   該遠距離画像群を前記背景画像とともに、所定方向に少なくとも１画素ずらした背景画像付き遠距離画像群を、ずらす前の背景画像付き遠距離画像群に半透明化処理して重ねた画像（ぼけ遠距離画像群という。）を前記描画領域に描画し、
   さらに、この描画領域上に、前記中距離画像群を描画し、
   さらに、前記中距離画像群と前記ぼけ遠距離画像群とが描画されている描画領域に対して、前記中距離画像群と前記ぼけ遠距離画像群を所定方向に少なくとも１画素ずらし、ずらす前の画像群に半透明化処理して重ねた画像（２重ぼけ遠距離画像群とぼけ中距離画像群とからなる画像）を前記描画領域に描画し、
   さらに、この描画領域上に、前記近距離画像群を描画し、
   前記少なくとも１画素分ずらす所定方向は、前記表示手段上、上方向または下方向のいずれかの方向とする
   ことを特徴とする画像処理装置。
9. 請求項７または８に記載の画像処理装置において、
   前記３次元オブジェクトは、該オブジェクトに対応する画像を生成する視点から見た固定物および（または）移動物である
   ことを特徴とする画像処理装置。

Images