JP2012175685A - 情報処理プログラム、撮像装置、撮像方法及び撮像システム - Google Patents

情報処理プログラム、撮像装置、撮像方法及び撮像システム Download PDF

Info

Publication number
JP2012175685A
JP2012175685A JP2011038984A JP2011038984A JP2012175685A JP 2012175685 A JP2012175685 A JP 2012175685A JP 2011038984 A JP2011038984 A JP 2011038984A JP 2011038984 A JP2011038984 A JP 2011038984A JP 2012175685 A JP2012175685 A JP 2012175685A
Authority
JP
Japan
Prior art keywords
display
image
captured image
unit
display position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011038984A
Other languages
English (en)
Other versions
JP5785732B2 (ja
Inventor
Tomohisa Kawakami
知久 川上
Tsutomu Araki
勉 荒木
Daigo Shimizu
大悟 清水
Takeshi Nishikawa
猛司 西川
Fumihiko Inoue
文彦 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2011038984A priority Critical patent/JP5785732B2/ja
Priority to US13/404,562 priority patent/US9167231B2/en
Publication of JP2012175685A publication Critical patent/JP2012175685A/ja
Application granted granted Critical
Publication of JP5785732B2 publication Critical patent/JP5785732B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】ステレオカメラは、使用時の外からの衝撃や経年変化等によって、その設置位置(光学的位置等)がずれる場合があり、このような場合にユーザが自身で簡単に調整できる補正の方法が必要となる。
【解決手段】ステレオカメラを構成する第1撮像部により撮像された第1仮撮像画像と、第2撮像部により撮像された第2仮撮像画像が表示部上に表示される。ユーザは、表示部に表示された第1仮撮像画像を移動させることによって、第1仮撮像画像の表示位置を第2仮撮像画像の表示位置に合わせる。この移動の結果に基づいて、ステレオカメラによって撮像されたステレオ画像を構成する2つの画像の表示位置が補正されて、当該ステレオ画像が表示部上に立体視表示される。
【選択図】図9

Description

本発明は、情報処理プログラム、撮像装置、撮像方法及び撮像システムに関し、より特定的には、ステレオ撮像を行う情報処理プログラム、撮像装置、撮像方法及び撮像システムに関する。
ステレオカメラで立体視画像を生成(ステレオ撮像)する際、2つのカメラの焦点距離や、その取り付け位置等の光学的位置は正確に揃っていることが望ましい。しかしながら、実際には、両カメラの光学的位置は必ずしも揃っているとは言えず、そのため、両カメラによって撮像された2つの画像(ステレオ画像)には、ステレオカメラの光学的位置のずれに起因する表示誤差が含まれる。したがって、この誤差を補正して、両画像(ステレオ画像)の表示位置を適切に合わせなければ、奥行き感や飛び出し感を感じさせる最適な立体視画像として表示することができない。そのため、この補正の方法として、特許文献1や特許文献2の方法が開示されている。
特開平10−307352号公報 特開2005−017286号公報
上記した従来の補正の方法によれば、調整用の画像(調整用パターン)を用意する必要があるため、製造時や出荷時等に販売元が調整(補正)することができても、ユーザ自身がこの方法により調整することは難しかった。しかし、使用時の外からの衝撃や経年変化等によっては、ステレオカメラの設置位置(光学的位置)がずれる可能性があり、このような場合にユーザが自身で簡単に調整できる補正の方法が必要となる。
それ故に、本発明の主たる目的は、使用時の外からの衝撃や経年変化等によって撮像部(ステレオカメラ)の光学的位置がずれた場合であっても、ユーザが自身でステレオ画像を構成する2つの画像の表示位置を簡単に調整できる情報処理プログラム等を提供することである。
本発明は、上述の課題を解決するために、以下の構成を採用した。
本発明に係る情報処理プログラムは、ステレオ撮像部によって被写体を撮像し、立体視可能な撮像画像を取得する、記憶部を備えた撮像装置のコンピュータを、仮撮像画像取得手段と、仮撮像画像表示手段と、入力受付手段と、表示位置変更手段と、補正量算出手段と、記憶制御手段として機能させる。仮撮像画像取得手段は、ステレオ撮像部によって任意の撮像対象を撮像し、当該ステレオ撮像部のうち第1撮像部による撮像画像を第1仮撮像画像とし、第2撮像部による撮像画像を第2仮撮像画像として、それぞれ取得する。仮撮像画像表示手段は、第1仮撮像画像及び第2仮撮像画像を、表示部上に表示させる。入力受付手段は、ユーザからの入力を受け付ける。表示位置変更手段は、入力受付手段によって受け付けられた所定の入力に基づいて、第1仮撮像画像及び第2仮撮像画像の少なくとも一方の表示位置を変更させる。補正量算出手段は、表示位置変更手段によって変更された第1仮撮像画像及び/又は第2仮撮像画像の表示位置の変位に基づいて、第1撮像部及び第2撮像部で撮像した画像の少なくとも一方の表示部上の表示位置を補正する補正量を算出する。記憶制御手段は、補正量算出手段によって算出された補正量を、第1仮撮像画像及び第2仮撮像画像と関連付けずに記憶部に記憶する。
本構成によれば、第1撮像部及び第2撮像部の両撮像部(ステレオカメラ)によって任意の撮像対象(被写体)を撮像して取得した第1仮撮像画像及び第2仮撮像画像の両画像(調整用の両画像)を基に調整を行うので、ユーザは所望の撮像対象をステレオカメラで撮像することで調整用の画像を取得でき、調整用のパターン画像等を別途用意する必要がない。そして、ユーザからの所定の入力(調整用の両画像の少なくとも一方を移動させる指示)に基づいて、表示部(例えばステレオカメラのディスプレイ)に表示された調整用の画像の表示位置が変更されるので、ユーザはディスプレイを確認しながら、調整用の画像を所望の位置に移動させることができる。また、ユーザの指示に基づいて変更された調整用の画像の表示位置の変位に基づいて、ステレオ画像(ステレオカメラによって撮像された2つの画像)をディスプレイ上に立体視表示させる際の表示位置を補正するための補正量が算出され、この補正量が記憶部に記憶される。このことにより、ユーザは、簡単な画像調整(調整用の画像を移動させること)を行うだけで、ステレオ画像の表示位置を適切に調整するための補正量を算出させ、記憶部に記憶させることができる。
コンピュータを、補正手段と、立体視表示制御手段として更に機能させてもよい。補正手段は、第1仮撮像画像及び第2仮撮像画像とは別に第1撮像部で撮像した第1画像及び第2撮像部で撮像した第2画像の少なくとも一方の表示部上の表示位置を、補正量に基づいて補正する。立体視表示制御手段は、第1画像及び第2画像を、補正手段による補正結果に基づいて、表示部上に立体視表示させる。
本構成によれば、補正量に基づいて、第1画像及び第2画像(ステレオ画像)の表示部(ディスプレイ)上の表示位置が補正され、この補正結果に基づいてステレオ画像がディスプレイ上に立体視表示される。このことにより、ユーザは、簡単な画像調整(調整用の画像を移動させること)を行うだけで、ステレオ画像の表示位置を適切に調整して、当該ステレオ画像をディスプレイ上に適切に立体視表示させることができる。
補正量算出手段による補正量の算出は以下のように行われてもよい。すなわち、補正量算出手段は、第1仮撮像画像及び/又は第2仮撮像画像の上下方向の表示位置の変位のみに基づいて補正量を算出する。
本構成によれば、第1仮撮像画像及び/又は第2仮撮像画像(調整用の画像)の表示位置を移動させた際の変位には各方向の変位が含まれるが、補正量は、調整用の画像の上下方向(後述する図1,図5等で示すy軸方向)の表示位置の変位のみに基づいて算出される。このことにより、2つのずれた画像として認識されてしまう主因となるステレオ画像の位置ずれ(第1画像と第2画像の上下方向の位置ずれ)を補正するための補正量が算出される。また、ユーザが調整用の画像を移動させることが可能な方向を上下方向だけに限らないことにすると、第1仮撮像画像と第2仮撮像画像を略重ね合わせることが可能となり、結果として第1仮撮像画像と第2仮撮像画像の上下方向の表示位置を合わせやすく(調整しやすく)なり、適切な補正量が算出されやすくなる。
記憶部には、第1画像及び第2画像の表示部上の表示位置を決定するための表示パラメータが格納されてもよい。この場合、仮撮像画像表示手段は、第1仮撮像画像及び第2仮撮像画像を、表示パラメータに基づいて表示部上に表示させる。補正手段は、補正量に基づいて補正された表示パラメータに基づいて、第1画像及び第2画像の少なくとも一方の表示部上の表示位置を補正する。
本構成によれば、ステレオ画像(第1画像及び第2画像)を表示部(ディスプレイ)に表示させる際の表示位置を決定する表示パラメータが記憶部(例えば、メインメモリ)に記憶されている。そして、この表示パラメータに基づいて、ステレオ画像の表示位置が決定され、表示パラメータが補正されることによって、ステレオ画像の表示位置が補正される。このことにより、ユーザは、ディスプレイ上の補正の反映された(更新された)適切な表示位置にステレオ画像を表示させることができる。
コンピュータを、表示位置決定手段と、表示調整パラメータ算出手段として更に機能させてもよい。表示位置決定手段は、入力受付手段によって受け付けられた決定入力に基づいて、第1仮撮像画像及び/又は第2仮撮像画像の表示位置を決定する。表示調整パラメータ算出手段は、第1画像及び第2画像の少なくとも一方の表示部上の表示位置を補正するための表示調整パラメータを算出する。この場合において、記憶制御手段は、表示調整パラメータを表示パラメータとして更新して記憶部に記憶させる。表示位置変更手段は、入力受付手段によって受け付けられた第1入力に基づいて、第1仮撮像画像の表示位置を変更させ、表示位置決定手段は、決定入力に基づいて、第1仮撮像画像の表示位置を、表示位置変更手段による変更後の表示位置に決定する。そして、表示調整パラメータ算出手段は、表示位置決定手段によって決定された第1仮撮像画像の表示位置と、表示位置変更手段による変更前の第1仮撮像画像の表示位置との変位である第1変位に基づいて、表示調整パラメータを算出し、補正手段は、記憶部に更新された表示パラメータに基づいて、第1画像及び第2画像の少なくとも一方の表示部上の表示位置を補正する。
本構成によれば、ユーザが、第1仮撮像画像の表示位置を第2仮撮像画像の表示位置に適切に合わせたこと(調整を終了したこと)を指示することによって(すなわち、決定入力を行うことによって)、これまでに移動させた第1仮撮像画像(調整用の一方の画像)の移動情報(表示位置の変位情報)に基づいて表示調整パラメータが算出される。そして、この表示調整パラメータが、ステレオ画像(第1画像及び第2画像)を表示部(ディスプレイ)に表示させる際の表示位置を決める表示パラメータとして更新される。このことにより、ユーザは、自身で第1仮撮像画像(調整用の一方の画像)のずれをディスプレイ上で確認しながら、第1仮撮像画像(調整用の一方の画像)と第2仮撮像画像(調整用の他方の画像)の表示位置を合わせる(調整する)だけで、表示パラメータの値を適切なパラメータ(表示調整パラメータ)の値に更新(補正)し、更新した表示パラメータに基づいて、ステレオ画像を適切な表示位置に表示させることができる。
表示位置変更手段による表示位置の変更、表示位置決定手段による表示位置の決定、及び表示調整パラメータ算出手段による表示調整パラメータの算出は、以下のように行われてもよい。すなわち、表示位置変更手段は、更に、入力受付手段によって受け付けられた第2入力に基づいて、第2仮撮像画像の表示位置を変更させ、表示位置決定手段は、決定入力に基づいて、第1仮撮像画像及び第2仮撮像画像の表示位置を、表示位置変更手段による変更後の表示位置に決定し、表示調整パラメータ算出手段は、表示位置決定手段によって決定された第2仮撮像画像の表示位置と、表示位置変更手段による変更前の第2仮撮像画像の表示位置との変位である第2変位、及び第1変位に基づいて、表示調整パラメータを算出する。
本構成によれば、第1仮撮像画像と第2仮撮像画像の両仮撮像画像(調整用の両画像)がユーザの指示(第1入力及び第2入力)によって移動可能となる。このことにより、ユーザは、調整用の両画像を移動させることによって両画像の表示位置を合わせる(調整する)ことが可能となる。また、この両画像の移動(変位)情報に基づいて、表示調整パラメータが算出される。このため、ユーザは、第1仮撮像画像(調整用の一方の画像)だけを移動させて調整用の両画像の表示位置を合わせる場合よりも、両画像の表示位置を合わせやすくなり、その調整結果に基づいて、ステレオ画像を適切な表示位置に表示させることができる。
表示調整パラメータ算出手段による表示調整パラメータの算出は以下のように行われてもよい。すなわち、表示調整パラメータ算出手段は、第2変位に対する第1変位の相対的な変位に基づいて、表示調整パラメータを算出する。
本構成によれば、第1仮撮像画像と第2仮撮像画像の両仮撮像画像(調整用の両画像)がユーザの指示(第1入力及び第2入力)によって移動可能となるが、表示調整パラメータを算出する際に用いられる変位は、第2仮撮像画像に対して第1仮撮像画像が相対的に移動した変位(調整用の一方の画像に対する他方の画像の変位)となる。このことにより、ユーザは調整用の両画像の表示位置を合わせる際に、両画像を移動させることによって、より容易に両画像の表示位置を合わせる(調整する)ことが可能となるとともに、表示調整パラメータの算出は、第2仮撮像画像が固定され第1仮撮像画像のみが移動した場合(すなわち、調整用の一方の画像のみが移動した場合)と同様の算出で足りるので、簡単に表示調整パラメータを算出させることができる。
表示調整パラメータ算出手段による表示調整パラメータの算出は以下のように行われてもよい。すなわち、表示調整パラメータ算出手段は、第1変位の上下方向の変位のみに基づいて、表示調整パラメータを算出する。
本構成によれば、第1仮撮像画像を移動させた際の変位(第1変位)には各方向の変位が含まれるが、表示調整パラメータの算出には上下方向(後述する図1,図5等で示すy軸方向)の変位のみが用いられる。このことにより、2つのずれた画像として認識されてしまう主因となるステレオ画像(第1画像及び第2画像)の上下方向の位置ずれが補正される。また、表示調整パラメータの算出には上下方向の変位のみが用いられても、ユーザが第1仮撮像画像(調整用の一方の画像)を移動させることが可能な方向を上下方向だけに限らないことによって、ユーザは、第1仮撮像画像と第2仮撮像画像を略重ね合わせることが可能となり、結果として第1仮撮像画像と第2仮撮像画像の上下方向の表示位置を合わせやすく(調整しやすく)なる。
表示調整パラメータ算出手段による表示調整パラメータの算出は以下のように行われてもよい。すなわち、表示調整パラメータ算出手段は、第1変位及び第2変位の上下方向の変位のみに基づいて、表示調整パラメータを算出する。
本構成によれば、第1仮撮像画像及び第2仮撮像画像を移動させた際の変位(第1変位及び第2変位)には各方向の変位が含まれるが、表示調整パラメータの算出には両仮撮像画像の上下方向(後述する図1,図5等で示すy軸方向)の変位のみが用いられる。このことにより、2つのずれた画像として認識されてしまう主因となるステレオ画像(第1画像及び第2画像)の上下方向の位置ずれが補正される。また、表示調整パラメータの算出には上下方向の変位のみが用いられても、ユーザが第1仮撮像画像及び第2仮撮像画像(調整用の両画像)を移動させることが可能な方向を上下方向だけに限らないことによって、ユーザは、第1仮撮像画像と第2仮撮像画像を略重ね合わせることが可能となり、結果として第1仮撮像画像と第2仮撮像画像の上下方向の表示位置を合わせやすく(調整しやすく)なる。
記憶制御手段による記憶制御、表示調整パラメータ算出手段による表示調整パラメータの算出、立体視表示制御手段による立体視表示制御は、以下のように行われてもよい。すなわち、記憶制御手段は、入力受付手段が第1入力を受け付ける度に、表示位置変更手段によって変更された第1仮撮像画像の表示位置を記憶部に記憶させる。そして、入力受付手段が切替入力を受け付けたときに、表示調整パラメータ算出手段は、記憶部に記憶された第1仮撮像画像の表示位置と、表示位置変更手段による変更前の第1仮撮像画像の表示位置との変位である第3変位に基づいて、表示調整パラメータを算出し、立体視表示制御手段は、第1画像及び第2画像を、算出された表示調整パラメータに基づいて、表示部上に立体視表示させる。
本構成によれば、ユーザの指示によって第1仮撮像画像(調整用の一方の画像)の表示位置が変更される度に、その表示位置が記憶部に記憶され、その記憶された表示位置に基づいて、表示調整パラメータが算出され、算出された表示調整パラメータに基づいてステレオ画像(第1画像及び第2画像)が立体視表示される。このことにより、ユーザは、第1仮撮像画像(調整用の一方の画像)の表示位置を調整しているとき(すなわち、調整中)に、現在の調整であれば、どのようにステレオ画像が立体視表示されるかを実際に確かめることができ、調整を終了(決定)する前に当該調整で問題ないかを確認することができる。
記憶制御手段による記憶制御、表示調整パラメータ算出手段による表示調整パラメータの算出、立体視表示制御手段による立体視表示制御は、以下のように行われてもよい。すなわち、記憶制御手段は、更に、入力受付手段が第2入力を受け付ける度に、表示位置変更手段によって変更された第2仮撮像画像の表示位置を記憶部に記憶させる。そして、入力受付手段が切替入力を受け付けたときに、表示調整パラメータ算出手段は、記憶部に記憶された第2仮撮像画像の表示位置と、表示位置変更手段による変更前の第2仮撮像画像の表示位置との変位である第4変位、及び第3変位に基づいて、表示調整パラメータを算出し、立体視表示制御手段は、第1画像及び第2画像を、算出された表示調整パラメータに基づいて、表示部上に立体視表示させる。
本構成によれば、ユーザの指示によって第1仮撮像画像及び第2仮撮像画像(調整用の両画像)の表示位置が変更される度に、その表示位置が記憶部に記憶され、その記憶された表示位置に基づいて、表示調整パラメータが算出され、算出された表示調整パラメータに基づいてステレオ画像(第1画像及び第2画像)が立体視表示される。このことにより、ユーザは、第1仮撮像画像及び第2仮撮像画像(調整用の両画像)の表示位置を調整しているとき(すなわち、調整中)に、現在の調整であれば、どのようにステレオ画像が立体視表示されるかを実際に確かめることができ、調整を終了(決定)する前に当該調整で問題ないかを確認することができる。
仮撮像画像表示手段による仮撮像画像の表示は以下のように行われてもよい。すなわち、仮撮像画像表示手段は、第1仮撮像画像及び第2仮撮像画像の両仮撮像画像のうち少なくとも一方を半透明表示にしたうえで、当該両仮撮像画像を表示部上に表示させる。
本構成によれば、第1仮撮像画像及び第2仮撮像画像(調整用の両画像)のうち、少なくとも一方の仮撮像画像が半透明表示にされたうえで、両画像がディスプレイ上に表示されるので、ユーザは両画像の位置ずれを容易に視認することができる。さらに、調整用の両画像は視認されやすくなっているため、ユーザは、第1仮撮像画像(調整用の一方の画像)の表示位置を変更して第2仮撮像画像(調整用の他方の画像)の表示位置に直感的に容易に合わせる(調整する)ことができる。
仮撮像画像表示手段による仮撮像画像の表示は以下のように行われてもよい。すなわち、仮撮像画像表示手段は、第1仮撮像画像及び第2仮撮像画像を、表示部上に平面視表示させる。
本構成によれば、第1仮撮像画像及び第2仮撮像画像(調整用の両画像)は、ディスプレイ上に平面視表示される(すなわち、両画像がユーザの右目にも左目にも視認されるように表示される)ので、ユーザは調整用の両画像の位置ずれを視認しやすくなり、両画像の調整が容易になる。
記憶部には、第1画像及び第2画像の表示部上の予め設定された初期表示位置を規定する初期パラメータが予め格納されてもよい。この場合、記憶制御手段は、入力受付手段が初期化入力を受け付けたときに、初期パラメータを表示パラメータとして更新して記憶部に記憶させる。
本構成によれば、ユーザが初期化の指示(ステレオ画像の表示位置を初期設定に戻す指示)を行うことによって、表示パラメータの値は初期パラメータの値に変更される。このことにより、ユーザがステレオ画像の表示位置を変更(調整)していた場合であっても、いつでも初期設定の表示位置に戻すことが可能となる。
表示位置変更手段による表示位置の変更は以下のように行われてもよい。すなわち、表示位置変更手段は、所定の入力に基づいて、第1仮撮像画像及び第2仮撮像画像の少なくとも一方の表示位置を左右方向及び上下方向に変更させる。
本構成は、第1仮撮像画像及び第2仮撮像画像(調整用の両画像)が平面視で表示される場合に、より効果的である。一般に、立体視可能な画像は視差を持った画像であるため、調整用の両画像が平面視で表示されると、両画像は左右方向(後述する図1,図5等で示すx軸方向)にずれて表示される。このため、ステレオカメラの光学的位置に起因するずれが、両画像の上下方向(後述する図1,図5等で示すy軸方向)のずれのみであっても、両画像は左右方向にもずれて表示される。また、この左右方向のずれの大きさは、撮像された被写体とステレオカメラの距離に依って異なる。そのため、ユーザは両画像の上下方向のずれをなくす調整を行おうとしても調整しづらいことがある。しかし、本構成によれば、調整用の両画像の少なくとも一方は左右方向にも移動可能となるので、ユーザは、被写体とステレオカメラとの距離を考慮する必要がなく、上下左右方向に調整用の画像の少なくとも一方を移動させて両画像を略重ね合わせることができる。この結果として、ユーザは、調整用の両画像の上下方向の表示位置を合わせる(調整する)ことができる。
以上では、情報処理プログラムとして本発明を構成する場合について記載した。しかし、本発明は、撮像装置、撮像システム、又は撮像方法として構成されてもよい。更には、本発明は、上記情報処理プログラムを記録したコンピュータで読み取り可能な記録媒体として構成されてもよい。
本発明によれば、使用時の外からの衝撃や経年変化等によって撮像部の光学的位置がずれた場合であっても、ユーザが自身でステレオ画像を構成する2つの画像の表示位置を簡単に調整できる情報処理プログラム等を提供することができる。
開状態におけるゲーム装置10の正面図 閉状態におけるゲーム装置10の左側面図、正面図、右側面図及び背面図 ゲーム装置10の内部構成を示すブロック図 ステレオカメラが被写体50を撮像する一例を示す図 調整画像が表示される一例を示す図 立体視の一例を説明するための図 ステレオカメラの光学的位置ずれの一例を示す図 調整画像の表示位置のずれの一例を示す図 調整画像の表示位置を移動させるときの一例を示す図 調整画像の表示位置を移動させるときの一例を示す図 ゲーム装置10のメインメモリ32のメモリマップの一例を示す図 表示調整処理のフローチャートの一例 表示調整処理のフローチャートの一例 調整画像の表示位置のずれの一例を示す図 調整画像の表示位置のずれの一例を示す図
(一実施形態)
以下、本発明の一実施形態に係る撮像装置であるゲーム装置について説明する。なお、本発明は、このような装置に限定されるものではなく、このような装置の機能を実現する撮像システムであってもよく、このような装置における撮像方法であってもよく、このような装置において実行される情報処理プログラムであってもよい。更には、本発明は、この情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
(ゲーム装置の外観構成)
以下、本発明の一実施形態に係るゲーム装置について説明する。図1及び図2は、ゲーム装置10の外観を示す平面図である。ゲーム装置10は携帯型のゲーム装置であり、図1及び図2に示すように折り畳み可能に構成されている。図1は、開いた状態(開状態)におけるゲーム装置10を示し、図2は、閉じた状態(閉状態)におけるゲーム装置10を示している。図1は、開状態におけるゲーム装置10の正面図である。ゲーム装置10は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置10は、交換可能なメモリカード内に記憶され、又は、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
まず、図1及び図2を参照して、ゲーム装置10の外観構成について説明する。図1及び図2に示されるように、ゲーム装置10は、下側ハウジング11及び上側ハウジング21を有する。下側ハウジング11と上側ハウジング21とは、開閉可能(折り畳み可能)に接続されている。
(下側ハウジングの説明)
まず、下側ハウジング11の構成について説明する。図1及び図2に示すように、下側ハウジング11には、下側LCD(Liquid Crystal Display:液晶表示装置)12、タッチパネル13、各操作ボタン14A〜14L、アナログスティック15、LED16A〜16B、挿入口17、及び、マイクロフォン用孔18が設けられる。以下、これらの詳細について説明する。
図1に示すように、下側LCD12は下側ハウジング11に収納される。下側LCD12の画素数は、例えば、320dot×240dot(横×縦)であってもよい。下側LCD12は、後述する上側LCD22とは異なり、画像を(立体視可能ではなく)平面的に表示する表示装置である。なお、本実施形態では表示装置としてLCDを用いているが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側LCD12として、任意の解像度の表示装置を利用することができる。
図1に示されるように、ゲーム装置10は、入力装置として、タッチパネル13を備えている。タッチパネル13は、下側LCD12の画面上に装着されている。なお、本実施形態では、タッチパネル13は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。本実施形態では、タッチパネル13として、下側LCD12の解像度と同解像度(検出精度)のものを利用する。ただし、必ずしもタッチパネル13の解像度と下側LCD12の解像度が一致している必要はない。また、下側ハウジング11の上側面には挿入口17(図1及び図2(d)に示す点線)が設けられている。挿入口17は、タッチパネル13に対する操作を行うために用いられるタッチペン28を収納することができる。なお、タッチパネル13に対する入力は通常タッチペン28を用いて行われるが、タッチペン28に限らずユーザの指でタッチパネル13に対する入力をすることも可能である。
各操作ボタン14A〜14Lは、所定の入力を行うための入力装置である。図1に示されるように、下側ハウジング11の内側面(主面)には、各操作ボタン14A〜14Lのうち、十字ボタン14A(方向入力ボタン14A)、ボタン14B、ボタン14C、ボタン14D、ボタン14E、電源ボタン14F、セレクトボタン14J、HOMEボタン14K、及びスタートボタン14Lが、設けられる。十字ボタン14Aは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。ボタン14A〜14E、セレクトボタン14J、HOMEボタン14K、及びスタートボタン14Lには、ゲーム装置10が実行するプログラムに応じた機能が適宜割り当てられる。
アナログスティック15は、方向を指示するデバイスである。アナログスティック15は、そのキートップが、下側ハウジング11の内側面に平行にスライドするように構成されている。アナログスティック15は、ゲーム装置10が実行するプログラムに応じて機能する。なお、アナログスティック15として、上下左右及び斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。
また、下側ハウジング11の内側面には、マイクロフォン用孔18が設けられる。マイクロフォン用孔18の下部には後述する音声入力装置としてのマイク42(図3参照)が設けられ、当該マイク42がゲーム装置10の外部の音を検出する。
図2(a)は閉状態におけるゲーム装置10の左側面図であり、図2(b)は閉状態におけるゲーム装置10の正面図であり、図2(c)は閉状態におけるゲーム装置10の右側面図であり、図2(d)は閉状態におけるゲーム装置10の背面図である。図2(b)及び(d)に示されるように、下側ハウジング11の上側面には、Lボタン14G及びRボタン14Hが設けられている。Lボタン14G及びRボタン14Hは、例えば、撮像部のシャッターボタン(撮影指示ボタン)として機能することができる。また、図2(a)に示されるように、下側ハウジング11の左側面には、音量ボタン14Iが設けられる。音量ボタン14Iは、ゲーム装置10が備えるスピーカの音量を調整するために用いられる。
図2(a)に示されるように、下側ハウジング11の左側面には開閉可能なカバー部11Cが設けられる。このカバー部11Cの内側には、ゲーム装置10とデータ保存用外部メモリ45とを電気的に接続するためのコネクタ(図示せず)が設けられる。データ保存用外部メモリ45は、コネクタに着脱自在に装着される。データ保存用外部メモリ45は、例えば、ゲーム装置10によって撮像された画像のデータを記憶(保存)するために用いられる。
また、図2(d)に示されるように、下側ハウジング11の上側面には、ゲーム装置10とゲームプログラムを記録した外部メモリ44を挿入するための挿入口11Dが設けられ、その挿入口11Dの内部には、外部メモリ44と電気的に着脱自在に接続するためのコネクタ(図示せず)が設けられる。当該外部メモリ44がゲーム装置10に接続されることにより、所定のゲームプログラムが実行される。
また、図1及び図2(c)に示されるように、下側ハウジング11の下側面にはゲーム装置10の電源のON/OFF状況をユーザに通知する第1LED16A、下側ハウジング11の右側面にはゲーム装置10の無線通信の確立状況をユーザに通知する第2LED16Bが設けられる。ゲーム装置10は他の機器との間で無線通信を行うことが可能であり、第2LED16Bは、無線通信が確立している場合に点灯する。ゲーム装置10は、例えば、IEEE802.11b/gの規格に準拠した方式により、無線LANに接続する機能を有する。下側ハウジング11の右側面には、この無線通信の機能を有効/無効にする無線スイッチ19が設けられる(図2(c)参照)。
なお、図示は省略するが、下側ハウジング11には、ゲーム装置10の電源となる充電式電池が収納され、下側ハウジング11の側面(例えば、上側面)に設けられた端子を介して当該電池を充電することができる。
(上側ハウジングの説明)
次に、上側ハウジング21の構成について説明する。図1及び図2に示すように、上側ハウジング21には、上側LCD(Liquid Crystal Display:液晶表示装置)22、外側撮像部23(外側撮像部(左)23a及び外側撮像部(右)23b)、内側撮像部24、3D調整スイッチ25、及び、3Dインジケータ26が設けられる。以下、これらの詳細について説明する。
図1に示すように、上側LCD22は上側ハウジング21に収納される。上側LCD22の画素数は、例えば、800dot×240dot(横×縦)であってもよい。なお、本実施形態では上側LCD22は液晶表示装置であるとしたが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置などが利用されてもよい。また、上側LCD22として、任意の解像度の表示装置を利用することができる。
上側LCD22は、立体視可能な画像(立体視画像)を表示することが可能な表示装置である。また、本実施形態では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。具体的には、左目用画像と右目用画像が所定単位で(例えば、1列ずつ)横方向に交互に表示される方式の表示装置である。又は、左目用画像と右目用画像とが時分割で交互に表示される方式の表示装置であってもよい。また、本実施形態では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左目用画像と右目用画像とを左目及び右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式(視差バリア方式)のものが用いられる。本実施形態では、上側LCD22はパララックスバリア方式のものとする。上側LCD22は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像(立体視画像)を表示する。すなわち、上側LCD22は、視差バリアを用いてユーザの左目に左目用画像を、ユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体視画像(立体視可能な画像)を表示することができる。また、上側LCD22は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる(上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである)。このように、上側LCD22は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する(平面視表示する)平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切り替えは、後述する3D調整スイッチ25によって行われる。
外側撮像部23は、上側ハウジング21の外側面(上側LCD22が設けられた主面と反対側の背面)21Dに設けられた2つの撮像部(23aおよび23b)の総称である。本実施形態では、外側撮像部23は、外側撮像部(左)23aおよび外側撮像部(右)23bの2つの撮像部で構成される。外側撮像部(左)23aと外側撮像部(右)23bの撮像方向は、いずれも当該外側面21Dの外向きの法線方向(図1に示すz軸正方向)である。すなわち、外側撮像部(左)23aの撮像方向および外側撮像部(右)23bの撮像方向は、平行である。外側撮像部(左)23aと外側撮像部(右)23bとは、ゲーム装置10が実行するプログラムによって、ステレオカメラとして使用することが可能である。また、プログラムによっては、2つの外側撮像部(23aおよび23b)のいずれか一方を単独で用いて、外側撮像部23を非ステレオカメラとして使用することも可能である。また、プログラムによっては、2つの外側撮像部(23aおよび23b)で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。外側撮像部(左)23aおよび外側撮像部(右)23bは、それぞれ所定の共通の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
図1の破線および図2(b)の実線で示されるように、外側撮像部23を構成する外側撮像部(左)23aおよび外側撮像部(右)23bは、上側LCD22の画面の横方向(図1に示すx軸方向)と平行に並べられて配置される。すなわち、2つの撮像部を結んだ直線が上側LCD22の画面の横方向と平行になるように、外側撮像部(左)23aおよび外側撮像部(右)23bが配置される。図1の破線で示す23aおよび23bは、上側ハウジング21の内側面とは反対側の外側面に存在する外側撮像部(左)23aおよび外側撮像部(右)23bをそれぞれ表している。図1に示すように、ユーザが上側LCD22の画面を正面から視認した場合に、外側撮像部(左)23aは左側に外側撮像部(右)23bは右側にそれぞれ位置している。外側撮像部23をステレオカメラとして機能させるプログラムが実行されている場合、外側撮像部(左)23aは、ユーザの左目で視認される左目用画像を撮像し、外側撮像部(右)23bは、ユーザの右目で視認される右目用画像を撮像する。外側撮像部(左)23aおよび外側撮像部(右)23bの間隔は、人間の両目の間隔程度に設定され、例えば、30mm〜70mmの範囲で設定されてもよい。なお、外側撮像部(左)23aおよび外側撮像部(右)23bの間隔は、この範囲に限らない。
なお、本実施例においては、外側撮像部(左)23aおよび外側撮像部(右)23はハウジングに固定されており、撮像方向を変更することはできない。
また、外側撮像部(左)23aおよび外側撮像部(右)23bは、上側LCD22(上側ハウジング21)の左右方向(図1に示すx軸方向)に関して中央から対称となる位置にそれぞれ配置される。すなわち、外側撮像部(左)23aおよび外側撮像部(右)23bは、上側LCD22を左右に2等分する線に対して対称の位置にそれぞれ配置される。また、外側撮像部(左)23aおよび外側撮像部(右)23bは、上側ハウジング21を開いた状態において、上側ハウジング21の上部であって、上側LCD22の画面の上端よりも上方の位置の裏側に配置される。すなわち、外側撮像部(左)23aおよび外側撮像部(右)23bは、上側ハウジング21の外側面であって、上側LCD22を外側面に投影した場合、投影した上側LCD22の画面の上端よりも上方に配置される。
このように、外側撮像部23の2つの撮像部(23aおよび23b)が、上側LCD22の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側LCD22を正視した場合に、外側撮像部23の撮像方向をユーザの視線方向と一致させることができる。また、外側撮像部23は、上側LCD22の画面の上端より上方の裏側の位置に配置されるため、外側撮像部23と上側LCD22とが上側ハウジング21の内部で干渉することがない。従って、外側撮像部23を上側LCD22の画面の裏側に配置する場合と比べて、上側ハウジング21を薄く構成することが可能となる。
内側撮像部24は、上側ハウジング21の内側面(主面)21Bに設けられ、当該内側面の内向きの法線方向(図1に示すz軸負方向)を撮像方向とする撮像部である。内側撮像部24は、所定の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
3D調整スイッチ25は、スライドスイッチであり、上述のように上側LCD22の表示モードを切り替えるために用いられるスイッチである。また、3D調整スイッチ25は、上側LCD22に表示された立体視可能な画像(立体視画像)の立体感を調整するために用いられる。3D調整スイッチ25のスライダ25aは、所定方向(上下方向)の任意の位置にスライド可能であり、当該スライダ25aの位置に応じて上側LCD22の表示モードが設定される。また、スライダ25aの位置に応じて、立体視画像の見え方が調整される。
3Dインジケータ26は、上側LCD22が立体表示モードか否かを示す。3Dインジケータ26は、LEDであり、上側LCD22の立体表示モードが有効の場合に点灯する。なお、3Dインジケータ26は、上側LCD22が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているときに限り、点灯するようにしてもよい。
また、上側ハウジング21の内側面には、スピーカ孔21Eが設けられる。後述するスピーカ43からの音声がこのスピーカ孔21Eから出力される。
(ゲーム装置10の内部構成)
次に、図3を参照して、ゲーム装置10の内部の電気的構成について説明する。図3は、ゲーム装置10の内部構成を示すブロック図である。図3に示すように、ゲーム装置10は、上述した各部に加えて、情報処理部31、メインメモリ32、外部メモリインターフェイス(外部メモリI/F)33、データ保存用外部メモリI/F34、データ保存用内部メモリ35、無線通信モジュール36、ローカル通信モジュール37、リアルタイムクロック(RTC)38、加速度センサ39、電源回路40、及びインターフェイス回路(I/F回路)41等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング11(又は上側ハウジング21でもよい)内に収納される。
情報処理部31は、所定のプログラムを実行するためのCPU(Central Processing Unit)311、画像処理を行うGPU(Graphics Processing Unit)312等を含む情報処理手段である。情報処理部31のCPU311は、ゲーム装置10内のメモリ(例えば外部メモリI/F33に接続された外部メモリ44やデータ保存用内部メモリ35)に記憶されているプログラムを実行することによって、当該プログラムに応じた処理を実行する。なお、情報処理部31のCPU311によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部31は、VRAM(Video RAM)313を含む。情報処理部31のGPU312は、情報処理部31のCPU311からの命令に応じて画像を生成し、VRAM313に描画する。そして、情報処理部31のGPU312は、VRAM313に描画された画像を上側LCD22及び/又は下側LCD12に出力し、上側LCD22及び/又は下側LCD12に当該画像が表示される。
情報処理部31には、メインメモリ32、外部メモリI/F33、データ保存用外部メモリI/F34、及び、データ保存用内部メモリ35が接続される。外部メモリI/F33は、外部メモリ44を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリI/F34は、データ保存用外部メモリ45を着脱自在に接続するためのインターフェイスである。
メインメモリ32は、情報処理部31(のCPU311)のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ32は、上記プログラムに基づく処理に用いられる各種データを一時的に記憶したり、外部(外部メモリ44や他の機器等)から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ32として例えばPSRAM(Pseudo−SRAM)を用いる。
外部メモリ44は、情報処理部31によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリ44は、例えば読み取り専用の半導体メモリで構成される。外部メモリ44が外部メモリI/F33に接続されると、情報処理部31は外部メモリ44に記憶されたプログラムを読み込むことができる。情報処理部31が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ45は、不揮発性の読み書き可能なメモリ(例えばNAND型フラッシュメモリ)で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ45には、外側撮像部23で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリ45がデータ保存用外部メモリI/F34に接続されると、情報処理部31はデータ保存用外部メモリ45に記憶された画像を読み込み、上側LCD22及び/又は下側LCD12に当該画像を表示することができる。
データ保存用内部メモリ35は、読み書き可能な不揮発性メモリ(例えばNAND型フラッシュメモリ)で構成され、所定のデータやプログラムを格納するために用いられる。例えば、データ保存用内部メモリ35には、外側撮像部23をステレオカメラとして機能させる際に左目用画像と右目用画像の表示位置を調整するための後述する初期パラメータや表示調整パラメータが格納される。
無線通信モジュール36は、例えばIEEE802.11b/gの規格に準拠した方式により、無線LANに接続する機能を有する。また、ローカル通信モジュール37は、所定の通信方式(例えば独自プロトコルによる通信や、赤外線通信)により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール36及びローカル通信モジュール37は情報処理部31に接続される。情報処理部31は、無線通信モジュール36を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール37を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
また、情報処理部31には、加速度センサ39が接続される。加速度センサ39は、3軸(xyz軸)方向に沿った直線方向の加速度(直線加速度)の大きさを検出する。加速度センサ39は、下側ハウジング11の内部に設けられる。加速度センサ39は、図1に示すように、下側ハウジング11の長辺方向をx軸、下側ハウジング11の短辺方向をy軸、下側ハウジング11の内側面(主面)に対して垂直な方向をz軸として、各軸の直線加速度の大きさを検出する。なお、加速度センサ39は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ39は1軸又は2軸方向を検出する加速度センサであってもよい。情報処理部31は、加速度センサ39が検出した加速度を示すデータ(加速度データ)を受信して、ゲーム装置10の姿勢や動きを検出することができる。なお、情報処理部31には、上記した加速度センサ39に加えて(又はその代わりに)角度センサや角速度センサ等の他のセンサが接続され、このセンサによってゲーム装置10の姿勢や動きを検出してもよい。
また、情報処理部31には、RTC38及び電源回路40が接続される。RTC38は、時間をカウントして情報処理部31に出力する。情報処理部31は、RTC38によって計時された時間に基づき現在時刻(日付)を計算する。電源回路40は、ゲーム装置10が有する電源(下側ハウジング11に収納される上記充電式電池)からの電力を制御し、ゲーム装置10の各部品に電力を供給する。
また、情報処理部31には、LED16(16A、16B)が接続される。情報処理部31は、LED16を用いて、ゲーム装置10の電源のON/OFF状況をユーザに通知し、又、ゲーム装置10の無線通信の確立状況をユーザに通知する。
また、情報処理部31には、I/F回路41が接続される。I/F回路41には、マイク42及びスピーカ43が接続される。具体的には、I/F回路41には、図示しないアンプを介してスピーカ43が接続される。マイク42は、ユーザの音声を検知して音声信号をI/F回路41に出力する。アンプは、I/F回路41からの音声信号を増幅し、音声をスピーカ43から出力させる。また、タッチパネル13はI/F回路41に接続される。I/F回路41は、マイク42及びスピーカ43(アンプ)の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。音声制御回路は、音声信号に対するA/D変換及びD/A変換を行ったり、音声信号を所定の形式の音声データに変換したりする。タッチパネル制御回路は、タッチパネル13からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部31に出力する。タッチ位置データは、タッチパネル13の入力面において入力が行われた位置の座標を示す。なお、タッチパネル制御回路は、タッチパネル13からの信号の読み込み、及び、タッチ位置データの生成を所定時間に1回の割合で行う。情報処理部31は、タッチ位置データを取得することにより、タッチパネル13に対して入力が行われた位置を知ることができる。
操作ボタン14は、上記各操作ボタン14A〜14Lからなり、情報処理部31に接続される。操作ボタン14から情報処理部31へは、各操作ボタン14A〜14Iに対する入力状況(押下されたか否か)を示す操作データが出力される。情報処理部31は、操作ボタン14から操作データを取得することによって、操作ボタン14に対する入力に従った処理を実行する。
アナログスティック15は情報処理部31に接続される。アナログスティック15から情報処理部31へは、アナログスティック15に対するアナログ入力(操作方向及び操作量)を示す操作データが出力される。情報処理部31は、アナログスティック15から操作データを取得することによって、アナログスティック15に対する入力に従った処理を実行する。
下側LCD12及び上側LCD22は情報処理部31に接続される。下側LCD12及び上側LCD22は、情報処理部31(のGPU312)の指示に従って画像を表示する。本実施形態では、情報処理部31は、上側LCD22に立体視画像(立体視可能な画像)を表示させる。
具体的には、情報処理部31は、上側LCD22のLCDコントローラ(図示せず)と接続され、当該LCDコントローラに対して視差バリアのON/OFF(有効/無効)を制御する。上側LCD22の視差バリアがONになっている場合、情報処理部31のVRAM313に格納された右目用画像と左目用画像とが、上側LCD22に出力される。より具体的には、LCDコントローラは、右目用画像について縦方向に1ライン分の画素データを読み出す処理と、左目用画像について縦方向に1ライン分の画素データを読み出す処理とを交互に繰り返すことによって、VRAM313から右目用画像と左目用画像とを読み出す。これにより、右目用画像及び左目用画像が、画素を縦に1ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側LCD22の画面に表示される。そして、上側LCD22の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。以上により、上側LCD22の画面には立体視可能な画像が表示される。
外側撮像部23及び内側撮像部24は、情報処理部31に接続される。外側撮像部23及び内側撮像部24は、情報処理部31の指示に従って画像を撮像し、撮像した画像データを情報処理部31に出力する。
3D調整スイッチ25は、情報処理部31に接続される。3D調整スイッチ25は、スライダ25aの位置に応じた電気信号を情報処理部31に送信する。
また、3Dインジケータ26は、情報処理部31に接続される。情報処理部31は、3Dインジケータ26の点灯を制御する。例えば、情報処理部31は、上側LCD22が立体表示モードである場合、3Dインジケータ26を点灯させる。以上がゲーム装置10の内部構成の説明である。
(ステレオカメラによる調整画像の撮像)
次に、図4及び図5を参照して、ステレオカメラとして機能する外側撮像部23による調整画像の撮像について説明する。ここで、調整画像は、任意の被写体(例えば被写体50)の画像を含み、後述する調整機構によってその表示位置が調整される画像である。なお、以下の説明において、外側撮像部(左)23aを左ステレオカメラ23a(本発明の第1撮像部の一例)、外側撮像部(右)23bを右ステレオカメラ23b(本発明の第2撮像部の一例)ということがある。図4は、左ステレオカメラ23a及び右ステレオカメラ23bが被写体50を撮像する様子を示す図であり、図5は、両ステレオカメラによって撮像された調整画像(被写体50の画像を含む左目用調整画像50a(本発明の第1仮撮像画像の一例)と右目用調整画像50b(本発明の第2仮撮像画像の一例))が上側LCD22の表示画面に重ねて表示される様子を示す図である。
図4に示すように、左ステレオカメラ23a、右ステレオカメラ23b、被写体50が、図1に示した3次元直交座標空間(xyz座標空間)と同じ3次元空間に配置されている。より具体的には、左ステレオカメラ23aと右ステレオカメラ23bは、両ステレオカメラの中心を結ぶ線分の中点が原点となるようにx軸上に配置されている。また、両ステレオカメラの撮像方向60a,60b(光軸方向)と平行な方向にz軸が定義されており、x軸とz軸の両軸に直交する上向き方向にy軸が定義されている。そして、被写体50は両ステレオカメラの撮像方向に平行なz軸上に配置されている。左ステレオカメラ23aは被写体50を撮像して左目用調整画像50aを生成し、右ステレオカメラ23bは被写体50を撮像して右目用調整画像50bを生成する。このとき、被写体50の画像を含む左目用調整画像50aと右目用調整画像50bとを同時にxy平面上に配置された所定のディスプレイ面(上側LCD22上の表示画面)に表示すると、両画像における被写体50の表示位置は、x軸方向に所定の量だけずれて表示される(図5参照)。このずれの量が視差であり、視差バリアをONにすることによって、左目用調整画像50aをユーザの左目に表示し(視認させ)、右目用調整画像50bをユーザの右目に表示する(視認させる)ことによって、被写体50が立体感をもった立体視画像として視認される(すなわち、手前に飛び出した画像や奥側に引っ込んだ画像として認識される)。
より具体的には、図5に示すように、上側LCD22に表示される調整画像は、左目用調整画像50a(における被写体50の表示位置)が、右目用調整画像50b(における被写体50の表示位置)に対して相対的に右方向(x軸正方向)にずれている。この場合、ユーザは、両画像を交差視によって視認することにより、被写体50が所定のディスプレイ面よりも手前側に飛び出したように認識する(図6参照)。なお、左目用調整画像50a(における被写体50の表示位置)が右目用調整画像50b(における被写体50の表示位置)に対して相対的に左方向(x軸負方向)にずれている場合には、ユーザは、両画像を平行視によって視認することにより、被写体50が所定のディスプレイ面よりも奥側に引っ込んでいるように認識し、左目用調整画像50aと右目用調整画像50b(における被写体50の表示位置)が一致している場合には、ユーザは、被写体50が所定のディスプレイ面上に位置しているように認識する(図示せず)。このように、x軸方向(左右方向)に所定の間隔を隔てた右目と左目(図6参照)に対して、同じくx軸方向(左右方向)に所定の視差量だけずれた右目用調整画像50bと、左目用調整画像50aを視認させることによって、ユーザは、両画像を脳内で合成して立体視画像として認識することができる。すなわち、x軸方向の両画像のずれ(すなわち、視差)は、立体視画像を生成するうえで大きな意味をもつ。ところで、この視差は個々人によって異なるため、3D調整スイッチ25によってその視差(立体感)は調整可能となっている。一方で、所定のディスプレイ面(上側LCD22の表示画面)においてy軸方向(上下方向)にずれた両画像がユーザのそれぞれの目に視認された場合には、ユーザは脳内で適切に立体視画像として合成することが難しくなり、2つのずれた画像として認識してしまうことがある。これは、人間の左右の目は上下の視認方向が同一であるためと考えられる。すなわち、y軸方向の両画像のずれは、立体視画像を表示するうえで問題となることがある。以下に、このy軸方向(上下方向)の両画像のずれが生じる原因について説明する。
一般に、左ステレオカメラ23aと右ステレオカメラ23bの取り付け位置や光軸といった光学的位置は正確に揃っていることが望ましい。しかしながら、この光学的位置は販売時に所定の誤差内に抑えられていたとしても、使用時の外からの衝撃や経年変化等によって所定の誤差を超えてずれることがある。このずれには、例えば、x軸、y軸、z軸に平行な並進ずれΔx、Δy、Δzや、x軸方向、y軸方向、z軸方向の周りの回転ずれΔa、Δb、Δc、或いは、レンズの画角の相違によるずれがある(図4参照)。
ここで、例えば、左ステレオカメラ23aを基準として、右ステレオカメラ23b(の光学的位置)が左ステレオカメラ23aに対して相対的にずれた場合にディスプレイ面上に表示される両画像のずれについて考察する。右ステレオカメラ23bがx軸方向にΔxだけ並進ずれを起こした場合、及びy軸方向の周りにΔbだけ回転ずれを起こした場合、右目用調整画像50bはx軸方向にずれを起こす。右ステレオカメラ23bがy軸方向にΔyだけ並進ずれを起こした場合、及びx軸方向の周りにΔaだけ回転ずれを起こした場合、右目用調整画像50bはy軸方向にずれを起こす。右ステレオカメラ23bがz軸方向にΔzだけ並進ずれを起こした場合、或いはレンズの焦点距離がずれることによって画角がずれた場合、右目用調整画像50bはディスプレイ面に表示される大きさにずれ(拡大又は縮小)を起こす。また、右ステレオカメラ23bがz軸方向の周りにΔcだけ回転ずれを起こした場合には、右目用調整画像50bはディスプレイ面において回転ずれを起こす。
上述したように、立体視画像を認識するうえでは、y軸方向(ユーザから見て上下方向)に両画像のずれがあると、ユーザが脳内で両画像を合成して立体視画像として認識しようとする際に、2つのずれた画像として認識してしまい、立体視が困難になってしまう恐れがある。そこで、両ステレオカメラの光学的位置にずれが生じた場合には、y軸方向のずれをなくすための調整(補正)が重要になる。ところが、y軸方向のずれだけでなく他のずれも補正する従来の技術では、その補正のために調整用のパターン画像等を用意する必要があり、製造元が調整を行うことはできても、ユーザ自身が調整を行うことは難しかった。以下に、本実施形態で特徴的なユーザ自身が調整を行うことが可能な調整機構について説明する。
(本実施形態の特徴的な調整機構)
図7は、右ステレオカメラ23b(の光学的位置)が左ステレオカメラ23a(の光学的位置)に対して相対的にずれた様子を示しており、図7の(1)は、右ステレオカメラ23bがy軸正方向にΔyだけ並進ずれを起こした様子を示し、図7の(2)は、右ステレオカメラ23bがx軸正方向に向かって時計回りにΔaだけ回転ずれを起こした様子を示す。
図7の(1)に示すように、右ステレオカメラ23bが、左ステレオカメラ23aに対してy軸正方向にΔyだけ並進ずれを起こしている場合、右ステレオカメラ23bが生成する右目用調整画像50bは、左目用調整画像50aに対してy軸負方向(下方向)に所定の量だけずれて表示される(図8参照)。なお、この所定の量は、被写体50が位置するz座標(すなわち、ステレオカメラから被写体50までの奥行きの距離)と、Δyの大きさに応じて決定される量である。同様に、図7の(2)に示すように、右ステレオカメラ23bが、左ステレオカメラ23aに対してx軸正方向に向かって時計回りにΔaだけ回転ずれを起こしている場合も、右ステレオカメラ23bが生成する右目用調整画像50bは、左目用調整画像50aに対して所定の量だけy軸負方向(下方向)にずれて表示される(図8参照)。なお、この所定の量は、回転角Δaの大きさに応じて決定される量である。
このように、右目用調整画像50bが左目用調整画像50aに対してy軸負方向(下方向)にずれている場合、このまま立体視画像として、視差バリアをONにして左目用調整画像50aを左目に、右目用調整画像50bを右目に視認させると、ユーザは2つのずれた画像として認識してしまう。このため、購入後にずれが生じた両画像の表示位置のずれをなくす調整を行う必要がある。本実施形態ではユーザが、この調整を行うことができる。具体的には、ユーザがステレオカメラを用いて任意の被写体(被写体50)を撮像すると、左目用調整画像50aと右目用調整画像50bの両画像のうち一方(ここでは、右目用調整画像50bとする)が半透明表示され、視差バリアがOFFにされることによって、両画像がともにディスプレイ面上に静止画として平面視表示される。すなわち、ユーザは、両目で右目用調整画像50bと左目用調整画像50aを同時に静止画として視認することができ、この2つの静止画を後述するように上下左右方向に調整(移動)することで、表示位置のずれをなくす調整を行うことができる。なお、本実施形態においては、ユーザが調整しやすいように静止画として平面視表示しているが、本願発明は動画(いわゆるプレビュー画像)であっても適用可能である。ところで、両画像は、通常、視差を有する画像であるため、平面視表示された両画像は、x軸方向(左右方向)にずれた画像として視認される。ここで、左右方向のずれは視差を生じさせる(立体感をもたせる)ためのずれであるから、立体視した際の立体感に影響するが、多少のずれであれば立体視をすること自体には大きな影響はない。また、左右方向のずれは例えば、視差を調整する3D調整スイッチ25によって調整され得る。一方、y軸方向(上下方向)のずれがあると、右目と左目で異なる高さを視認しているような状態となり、立体視そのものに影響を及ぼす。したがって、ユーザは、y軸方向(上下方向)にずれた両画像のずれをなくす調整を行うことが重要となる。
ユーザは、半透明表示された右目用調整画像50bにおける被写体50のy軸方向(上下方向)の表示位置を、左目用調整画像50aにおける被写体50のy軸方向の表示位置に合わせるように、右目用調整画像50bを移動させることによってy軸方向のずれをなくす調整を行う。これは、両画像のy軸方向のずれを実際に視認しながら調整する処理であるため、ユーザにとっては直感的で容易な処理であり、簡単に調整を行うことができる。具体的には、画像のずれをなくす調整を行うモード(表示調整モード)になると、下側LCD12には表示調整用のディスプレイ画面が表示される。ユーザは、この画面においてタッチペン28で下側LCD12に表示された上下ボタン70をタッチすることによって、半透明画像である右目用調整画像50bを上下(y軸方向)に移動させることができる(図9参照)。ユーザは、上側LCD22に表示される両画像を見ながら、タッチペン28を操作することによって、左目用調整画像50aと右目用調整画像50bのy軸方向のずれをなくす調整を行う。この結果として、この調整結果(調整前の右目用調整画像50bと調整後の右目用調整画像50bのy軸方向の変位量)がメインメモリ32に記憶されて、その後、両ステレオカメラによって撮像されたステレオ画像(両画像)が立体視表示される際に、この調整結果に基づいてステレオ画像の表示位置(両画像のずれ)が補正される。このことにより、ユーザが2つのずれた画像として認識してしまうことのない適切な立体視表示が行われることになる。
ところで、前述したように、そもそも左目用調整画像50aと右目用調整画像50bの両画像は、立体視表示するために視差をもった画像であるため、x軸方向にずれた画像となる。この結果、ユーザは、両画像のy軸方向のずれをなくす調整を行おうとした場合に両画像における被写体50の表示位置を完全に一致させることはできないので、画像(被写体)によっては、正確にy軸方向のずれをなくす調整を行うことが難しい。このような場合には、半透明表示された右目用調整画像50bは、x軸方向(左右方向)にも移動可能にしてもよい。すなわち、図10に示すように、ユーザは下側LCD12に表示される左右ボタン71をタッチすることによって、半透明画像である右目用調整画像50bを左右方向(x軸方向)にも移動させることができる。このように、右目用調整画像50bをx軸方向とy軸方向の両方向に移動可能にすることによって、ユーザは、右目用調整画像50bと左目用調整画像50aにおける撮像対象(被写体50)の表示位置を略重ね合わせることができる。この結果として、右目用調整画像50bと左目用調整画像50aのy軸方向のずれがなくなるように正確に調整される。また、このことにより、被写体50はどのようなものであっても、両画像のy軸方向のずれをなくす調整が可能となるため、ユーザは任意の被写体を調整画像として撮像することができる。なお、この場合であっても、両画像の表示位置の補正は、この調整結果のうちy軸方向の調整結果(調整前の右目用調整画像50bと調整後の右目用調整画像50bのy軸方向の変位量)に基づいて行われる。
(情報処理の詳細)
次に、ステレオカメラによって撮像を行う処理(以下、ステレオカメラ撮像処理という)及び前述した調整機構によってステレオ画像の表示位置(両画像のずれ)の調整を行う処理(以下、表示調整処理という)が実行される際に行われる情報処理の詳細を説明する。まず、ステレオカメラ撮像処理及び表示調整処理の際にメインメモリ32に記憶されるデータについて説明する。
(メモリマップ)
図11は、ゲーム装置10のメインメモリ32のメモリマップの一例を示す図である。図11に示すように、メインメモリ32は、プログラム記憶領域400及びデータ記憶領域500を含む。プログラム記憶領域400及びデータ記憶領域500のデータの一部は、例えば外部メモリ44に記憶されており、ステレオカメラ撮像処理や表示調整処理の実行時にはメインメモリ32に読み込まれて記憶される。
プログラム記憶領域400には、後述する図12に示すフローチャートの処理を実行する撮像処理プログラム401や描画処理プログラム402等のプログラムが記憶される。
データ記憶領域500には、操作データ501、ステレオカメラデータ502、上下変位データ503、初期パラメータデータ504、表示パラメータデータ505、表示調整パラメータデータ506等が記憶される。
操作データ501は、各操作ボタン14A〜E、G〜H、アナログスティック15、3D調整スイッチ25、及びタッチパネル13に対して行われたユーザの操作を示すデータである。この操作データ501には、ユーザが半透明表示された右目用画像を移動させる操作を示すデータや、3D調整スイッチ25におけるスライダ25aの位置を示すデータ等が含まれる。
ステレオカメラデータ502は、図4を参照して説明した各ステレオカメラのデータ、すなわち、左ステレオカメラデータ502a及び右ステレオカメラデータ502b等を含む。
左ステレオカメラデータ502aは、ユーザの左目に見せるための左目用画像を撮像する左ステレオカメラ23aに関するデータであり、上側ハウジング21に対する左ステレオカメラ23aの位置、撮像方向、及び撮像画角、撮像画像等を示すデータである。なお、左ステレオカメラ23aが撮像する撮像画像のデータは、1フレーム(例えば1/60秒)毎に繰り返し更新される。
右ステレオカメラデータ502bは、ユーザの右目に見せるための右目用画像を撮像する右ステレオカメラ23bに関するデータであり、上側ハウジング21に対する右ステレオカメラ23bの位置、撮像方向、及び撮像画角、撮像画像等を示すデータである。なお、右ステレオカメラ23bが撮像する撮像画像のデータは、1フレーム(例えば1/60秒)毎に繰り返し更新される。
上下変位データ503は、ユーザが調整用に半透明表示された右目用調整画像50bを移動させたことを示す操作データ501に基づいて、右目用調整画像50bが上下方向(y軸方向)にどれだけ変位したか(変位量)を示すデータである。
初期パラメータデータ504は、両ステレオカメラによって撮像されたステレオ画像(両画像)の初期表示位置を設定するための初期パラメータを示すデータである。この初期パラメータは、出荷時のステレオカメラの光学的位置に応じて決定され、この初期パラメータに基づいて出荷時の状態に対応したステレオ画像の表示位置が決定される。なお、この初期パラメータは、例えば、工場で既知の調整用のパターン画像等を用いて算出される。また、初期パラメータは、データ保存用内部メモリ35に記憶されており、ゲーム装置10の電源が投入されると、データ保存用内部メモリ35のデータがメインメモリ32に読み込まれ、データ保存用内部メモリ35に記憶されている初期パラメータが、初期パラメータデータ504として格納される。
表示パラメータデータ505は、ステレオ画像の表示位置を決定するパラメータを示すデータである。ゲーム装置10の電源が投入されると、データ保存用内部メモリ35のデータがメインメモリ32に読み込まれ、データ保存用内部メモリ35に後述する表示調整パラメータが記憶されている場合には、この表示調整パラメータが表示パラメータデータ505として格納される。一方、データ保存用内部メモリ35に表示調整パラメータが記憶されていない場合には、データ保存用内部メモリ35に記憶されている初期パラメータが、表示パラメータデータ505として格納される。
表示調整パラメータデータ506は、両ステレオカメラによって撮像されたステレオ画像の表示位置を調整するための表示調整パラメータを示すデータである。この表示調整パラメータは、前述した上下変位データ503に基づいて算出される。なお、ユーザによるステレオ画像の表示位置の調整が行われる(すなわち、表示調整パラメータが算出されて登録される)場合には、表示調整パラメータは、データ保存用内部メモリ35にも保存される。このことにより、ゲーム装置10の電源が投入されると、データ保存用内部メモリ35のデータがメインメモリ32に読み込まれ、データ保存用内部メモリ35に保存されている表示調整パラメータが、前述の表示パラメータデータ505として格納される。
(ステレオカメラ撮像処理)
次に、ゲーム装置10によって実行されるステレオカメラ撮像処理について簡単に説明する。ゲーム装置10の電源が投入されると、ゲーム装置10のCPU311は、データ保存用内部メモリ35等に記憶されている起動プログラムを実行し、これによってメインメモリ32等の各ユニットが初期化される。そして、外部メモリ44に記憶された撮像処理プログラム401やデータ保存用内部メモリ35に記憶されたデータ等がメインメモリ32に読み込まれ、CPU311によって撮像処理プログラム401が実行される。
ゲーム装置10が実行する処理には、ステレオカメラ撮像処理(ステレオカメラ撮像モード)と、表示調整処理(表示調整モード)があり、ステレオカメラ撮像モードが選択されると、CPU311の指示に基づいて、GPU312は、まず、表示パラメータデータ505を参照することによって表示パラメータを取得する。次に、GPU312は、ステレオカメラデータ502を参照することによって、左ステレオカメラ23aが撮像した左目用画像及び右ステレオカメラ23bが撮像した右目用画像を取得する。そして、GPU312は、取得した表示パラメータに基づいて、取得したステレオ画像(左目用画像と右目用画像)を視差バリアがONにされた上側LCD22の表示画面上に立体視表示させる。なお、立体視表示される際の立体感(立体具合)は、3D調整スイッチ25によって調整される。そして、シャッターボタン(Lボタン14G及びRボタン14H)が押下されると、CPU311は、立体視表示されたステレオ画像をデータ保存用内部メモリ35やデータ保存用外部メモリ45に記憶させる。
一方、表示調整モードが選択されると、CPU311又はCPU311の指示に基づいてGPU312は、上記した表示パラメータを変更する処理を行う。前述したように、ステレオカメラ撮像処理において、ステレオ画像は表示パラメータに基づいて上側LCD22の表示画面上に表示される。すなわち、表示パラメータによって左目用画像と右目用画像の表示位置が決定される。したがって、ステレオカメラの光学的位置がずれることによってずれを生じたステレオ画像の表示位置は、表示パラメータが修正(変更)されることによって補正される。以下に、この表示調整モードで実行される表示調整処理について図12及び図13を参照して詳しく説明する。
(表示調整処理)
図12及び図13は、CPU311又はCPU311の指示に基づいてGPU312が実行する表示調整処理のフローチャートの一例である。
まず、ステップS1において、CPU311は、操作データ501を参照して、ユーザからステレオ画像の表示調整を初期設定に戻すための所定の入力情報があったか否かを判定する。この判定の結果がYESの場合、処理はステップS21に移り、NOの場合、処理はステップS2に移る。
ステップS2において、GPU312は、CPU311の指示に基づいて、ステレオカメラデータ502を参照することによって、1フレーム(例えば1/60秒)毎に更新される左ステレオカメラ23aが撮像した左目用画像及び右ステレオカメラ23bが撮像した右目用画像を取得する。その後、処理はステップS3に移る。
ステップS3において、GPU312は、ステップS2において取得した左目用画像及び右目用画像のうち、一方の画像を上側LCD22の表示画面に表示(平面視表示)させる。このことにより、ユーザは、非ステレオカメラが撮像する光景を上側LCD22の表示画面上でリアルタイムに視認することができる。その後、処理はステップS4に移る。
ステップS4において、CPU311は、操作データ501を参照して、ユーザからシャッターボタン(Lボタン14G及びRボタン14H)が押下されたことを示す所定の入力情報があったか否かを判定する。この判定の結果がYESの場合、処理はステップS6に移り、NOの場合、処理はステップS2に戻る(すなわち、シャッターボタンが押下されたことを示す入力情報を受け付けるまでステップS2とS3の処理を繰り返す)。
ステップS5において、CPU311は、ステップS2で取得した左目用画像及び右目用画像のうち一方(ここでは右目用画像とする)をGPU312に半透明処理させたうえで両画像を調整画像として(すなわち、左目用画像を左目用調整画像50aとして、右目用画像を右目用調整画像50bとして)、データ記憶領域500に記憶(保存)する(ステレオカメラデータ502として記憶する)。具体的には、GPU312は、右目用調整画像50bの透過度の設定を変更し、右目用調整画像50bと左目用調整画像50aの両画像が重なっても、両画像の視認性が確保されるように右目用調整画像50bの透過度を設定する。その後、処理はステップS6に移る。
ステップS6において、GPU312は、ステレオカメラデータ502を参照して、ステップS5で保存した調整画像(左目用調整画像50a及び右目用調整画像50bの両画像)を平面視表示させる。具体的には、GPU312は、表示パラメータデータ505を参照することによって、ステレオ画像の表示位置を調整する表示パラメータを取得する。なお、前述したように、ユーザがステレオ画像の表示位置の調整を既に行っている場合には、表示パラメータの値は表示調整パラメータの値となり、そうでない場合には、表示パラメータの値は初期パラメータの値となる。そして、GPU312は、左目用調整画像50aと半透明処理された右目用調整画像50bを、取得した表示パラメータに基づいて、上側LCD22の表示画面上に平面視表示させる(CPU311によって視差バリアがOFFにされることによって、両画像がともに表示画面上に平面視表示される)。その後、処理はステップS7に移る。
ステップS7において、CPU311は、操作データ501を参照して、ユーザから半透明表示された右目用調整画像50bを移動させるための所定の入力情報があったか否かを判定する。具体的には、CPU311は、ユーザが下側LCD12に表示された上下ボタン70又は左右ボタン71(図9又は図10参照)をタッチペン28等によってタッチしたか否かを判定する。この判定の結果がYESの場合、処理はステップS8に移り、NOの場合、処理はステップS10(図13参照)に移る。
ステップS8において、CPU311は、操作データ501に基づいてGPU312に半透明表示された右目用調整画像50bの表示位置を移動させる。具体的には、CPU311の指示に基づいてGPU312は、例えば、ユーザが上下ボタン70の上ボタンをタッチしている場合には、右目用調整画像50bの表示位置を上方に移動させ、また、ユーザが左右ボタン71の左ボタンをタッチしている場合には、右目用調整画像50bの表示位置を左方に移動させる。図9に示すように、下側LCD12には、ユーザの上下ボタン70のタッチに応じて移動量が具体的に表示され(例えば15mm)、この移動量に基づいてGPU312は、右目用調整画像50bの表示位置を上方又は下方に移動させる。このため、ユーザは右目用調整画像50bの上下方向の移動を微調整しやすくなる。なお、本実施形態では、上下の移動量は下側LCD12に表示されるものとしたが、このような形態に限られるものではない。その後、処理はステップS9に移る。
ステップS9において、CPU311は、操作データ501に含まれるユーザからの右目用調整画像50bの移動指示データに基づいて、右目用調整画像50bの最新位置とステップS6で表示された右目用調整画像50bの表示位置との上下方向(y軸方向)のずれ(変位量)を上下変位データ503として更新(記憶)する。その後、処理はステップS10(図13参照)に移る。
ステップS10(図13参照)において、CPU311は、操作データ501を参照して、ユーザから立体視表示を指示する所定の入力があったか否かを判定する。具体的には、CPU311は、ユーザが下側LCD12に表示された3D表示ボタン72(図9又は図10参照)をタッチペン28等によってタッチしたか否かを判定する。この判定の結果がYESの場合、処理はステップS11に移り、NOの場合、処理はステップS16に移る。
ステップS11において、CPU311は、上下変位データ503に基づいて、表示調整パラメータを算出し、算出した表示調整パラメータを表示調整パラメータデータ506として更新(記憶)する。その後、処理はステップS12に移る。
ここで、CPU311が実行する表示調整パラメータの算出について説明する。前述したように、ステレオ画像の表示位置は、表示パラメータが修正(変更)されることによって補正される。また、表示パラメータとステレオ画像の表示位置との関係は周知の線形変換等によって与えられる。したがって、ステレオ画像の表示位置をどの程度変更するべきかが算出されれば、線形変換によって表示パラメータをどの程度変更するべきかが算出される。そこで、CPU311は、ステレオ画像の上下方向の表示位置をどの程度変更すべきかを、調整画像(における被写体50)の上下方向の表示位置を合わせるために右目用調整画像50bが上下方向に移動された上下変位量(上下変位データ503)によって算出する。そして、CPU311は、その結果に基づいて線形変換により、表示パラメータをどの程度変更するか(パラメータ変位量)を算出して、このパラメータ変位量に基づいて表示パラメータを修正するために表示調整パラメータを算出する。
ステップS12において、GPU312は、CPU311の指示に基づいて、ステレオカメラデータ502を参照することによって、1フレーム毎に更新される左ステレオカメラ23aが撮像した左目用画像及び右ステレオカメラ23bが撮像した右目用画像を取得する。その後、処理はステップS13に移る。
ステップS13において、GPU312は、ステップS12で取得した両画像を、表示調整パラメータに基づいてその表示位置を修正して立体視表示させる。具体的には、GPU312は、表示調整パラメータデータ506を参照することによって、ステレオ画像の表示位置を補正するための表示調整パラメータを取得する。そして、GPU312は、取得した表示調整パラメータに基づいて、上側LCD22の表示画面上に両画像を立体視表示させる。なお、この立体視表示は、CPU311が視差バリアをONにし、右目用画像をユーザの右目に視認させ、左目用画像をユーザの左目に視認させることにより実現される。このことにより、ユーザは、左ステレオカメラ23aと右ステレオカメラ23bが撮像する画像の表示位置が補正された場合に、両画像がどのように立体視表示されるかを実際に確かめることができ、当該補正で問題ないかを確認することができる。その後、処理はステップS14に移る。
ステップS14において、CPU311は、操作データ501を参照してユーザから立体視表示の終了を指示するための所定の入力情報があったか否かを判定する。この判定の結果がYESの場合、処理はステップS15に移り、NOの場合、処理はステップS12に戻る(すなわち、立体視表示の終了を指示する入力情報を受け付けるまでステップS12とS13の処理を繰り返す)。
ステップS15において、GPU312は、調整画像を再び平面視表示させる。具体的には、GPU312は、ステレオカメラデータ502として保存されている調整画像のデータ及び操作データ501に基づいて、ステップS7でGPU312によって移動された状態の当該調整画像を再び上側LCD22の表示画面上に平面視表示させる(すなわち、立体視表示に切り替えられる直前の表示位置で調整画像が再び平面視表示される)。その後、処理はステップS16に移る。
ステップS16において、CPU311は、操作データ501を参照して、ユーザから調整画像の調整(移動)の終了を指示するための所定の入力情報があったか否かを判定する。この判定の結果がYESの場合、処理はステップS17に移り、NOの場合、処理はステップS7(図12参照)に戻り、再び、ユーザから調整画像の移動指示を示す入力情報があったか否かを判定する。
ステップS17において、CPU311は、操作データ501を参照してユーザから表示調整モードの終了を指示するための所定の入力があったか否かを判定する。この判定の結果がYESの場合、処理はステップS18に移り、NOの場合、処理はステップS20に移る。
ステップS18において、CPU311は、上下変位データ503に基づいて、表示調整パラメータを算出する。なお、ステップS11において算出された表示調整パラメータにその後変更が無い場合には、ステップS18において算出される表示調整パラメータの値は、表示調整パラメータデータ506として記憶された表示調整パラメータの値に一致する。その後、処理はステップS19に移る。
ステップS19において、CPU311は、ステップS18で算出した表示調整パラメータを表示パラメータデータ505として更新し(記憶させ)、同時に当該表示調整パラメータをデータ保存用内部メモリ35に記憶させる。このことにより、ユーザがゲーム装置10の電源をOFFにしても次の電源ON時には、データ保存用内部メモリ35に保存された表示調整パラメータが、メインメモリ32の表示パラメータデータ505として格納され、表示調整パラメータは、ステレオカメラ撮像処理の際に常に反映される。そして、CPU311は、ステレオカメラデータ502として保存された調整画像のデータをクリア(リセット)し、上下変位データ503及び表示調整パラメータデータ506をクリア(リセット)して、表示調整処理を終了させる。
一方、ステップS20において、CPU311は、ステレオカメラデータ502として保存された調整画像のデータをクリア(リセット)し、上下変位データ503及び表示調整パラメータデータ506をクリア(リセット)する。その後、処理はステップS1に戻る(すなわち、調整画像としてユーザが決定した画像(被写体)がわかりにくかった場合等に、再度別の被写体の撮像画像を調整画像として決定するといった処理が開始される)。
説明は図12に戻り、ステップS21において、CPU311は、操作データ501を参照して、ユーザから立体視表示を指示する所定の入力があったか否かを判定する。具体的には、CPU311は、ユーザが下側LCD12に表示された3D表示ボタン72(図9又は図10参照)をタッチペン28等によってタッチしたか否かを判定する。この判定の結果がYESの場合、処理はステップS22に移り、NOの場合、処理はステップS25に移る。
ステップS22において、GPU312は、CPU311の指示に基づいて、ステレオカメラデータ502を参照することによって、1フレーム毎に更新される左ステレオカメラ23aが撮像した左目用画像及び右ステレオカメラ23bが撮像した右目用画像を取得する。その後、処理はステップS23に移る。
ステップS23において、GPU312は、ステップS22で取得した両画像を、初期パラメータに基づいてその表示位置を初期設定に戻して立体視表示させる。具体的には、GPU312は、初期パラメータデータ504を参照することによって、ステレオ画像の表示位置を初期設定に戻すための初期パラメータを取得する。そして、GPU312は、取得した初期パラメータに基づいて、上側LCD22の表示画面上に両画像を立体視表示させる。なお、この立体視表示は、CPU311が視差バリアをONにし、右目用画像をユーザの右目に視認させ、左目用画像をユーザの左目に視認させることにより実現される。このことにより、ユーザは、左ステレオカメラ23aと右ステレオカメラ23bが撮像する画像の表示位置が初期設定に戻された場合に、両画像がどのように立体視表示されるかを実際に確かめることができ、初期設定に戻しても問題ないかを確認することができる。その後、処理はステップS24に移る。
ステップS24において、CPU311は、操作データ501を参照してユーザから立体視表示の終了を指示するための所定の入力情報があったか否かを判定する。この判定の結果がYESの場合、処理はステップS25に移り、NOの場合、処理はステップS22に戻る(すなわち、立体視表示の終了を指示する入力情報を受け付けるまでステップS22とS23の処理を繰り返す)。
ステップS25において、CPU311は、操作データ501を参照してユーザから表示調整モードの終了を指示するための所定の入力があったか否かを判定する。この判定の結果がYESの場合、処理はステップS26に移り、NOの場合、処理はステップS1に戻る(すなわち、表示調整処理を再開する)。
ステップS26において、CPU311は、初期パラメータデータ504として保存された初期パラメータを表示パラメータデータ505として更新し(記憶させ)、データ保存用内部メモリ35に表示調整パラメータが記憶されている場合には、記憶された表示調整パラメータをクリア(リセット)して、調整処理を終了させる。このことにより、ユーザがゲーム装置10の電源をOFFにしても次の電源ON時には、データ保存用内部メモリ35には、初期パラメータしか保存されておらず、そのため、初期パラメータが、表示パラメータデータ505として格納され、初期パラメータは、ステレオカメラ撮像処理の際に常に反映される。
以上に説明したように、本実施形態によれば、ユーザが調整画像の表示位置を手動で調整するとき(ステップS1:NO)、両ステレオカメラによって任意の撮像対象(被写体)を撮像した両画像(ステレオ画像)が取得され、平面視表示される(ステップS2、S3)ので、ユーザは、平面視表示された画像を視認しながら所望の画像を選択してシャッターボタンを押下する(ステップS4)ことで、調整画像を表示画面上に平面視表示させることができる(ステップS5、S6)。したがって、ユーザは調整用の特定のパターン画像等を別途用意する必要がない。また、この調整画像のうち、右目用調整画像50bは、半透明表示されている(ステップS5)ので、ユーザは右目用調整画像50bと左目用調整画像50aの両画像の位置ずれを容易に視認することができ、右目用調整画像50bを移動させる指示を行う(ステップS7:YES)ことによって、右目用調整画像50bの表示位置を左目用調整画像50aの表示位置に容易に合わせる(調整する)ことができる(ステップS8)。なお、このとき、右目用調整画像50bの移動情報のうち、表示調整パラメータの算出に用いられる上下方向の移動情報(変位量)のみが記憶される(ステップS9)が、ユーザは、右目用調整画像50bを上下左右方向に移動可能である。このため、ユーザは、右目用調整画像50bを移動させて左目用調整画像50aに略重ね合わせることができ、結果として両画像の上下方向の表示位置を合わせやすくなる。また、この上下方向の変位量は、ユーザからの移動指示がある度に更新され、ユーザから立体視表示の指示がある(ステップS10:YES)と、この変位量に基づいて表示調整パラメータが算出され(ステップS11)、算出された表示調整パラメータに基づいてステレオ画像が立体視表示される(ステップS12、13)。このことにより、ユーザは、右目用調整画像50bの表示位置を調整しているとき(すなわち、調整中)に、現在の調整であれば、どのようにステレオ画像が立体視表示されるかを実際に確かめることができ、調整を終了(決定)する前に当該調整で問題ないかを確認することができる。そして、ユーザが、調整を終了したことを指示する(ステップS17:YES)ことによって、これまでに移動させた右目用調整画像50bの上下方向の変位量に基づいて表示調整パラメータが算出され(ステップS18)、この表示調整パラメータが、ステレオ画像の表示位置を決める表示パラメータとして更新される(ステップS19)。このことにより、ユーザは、自身で表示画面を確認しながら、調整画像の表示位置を合わせる(調整する)だけで、表示パラメータに適切なパラメータ(表示調整パラメータ)を設定することができる。また、ユーザがステレオ画像の表示位置を初期設定に戻したい場合(ステップS1:YES)には、表示パラメータに初期パラメータが設定される(ステップS26)ので、ユーザがステレオ画像の表示位置を変更(調整)していた場合であっても、いつでも初期設定の表示位置に戻すことが可能となる。このように、表示調整モード(表示調整処理)によって表示パラメータが更新(設定)され、その後ステレオ撮像モード(ステレオ撮像処理)においてステレオ撮像を行う際には、表示調整処理において更新された表示パラメータが読み込まれ、ユーザが2つのずれた画像として認識してしまう原因となる上下方向のずれが補正された適切なステレオ画像が立体視表示される。
(変形例)
なお、上記実施形態では、調整画像(左目用調整画像50a及び右目用調整画像50b)の上下方向(y軸方向)のずれをなくす調整を行うために、右目用調整画像50bはx軸方向(左右方向)にも移動可能であるとした。しかし、これに代え、或いは、これと同時に右目用調整画像50bは、z軸方向の周りに(xy平面上で)回転可能としてもよい(図14の(2)参照)。具体的には、図14の(1)に示すように、右ステレオカメラ23bがz軸方向の周りにΔcだけ回転ずれを起こした場合には、右目用調整画像50bはディスプレイ面において回転ずれを起こす(図14の(2)参照)。この場合には、ユーザは両画像のy軸方向のずれをなくす調整を行おうとした場合に、両画像における被写体50の表示位置を完全に一致させることはできないので、画像(被写体)によっては、正確にy軸方向のずれをなくす調整を行うことが難しい。そこで、図14の(3)に示すように、ユーザは下側LCD12に表示される回転ボタン73をタッチすることによって、半透明画像である右目用調整画像50bをz軸方向の周りに(xy平面上で)回転させることができる。このように、右目用調整画像50bを回転させることによって、ユーザは、右目用調整画像50bと左目用調整画像50aにおける撮像対象(被写体50)の表示位置を略重ね合わせることができる。この結果として、右目用調整画像50bと左目用調整画像50aのy軸方向のずれがなくなるように正確に調整される。なお、この場合には、図12のステップS9において、この回転の変位を示すデータもデータ記憶領域500に記憶され、図13のステップS11及びS18において、この回転の変位に基づく表示調整パラメータも算出される。すなわち、この算出された表示調整パラメータに基づいて立体視表示されるステレオ画像(両画像)の回転ずれも同時に補正される。
また、上記実施形態では、右目用調整画像50bはx軸方向(左右方向)にも移動可能、又は/及びz軸方向の周りに(xy平面上で)回転可能であるとした。しかし、これに代え、或いは、これと同時に右目用調整画像50bは、ズーム調整可能としてもよい(図15の(2)参照)。具体的には、図15の(1)に示すように、右ステレオカメラ23bがz軸方向に対してΔzだけ並進ずれを起こした場合、右目用調整画像50bはディスプレイ面において大きさにずれを起こす(図15の(2)参照)。この場合には、ユーザは両画像のy軸方向のずれをなくす調整を行おうとした場合に、両画像における被写体50の表示位置を完全に一致させることはできないので、画像(被写体)によっては、正確にy軸方向のずれをなくす調整を行うことが難しい。そこで、図15の(3)に示すように、ユーザは下側LCD12に表示されるズームボタン74をタッチすることによって、半透明画像である右目用調整画像50bをズーム(拡大、縮小)させることができる。このように、右目用調整画像50bをズームさせることによって、ユーザは、右目用調整画像50bと左目用調整画像50aにおける撮像対象(被写体50)の表示位置を略重ね合わせることができる。この結果として、右目用調整画像50bと左目用調整画像50aのy軸方向のずれがなくなるように正確に調整される。なお、この場合には、図12のステップS9において、このズームの量を示すデータもデータ記憶領域500に記憶され、図13のステップS11及びS18において、このズームの量に基づく表示調整パラメータも算出される。すなわち、この算出された表示調整パラメータに基づいて立体視表示されるステレオ画像(両画像)の大きさのずれも同時に補正される。
また、上記実施形態ではステレオカメラの画角のずれに起因する補正は言及しなかった。しかしながら、右ステレオカメラ23bの焦点距離がずれることによって画角にずれが生じた場合には、右目用調整画像50bの大きさにずれが生じる。この場合にも、前述のようにユーザによって、右目用調整画像50bをズーム調整可能としてもよい。
また、上記実施形態では、ユーザから右目用調整画像50bの移動指示がある毎に(図12のステップS7:YES)、右目用調整画像50bの表示位置の上下方向(y軸方向)の移動量(変位量)を上下変位データ503として更新(記憶)するものとした(図12のステップS9)。しかし、これに代え、ステップS9において、CPU311は、ユーザから右目用調整画像50bの移動指示がある毎に、右目用調整画像50bの最新の表示位置をデータ記憶領域500の所定のデータとして更新(記憶)するものとしてもよい。この場合、ユーザから立体視表示の指示があると(図19のステップS10:YES)、ステップS11において、CPU311は、ステップS9で更新した右目用調整画像50bの最新の表示位置と、ステップS6で表示された右目用調整画像50bの表示位置との上下方向の変位量に基づいて、表示調整パラメータを算出する。
また、上記実施形態では、半透明表示された右目用調整画像50bがユーザの指示によって移動可能であるとした。しかし、これに代え、半透明表示されていない左目用調整画像50aが移動可能であるとしてもよい。
また、上記実施形態では、右目用調整画像50bが半透明表示されるものとしたが、右目用調整画像50bと左目用調整画像50aの視認性が確保される態様であれば、両画像が半透明表示されるものとしてもよいし、両画像が半透明表示されない(通常表示される)ものとしてもよい。
また、上記実施形態では、半透明表示された右目用調整画像50bのみがユーザの指示によって移動可能としたが、右目用調整画像50b及び左目用調整画像50aの両画像がユーザの指示によって移動可能であるとしてもよい。この場合、右目用調整画像50bが左目用調整画像50aに対して相対的に上下方向(y軸方向)に変位した変位量に基づいて上下変位データ503が決定されればよい。
また、上記実施形態では、左ステレオカメラ23aに対する右ステレオカメラ23bの光学的位置のずれ(すなわち、左目用調整画像50aに対する右目用調整画像50bの変位量)に基づいて、右目用調整画像50bの表示位置を補正するものとした。しかし、これに代え、両ステレオカメラにそれぞれ所定の基準となる光学的位置を設定し(すなわち、両画像にそれぞれ所定の基準となる表示位置を設定し)、両画像を移動可能として両画像の所定の基準位置からのずれ(変位量)に基づいて、両画像の表示位置を補正するものとしてもよい。
また、上記実施形態では、調整画像を取得するために、左目用画像及び右目用画像のいずれか一方が平面視表示されるものとした(図12のステップS3)。しかし、これに代え、調整画像を取得するために上側LCD22の表示画面上に表示される画像は、立体視画像であってもよい。すなわち、ステップS3において、GPU312は、ステップS2で取得した両画像を表示パラメータに基づいて立体視表示してもよい。この場合、ユーザは、上側LCD22に表示される立体視画像を視認しながら所望の撮像対象を選択してシャッターボタンを押下することによって、当該立体視画像を調整画像として決定する。
また、上記実施形態では、表示調整処理(図12参照)において、表示パラメータを初期パラメータにする(戻す)場合(ステップS1:YES)にも、立体視表示が可能であるとした(ステップS21〜S24)。しかし、表示パラメータを初期パラメータに戻す場合には、立体視表示はされないものとしてもよい。すなわち、ステップS21〜S24の処理は省略されてもよい。
また、上記実施形態において、ステレオカメラ撮像モードから表示調整モードは自由に切り替え可能であり、表示調整モードが終了すると自動的にステレオカメラ撮像モードに戻る(切り替わる)設定としてもよい。
また、上記実施形態では、下側LCD12の表示画面に表示されたタッチパネルのボタン等をタッチすることによって、右目用調整画像50bが移動可能とした。しかし、これに代え、各操作ボタン14A〜14Lが用いられることによって右目用調整画像50bが移動可能としてもよい。
また、上記実施形態では、上側LCD22に表示される立体視画像が、裸眼で立体視できる画像であるものとして説明した。しかし、上側LCD22には、立体視できる画像が表示されればよく、例えば、ユーザが立体視用の眼鏡をかけることによって立体視できる画像(つまり、左目用画像と右目用画像とが時分割で交互に表示される画像)が表示されてもよい。
また、上記実施形態では、外側撮像部(左)23aの撮像方向および外側撮像部(右)23bの撮像方向は平行であるとし、平行法によって被写体が撮像されるものとした。しかし、これに限らず、例えば両撮像部の撮像方向は平行ではなく交差しており、交差法によって被写体が撮像されてもよい。
また、上記実施形態では、表示調整パラメータの保存先は、データ保存用内部メモリ35であるとした。しかし、これに代え、表示調整パラメータの保存先は、外部の(取り外し可能な)不揮発性メモリ等であってもよい。また、表示調整処理(図12、図13参照)で参照される各種パラメータデータ等は、メインメモリ32上で参照され、或いは更新されるものとしたが、これに代え、キャッシュメモリ上で参照され、或いは更新されるものとしてもよい。
また、上記実施形態は、本発明をゲーム装置10に適用したものであるが、本発明はゲーム装置10に限定されない。例えば、携帯電話機、簡易型携帯電話機(PHS)、PDA等の携帯情報端末にも本発明の適用は可能である。また、据え置き型ゲーム機やパーソナルコンピュータ等にも本発明の適用は可能である。
また、上記実施形態では、1つのゲーム装置10で上述した処理を実行しているが、有線又は無線で通信可能な複数の装置で上記処理を分担してもよい。
また、上記実施形態において、ゲーム装置10の形状や、それに設けられている各種操作ボタン14等、タッチパネル13の形状、数、及び設置位置等は、単なる一例に過ぎず他の形状、数、及び設置位置であっても、本発明を実現できることは言うまでもない。また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる値等は、単なる一例に過ぎず、本発明の範囲を逸脱しなければ他の順序や値であっても、本発明を実現できることは言うまでもない。
また、上記実施形態のゲーム装置10において実行される各種情報処理プログラムは、外部メモリ44等の記憶媒体を通じてゲーム装置10に供給されるだけでなく、有線又は無線の通信回線を通じてゲーム装置10に供給されてもよい。また、上記プログラムは、ゲーム装置10内部の不揮発性記憶装置(データ保存用内部メモリ35等)に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、CD−ROM、DVD、或いはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ等であってもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを一時的に記憶する揮発性メモリでもよい。
以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
10 ゲーム装置
11 下側ハウジング
12 下側LCD
13 タッチパネル
14 操作ボタン
15 アナログスティック
16 LED
21 上側ハウジング
22 上側LCD
23 外側撮像部
23a 外側撮像部(左)
23b 外側撮像部(右)
24 内側撮像部
25 3D調整スイッチ
26 3Dインジケータ
28 タッチペン
31 情報処理部
32 メインメモリ
50 被写体
50a 左目用調整画像
50b 右目用調整画像
311 CPU
312 GPU
313 VRAM

Claims (18)

  1. ステレオ撮像部によって被写体を撮像し、立体視可能な撮像画像を取得する、記憶部を備えた撮像装置のコンピュータで実行される情報処理プログラムであって、
    前記コンピュータを、
    前記ステレオ撮像部によって任意の撮像対象を撮像し、当該ステレオ撮像部のうち第1撮像部による撮像画像を第1仮撮像画像とし、第2撮像部による撮像画像を第2仮撮像画像として、それぞれ取得する仮撮像画像取得手段と、
    前記第1仮撮像画像及び前記第2仮撮像画像を、表示部上に表示させる仮撮像画像表示手段と、
    ユーザからの入力を受け付ける入力受付手段と、
    前記入力受付手段によって受け付けられた所定の入力に基づいて、前記第1仮撮像画像及び前記第2仮撮像画像の少なくとも一方の表示位置を変更させる表示位置変更手段と、
    前記表示位置変更手段によって変更された前記第1仮撮像画像及び/又は前記第2仮撮像画像の表示位置の変位に基づいて、前記第1撮像部及び前記第2撮像部で撮像した画像の少なくとも一方の表示部上の表示位置を補正する補正量を算出する補正量算出手段と、
    前記補正量算出手段によって算出された補正量を、前記第1仮撮像画像及び第2仮撮像画像と関連付けずに前記記憶部に記憶する記憶制御手段として機能させる、情報処理プログラム。
  2. 前記コンピュータを、
    前記第1仮撮像画像及び前記第2仮撮像画像とは別に前記第1撮像部で撮像した第1画像及び前記第2撮像部で撮像した第2画像の少なくとも一方の表示部上の表示位置を、前記補正量に基づいて補正する補正手段と、
    前記第1画像及び前記第2画像を、前記補正手段による補正結果に基づいて、前記表示部上に立体視表示させる立体視表示制御手段として更に機能させる、請求項1に記載の情報処理プログラム。
  3. 前記補正量算出手段は、前記第1仮撮像画像及び/又は前記第2仮撮像画像の上下方向の表示位置の変位のみに基づいて前記補正量を算出する請求項1又は2に記載の情報処理プログラム。
  4. 前記記憶部には、前記第1画像及び前記第2画像の前記表示部上の表示位置を決定するための表示パラメータが格納され、
    前記仮撮像画像表示手段は、前記第1仮撮像画像及び前記第2仮撮像画像を、前記表示パラメータに基づいて表示部上に表示させ、
    前記補正手段は、前記補正量に基づいて補正された表示パラメータに基づいて、前記第1画像及び前記第2画像の少なくとも一方の前記表示部上の表示位置を補正する、請求項2又は3に記載の情報処理プログラム。
  5. 前記コンピュータを、
    前記入力受付手段によって受け付けられた決定入力に基づいて、前記第1仮撮像画像及び/又は前記第2仮撮像画像の表示位置を決定する表示位置決定手段と、
    前記第1画像及び前記第2画像の少なくとも一方の前記表示部上の表示位置を補正するための表示調整パラメータを算出する表示調整パラメータ算出手段として更に機能させ、
    前記記憶制御手段は、前記表示調整パラメータを前記表示パラメータとして更新して前記記憶部に記憶させ、
    前記表示位置変更手段は、前記入力受付手段によって受け付けられた第1入力に基づいて、前記第1仮撮像画像の表示位置を変更させ、
    前記表示位置決定手段は、前記決定入力に基づいて、前記第1仮撮像画像の表示位置を、前記表示位置変更手段による変更後の表示位置に決定し、
    前記表示調整パラメータ算出手段は、前記表示位置決定手段によって決定された前記第1仮撮像画像の表示位置と、前記表示位置変更手段による変更前の前記第1仮撮像画像の表示位置との変位である第1変位に基づいて、前記表示調整パラメータを算出し、
    前記補正手段は、前記記憶部に更新された前記表示パラメータに基づいて、前記第1画像及び前記第2画像の少なくとも一方の前記表示部上の表示位置を補正する、請求項4に記載の情報処理プログラム。
  6. 前記表示位置変更手段は、更に、前記入力受付手段によって受け付けられた第2入力に基づいて、前記第2仮撮像画像の表示位置を変更させ、
    前記表示位置決定手段は、前記決定入力に基づいて、前記第1仮撮像画像及び前記第2仮撮像画像の表示位置を、前記表示位置変更手段による変更後の表示位置に決定し、
    前記表示調整パラメータ算出手段は、前記表示位置決定手段によって決定された前記第2仮撮像画像の表示位置と、前記表示位置変更手段による変更前の前記第2仮撮像画像の表示位置との変位である第2変位、及び前記第1変位に基づいて、前記表示調整パラメータを算出する、請求項5に記載の情報処理プログラム。
  7. 前記表示調整パラメータ算出手段は、前記第2変位に対する前記第1変位の相対的な変位に基づいて、前記表示調整パラメータを算出する請求項6に記載の情報処理プログラム。
  8. 前記表示調整パラメータ算出手段は、前記第1変位の上下方向の変位のみに基づいて、前記表示調整パラメータを算出する請求項5に記載の情報処理プログラム。
  9. 前記表示調整パラメータ算出手段は、前記第1変位及び前記第2変位の上下方向の変位のみに基づいて、前記表示調整パラメータを算出する請求項6又は7に記載の情報処理プログラム。
  10. 前記記憶制御手段は、前記入力受付手段が前記第1入力を受け付ける度に、前記表示位置変更手段によって変更された前記第1仮撮像画像の表示位置を前記記憶部に記憶させ、
    前記入力受付手段が切替入力を受け付けたときに、
    前記表示調整パラメータ算出手段は、前記記憶部に記憶された前記第1仮撮像画像の表示位置と、前記表示位置変更手段による変更前の前記第1仮撮像画像の表示位置との変位である第3変位に基づいて、前記表示調整パラメータを算出し、
    前記立体視表示制御手段は、前記第1画像及び前記第2画像を、前記算出された表示調整パラメータに基づいて、前記表示部上に立体視表示させる、請求項5ないし9のいずれかに記載の情報処理プログラム。
  11. 前記記憶制御手段は、更に、前記入力受付手段が前記第2入力を受け付ける度に、前記表示位置変更手段によって変更された前記第2仮撮像画像の表示位置を前記記憶部に記憶させ、
    前記入力受付手段が切替入力を受け付けたときに、
    前記表示調整パラメータ算出手段は、前記記憶部に記憶された前記第2仮撮像画像の表示位置と、前記表示位置変更手段による変更前の前記第2仮撮像画像の表示位置との変位である第4変位、及び前記第3変位に基づいて、前記表示調整パラメータを算出し、
    前記立体視表示制御手段は、前記第1画像及び前記第2画像を、前記算出された表示調整パラメータに基づいて、前記表示部上に立体視表示させる、請求項10に記載の情報処理プログラム。
  12. 前記仮撮像画像表示手段は、前記第1仮撮像画像及び前記第2仮撮像画像の両仮撮像画像のうち少なくとも一方を半透明表示にしたうえで、当該両仮撮像画像を表示部上に表示させる、請求項1ないし11のいずれかに記載の情報処理プログラム。
  13. 前記仮撮像画像表示手段は、前記第1仮撮像画像及び前記第2仮撮像画像を、表示部上に平面視表示させる、請求項1ないし12のいずれかに記載の情報処理プログラム。
  14. 前記記憶部には、前記第1画像及び前記第2画像の前記表示部上の予め設定された初期表示位置を規定する初期パラメータが予め格納され、
    前記記憶制御手段は、前記入力受付手段が初期化入力を受け付けたときに、前記初期パラメータを前記表示パラメータとして更新して前記記憶部に記憶させる、請求項5ないし13のいずれかに記載の情報処理プログラム。
  15. 前記表示位置変更手段は、前記所定の入力に基づいて、前記第1仮撮像画像及び前記第2仮撮像画像の少なくとも一方の表示位置を左右方向及び上下方向に変更させる、請求項1ないし14のいずれかに記載の情報処理プログラム。
  16. ステレオ撮像部によって被写体を撮像し、立体視可能な撮像画像を取得する、記憶部を備えた撮像装置であって、
    前記ステレオ撮像部によって任意の撮像対象を撮像し、当該ステレオ撮像部のうち第1撮像部による撮像画像を第1仮撮像画像とし、第2撮像部による撮像画像を第2仮撮像画像として、それぞれ取得する仮撮像画像取得手段と、
    前記第1仮撮像画像及び前記第2仮撮像画像を、表示部上に表示させる仮撮像画像表示手段と、
    ユーザからの入力を受け付ける入力受付手段と、
    前記入力受付手段によって受け付けられた所定の入力に基づいて、前記第1仮撮像画像及び前記第2仮撮像画像の少なくとも一方の表示位置を変更させる表示位置変更手段と、
    前記表示位置変更手段によって変更された前記第1仮撮像画像及び/又は前記第2仮撮像画像の表示位置の変位に基づいて、前記第1撮像部及び前記第2撮像部で撮像した画像の少なくとも一方の表示部上の表示位置を補正する補正量を算出する補正量算出手段と、
    前記補正量算出手段によって算出された補正量を、前記第1仮撮像画像及び第2仮撮像画像と関連付けずに前記記憶部に記憶する記憶制御手段とを備える、撮像装置。
  17. ステレオ撮像部によって被写体を撮像し、立体視可能な撮像画像を取得する、記憶部を備えた撮像システムであって、
    前記ステレオ撮像部によって任意の撮像対象を撮像し、当該ステレオ撮像部のうち第1撮像部による撮像画像を第1仮撮像画像とし、第2撮像部による撮像画像を第2仮撮像画像として、それぞれ取得する仮撮像画像取得手段と、
    前記第1仮撮像画像及び前記第2仮撮像画像を、表示部上に表示させる仮撮像画像表示手段と、
    ユーザからの入力を受け付ける入力受付手段と、
    前記入力受付手段によって受け付けられた所定の入力に基づいて、前記第1仮撮像画像及び前記第2仮撮像画像の少なくとも一方の表示位置を変更させる表示位置変更手段と、
    前記表示位置変更手段によって変更された前記第1仮撮像画像及び/又は前記第2仮撮像画像の表示位置の変位に基づいて、前記第1撮像部及び前記第2撮像部で撮像した画像の少なくとも一方の表示部上の表示位置を補正する補正量を算出する補正量算出手段と、
    前記補正量算出手段によって算出された補正量を、前記第1仮撮像画像及び第2仮撮像画像と関連付けずに前記記憶部に記憶する記憶制御手段とを備える、撮像システム。
  18. ステレオ撮像部によって被写体を撮像し、立体視可能な撮像画像を取得する撮像方法であって、
    前記ステレオ撮像部によって任意の撮像対象を撮像し、当該ステレオ撮像部のうち第1撮像部による撮像画像を第1仮撮像画像とし、第2撮像部による撮像画像を第2仮撮像画像として、それぞれ取得する仮撮像画像取得ステップと、
    前記第1仮撮像画像及び前記第2仮撮像画像を、表示部上に表示させる仮撮像画像表示ステップと、
    ユーザからの入力を受け付ける入力受付ステップと、
    前記入力受付ステップによって受け付けられた所定の入力に基づいて、前記第1仮撮像画像及び前記第2仮撮像画像の少なくとも一方の表示位置を変更させる表示位置変更ステップと、
    前記表示位置変更ステップによって変更された前記第1仮撮像画像及び/又は前記第2仮撮像画像の表示位置の変位に基づいて、前記第1撮像部及び前記第2撮像部で撮像した画像の少なくとも一方の表示部上の表示位置を補正する補正量を算出する補正量算出ステップと、
    前記補正量算出ステップによって算出された補正量を、前記第1仮撮像画像及び第2仮撮像画像と関連付けずに撮像装置の記憶部に記憶する記憶制御ステップとを備える、撮像方法。
JP2011038984A 2011-02-24 2011-02-24 情報処理プログラム、撮像装置、撮像方法及び撮像システム Active JP5785732B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011038984A JP5785732B2 (ja) 2011-02-24 2011-02-24 情報処理プログラム、撮像装置、撮像方法及び撮像システム
US13/404,562 US9167231B2 (en) 2011-02-24 2012-02-24 System and method for calibrating a stereoscopic camera based on manual alignment of test images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011038984A JP5785732B2 (ja) 2011-02-24 2011-02-24 情報処理プログラム、撮像装置、撮像方法及び撮像システム

Publications (2)

Publication Number Publication Date
JP2012175685A true JP2012175685A (ja) 2012-09-10
JP5785732B2 JP5785732B2 (ja) 2015-09-30

Family

ID=46718740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011038984A Active JP5785732B2 (ja) 2011-02-24 2011-02-24 情報処理プログラム、撮像装置、撮像方法及び撮像システム

Country Status (2)

Country Link
US (1) US9167231B2 (ja)
JP (1) JP5785732B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016186031A1 (ja) * 2015-05-20 2016-11-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025284B (zh) * 2014-04-18 2019-02-05 北京三星通信技术研究有限公司 标定集成成像显示设备的显示误差的方法和设备
US9716876B2 (en) * 2015-04-01 2017-07-25 Sony Corporation Power efficient multiple camera system
WO2017192995A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
US10412361B1 (en) 2018-07-16 2019-09-10 Nvidia Corporation Generated stereoscopic video using zenith and nadir view perspectives

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787385A (ja) * 1993-09-10 1995-03-31 Canon Inc 撮像装置
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JP2000078615A (ja) * 1998-09-02 2000-03-14 Sanyo Electric Co Ltd ディジタル放送受信機
JP2005110120A (ja) * 2003-10-01 2005-04-21 Sharp Corp 立体画像表示装置および立体画像表示方法
JP2005130312A (ja) * 2003-10-24 2005-05-19 Sony Corp 立体視画像処理装置,コンピュータプログラム,および視差補正方法
JP2006270265A (ja) * 2005-03-22 2006-10-05 Fuji Photo Film Co Ltd 複眼撮影装置及びその調整方法
JP2010237582A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp 立体撮像装置および立体撮像方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3792832B2 (ja) 1997-05-07 2006-07-05 富士重工業株式会社 ステレオカメラの調整装置
JP4234059B2 (ja) 2003-06-06 2009-03-04 三菱電機株式会社 カメラキャリブレーション方法およびカメラキャリブレーション装置
US20090237490A1 (en) * 2008-03-21 2009-09-24 Nelson Jr Douglas V System and method for stereoscopic image creation and transmission

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787385A (ja) * 1993-09-10 1995-03-31 Canon Inc 撮像装置
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
JP2000078615A (ja) * 1998-09-02 2000-03-14 Sanyo Electric Co Ltd ディジタル放送受信機
JP2005110120A (ja) * 2003-10-01 2005-04-21 Sharp Corp 立体画像表示装置および立体画像表示方法
JP2005130312A (ja) * 2003-10-24 2005-05-19 Sony Corp 立体視画像処理装置,コンピュータプログラム,および視差補正方法
JP2006270265A (ja) * 2005-03-22 2006-10-05 Fuji Photo Film Co Ltd 複眼撮影装置及びその調整方法
JP2010237582A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp 立体撮像装置および立体撮像方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016186031A1 (ja) * 2015-05-20 2016-11-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP2016218758A (ja) * 2015-05-20 2016-12-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US10638120B2 (en) 2015-05-20 2020-04-28 Sony Interactive Entertainment Inc. Information processing device and information processing method for stereoscopic image calibration

Also Published As

Publication number Publication date
US9167231B2 (en) 2015-10-20
US20120218388A1 (en) 2012-08-30
JP5785732B2 (ja) 2015-09-30

Similar Documents

Publication Publication Date Title
JP5541974B2 (ja) 画像表示プログラム、装置、システムおよび方法
JP5689707B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
JP4869430B1 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US9693039B2 (en) Hand-held electronic device
JP5702653B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
WO2011148544A1 (ja) 携帯型電子機器
JP6148714B2 (ja) 携帯型電子機器
JP5725902B2 (ja) 画像処理プログラム、画像処理装置、画像処理方法および画像処理システム
JP5764390B2 (ja) 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム
JP5785732B2 (ja) 情報処理プログラム、撮像装置、撮像方法及び撮像システム
JP5876983B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
JP5602702B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5723149B2 (ja) 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置
JP5525924B2 (ja) 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP5770018B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
JP5739670B2 (ja) 画像表示プログラム、装置、システムおよび方法
JP5739673B2 (ja) 画像表示プログラム、装置、システムおよび方法
JP5548038B2 (ja) 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP2012175358A (ja) 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
JP5541973B2 (ja) 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP5759797B2 (ja) 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム
JP5546960B2 (ja) 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP5739672B2 (ja) 画像表示プログラム、装置、システムおよび方法
JP5620748B2 (ja) 携帯型電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150727

R150 Certificate of patent or registration of utility model

Ref document number: 5785732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250