JP7204511B2 - 電子機器、電子機器の制御方法、プログラム - Google Patents

電子機器、電子機器の制御方法、プログラム Download PDF

Info

Publication number
JP7204511B2
JP7204511B2 JP2019022623A JP2019022623A JP7204511B2 JP 7204511 B2 JP7204511 B2 JP 7204511B2 JP 2019022623 A JP2019022623 A JP 2019022623A JP 2019022623 A JP2019022623 A JP 2019022623A JP 7204511 B2 JP7204511 B2 JP 7204511B2
Authority
JP
Japan
Prior art keywords
image
display
reference point
electronic device
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019022623A
Other languages
English (en)
Other versions
JP2020129340A (ja
Inventor
康弘 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019022623A priority Critical patent/JP7204511B2/ja
Priority to GB2001597.0A priority patent/GB2583813B/en
Priority to US16/785,833 priority patent/US11195256B2/en
Priority to DE102020103245.5A priority patent/DE102020103245A1/de
Priority to CN202010087558.3A priority patent/CN111556243B/zh
Publication of JP2020129340A publication Critical patent/JP2020129340A/ja
Application granted granted Critical
Publication of JP7204511B2 publication Critical patent/JP7204511B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、電子機器、電子機器の制御方法、プログラムに関する。
近年、全方位画像、全天球画像(VR画像)といった、人間の視野角より広い範囲の映像を撮影することが可能な撮像装置が普及している。また、このような広い範囲の映像の一部を表示装置のディスプレイに表示し、表示装置の姿勢の変化に追従してディスプレイに表示する映像の範囲(表示範囲)を変更することにより、没入感や臨場感の高い表示(VRビュー)を行う方法も知られている。
また、例えば、VR画像において天頂・天底が決定されると、この2つを結ぶ軸を基準にVR画像の水平面を決めることができる。なお、VR画像における中心が定まっていれば、天頂・天底のいずれかからでも、水平面を決定できる。ここで、適切に水平面が決定されていれば、画像に写っている水平線を直線的にしたり、画面の水平方向と平行に表示するような補正ができるため、撮影した対象を適切に再現して表示することができる。つまり、ユーザが画像を再生する場合における画像の視認性を向上させることができる。
また、撮影姿勢や撮影デバイスの傾きなどに合わせて、当該水平面(水平面の情報)を補正する水平補正をすることも行なわれている。特許文献1では、撮影装置の移動中または運動中に撮影されたVR画像を精度よく射影変換することによって水平補正をする技術について記載されている。
特開2018-129720号公報
しかしながら、上述の特許文献1では、撮影している際の撮影装置の加速度や角速度によって、水平補正を行っているため、撮影時にこのような情報を取得していない場合には、水平補正はできない。また、そのような場合に、水平補正のために天頂や天底をユーザ自身が指定しようとしても、VR画像の部分的な映像表示や平面展開された表示では、例えば、基準となる水平線が大きく湾曲して表示されるため、当該指定は困難である。つまり、従来は、ユーザ操作によって、VR画像における天頂や天底を容易に決定することができなかった。
このようなことを鑑み、本発明は、ユーザ操作による、VR画像における天頂や天底の決定を容易にすることを目的にする。
本発明の第1の態様は、
所定の点を基準点とする方位図法によってVR画像を表した画像のうち、前記基準点を含む少なくとも一部を所定の表示領域に表示させ、
ユーザからの指示を受け付けると、前記基準点を変更する、
制御手段と、
前記基準点を、前記VR画像における天頂または天底として決定する決定手段と、
を有することを特徴とする電子機器である。
本発明の第2の態様は、
所定の点を基準点とする方位図法によってVR画像を表した画像のうち、前記基準点を含む少なくとも一部を所定の表示領域に表示させ、
ユーザからの指示を受け付けると、前記基準点を変更する、
制御工程と、
前記基準点を、前記VR画像における天頂または天底として決定する決定工程と、
を有することを特徴とする電子機器の制御方法である。
本発明によれば、ユーザ操作による、VR画像における天頂や天底の決定を容易にすることができる。
実施形態に係るデジタルカメラの外観図 実施形態に係るデジタルカメラのブロック図 実施形態に係る表示制御装置を説明する図 実施形態に係る画像再生処理を説明するフローチャート 実施形態に係る画像再生処理の詳細を説明するフローチャート 実施形態に係る設定処理を説明するフローチャート 実施形態に係るディスプレイにおける表示を示す図 実施形態に係るディスプレイにおける表示を示す図
以下、図面を参照して本発明の好適な実施形態を説明する。
<実施形態>
本実施形態では、電子機器は、所定の点を基準点とする方位図法によってVR画像を表した画像のうち、当該基準点を含む少なくとも一部を所定の表示領域に表示させる。そして、電子機器は、ユーザからの指示を受け付けると、VR画像における基準点の位置を変更することによって、基準点が示すVR画像の位置を変更する。これにより、所定の表示領域において表示される画像が変化する。ここで、所定の表示領域に表示される基準点がVR画像における天頂または天底を示す場合には、当該所定の表示領域においてVR画像の実際の水平線(地平線)が当該基準点を中心とする円状に広がるように表示される。そして、電子機器は、例えば、ユーザ操作がされると、VR画像における基準点が天頂または天底のいずれかを示すかを決定する。従って、ユーザ操作によって容易に、VR画像における天頂または天底を決定することができる。
[デジタルカメラの外観]
まず、VR画像を撮影するための装置であるデジタルカメラ100について説明する。図1(A)に電子機器であるデジタルカメラ100(撮像装置)の前面斜視図(外観図)を示す。図1(B)にデジタルカメラ100の背面斜視図(外観図)を示す。デジタルカメラ100は、全方位カメラ(全天球カメラ)である。
また、本実施形態では、デジタルカメラ100は、それぞれ撮影範囲の異なるカメラ部aとカメラ部bとによって構成されているものとする。ここで、カメラ部aは、デジタルカメラ100の前側の上下左右180度以上の広範囲を撮影範囲とする広角カメラである。また、カメラ部bは、デジタルカメラ100の後ろ側の上下左右180度以上の広範囲を撮影範囲とする広角カメラである。
バリア102aは、デジタルカメラ100の前方を撮影範囲としたカメラ部aのための
撮影レンズ103aの保護窓である。なお、バリア102aは、撮影レンズ103a自体の外側の面であってもよい。バリア102bは、デジタルカメラ100の後方を撮影範囲としたカメラ部bのための撮影レンズ103bの保護窓である。なお、バリア102aは、撮影レンズ103b自体の外側の面であってもよい。
表示部28は、各種情報を表示する表示部である。シャッターボタン61は、撮影指示を行うための操作部である。モード切替スイッチ60は、各種モードを切り替えるための操作部である。接続I/F25は、スマートフォン、パーソナルコンピュータ、テレビなどの外部機器と接続するための接続ケーブルとデジタルカメラ100とのコネクタである。操作部70は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサ等の操作部材より成る操作部である。電源スイッチ72は、電源オン、電源オフを切り替えるための押しボタンである。
発光部21は、発光ダイオード(LED)などの発光部材であり、デジタルカメラ100の各種状態を発光パターンや発光色によってユーザに通知する。固定部40は、例えば三脚ネジ穴であり、三脚などの固定器具に固定して設置するための部材である。
[デジタルカメラの構成]
図2は、デジタルカメラ100の構成例を示すブロック図である。
バリア102aは、デジタルカメラ100の、撮影レンズ103aを含むカメラ部aの撮像系を覆うことにより、撮影レンズ103a、シャッター101a、撮像部22aを含む撮像系の汚れや破損を防止する。
撮影レンズ103aは、ズームレンズ、フォーカスレンズを含むレンズ群であり、広角レンズである。シャッター101aは、撮像部22aへの被写体光の入射量を調整する絞り機能を備えるシャッターである。撮像部22aは、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23aは、撮像部22aから出力されるアナログ信号をデジタル信号に変換する。
バリア102bは、デジタルカメラ100の、撮影レンズ103bを含むカメラ部bの撮像系を覆うことにより、撮影レンズ103b、シャッター101b、撮像部22bを含む撮像系の汚れや破損を防止する。
撮影レンズ103bは、ズームレンズ、フォーカスレンズを含むレンズ群であり、広角レンズである。シャッター101bは、撮像部22bへの被写体光の入射量を調整する絞り機能を備えるシャッターである。撮像部22bは、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23bは、撮像部22bから出力されるアナログ信号をデジタル信号に変換する。
また、撮像部22a、撮像部22bにより、VR画像が撮像される。VR画像とは、VR表示をすることのできる画像であるものとする。VR画像には、全方位カメラ(全天球カメラ)で撮像した全方位画像(全天球画像)や、表示手段に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれるものとする。VR画像には、静止画だけでなく、動画やライブビュー画像(カメラからほぼリアルタイムで取得した画像)も含まれる。VR画像は、最大で上下方向(垂直角度、天頂からの角度、仰角、俯角、高度角)360度、左右方向(水平角度、方位角度)360度の視野分の映像範囲(有効映像範囲)を持つ。また、VR画像は、上下360度未満、左右360度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角(視野範囲)、あるいは、表示手段に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つ画
像も含むものとする。
例えば、左右方向(水平角度、方位角度)360度、天頂(zenith)を中心とした垂直角度210度の視野分(画角分)の被写体を撮影可能な全天球カメラで撮影された画像はVR画像の一種である。また、例えば、左右方向(水平角度、方位角度)180度、水平方向を中心とした垂直角度180度の視野分(画角分)の被写体を撮影可能なカメラで撮影された画像はVR画像の一種である。すなわち、上下方向と左右方向にそれぞれ160度(±80度)以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はVR画像の一種である。このVR画像をVR表示(表示モード:「VRビュー」で表示)すると、左右回転方向に表示装置の姿勢を変化させることで、左右方向(水平回転方向)には継ぎ目のない全方位の映像を視聴することができる。上下方向(垂直回転方向)には、真上(天頂)から見て±105度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から105度を超える範囲は映像が存在しないブランク領域となる。VR画像は、「映像範囲が仮想空間(VR空間)の少なくとも一部である画像」とも言える。
VR表示(VRビュー)とは、VR画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法(表示モード)である。表示装置であるヘッドマウントディスプレイ(HMD)を装着して視聴する場合には、ユーザの顔の向きに応じた視野範囲の映像を表示することになる。例えば、VR画像のうち、ある時点で左右方向に0度(特定の方位、例えば北)、上下方向に90度(天頂から90度、すなわち水平)を中心とした視野角(画角)の映像を表示しているものとする。この状態から、表示手段の姿勢を表裏反転させると(例えば、表示面を南向きから北向きに変更すると)、同じVR画像のうち、左右方向に180度(逆の方位、例えば南)、上下方向に90度(水平)を中心とした視野角の映像に、表示範囲が変更される。ユーザがHMDを視聴している場合で言えば、ユーザが顔を北から南に向ければ(すなわち後ろを向けば)、HMDに表示される映像も北の映像から南の映像に変わるということである。このようなVR表示によって、ユーザに、視覚的にあたかもVR画像内(VR空間内)のその場にいるような感覚を提供することができる。VRゴーグル(ヘッドマウントアダプター)に装着されたスマートフォンは、HMDの一種と言える。なお、VR画像の表示方法は上記に限るものではなく、姿勢の変化ではなく、タッチパネルや方向ボタンなどに対するユーザ操作に応じて、表示範囲を移動(スクロール)させてもよい。VR表示(VRビューモード)での表示時にも、姿勢変化による表示範囲の変更に加え、タッチパネルへのタッチムーブ操作やマウスなどの操作部材に対するドラッグ操作に応じても表示範囲を変更できるようにしてもよい。
画像処理部24は、A/D変換器23a、A/D変換器23bからのデータ、または、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理を行う。画像処理部24により得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行なわれる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
また、画像処理部24は、A/D変換器23a、A/D変換器23bから得られた2つの画像(魚眼画像)に基本の画像処理を施した後、合成(繋ぎ画像処理)して単一のVR画像を生成する。2つの画像の繋ぎ画像処理では、画像処理部24は、2つの画像それぞれにおいて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、繋ぎ位置を検出する。そして、検出した繋ぎ位置と各光学系レンズ特性を考慮して
、画像処理部24は、2つの画像をそれぞれ幾何学変換により歪み補正し、全天球イメージ形式に変換する。この2つの全天球イメージ形式の画像をブレンドすることで、画像処理部24は、最終的に1つの全天球画像(VR画像)を生成する。生成された全天球画像(VR画像)は、例えば正距円筒図法を用いた画像となり、各画素の位置が球体の表面の座標と対応づけることが可能となる。また、画像処理部24は、ライブビューでのVR表示時、あるいは再生時には、VR画像をVR表示するための画像切り出し処理、拡大処理、歪み補正等を行いメモリ32のVRAMへ描画するレンダリングも行う。
A/D変換器23からの出力データは、画像処理部24およびメモリ制御部15を介して、あるいは、メモリ制御部15を介してメモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、接続I/F25から外部のディスプレイに出力するための画像を格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は、画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に格納されている画像表示用のデータは、接続I/F25から外部のディスプレイに出力することが可能である。撮像部22a,22bで撮像され、画像処理部24で生成されたVR画像であって、メモリ32に蓄積されたVR画像を外部ディスプレイに逐次転送して表示することで、電子ビューファインダとして機能し、ライブビュー表示(LV表示)を行える。以下、ライブビューで表示される画像をLV画像と称する。また、メモリ32に蓄積されたVR画像を、通信部54を介して無線接続された外部機器(スマートフォンなど)に転送し、外部機器側で表示することでもライブビュー表示(リモートLV表示)を行える。
不揮発性メモリ56は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。
システム制御部50は、少なくとも1つのプロセッサまたは回路を有する制御部であり、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、例えばRAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50はメモリ32、画像処理部24、メモリ制御部15を制御することにより表示制御も行う。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、シャッターボタン61、操作部70は、システム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモードがある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60より、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示部28に表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるよ
うにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記憶媒体300に画像データを書き込むまでの一連の撮影処理の動作を開始する。
なお、シャッターボタン61は全押しと半押しの2段階の操作ができるものに限るものではなく、1段階の押下だけができる操作部材であってもよい。その場合、1段階の押下によって撮影準備動作と撮影処理が連続して行なわれる。これは、半押しと全押しが可能なシャッターボタンをいわゆる全押しした場合と同じ動作(SW1とSW2がほぼ同時に発生した場合の動作)である。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面を見ながら操作部70を操作することで、直感的に各種設定を行うことができる。
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記憶媒体300を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリーカードやハードディスク等の記憶媒体300とのインターフェースである。記憶媒体300は、撮影された画像を記録するためのメモリーカード等の記録媒体(記憶媒体)であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記憶媒体300は、デジタルカメラ100に着脱可能な交換記録媒体でもよいし、内蔵の記録媒体(記憶媒体)であってもよい。
通信部54は、無線または有線ケーブルによって接続し、映像信号や音声信号等の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。通信部54は撮像部22a、撮像部22bで撮像した画像(LV画像を含む)や、記憶媒体300に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
姿勢検知部55は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、ヨー、ピッチ、ローの3軸方向にどの程度傾けた姿勢で撮影された画像
であるか判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22a、22bで撮像されたVR画像の画像ファイルに付加したり、画像を回転(傾き補正するように画像の向きを調整)して記録したりすることが可能である。姿勢検知部55としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどを1つ以上組み合わせて用いることができる。姿勢検知部55である、加速度センサー、ジャイロセンサー、方位角センサーを用いて、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
マイク20は、VR画像の動画の音声として記録されるデジタルカメラ100の周囲の音声を集音するマイクロフォンである。
接続I/F25は、外部機器と接続して映像の送受信を行うための、HDMI(登録商標)ケーブルやUSBケーブルなどとの接続プラグである。
[表示制御装置の外観]
続いて、VR画像を再生するための装置である表示制御装置200について説明する。図3(A)に、電子機器の一種である表示制御装置200の外観図の例を示す。ディスプレイ205は画像や各種情報を表示する表示部である。ディスプレイ205は後述するようにタッチパネル206aと一体的に構成されており、ディスプレイ205の表示面へのタッチ操作を検出できるようになっている。表示制御装置200は、VR画像(VRコンテンツ)をディスプレイ205においてVR表示することが可能である。操作部206には図示のようにタッチパネル206a、操作部206b,206c,206d,206eが含まれる。
操作部206bは、表示制御装置200の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部206cと操作部206dは、音声出力部212から出力する音声のボリュームを増減するボリュームボタンである。操作部206eは、ディスプレイ205にホーム画面を表示させるためのホームボタンである。音声出力端子212aは、イヤホンジャックであり、イヤホンや外部スピーカーなどに音声を出力する端子である。スピーカー212bは、音声を発音する本体内蔵スピーカーである。
[表示制御装置の構成]
図3(B)に、表示制御装置200の構成の一例を示す。表示制御装置200は、スマートフォンなどの表示装置を用いて構成可能なものである。内部バス250に対して、CPU201、メモリ202、不揮発性メモリ203、画像処理部204、ディスプレイ205、操作部206、記憶媒体I/F207、外部I/F209、および、通信I/F210が接続されている。また、内部バス250に対して、音声出力部212と姿勢検出部213も接続されている。内部バス250に接続される各部は、内部バス250を介して互いにデータのやりとりを行うことができるようにされている。
CPU201は、表示制御装置200の全体を制御する制御部であり、少なくとも1つのプロセッサまたは回路からなる。メモリ202は、例えば、RAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU201は、例えば、不揮発性メモリ203に格納されるプログラムに従い、メモリ202をワークメモリとして用いて、表示制御装置200の各部を制御する。不揮発性メモリ203には、画像データや音声データ、その他のデータ、CPU201が動作するための各種プログラムなどが格納される。不揮発性メモリ203は例えばフラッシュメモリやROMなどで構成される。
画像処理部204は、CPU201の制御に基づいて、不揮発性メモリ203や記憶媒体208に格納された画像や、外部I/F209を介して取得した映像信号、通信I/F
210を介して取得した画像などに対して各種画像処理を施す。画像処理部204が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲のデータを有する広範囲画像であるVR画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部204は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部204を用いずにCPU201がプログラムに従って画像処理を施すことも可能である。
ディスプレイ205は、CPU201の制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU201は、プログラムに従い表示制御信号を生成し、ディスプレイ205に表示するための映像信号を生成してディスプレイ205に出力するように表示制御装置200の各部を制御する。ディスプレイ205は出力された映像信号に基づいて映像を表示する。なお、表示制御装置200自体が備える構成としてはディスプレイ205に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ205は外付けのモニタ(テレビなど)で構成してもよい。
操作部206は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ205に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
記憶媒体I/F207は、メモリーカードやCD、DVDといった記憶媒体208が装着可能とされ、CPU201の制御に基づき、装着された記憶媒体208からのデータの読み出しや、当該記憶媒体208に対するデータの書き込みを行う。外部I/F209は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信I/F210は、外部機器やインターネット211などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
音声出力部212は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部212には、イヤホンなどを接続する音声出力端子212a、スピーカー212bが含まれるものとするが、無線通信などで音声出力を行ってもよい。
姿勢検出部213は、重力方向に対する表示制御装置200の姿勢や、ヨー、ロール、ピッチの各軸に対する姿勢の傾きを検知する。姿勢検出部213で検知された姿勢に基づいて、表示制御装置200が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部213としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうち少なくとも1つを用いることができ、複数を組み合わせて用いることも可能である。
なお操作部206には、タッチパネル206aが含まれる。CPU201はタッチパネル206aへの以下の操作、あるいは状態を検出できる。
・タッチパネル206aにタッチしていなかった指やペンが新たにタッチパネル206aにタッチしたこと、すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する。)
・タッチパネル206aを指やペンがタッチしている状態であること(以下、タッチオン
(Touch-On)と称する)
・指やペンがタッチパネル206aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル206aへタッチしていた指やペンがタッチパネル206aから離れたこと、すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル206aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。
これらの操作・状態や、タッチパネル206a上に指やペンがタッチしている位置座標は内部バスを通じてCPU201に通知され、CPU201は通知された情報に基づいてタッチパネル206a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル206a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル206a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル206a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル206a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。
なお、タッチパネル206aには、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
[VRゴーグル]
図3(C)に、表示制御装置200を装着可能なVRゴーグル(ヘッドマウントアダプター)230の外観図を示す。表示制御装置200は、VRゴーグル230に装着することで、ヘッドマウントディスプレイとして使用することも可能である。
挿入口231は、表示制御装置200を差し込むための挿入口である。ディスプレイ205の表示面を、VRゴーグル230をユーザの頭部に固定するためのヘッドバンド232側(すなわちユーザ側)に向けて表示制御装置200の全体をVRゴーグル230に差し込むことができる。こうして表示制御装置200が装着されたVRゴーグル230を装着することにより、ユーザはVRゴーグル230を頭部に装着した状態で、ユーザが手で表示制御装置200を保持することなく、ディスプレイ205を視認することができる。
この場合、ユーザが頭部または体全体を動かすと、表示制御装置200の姿勢も変化する。姿勢検出部213は、この時の表示制御装置200の姿勢の変化を検出し、この姿勢
の変化に基づいてCPU201がVR表示処理を行う。この場合に姿勢検出部213が表示制御装置200の姿勢を検出することは、ユーザの頭部の姿勢(ユーザの視線が向いている方向)を検出することと同等である。
[画像再生処理]
続いて、図4が示すフローチャートを用いて、本実施形態に係る表示制御装置200が行う画像再生処理について説明する。ここでは、電源ボタン206bが操作され、電源がオンに切り替わると、CPU201によってフラグや制御変数等を初期化されて、その後に本フローチャートの処理が開始する。
S301において、CPU201は、記憶媒体208に格納されているVR画像の画像データを取得し、図7(A)が示すようにディスプレイ205に表示する(表示させる)。
図7(A)は、ディスプレイ205における画像データおよび操作ボタンの表示の一例を示す。ここでは、表示制御装置200の姿勢に応じたVR画像の一部が平面展開されて選択表示領域401に表示される。より詳細には、選択表示領域401には、設定された水平面の情報に応じて歪み補正がされたVR画像の一部が表示される。また、画像再生処理を終了させるための終了ボタン402と、水平補正処理を行うための水平補正ボタン403と、天頂または天底を設定(選択)するための設定ボタン404が表示されている。なお、以下では、このように、選択表示領域401、終了ボタン402、水平補正ボタン403、設定ボタン404とが表示されている状態を「通常表示状態」と呼ぶ。
S302において、CPU201は、タッチパネル206aに対して、水平補正ボタン403へのタッチ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、S303に進み、それ以外の場合にはS316に進む。
S303において、CPU201は、ディスプレイ205の表示状態を「通常表示状態」から「水平補正表示状態」に変更する。ここで、本実施形態での、「水平補正表示状態」では、VR画像における少なくとも一部(例えば、半球部分)が円形状の表示範囲に納まるように方位図法によって表示(ミラーボール表示;リトルプラネット表示;円形状表示)される。
図7(B)は、「水平補正表示状態」での表示の一例を示す。図7(B)のように、ミラーボール表示領域451には、VR画像の少なくとも一部が円形状にミラーボール表示される。具体的には、ミラーボール表示領域451には、所定の点を基準点Pとする方位図法によってVR画像を表した画像のうち、基準点Pを含む少なくとも一部が表示されている。なお、本実施形態では、ミラーボール表示領域451に表示されている基準点Pは、ミラーボール表示領域451における表示の中心位置である。また、方位図法とは、例えば、正射図法や正距方位図法などを含み、ある基準点から任意の点までの最短経路が当該2点間の直線距離であるように描くことにより、ある基準点からの方位が正しく示される投影法である。
また、プレビュー領域454には、ミラーボール表示されている範囲のVR画像に対して、水平線(地平線)を直線状にするような歪み補正をして平面展開した画像が表示されている。なお、この水平線は、VR画像における実際の水平線ではなく、CPU201がVR画像における水平線であると認識している線である。つまり、後述するS313において水平面の情報が補正されていれば、当該水平面の情報によってCPU201により当該歪み補正がされ、それ以外の場合には、例えば、予め初期設定された水平面の情報によって当該歪み補正がされる。
また、プレビュー領域454には、中心点452や円ガイド453を重畳して表示することもできる。中心点452は、ミラーボール表示領域451に表示されるVR画像の基準点Pの位置を示す点であり、本実施形態では、ミラーボール表示領域451における中心位置を示す。円ガイド453は、中心点452(基準点Pの位置)から所定の距離の位置を結んだ円状の線(破線)を示している。なお、中心点452は、点である必要はなく、矢印やその他のマークなど基準点Pの位置(中心位置)を示す任意の表示でよい。なお、円ガイド453は、破線に限らず、太線、点線、一点破線など任意の線でよい。
また、「水平補正表示状態」では、ディスプレイ205に、「通常表示状態」に遷移するためのキャンセルボタン455と、円ガイド453の表示/非表示を切り替えるためのガイド切替ボタン456とが表示される。さらに、中心点452の表示/非表示を切り替えるための中心点切替ボタン457と、水平補正処理の実施を決定するための決定ボタン458とが表示される。
S304において、CPU201は、タッチパネル206aに対して、中心点切替ボタン457へのタッチ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、S305に進み、それ以外の場合にはS306に進む。
S305において、CPU201は、中心点452の表示/非表示を切り替えるための処理である中心点切替処理を行う。S305の処理の詳細は後述にて説明する。
S306において、CPU201は、タッチパネル206aに対して、ガイド切替ボタン456へのタッチ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、S307に進み、それ以外の場合にはS308に進む。
S307において、CPU201は、円ガイド453の表示/非表示を切り替える処理であるガイド切替処理を行う。S307の処理の詳細は後述にて説明する。
S308において、CPU201は、タッチパネル206aに対して、円ガイド453へのタッチムーブ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、S309に進み、それ以外の場合にはS310に進む。
S309において、CPU201は、タッチパネル206aへのユーザ操作に応じて、ディスプレイ205に表示している円ガイド453と中心点452(基準点P)との距離(直径;所定の距離)を変更する。これによって、ユーザは画像に写っている水平面と対応する被写体の位置に合わせて、円ガイド453を表示することができ、水平面の補正のための操作の目安とすることができる。
S310において、CPU201は、タッチパネル206aに対して、ミラーボール表示領域451へのタッチムーブ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、S311に進み、それ以外の場合にはS312に進む。
S311において、CPU201は、ミラーボール表示領域451へのタッチムーブ操作に応じて、ミラーボール表示領域451に表示しているVR画像の表示の変更を行う。より詳細には、CPU201は、方位図法にて表示する際の基準点Pを変更することによって、ミラーボール表示領域451におけるVR画像の表示範囲やVR画像の各領域の表示位置(配置)を変更する。ここで、上述のように、基準点P(中心位置)が天頂または天底を示す場合であれば、当該表示範囲における実際の水平線(地平線)は円状に広がる。従って、ユーザは、水平線が円状に広がるように、ミラーボール表示領域451での表
示を変更(決定)することによって、天頂または天底の位置を容易に判断(決定)することができる。
なお、本実施形態では、ミラーボール表示領域451自体が円形状であるため、水平線が円状に広がっているか否かを、ユーザは判断しやすい。また、水平線が円状に広がっているか否かをユーザが判断するために、上述のような中心点452や円ガイド453が表示されていると、ユーザはその表示を基準として当該判断をすればよいため、さらに容易に天頂または天底の位置を判断することができる。
なお、VR画像における全域(全部)をミラーボール表示領域451に表示している場合などは、タッチムーブ操作に応じて、VR画像の表示範囲は変更されず、ミラーボール表示領域451におけるVR画像の各領域の配置(表示位置)が変更される。また、S311における、ミラーボール表示領域451でのVR画像の表示の変更は、タッチムーブ操作によったものに限らず、キーボードやマウスなどである操作部206に対するユーザからの任意の指示によって行なわれてもよい。
S312において、CPU201は、タッチパネル206aに対して、決定ボタン458へのタッチ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、S313に進み、それ以外の場合にはS314に進む。なお、必ずしも、ユーザによるタッチ操作によって、S313に遷移する必要はなく、例えば、所定時間、ユーザの操作がなければ、処理工程がS313に遷移してもよい。
S313において、CPU201は、VR画像における水平面の情報を補正する処理である水平補正処理を行う。S313の処理の詳細は後述にて説明する。
S314において、CPU201は、タッチパネル206aに対して、キャンセルボタン455(戻るボタン)へのタッチ操作が行なわれたか否かを判定する。当該操作が行なわれた場合はS315に進み、行なわれない場合はS304に戻る。
S315において、CPU201は、ディスプレイ205の表示を「通常表示状態」に変更する。
S316において、CPU201は、タッチパネル206aに対して、設定ボタン404へのタッチ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、S317へ進み、行なわれない場合はS318に進む。
S317において、CPU201は、ユーザ操作によって天頂/天底を決定するか否かを設定する設定処理を行う。S317の処理の詳細は後述にて説明する。
S318において、CPU201は、タッチパネル206aに対して、終了ボタン402へのタッチ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、画像再生処理を終了し、それ以外の場合は、S302に進む。なお、終了ボタン402へのタッチ操作に限らず、例えば、CPU201は、予め決定したVR画像の再生時間が終了すると、再生処理を終了してもよい。
(S305の処理)
S305において行なわれる中心点452の表示/非表示を切り替える処理である中心点切替処理について、図5(A)が示すフローチャートを用いて説明する。
S351において、CPU201は、中心点452を表示中か否かを判定する。表示中であれば、S353に進み、非表示であればS352に進む。
S352において、CPU201は、ディスプレイ205に中心点452を表示する。
S353において、CPU201は、ディスプレイ205の中心点452を非表示にする。
(S307の処理)
S307において行なわれる円ガイド453の表示/非表示を切り替える処理であるガイド切替処理について、図5(B)が示すフローチャートを用いて説明する。
S361において、CPU201は、円ガイド453を表示中か否かを判定する。表示中であればS363に進み、非表示であればS362に進む。
S362において、CPU201は、ディスプレイ205に円ガイド453を表示する。
S363において、CPU201は、ディスプレイ205の円ガイド453を非表示にする。
(S313の処理)
S313において行なわれるVR画像における水平面の情報を補正する処理である水平補正処理について、図5(C)が示すフローチャートを用いて説明する。
S371において、CPU201は、後述する天頂/天底選択の「自動実行設定」がONもしくはOFFかを判定する。「自動実行設定」がOFFの場合にはS373に進み、ONの場合は、S372に進む。
S372において、CPU201は、VR画像(表示範囲)の基準点P(中心位置)が、天頂と天底のいずれを示すのかを決定(判定)する。ここでは、例えば、CPU201は、VR画像および基準点Pの位置に基づき、基準点Pが天頂と天底のいずれを示すのかを判定する。CPU201は、例えば、VR画像における基準点P付近に太陽や月、星などが存在すれば、基準点Pは天頂を示すと判定できる。また、CPU201は、VR画像の基準点Pの付近に地面や海面などの範囲が広く存在すれば、基準点Pは天底を示すと判定できる。また、CPU201は、VR画像に人物の画像が含まれている場合には、当該人物の足の位置に対して頭の位置が基準点P側にあれば、基準点Pは天頂を示すと判定できる。
S373において、CPU201は、図8(A)が示すような、VR画像の基準点Pが天頂と天底のいずれを示すかをユーザが選択するための選択領域481をディスプレイ205に表示する。なお、選択領域481は、VR画像の基準点Pが天頂を示すことを選択するための天頂選択ボタン482と、VR画像の基準点Pが天底を示すことを選択するための天底選択ボタン483とを含む。
S374において、CPU201は、タッチパネル206aに対して、天頂選択ボタン482と天底選択ボタン483とのいずれに対してタッチ操作がされたかを判定する。天頂選択ボタン482へのタッチ操作であればS376へ進み、天底選択ボタン483へのタッチ操作であればS375に進む。なお、S374において、天頂選択ボタン482と天底選択ボタン483とのいずれに対しても、ユーザからタッチ操作がされない場合には、処理工程は遷移せずにS374にて待機する。
S375において、CPU201は、VR画像の基準点Pは天頂を示すと決定する。
S376において、CPU201は、VR画像の基準点Pは天底を示すと決定する。
このように、CPU201は、S372~S376において、VR画像の基準点Pが天底または天頂のいずれかを示すことを決定する。従って、本実施形態では、CPU201
は、ディスプレイ205の表示などを制御する制御手段であり、かつ、VR画像の基準点Pが天底または天頂のいずれかを示すことを決定する決定手段でもあるといえる。
S377において、CPU201は、決定した天底や天頂の情報に応じて、画像処理部204を制御して、記憶媒体208に格納されているVR画像(全天球画像の画像データ)に対して水平面の情報の補正(水平補正)を実行する。すなわち、S377において、CPU201は、S375で決定された基準点の位置を、補正後の天頂としてVR画像に関連付けて記憶する。あるいは、CPU201は、S376で決定された基準点の位置を補正後の天底としてVR画像に関連付けて記憶する。従って、本実施形態では、画像処理部204は、水平面の情報の補正を行う補正手段といえる。
(S317の処理)
S317において行なわれる、ユーザ操作によって天頂/天底を決定するか否かを設定する決定処理について、図6が示すフローチャートを用いて説明する。
S381において、CPU201は、図8(B)が示すように、ディスプレイ205の表示を「通常表示状態」から「設定表示状態」に変更する。「設定表示状態」では、設定表示領域491に、天頂/天底の選択をユーザ操作によって実施するか否かをユーザが設定するチェックボックス492と、当該チェックボックス492への設定を反映させるOKボタン493が表示される。
S382において、CPU201は、タッチパネル206aに対して、チェックボックス492へのタッチ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、S383に進み、行なわれない場合はS386に進む。
S383において、CPU201は、チェックボックス492のチェック有無を判定する。チェックがある場合は、S385に進み、チェックがない場合はS384に進む。
S384において、CPU201は、チェックボックス492にチェックの表示を行う。
S385において、CPU201は、チェックボックス492のチェックの表示を削除する処理を行う。
S386において、CPU201は、タッチパネル206aに対して、OKボタン493へのタッチ操作が行なわれたか否かを判定する。当該操作が行なわれた場合は、S387に進み、行なわれない場合はS382に進む。
S387において、CPU201は、チェックボックス492のチェックの有無を判定する。チェックがある場合は、S388に進み、チェックがない場合はS389に進む。
S388において、CPU201は、「自動実行設定」をOFFに設定する処理を行う。なお、「自動実行設定」がOFFであれば、上述のS373~S376において、ユーザの操作によって、CPU201は、ミラーボール表示領域451において中心位置に表示されるVR画像の基準点Pが、天頂と天底とのいずれを示すかを決定する。
S389において、CPU201は、「自動実行設定」をONに設定する処理を行う。なお、「自動実行設定」がONであれば、上述のS377において、ユーザの操作によらずに、CPU201は、ミラーボール表示領域451において中心位置に表示されるVR画像の基準点Pが、天頂と天底とのいずれを示すかを決定する。
S390において、CPU201は、ディスプレイ205の表示を「通常表示状態」に変更する。
なお、本実施形態では、基準点Pは、ミラーボール表示領域451における中心位置に表示されるとしたがこれには限らない。つまり、ミラーボール表示領域451において、基準点Pは任意の位置に表示されていてもよい。また、この場合に、ミラーボール表示領域451は、円形状である必要はなく、任意の形状であってよい。この場合においても、ミラーボール表示領域451において、実際の水平線(地平線)が円状に広がっている場合には、基準点Pが天底または天頂を示しているとユーザは容易に判断することができる。なお、ここで「水平線が円状に広がっている」とは、ミラーボール表示領域451に水平線の全てが表示されている必要はなく、例えば、半円部分のみなどの円状の一部が表示されている状態であってもよい。
[効果]
本実施形態によれば、ユーザ操作によって、VR画像における天頂または天底を容易に決定することができる。そして、天頂や天底の情報によって、VR画像における水平面の情報を補正(決定)できる。このため、VR画像を表示する場合における、水平線を直線状にするような歪み補正をユーザ操作によって容易に実現することができる。
なお、上記の各実施形態や各変形例の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASIC、FPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
200:表示制御装置、201:CPU、205:ディスプレイ


Claims (10)

  1. 所定の点を基準点とする方位図法によってVR画像を表した画像のうち、前記基準点を含む少なくとも一部を所定の表示領域に表示させ、
    ユーザからの指示を受け付けると、前記基準点を変更する、
    制御手段と、
    前記基準点を、前記VR画像における天頂または天底として決定する決定手段と、
    を有することを特徴とする電子機器。
  2. 前記所定の表示領域は、円形状である、
    ことを特徴とする請求項1に記載の電子機器。
  3. 前記決定手段が決定した天頂または天底を用いて、前記VR画像における水平面の情報を補正する水平補正を行う補正手段をさらに有する、
    ことを特徴とする請求項1または2に記載の電子機器。
  4. 前記制御手段は、
    前記所定の表示領域における前記基準点の位置を示す表示を、前記所定の表示領域に対して重畳して表示させる、
    ことを特徴とする請求項1から3のいずれか1項に記載の電子機器。
  5. 前記制御手段は、
    前記所定の表示領域における前記基準点の位置から所定の距離の位置を結んだ円状の線を、前記所定の表示領域に対して重畳して表示させる、
    ことを特徴とする請求項1から4のいずれか1項に記載の電子機器。
  6. 前記制御手段は、ユーザ操作に応じて、前記所定の距離を変更する、
    ことを特徴とする請求項5に記載の電子機器。
  7. 前記制御手段は、
    前記所定の表示領域の表示と、前記所定の表示領域に表示される範囲の前記VR画像を水平面の情報に基づいて平面展開した画像とを同時に表示させる、
    ことを特徴とする請求項1から6のいずれか1項に記載の電子機器。
  8. 前記決定手段は、
    前記基準点の位置および前記VR画像に基づいて、前記基準点が、前記VR画像における天頂と天底とのうちいずれであるかを決定する、
    ことを特徴とする請求項1から7のいずれか1項に記載の電子機器。
  9. 所定の点を基準点とする方位図法によってVR画像を表した画像のうち、前記基準点を含む少なくとも一部を所定の表示領域に表示させ、
    ユーザからの指示を受け付けると、前記基準点を変更する、
    制御工程と、
    前記基準点を、前記VR画像における天頂または天底として決定する決定工程と、
    を有することを特徴とする電子機器の制御方法。
  10. コンピュータを請求項1から8のいずれか1項に記載の電子機器の各手段として機能させるプログラム。
JP2019022623A 2019-02-12 2019-02-12 電子機器、電子機器の制御方法、プログラム Active JP7204511B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019022623A JP7204511B2 (ja) 2019-02-12 2019-02-12 電子機器、電子機器の制御方法、プログラム
GB2001597.0A GB2583813B (en) 2019-02-12 2020-02-06 Electronic apparatus for controlling display of image, control method of electronic apparatus and program
US16/785,833 US11195256B2 (en) 2019-02-12 2020-02-10 Electronic apparatus for determining zenith or nadir of VR image, control method of electronic apparatus and non-transitory computer readable medium
DE102020103245.5A DE102020103245A1 (de) 2019-02-12 2020-02-10 Elektronische Vorrichtung zur Steuerung von Bildanzeige, Steuerverfahren von elektronischer Vorrichtung und Programm
CN202010087558.3A CN111556243B (zh) 2019-02-12 2020-02-12 控制图像显示的电子设备及其控制方法和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019022623A JP7204511B2 (ja) 2019-02-12 2019-02-12 電子機器、電子機器の制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2020129340A JP2020129340A (ja) 2020-08-27
JP7204511B2 true JP7204511B2 (ja) 2023-01-16

Family

ID=69897009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019022623A Active JP7204511B2 (ja) 2019-02-12 2019-02-12 電子機器、電子機器の制御方法、プログラム

Country Status (5)

Country Link
US (1) US11195256B2 (ja)
JP (1) JP7204511B2 (ja)
CN (1) CN111556243B (ja)
DE (1) DE102020103245A1 (ja)
GB (1) GB2583813B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3523777A4 (en) * 2016-12-06 2019-11-13 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071496A (ja) 2012-09-27 2014-04-21 Kumahira Co Ltd パノラマ画像作成装置、及び、プログラム
JP2017017674A (ja) 2015-06-30 2017-01-19 日本電信電話株式会社 鉛直軸校正装置、方法及びプログラム
US20180061011A1 (en) 2016-08-30 2018-03-01 Adobe Systems Incorporated Automatic orientation adjustment of spherical panorama digital images
WO2018043135A1 (ja) 2016-08-31 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
US20180152636A1 (en) 2016-11-28 2018-05-31 Lg Electronics Inc. Mobile terminal and operating method thereof

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119529B2 (ja) * 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
EP3189400A4 (en) * 2014-09-05 2018-07-04 Ballcraft, LLC Motion detection for portable devices
US20170200316A1 (en) * 2015-09-10 2017-07-13 Sphere Optics Company, Llc Advertising system for virtual reality environments
EP3447735B1 (en) 2016-04-18 2020-04-29 Sony Corporation Information processing device, information processing method, and program
JP6682984B2 (ja) * 2016-04-21 2020-04-15 大日本印刷株式会社 自由視点映像表示装置
US9978173B2 (en) * 2016-07-27 2018-05-22 Adobe Systems Incorporated Generating views of three-dimensional models illustrating defects
EP3563337A1 (en) * 2016-12-28 2019-11-06 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
JP6834556B2 (ja) * 2017-02-09 2021-02-24 株式会社リコー 撮影装置、撮影方法およびプログラム
JP6819368B2 (ja) * 2017-03-07 2021-01-27 株式会社リコー 装置、システム、方法およびプログラム
JP6873830B2 (ja) * 2017-06-05 2021-05-19 キヤノン株式会社 表示制御装置、その制御方法及びプログラム
JP7000050B2 (ja) 2017-06-29 2022-01-19 キヤノン株式会社 撮像制御装置及びその制御方法
CN108427595B (zh) * 2018-03-13 2021-07-27 网易(杭州)网络有限公司 虚拟现实中用户界面控件显示位置的确定方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071496A (ja) 2012-09-27 2014-04-21 Kumahira Co Ltd パノラマ画像作成装置、及び、プログラム
JP2017017674A (ja) 2015-06-30 2017-01-19 日本電信電話株式会社 鉛直軸校正装置、方法及びプログラム
US20180061011A1 (en) 2016-08-30 2018-03-01 Adobe Systems Incorporated Automatic orientation adjustment of spherical panorama digital images
WO2018043135A1 (ja) 2016-08-31 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
US20180152636A1 (en) 2016-11-28 2018-05-31 Lg Electronics Inc. Mobile terminal and operating method thereof

Also Published As

Publication number Publication date
DE102020103245A1 (de) 2020-08-13
GB2583813B (en) 2023-06-14
US20200258198A1 (en) 2020-08-13
CN111556243B (zh) 2022-08-09
JP2020129340A (ja) 2020-08-27
GB2583813A (en) 2020-11-11
GB202001597D0 (en) 2020-03-25
CN111556243A (zh) 2020-08-18
US11195256B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
JP7258482B2 (ja) 電子機器
US10924789B2 (en) Display control apparatus, control method for display control apparatus, and non-transitory computer readable medium
JP7183033B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US11295530B2 (en) Electronic apparatus for playing back a virtual reality video image and control method therefor
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
JP7214523B2 (ja) 電子機器、電子機器の制御方法、プログラム
JP7267764B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2021174317A (ja) 電子機器及びその制御方法
JP7204511B2 (ja) 電子機器、電子機器の制御方法、プログラム
US11380075B2 (en) Electronic apparatus for playing back a virtual reality video image and control method therefor
US11252328B2 (en) Electronic device and method for controlling the same
JP7086762B2 (ja) 表示制御装置
US11558599B2 (en) Electronic apparatus, control method for electronic apparatus, and non-transitory computer-readable storage medium
US20240176411A1 (en) Electronic device and method for controlling electronic device
CN110881102B (zh) 摄像设备、摄像设备的控制方法和计算机可读介质
JP2023121126A (ja) 電子機器、電子機器の制御方法、プログラム
JP2023120679A (ja) 電子機器、電子機器の制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220204

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221228

R151 Written notification of patent or utility model registration

Ref document number: 7204511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151