JP2011197358A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2011197358A
JP2011197358A JP2010063574A JP2010063574A JP2011197358A JP 2011197358 A JP2011197358 A JP 2011197358A JP 2010063574 A JP2010063574 A JP 2010063574A JP 2010063574 A JP2010063574 A JP 2010063574A JP 2011197358 A JP2011197358 A JP 2011197358A
Authority
JP
Japan
Prior art keywords
image
display
images
group
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010063574A
Other languages
English (en)
Other versions
JP5754074B2 (ja
JP2011197358A5 (ja
Inventor
Daisuke Kanehira
大輔 兼平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010063574A priority Critical patent/JP5754074B2/ja
Priority to PCT/JP2011/000617 priority patent/WO2011114615A1/en
Priority to TW100107314A priority patent/TWI442382B/zh
Priority to EP11755860.1A priority patent/EP2548198A4/en
Priority to CN201180014132.4A priority patent/CN102804258B/zh
Priority to US13/634,425 priority patent/US9313405B2/en
Priority to PCT/JP2011/001405 priority patent/WO2011114667A1/en
Priority to KR1020127023098A priority patent/KR20130018677A/ko
Publication of JP2011197358A publication Critical patent/JP2011197358A/ja
Publication of JP2011197358A5 publication Critical patent/JP2011197358A5/ja
Application granted granted Critical
Publication of JP5754074B2 publication Critical patent/JP5754074B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/068Adjustment of display parameters for control of viewing angle adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】装置の姿勢を変化させる操作方法により複数の画像を順次表示させる場合にその操作を容易に行う。
【解決手段】姿勢検出部120は、撮像装置100の姿勢の変化を検出する。操作方法決定部180は、複数の画像に付与されている角度情報を画像毎に正規化する。また、操作方法決定部180は、その正規化された角度情報に基づいて、撮像装置100の姿勢の位置と、複数の画像とを画像毎に関連付けて、複数の画像を表示する際における操作方法を決定する。グループ画像再生部160は、制御部140の制御に基づいて、グループを構成する複数の画像を、検出された姿勢の変化に基づいて表示部111に順次表示させる。この場合に、グループ画像再生部160は、検出された姿勢の変化と、表示部111における表示状態との関係を示すインジケータや傾け具合メータを表示部111に表示させる。
【選択図】図3

Description

本発明は、画像処理装置に関し、特に、画像を表示させる画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、人物や動物等の被写体を撮像して画像データを生成し、この画像データを画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ(例えば、カメラ一体型レコーダ)等の撮像装置が普及している。また、このように記録された各画像コンテンツを表示させる再生装置が多数提案されている。
例えば、操作部材を用いたユーザ操作により画像の画送りを行い、複数の画像を順次表示させる再生装置が存在する。また、ユーザが再生装置の姿勢を変化させることにより表示部の表示内容を変更させる再生装置が存在する。
例えば、本体の移動量や回転量を求め、これらに応じて表示部の表示内容のスクロール等を指示する情報処理装置が提案されている(例えば、特許文献1参照。)。
特開06−4208号公報(図3)
上述の従来技術によれば、装置の姿勢を変化させることにより表示部の表示内容を変更させることができるため、ユーザがその装置を手で持った状態でその変更操作を行うことができる。
ここで、複数の画像を装置の姿勢を変化させて画送りまたは画戻しさせる場合を想定する。この場合には、ユーザは表示部に順次表示される画像を見ながら、装置の姿勢を変化させる操作を行う。このため、ユーザが表示部に順次表示される画像を見ながら、画送りまたは画戻しのタイミングや画像群における表示画像の位置関係を容易に把握することができれば、その操作を容易に行うことができると考えられる。
本発明はこのような状況に鑑みてなされたものであり、装置の姿勢を変化させる操作方法により複数の画像を順次表示させる場合にその操作を容易に行うことを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、画像処理装置の姿勢の変化を検出する検出部と、画像群を構成する複数の画像を上記検出された姿勢の変化に基づいて表示部に順次表示させ、上記表示部における表示状態を上記検出された姿勢の変化により変更する操作を支援するための情報であって上記検出された姿勢の変化と上記表示部における表示状態との関係を示す操作支援情報を上記表示部に表示させる制御を行う制御部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像処理装置の姿勢の変化を検出し、画像群を構成する複数の画像をその検出された姿勢の変化に基づいて順次表示させ、その検出された姿勢の変化と、表示部における表示状態との関係を示す操作支援情報を表示させるという作用をもたらす。
また、この第1の側面において、上記複数の画像には角度情報が付与され、上記画像処理装置の姿勢が変化する範囲を基準として上記複数の画像に付与されている角度情報を上記画像毎に正規化して当該正規化された角度情報に基づいて上記画像処理装置の姿勢の位置と上記複数の画像とを上記画像毎に関連付けて上記複数の画像を表示する際における操作方法を決定する操作方法決定部をさらに具備し、上記制御部は、上記関連付けられた上記画像処理装置の姿勢の位置と上記複数の画像とに基づいて上記操作支援情報を上記表示部に表示させる制御を行うようにしてもよい。これにより、複数の画像に付与されている角度情報を画像毎に正規化し、この正規化された角度情報に基づいて、画像処理装置の姿勢の位置と、複数の画像とを画像毎に関連付けて操作方法を決定し、この関連付けられた画像処理装置の姿勢の位置と、複数の画像とに基づいて、操作支援情報を表示させるという作用をもたらす。
また、この第1の側面において、上記制御部は、上記複数の画像の全体における上記表示部に表示されている画像に関する上記正規化された角度情報により特定される順序を表す標識を上記操作支援情報として上記表示部に表示させる制御を行うようにしてもよい。これにより、複数の画像の全体における、表示部に表示されている画像に関する順序(正規化された角度情報により特定される順序)を表す標識を操作支援情報として表示させるという作用をもたらす。
また、この第1の側面において、上記制御部は、上記表示部における表示状態を変更するために必要な上記画像処理装置の姿勢の変化量を表す標識を上記操作支援情報として上記表示部に表示させる制御を行うようにしてもよい。これにより、表示部における表示状態を変更するために必要な画像処理装置の姿勢の変化量を表す標識を操作支援情報として表示させるという作用をもたらす。
また、この第1の側面において、上記制御部は、上記複数の画像について画送りまたは画戻しを行うために必要な上記画像処理装置の姿勢の変化量を表す標識を上記操作支援情報として上記表示部に表示させる制御を行うようにしてもよい。これにより、複数の画像について画送りまたは画戻しを行うために必要な画像処理装置の姿勢の変化量を表す標識を操作支援情報として表示させるという作用をもたらす。
また、この第1の側面において、上記複数の画像は、所定の規則に基づいて順序が特定される画像であり、上記制御部は、上記複数の画像の全体における上記表示部に表示されている画像に関する順序を表す標識を上記操作支援情報として上記表示部に表示させる制御を行うようにしてもよい。これにより、複数の画像の全体における、表示部に表示されている画像に関する順序を表す標識を操作支援情報として表示させるという作用をもたらす。
また、この第1の側面において、上記複数の画像は、所定の規則により互いに関連する画像であり、上記制御部は、上記表示部に表示されている画像に係る画像群を構成する各画像の相関性に基づいて上記操作支援情報の表示態様を上記画像群毎に変更して上記表示部に表示させる制御を行うようにしてもよい。これにより、表示部に表示されている画像に係る画像群を構成する各画像の相関性に基づいて、操作支援情報の表示態様を画像群毎に変更して表示させるという作用をもたらす。
また、この第1の側面において、上記制御部は、表示対象となる画像群を構成する画像の数が基準を超えている場合には当該画像群を構成する画像のうちから上記基準に応じた所定数の画像を抽出して当該抽出された各画像を上記表示部に順次表示させる制御を行うようにしてもよい。これにより、表示対象となる画像群を構成する画像の数が基準を超えている場合には、その画像群を構成する画像のうちからその基準に応じた所定数の画像を抽出し、この抽出された各画像を順次表示させるという作用をもたらす。
また、この第1の側面において、上記複数の画像は、所定の規則により互いに関連する画像であり、上記画像群を表す代表画像を上記表示部に表示する第1の表示モードと、上記画像群を構成する各画像を上記表示部に表示する第2の表示モードとの何れかを設定する設定操作を受け付ける操作受付部をさらに具備し、上記制御部は、上記第1の表示モードが設定されている場合には、上記表示部に表示されている代表画像に係る画像群を構成する各画像の相関性に基づいて当該代表画像の表示態様を上記画像群毎に変更して上記表示部に表示させる制御を行うようにしてもよい。これにより、第1の表示モードが設定されている場合には、表示部に表示されている代表画像に係る画像群を構成する各画像の相関性に基づいて、その代表画像の表示態様を画像群毎に変更して表示させるという作用をもたらす。
また、この第1の側面において、上記検出部は、上記画像処理装置の姿勢が変化する際における角速度を上記姿勢の変化として検出し、上記制御部は、上記検出された角速度が一定の基準を超えたか否かに基づいて上記表示部における表示状態を変更する制御を行うようにしてもよい。これにより、画像処理装置の姿勢が変化する際における角速度を検出し、この検出された角速度が一定の基準を超えたか否かに基づいて、表示部における表示状態を変更するという作用をもたらす。
本発明によれば、装置の姿勢を変化させる操作方法により複数の画像を順次表示させる場合にその操作を容易に行うという優れた効果を奏し得る。
本発明の第1の実施の形態における撮像装置100の外観構成例を示す図である。 本発明の第1の実施の形態における撮像装置100の使用時における姿勢の一例を示す図である。 本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。 本発明の第1の実施の形態における画像管理情報記憶部210の記憶内容を模式的に示す図である。 本発明の第1の実施の形態における代表画像再生部150により入出力パネル101に表示される代表画像の表示例を示す図である。 本発明の第1の実施の形態における入出力パネル101における画像の表示遷移例を模式的に示す図である。 本発明の第1の実施の形態における入出力パネル101における画像の表示遷移例を模式的に示す図である。 本発明の第1の実施の形態における撮像装置100を用いて行われる撮像動作時における被写体と撮像装置100との位置関係の概略と、その撮像動作時に生成された撮像画像群の一例とを示す図である。 本発明の第1の実施の形態における撮像装置100の姿勢の変化と操作方法決定部180により行われる角度情報の正規化の一例を示す図である。 本発明の第1の実施の形態における操作方法決定部180による表示対象画像と傾け角度の範囲との関連付け方法およびこの関連付け後に表示される画像および操作支援情報の一例を示す図である。 本発明の第1の実施の形態における操作方法決定部180によるインジケータの表示領域の算出方法を模式的に示す図である。 本発明の第1の実施の形態における操作方法決定部180により算出されたインジケータの表示領域に基づくインジケータの表示例を示す図である。 本発明の第1の実施の形態における操作方法決定部180による表示対象画像数の決定方法および表示対象画像の間引き方法を模式的に示す図である。 本発明の第1の実施の形態における操作方法決定部180によるインジケータの表示領域の設定方法を模式的に示す図である。 本発明の第1の実施の形態におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)の表示遷移例を示す図である。 本発明の第1の実施の形態におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)の表示遷移例を示す図である。 本発明の第1の実施の形態におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)の表示遷移例を示す図である。 本発明の第1の実施の形態における入出力パネル101における表示遷移と、撮像装置100の姿勢との関係を概略的に示す図である。 本発明の第1の実施の形態における入出力パネル101における表示遷移と、撮像装置100の姿勢との関係を概略的に示す図である。 本発明の第1の実施の形態における撮像装置100による画像コンテンツ再生処理の処理手順の一例を示すフローチャートである。 本発明の第1の実施の形態における撮像装置100による画像コンテンツ再生処理の処理手順の一例を示すフローチャートである。 本発明の第1の実施の形態における撮像装置100による画像コンテンツ再生処理の処理手順のうちのグループ画像表示モード設定処理の一例を示すフローチャートである。 本発明の第1の実施の形態の変形例におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)と、入出力パネル101における表示遷移例とを示す図である。 本発明の第1の実施の形態の変形例におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)と、入出力パネル101における表示遷移例とを示す図である。 本発明の第1の実施の形態の変形例における入出力パネル101における表示遷移例を示す図である。 本発明の第1の実施の形態の変形例における入出力パネル101における表示遷移例を示す図である。 本発明の第1の実施の形態の変形例における入出力パネル101における表示遷移例を示す図である。 本発明の第1の実施の形態の変形例における入出力パネル101における表示遷移例を示す図である。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(表示制御:グループ画像表示モードにおいて、グループに属する各画像にインジケータまたは傾き具合メータを重ねて表示する例)
2.変形例
<1.第1の実施の形態>
[撮像装置の外観構成例]
図1は、本発明の第1の実施の形態における撮像装置100の外観構成例を示す図である。図1(a)は、撮像装置100の表示面側の外観を示す斜視図である。また、図1(b)は、撮像装置100の表示面側の外観を示す側面図である。撮像装置100は、例えば、被写体を撮像して画像データを生成し、この画像データを画像コンテンツとして記録し、これらを表示することが可能なデジタルスチルカメラ、デジタルビデオカメラ(例えば、カメラ一体型レコーダ)等により実現される。
撮像装置100は、入出力パネル101およびシャッターボタン102を備える。また、撮像装置100は、ユーザが手に持って入出力パネル101に表示される画像を見ることができ、携帯することが可能な画像処理装置である。なお、撮像装置100は、特許請求の範囲に記載の画像処理装置の一例である。
入出力パネル101は、各種画像を表示するとともに、入出力パネル101における接触操作を検出することによりユーザからの操作入力を受け付けるものである。また、シャッターボタン102は、被写体を撮像して生成された画像データ(撮像画像)を画像コンテンツ(静止画ファイル)として記録する際に撮影者により押下されるボタンである。
なお、撮像装置100には、電源スイッチ、モード切替スイッチ等の他の操作部材やレンズ部等が備えられているが、説明の容易のため、ここでの図示および説明は省略する。ここで、レンズ部(図示せず)は、被写体からの光を集光する複数のレンズ、絞り等を備える光学系である。
ここで、撮像装置100の姿勢の変化について説明する。例えば、ユーザが撮像装置100を手に持った状態で、直交3軸周りの回転角(すなわち、ヨー角、ピッチ角、ロール角)を変化させることができる。例えば、矢印300(矢印301)を軸とする矢印302方向に撮像装置100の姿勢を変化(ヨー角の変化)させることができる。この変化例を図2(b)に示す。また、例えば、矢印303(矢印304)を軸とする矢印305方向に撮像装置100の姿勢を変化(ピッチ角の変化)させることができる。また、例えば、矢印306(矢印307)を軸とする矢印308方向に撮像装置100の姿勢を変化(ロール角の変化)させることができる。
また、例えば、ユーザが撮像装置100を手に持った状態で、平面における直線上を移動(スライド)させて変化させることができる。例えば、矢印300または矢印301方向に移動させて変化させることができる(図1(b)における上下方向への移動)。また、例えば、矢印303または矢印304方向に移動させて変化させることができる(図1(b)における左右方向への移動)。この変化例を図2(c)に示す。また、例えば、矢印306または矢印307方向に移動させて変化させることができる。
[撮像装置の使用例]
図2は、本発明の第1の実施の形態における撮像装置100の使用時における姿勢の一例を示す図である。図2(a)には、撮像装置100を用いて画像コンテンツの再生を行う場合における撮像装置100の姿勢の一例を示す。人物310が、撮像装置100を用いて画像コンテンツの再生を行う場合には、例えば、図2(a)に示すように、撮像装置100を両手で持った状態で、入出力パネル101に表示される画像を見ることができる。
図2(b)および(c)には、撮像装置100の姿勢を変化させる場合におけるその遷移例を示す。図2(b)には、図1(a)に示す矢印300(301)を軸として矢印302の方向に撮像装置100を回転させてその姿勢を変化させる場合におけるその遷移例を示す。
図2(c)には、図1(a)および(b)に示す矢印303および304の方向に撮像装置100を移動させてその姿勢を変化させる場合におけるその遷移例を示す。本発明の第1の実施の形態では、このように撮像装置100の姿勢を変化させることにより、入出力パネル101に表示される画像を順次変更する例を示す。すなわち、ユーザによるジェスチャー操作により、入出力パネル101に表示される画像を順次変更する例を示す。これらの画像の表示状態の変更については、図6、図7等を参照して詳細に説明する。
[撮像装置の機能構成例]
図3は、本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。撮像装置100は、入出力部110と、姿勢検出部120と、解析部130と、制御部140と、代表画像再生部150と、グループ画像再生部160と、描画メモリ170と、操作方法決定部180とを備える。また、撮像装置100は、画像コンテンツ記憶部200および画像管理情報記憶部210を備える。
画像コンテンツ記憶部200は、撮像部(図示せず)により生成された画像データ(撮像画像)を画像ファイル(画像コンテンツ(静止画コンテンツまたは動画コンテンツ))として記憶するものである。また、画像コンテンツ記憶部200は、記憶されている画像コンテンツを代表画像再生部150またはグループ画像再生部160に供給する。なお、本発明の第1の実施の形態では、画像コンテンツとして静止画コンテンツを用いる例を示す。
画像管理情報記憶部210は、画像コンテンツ記憶部200に記憶されている画像コンテンツに関する管理情報(画像管理情報)を記憶するものである。この画像管理情報を用いて、代表画像表示モードおよびグループ画像表示モードにおける再生が行われる。ここで、代表画像表示モードは、画像コンテンツ記憶部200に記憶されている画像コンテンツのうち、グループ化されている各画像コンテンツの代表画像と、グループ化されていない画像コンテンツの画像とをユーザ操作に応じて順次表示するモードである。また、グループ画像表示モードは、画像コンテンツ記憶部200に記憶されている画像コンテンツのうち、グループ化されている各画像コンテンツの画像を撮像装置100の姿勢の変化に応じて順次表示するモードである。なお、画像コンテンツ記憶部200および画像管理情報記憶部210として、例えば、DVD(Digital Versatile Disk)等のディスクやメモリカード等の半導体メモリ等のリムーバブルな1または複数の記録媒体を用いることができる。また、これらの記録媒体は、撮像装置100に内蔵するようにしてもよく、撮像装置100から着脱可能とするようにしてもよい。
入出力部110は、表示部111および操作受付部112を備える。表示部111は、代表画像再生部150またはグループ画像再生部160から供給された画像を表示する表示部である。また、表示部111には各種メニュー画面や各種画像が表示される。表示部111として、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)パネル等を用いることができる。
操作受付部112は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた操作信号を制御部140に供給する。操作受付部112は、例えば、図1に示すシャッターボタン102等の操作部材やタッチパネルに対応する。このタッチパネルは、例えば、表示部111の画面を透過するように表示部111に重ねて配置され、表示面に接触する物体を検出することによりユーザからの操作入力を受け付ける。すなわち、タッチパネルは、入出力部110における表示面において、ユーザが指を触れる等して所望の位置を押下すると、この押下位置の座標を検出し、この検出された座標に対応する操作信号を制御部140に出力する。そして、制御部140は、その操作信号を取得すると、取得された操作信号に基づいて所定の処理を実行する。操作受付部112として、例えば、専用の感知装置を用いて表示面における接触を電気信号に変換し、この変換された電気信号を制御部140に出力するタッチパネルを用いることができる。また、操作受付部112として、例えば、表示面に近接または接触する物体(例えば、ユーザの指)を検出することが可能な光センサ方式のタッチパネルを用いるようにしてもよい。なお、入出力部110は、図1に示すシャッターボタン102等の操作部材や入出力パネル101に対応する。
姿勢検出部120は、撮像装置100の加速度、動き、傾き等を検出することにより撮像装置100の姿勢の変化を検出するものであり、検出された姿勢の変化に関する姿勢変化情報を解析部130に出力する。例えば、姿勢検出部120は、撮像装置100の特定方向における移動方向および移動量、その特定方向における角速度(撮像装置100の姿勢が変化する際における角速度)等を、撮像装置100の姿勢の変化として検出する。なお、姿勢検出部120は、ジャイロセンサ(角速度センサ)や加速度センサにより実現することができる。なお、姿勢検出部120は、特許請求の範囲に記載の検出部の一例である。
解析部130は、姿勢検出部120から出力された姿勢変化情報に基づいて、撮像装置100の姿勢の変化量(移動方向、移動量等)を解析して表示部111に表示される画像や操作支援情報の表示切替を行うための解析情報を生成するものである。そして、解析部130は、その解析情報をグループ画像再生部160に出力する。
制御部140は、操作受付部112からの操作内容に基づいて、撮像装置100の各部を制御するものである。例えば、制御部140は、操作受付部112により代表画像表示モードの設定操作が受け付けられた場合には代表画像表示モードを設定し、操作受付部112によりグループ画像表示モードの設定操作が受け付けられた場合にはグループ画像表示モードを設定する。
また、制御部140は、グループ画像表示モードの設定操作が受け付けられた場合には、その設定操作時に表示部111に表示されていた代表画像に対応するグループを構成する各画像を、表示部111に順次表示させる制御を行う。このグループ画像表示モードの設定時には、制御部140は、撮像装置100の姿勢の変化と、表示部111における表示状態との関係を示す操作支援情報を表示部111に表示させる制御を行う。この操作支援情報は、表示部111における表示状態を変更するための操作を支援するための情報であり、例えば、図18(a)に示すインジケータ660や図19(a)に示す傾き具合メータ670である。また、制御部140は、操作方法決定部180により関連付けられた撮像装置100の姿勢の位置と、複数の画像コンテンツとに基づいてその操作支援情報を表示部111に表示させる制御を行う。
また、代表画像表示モードが設定されている場合に、表示部111に表示される画像の表示切替(画送り、画戻し等)を指示する指示操作が受け付けられた場合には、制御部140は、その指示操作に基づいて画像の表示切替を代表画像再生部150に指示する。また、グループ画像表示モードの設定操作時には、制御部140は、その設定操作時に表示部111に表示されていた代表画像に対応するグループに関連付けられている画像管理情報(図4に示す操作方法215等)をグループ画像再生部160から取得する。制御部140は、例えば、CPU(Central Processing Unit)により実現される。
代表画像再生部150は、制御部140の制御に基づいて、画像コンテンツ記憶部200に記憶されている画像コンテンツのうち、代表画像に対応する画像コンテンツと、グループ化されていない画像コンテンツを表示部111に表示させるものである。具体的には、代表画像再生部150は、代表画像表示モードが設定されている場合に、代表画像に対応する画像コンテンツと、グループ化されていない画像コンテンツとを画像コンテンツ記憶部200から取得する。続いて、代表画像再生部150は、その取得された画像コンテンツをデコードし、このデコードされた画像コンテンツに基づいて表示用の画像を描画メモリ170に描画する。そして、代表画像再生部150は、制御部140の制御に基づいて、描画メモリ170に描画された各画像のうち、1つの画像を表示部111に順次表示させる。また、代表画像再生部150は、代表画像と、これに対応するグループを構成する各画像を表示させるためのグループ画像表示モードへの設定操作を支援する操作支援情報(例えば、図5に示す操作支援情報261)とを関連付けて表示部111に表示させる。さらに、代表画像再生部150は、代表画像と、これに対応するグループの種類(例えば、図4に示すグループ種類216)を表す操作支援情報(例えば、図5に示す操作支援情報251、252、256、257)とを関連付けて表示部111に表示させる。
グループ画像再生部160は、制御部140の制御に基づいて、画像コンテンツ記憶部200に記憶されている画像コンテンツのうち、グループ化されている画像コンテンツをグループ単位で表示部111に表示させるものである。具体的には、グループ画像再生部160は、グループ画像表示モードが設定された場合には、グループ画像表示モードの設定操作時に表示されていた代表画像に対応するグループに属する各画像コンテンツを画像コンテンツ記憶部200から取得する。また、グループ画像再生部160は、そのグループに属する各画像コンテンツに関連付けられている画像管理情報を画像管理情報記憶部210から取得する。続いて、グループ画像再生部160は、その取得された画像管理情報を操作方法決定部180に出力する。また、例えば、グループ画像再生部160は、その取得された画像コンテンツをデコードし、このデコードされた画像コンテンツに基づいて表示用の画像を描画メモリ170に描画する。この場合に、グループ画像再生部160は、例えば、所定の規則に従って表示用の各画像を並べて描画メモリ170に描画する。
また、グループ画像再生部160は、グループ画像表示モードの設定操作が受け付けられた場合には、表示対象となるグループに属する各画像と、操作支援情報とを関連付けて表示部111に表示させる。この場合に、例えば、グループ画像再生部160は、姿勢検出部120により検出された撮像装置100の姿勢の変化に基づいて、その操作支援情報の内容を変更させる。
描画メモリ170は、代表画像再生部150またはグループ画像再生部160により描画された画像を保持する描画バッファであり、描画された画像を代表画像再生部150またはグループ画像再生部160に供給する。
操作方法決定部180は、グループ画像再生部160から出力された画像管理情報に基づいて、グループ化されている画像コンテンツをグループ単位で表示部111に表示させる際における操作方法を決定するものである。例えば、操作方法決定部180は、撮像装置100の姿勢が変化する範囲を基準として、複数の画像コンテンツに付与されている角度情報を画像コンテンツ毎に正規化する。そして、操作方法決定部180は、その正規化された角度情報に基づいて、撮像装置100の姿勢の位置と、複数の画像コンテンツとを画像コンテンツ毎に関連付けて操作方法を決定し、この決定された操作方法をグループ画像再生部160に出力する。なお、この操作方法の決定方法については、図8乃至図14を参照して詳細に説明する。
[画像管理情報記憶部の記憶内容]
図4は、本発明の第1の実施の形態における画像管理情報記憶部210の記憶内容を模式的に示す図である。画像管理情報記憶部210には、グループ識別情報211と、画像コンテンツ識別情報212と、角度情報213と、代表画像214と、操作方法215と、グループ種類216とが記憶されている。
グループ識別情報211には、各グループを識別するための識別情報が格納されている。ここで、グループは、所定の規則に基づいて順序が特定されて互いに関連する複数の画像コンテンツにより構成される画像群である。なお、本発明の第1の実施の形態では、複数の画像コンテンツにより構成される画像群(グループ)と、画像群を構成しない画像コンテンツとの双方について、グループ識別情報を付与して、画像群を構成しない画像コンテンツと画像群とを識別する例を示す。
画像コンテンツ識別情報212には、画像コンテンツ記憶部200に記憶されている各画像コンテンツを識別するための識別情報(画像コンテンツ識別情報)が格納される。例えば、画送り、画戻しの順序(例えば、撮影時刻(記録日時)の順序)で、各画像コンテンツの画像コンテンツ識別情報が格納されているものとする。
角度情報213には、画像コンテンツ記憶部200に記憶されている画像コンテンツが生成された際における撮像動作に対応する角度情報が格納される。例えば、撮像装置100を用いて多視点画像の撮影が行われ、この撮影により生成された多視点画像が画像コンテンツ記憶部200に記憶されている場合には、その撮影時における角度(所定位置を基準とした場合における角度)が角度情報として格納される。なお、角度情報が付与されていない画像コンテンツの欄には「無」を示す。ここで、多視点画像は、注目被写体(例えば、人物の顔)を基準として撮像装置100を移動させることにより、その注目被写体に対する視点を変化させる撮像動作により生成される複数の画像である。この撮像動作については、図8(a)を参照して詳細に説明する。
代表画像214には、グループ化されている複数の画像コンテンツのうちから、代表画像を特定するための代表画像情報が格納される。図4に示す例では、代表画像情報として、代表画像に対応する画像コンテンツの画像コンテンツ識別情報(画像コンテンツ識別番号)を示す。なお、グループ化されていない画像コンテンツの欄には「無」を示す。すなわち、代表画像214に画像コンテンツ識別情報が格納されているか否かにより、画像コンテンツがグループ化されているか否か(画像コンテンツがグループに属するか否か)を識別することができる。
操作方法215には、グループ画像表示モードが設定されている場合において、グループ化されている複数の画像コンテンツを順次表示する際における操作方法が格納される。この操作方法は、撮像装置100の姿勢の変化に関する操作方法である。例えば、「横回転」は、図1に示す矢印300(301)を軸として矢印302の方向に撮像装置100を回転させてその姿勢を変化させることにより、複数の画像コンテンツを順次表示させる操作を意味する。また、例えば、「縦回転」は、図1に示す矢印303(304)を軸として矢印305の方向に撮像装置100を回転させてその姿勢を変化させることにより、複数の画像コンテンツを順次表示させる操作を意味する。また、例えば、「水平移動」は、図1に示す矢印303および304の方向に撮像装置100を移動させてその姿勢を変化させることにより、複数の画像コンテンツを順次表示させる操作を意味する。また、例えば、「垂直移動」は、図1に示す矢印300および301の方向に撮像装置100を移動させてその姿勢を変化させることにより、複数の画像コンテンツを順次表示させる操作を意味する。この操作方法は、例えば、画像コンテンツの生成時における撮像動作方法に応じて、撮像装置100が自動で決定することができる。また、ユーザ操作によりユーザの好みに応じて適宜決定するようにしてもよい。
グループ種類216には、所定の規則に基づいて順序が特定されて互いに関連する複数の画像コンテンツにより構成されるグループ(画像群)に関する種類が格納される。図4では、「連写画像」および「多視点画像」がグループ種類として格納されている例を示す。ここで、「連写画像」は、連写撮影により生成された複数の画像により構成されるグループの種類であり、「多視点画像」は、多視点撮影により生成された複数の画像により構成されるグループの種類である。なお、グループ化されていない画像コンテンツの欄には「無」を示す。また、代表画像表示モードが設定されている場合に、代表画像とともに、グループ種類216の内容に基づいてその代表画像に対応するグループの種類を表示することができる。この表示例を図5に示す。
なお、グループ識別情報211、角度情報213、代表画像214、操作方法215およびグループ種類216に格納されている各情報については、画像ファイル(画像コンテンツ)内に記録するようにしてもよい。例えば、静止画ファイルに関する属性情報として、これらの各情報を記録することができる。そして、画像コンテンツの再生時には、画像コンテンツ内に記録されている各情報を用いることができる。
[代表画像の表示例]
図5は、本発明の第1の実施の形態における代表画像再生部150により入出力パネル101に表示される代表画像の表示例を示す図である。図5(a)には、グループ種類216に「多視点画像」が格納されているグループの代表画像を表示する場合における表示例を示す。また、図5(b)には、グループ種類216に「連写画像」が格納されているグループの代表画像を表示する場合における表示例を示す。
図5(a)に示すように、多視点画像に関するグループの代表画像250を入出力パネル101に表示する場合には、そのグループが多視点画像に関するグループである旨を示す操作支援情報(装飾画像)251および252が代表画像250の両側に表示される。また、代表画像250の上側には、グループ種類表示領域262および画サイズ表示領域263が設けられ、代表画像250の下側には、グループ画像表示モードを設定するための操作支援情報261が設けられている。
グループ種類表示領域262には、表示されている代表画像に対応するグループの種類が表示される。例えば、表示されている代表画像に対応するグループの種類が、多視点画像に関するグループである場合には、グループ種類表示領域262には「多視点」が表示される。
画サイズ表示領域263には、表示されている代表画像に対応するグループに属する各画像の画サイズ(例えば、1つの画像に関する画サイズ)が表示される。
操作支援情報261は、代表画像表示モードの設定時においてグループ画像表示モードを設定するための操作を支援するための操作ボタンである。すなわち、ユーザが操作支援情報261を押下することにより、グループ画像表示モードを設定することができる。また、操作支援情報261に対応する矩形内には、グループ種類表示領域262におけるグループの種類と同一の文字が表示される。
また、図5(b)に示すように、連写画像に関するグループの代表画像255を入出力パネル101に表示する場合には、そのグループが連写画像に関するグループである旨を示す操作支援情報(装飾画像)256、257が代表画像255の両側に表示される。また、代表画像255の上側には、グループ種類表示領域262および画サイズ表示領域263が設けられ、代表画像255の下側には、グループ画像表示モードを設定するための操作支援情報261が設けられている。
このように、代表画像表示モードが設定されている場合には、入出力パネル101に表示されている代表画像に係る画像群を構成する各画像の相関性(例えば、グループ種類に対応する)に基づいて、その代表画像の表示態様が画像群毎に変更して表示される。
なお、図5(b)に示すように、表示されている代表画像に対応するグループの種類が、連写画像に関するグループである場合には、グループ種類表示領域262には「連写」が表示される。また、操作支援情報261に対応する矩形内には、「連写」が表示される。
[画像の表示遷移例]
図6および図7は、本発明の第1の実施の形態における入出力パネル101における画像の表示遷移例を模式的に示す図である。図6(a)には、画像コンテンツ記憶部200に記憶されている画像コンテンツを所定の規則(画像コンテンツ識別情報の順序)に従って並べた場合を模式的に示す。なお、図6(a)に示す例では、画像コンテンツ記憶部200に記憶されている画像コンテンツのうち、画像コンテンツ#1乃至#13のみを示す。また、画像コンテンツ#1乃至#13は、図4の画像コンテンツ識別情報212に示す#1乃至#13に対応する。なお、図6では、画像コンテンツ識別情報(#1乃至#13)を内部に付した矩形により、各画像コンテンツおよびこれに対応する各画像を模式的に示す。また、グループ化されている画像コンテンツについては、グループ単位で各画像コンテンツを点線の矩形で囲んで示す。
図6(b)には、代表画像表示モードが設定されている場合に入出力パネル101に表示される画像の遷移例を示す。図6(b)に示すように、グループ化されていない画像コンテンツ(#1、#5、#6、#13)と、グループ化されている画像コンテンツの代表画像(#3、#9)とが、ユーザによる画送り操作または画戻し操作に基づいて順次表示される。この画送り操作または画戻し操作は、例えば、撮像装置100に備えられている操作部材(例えば、タッチパネルや外装されている操作ボタン(図示せず))を用いて行う。また、この画送り操作または画戻し操作は、例えば、グループ画像表示モードの設定時と同様に、撮像装置100の姿勢の変化に応じて行うようにしてもよい。
図7(a)には、図6(b)に示す画像のうち、画像コンテンツ#6、#9、#13が、ユーザによる画送り操作または画戻し操作に基づいて順次表示される場合における表示遷移例を示す。なお、図7では、画像コンテンツ識別情報(#6、#8乃至#10、#13)を内部に付した矩形により画像コンテンツを表す画像を模式的に示す。このように、ユーザ操作に基づいて各画像を入出力パネル101に表示させることができる。ここで、図7(a)に示すように、グループ化されている画像コンテンツの代表画像(例えば、#9)が、入出力パネル101に表示されている場合には、グループ画像表示モードを設定するための操作支援情報261が表示される。この操作支援情報261は、図5に示す操作支援情報261と同様である。すなわち、ユーザが操作支援情報261に対応する矩形領域を押下することにより、グループ画像表示モードを設定することができる。例えば、グループ化されている画像コンテンツ(例えば、#3、#9)の代表画像が入出力パネル101に表示されている状態で、操作支援情報261の押下操作が行われた場合にはグループ画像表示モードが設定される。このように、操作支援情報261の押下操作がグループ画像表示モードへの入り口となる。また、グループ画像表示モードが設定された場合には、グループ画像表示モードの設定操作(操作支援情報261の押下操作)が行われた際に表示されていた代表画像に対応するグループに属する各画像コンテンツが順次表示される。
一方、図7(a)に示すように、グループ化されていない画像コンテンツ(例えば、#6、#13)が入出力パネル101に表示されている場合には、操作支援情報261が表示されない。このため、グループ化されていない画像コンテンツ(例えば、#6、#13)が入出力パネル101に表示されている状態では、操作支援情報261の押下操作が行うことができず、グループ画像表示モードを設定することができない。
ここで、グループ化されている画像コンテンツ(#9)の代表画像が入出力パネル101に表示されている状態で、グループ画像表示モードの設定操作(操作支援情報261の押下操作)が行われた場合を想定する。この場合には、グループ画像再生部160が、グループ画像表示モードの設定操作が行われた際に表示されていた代表画像に対応するグループに属する各画像コンテンツを、画像コンテンツ記憶部200から取得する。また、グループ画像再生部160が、そのグループに属する各画像コンテンツに関連付けられている画像管理情報を、画像管理情報記憶部210から取得する。続いて、操作方法決定部180が、その取得された画像管理情報に基づいて、そのグループに属する各画像コンテンツから、表示対象となる画像(表示対象画像)を決定するとともに、これらの表示対象画像を表示させるための操作方法を決定する。この表示対象画像の決定方法およびその操作方法の決定方法については、図8乃至図14を参照して詳細に説明する。
続いて、グループ画像再生部160が、その決定された画像コンテンツに基づいて、各画像を描画メモリ170に描画する。この場合に、グループ画像再生部160は、所定の規則(例えば、画像コンテンツ識別情報の順序)に従って各画像を描画メモリ170に描画する。この描画メモリ170における画像の描画例を図6(c)に示す。
図6(c)には、グループ画像表示モードが設定された際に表示されていた代表画像に対応するグループに属する各画像コンテンツが描画メモリ170に描画された場合を模式的に示す。このように画像コンテンツの描画処理が行われている場合には、グループ画像再生部160は、その旨を入出力パネル101に表示させ、グループ画像表示モードにおける表示処理を行わない。この場合における表示例を図7(b)に示す。なお、図6(b)では、グループ#105に属する各画像コンテンツの全てが、表示対象画像として決定された場合における描画例を示す。
図7(b)には、グループ画像表示モードの設定操作が行われた直後に画像コンテンツの描画処理が行われている場合における表示例を示す。例えば、入出力パネル101には、グループ画像表示モードが設定された際に表示されていた代表画像(#9)に、画像コンテンツの描画処理である旨を示す操作支援情報402が重ねて表示される。そして、画像コンテンツの描画処理が終了した場合には、グループ画像再生部160は、グループ画像表示モードにおける画像の表示切替操作を支援するための操作支援情報を入出力パネル101に表示させる。この表示例を図7(c)に示す。
図7(c)には、グループ画像表示モードの設定操作後に画像コンテンツの描画処理が終了した場合における表示例を示す。例えば、入出力パネル101には、グループ画像表示モードが設定された際に表示されていた代表画像(#9)に、グループ画像表示モードにおける画像の表示切替操作を支援するための操作支援情報403および404が重ねて表示される。操作支援情報403および404は、入出力パネル101に表示されているグループに属する各画像を表示させるための操作を支援するための操作ガイドである。図7(c)に示す操作支援情報404は、ユーザが撮像装置100を手に持った状態で、図1(a)に示す矢印300(301)を軸として撮像装置100を回転させる操作を行う場合における操作を支援するためのものである。また、操作支援情報403は、最初に表示される操作支援情報であり、ユーザ操作または一定時間経過により消去させることができる。すなわち、そのメッセージの意味をユーザが理解したと考えられる場合には、そのメッセージを消去する。このように消去することにより、傾けるという操作が正しい操作であることをユーザに通知することができる。なお、各図では、説明の容易のため、各操作支援情報を比較的大きくして示す。
ここで、図7(c)に示すように、グループ画像表示モードが設定され、表示対象画像に重ねて操作支援情報403および404が表示されている状態で、代表画像表示モードを設定する設定操作について説明する。この状態で、代表画像表示モードを設定する場合には、例えば、ユーザが入出力パネル101における表示面に接触するタッチ操作を行う。このタッチ操作が行われると、矢印405に示すように、グループ画像表示モードから代表画像表示モードに切り替えられる(すなわち、代表画像表示モードが設定される)。このように代表画像表示モードが設定された直後には、グループ画像表示モードの設定時に表示されていたグループの代表画像(例えば、画像#9)が表示される。なお、入出力パネル101におけるタッチ操作以外に、他の操作部材を用いた設定操作により代表画像表示モードを設定するようにしてもよい。
[角度情報の付与例]
図8は、本発明の第1の実施の形態における撮像装置100を用いて行われる撮像動作時における被写体と撮像装置100との位置関係の概略と、その撮像動作時に生成された撮像画像群の一例とを示す図である。
図8(a)には、撮像装置100を用いて行われる撮像動作時における注目被写体(人物500の顔)と、撮像装置100との位置関係の概略を模式的に示す。図8(a)に示す例では、人物500の顔を注目被写体とし、撮像装置100を移動させることにより、人物500の顔に対する視点を変化させて撮像動作を行う例を示す。具体的には、図8(a)には、人物500の正面を撮影する場合(撮像動作時の角度情報Aiを0度とする場合)を示す。同様に、図8(a)には、人物500の右斜め側面を撮影する場合(撮像動作時の角度情報Aiを−60度とする場合)、人物500の左斜め側面を撮影する場合(撮像動作時の角度情報Aiを+60度とする場合)を示す。なお、図8(a)では、人物500(各画像に含まれる人物500を含む)に関する顔等を簡略化して示す。また、撮像装置100を用いて行われた撮像動作時の角度情報Aiを、撮像装置100の下部分に表す(Ai=−60度、Ai=0度、Ai=+60度)。
図8(b)には、撮像装置100により生成された撮像画像群(画像(C0乃至C5)510乃至515)を示す。なお、Ciは、各画像を識別するための識別情報であり、iは0≦i≦nを満たす整数であるものとする。図8(b)に示す例では、n=5である。
具体的には、画像(C0乃至C2)510乃至512は、人物500の右斜め側面を撮影した場合(撮像動作時の角度情報Aiが−60度、−55度、−25度である場合)における撮像画像である。また、画像(C3乃至C5)513乃至515は、人物500の左斜め側面を撮影した場合(撮像動作時の角度情報Aiが+40度、+55度、+60度である場合)における撮像画像である。なお、図8(b)では、図8(a)と同様に、画像(C0乃至C5)510乃至515に含まれる人物500に関する顔等を簡略化して示す。また、撮像動作時の角度情報Ai(画像Ciの撮像動作時における角度)については、各画像の下部分に表す(A0=−60度、A1=−55度、…、A4=+55度、A5=+60度)。
このように、注目被写体(人物500の顔)に対する視点を変化させることにより生成された画像(C0乃至C5)510乃至515については、多視点画像としてグループ化され、画像コンテンツ記憶部200に記憶される。また、これらの各画像管理情報(例えば、角度情報、グループ種類)が画像管理情報記憶部210に記憶される。そして、撮像装置100を用いて画像(C0乃至C5)510乃至515を表示させる場合には、撮像装置100を横回転させることにより、そのグループを構成する画像(C0乃至C5)510乃至515を順次表示させることができる。
ここで、画像(C0乃至C5)510乃至515は、同一人物の顔について異なる視点から撮像された画像である。このため、撮像装置100を左右に傾けるユーザ操作を早く行い、画送りまたは画戻しを早く行うことにより、3次元の物体(人物500の顔)を見ているようにユーザに認識させることができる。すなわち、撮像装置100を左右に傾けるユーザ操作により、擬似的に3次元画像を見ているようにユーザに認識させることができる。
このように、注目被写体がさまざまな角度から撮影された画像群をユーザのジェスチャー操作により高速画送りまたは画戻しをさせることにより、擬似立体視のような画像を奥行きのある画像として楽しむことができる。すなわち、人物の顔や車等の対象物を立体的に鑑賞したい場合に、ユーザの手動操作によりその対象物の擬似的な立体画像を容易に鑑賞することができる。
このように画像群を表示させる場合には、その操作方法に係る角度情報(回転角度の全範囲および基準角度)の決定が重要である。そこで、以下では、その操作方法に係る角度情報の決定方法について図面を参照して詳細に説明する。
[角度情報の正規化例]
図9は、本発明の第1の実施の形態における撮像装置100の姿勢の変化と操作方法決定部180により行われる角度情報の正規化の一例を示す図である。図9(a)には、グループ画像表示モードが設定されている場合において、画像コンテンツ記憶部200に記憶されている画像コンテンツを表示する場合における撮像装置100の遷移例を示す。なお、図9(a)に示す例では、撮像装置100の底面(すなわち、シャッターボタン102が設けられている面の反対側の面)側の外観を示す。また、図9(b)、図10(b)、図13(a)についても同様に、撮像装置100の底面側の外観を示す。
図9(b)には、撮像装置100の遷移に対応する撮像装置100の操作範囲(回転角度の全範囲)を模式的に示す。この例では、図1に示す矢印300(301)を軸として撮像装置100を回転させてその姿勢を変化させることにより画送りまたは画戻しを行う例を示す。この場合における画送りまたは画戻しの際に基準となる傾け角度(基準角度)をViとする。この傾け角度Viは、次の式1により求めることができる。
Vi=γ×j … 式1
ここで、γは、手ブレ等がなく、人の手で維持することができる傾け精度を示す値である。これらの値は、姿勢検出部120(傾き検出装置)の精度や性能を考慮して決定することができる。また、jは、(−m≦j≦mの整数)を満たす値であり、iは、0≦i≦nを満たす整数であるものとする。図9(b)に示す例では、n=4である。
ここで、画像群を構成する各画像Ciに付与された角度情報Aiは、撮像動作時における注目被写体に対する角度である。このため、角度情報Aiに基づいて、各画像Ciと、傾け角度Viとを関連付けることが好ましい。そこで、角度情報Aiが傾け角度Viに対応するように、角度情報Aiについて正規化が行われる。具体的には、角度情報Aiが正規化された正規化角度情報Biは、次の式2により求めることができる。
Bi=(Vmax/Aabs)×Ai … 式2
ここで、Vmaxは、最大傾け角度の絶対値であり、使用者が表示画面を見ることが可能な角度とする。Vmaxは、例えば、画面の視野角等に制限される。また、Aabsは、角度情報Aiの範囲を示す値(絶対値)である。
図9(b)に示す例では、Vmax=180°とし、γ=45°とし、m=2(すなわち、−2≦j≦2)とする例を示す。また、角度情報Aiの範囲は、画像(C0)510の角度情報A0(=−60度)と、画像(C5)515の角度情報A5(=+60度)とにより特定される。すなわち、Aabs=|−60°−60°|=120°となる。
このため、図9(b)に示す例では、B0=(180°(Vmax)/120°(Aabs))×(−60°(A0))=−90°となる。同様に、B1=−82.5°、B2=−37.5°、B3=60°、B4=82.5°、B5=90°となる。これらの正規化角度情報Biが、操作方法決定部180により算出される。
図9(c)には、画像(C0乃至C5)510乃至515と、これらに付与されている角度情報Aiおよびこれらについて算出された正規化角度情報Biとを関連付けて示す。
このように画像Ciに関連付けられている撮像動作時における角度情報を正規化することにより、傾け角度(基準角度)Viに画像Ciを適切に割り当てることができる。
[表示対象画像と傾け角度との関連付け例]
図10は、本発明の第1の実施の形態における操作方法決定部180による表示対象画像と傾け角度の範囲との関連付け方法およびこの関連付け後に表示される画像および操作支援情報の一例を示す図である。図10(a)および(b)には、操作方法決定部180による表示対象画像と傾け角度の範囲との関連付け方法を模式的に示す。
図10(a)には、画像(C0乃至C5)510乃至515と、これらに付与されている角度情報Aiおよびこれらについて算出された正規化角度情報Biとを関連付けて示す。なお、図10(a)に示す例は、画像(C1)511に対応する矩形および人物500に対応する輪郭を点線で表す点以外は、図9(c)と同一である。
図10(b)には、撮像装置100の遷移に対応する撮像装置100の操作範囲(回転角度の全範囲)を模式的に示す。なお、図10(b)に示す例は、図9(b)に示す例と同様である。
ここで、図10(a)および(b)に示す例では、画像(C0乃至C5)510乃至515の数(6)が、傾け角度(基準角度)Viの数(5)よりも大きい。このように表示対象グループに属する画像の数が、傾け角度(基準角度)Viの数よりも大きい場合には、表示対象グループに属する画像について間引き処理が行われる。すなわち、操作方法決定部180が、傾け角度(基準角度)Viの数の範囲内となるように、表示対象グループに属する画像から所定数の画像を表示対象画像として抽出する。
具体的には、正規化角度情報Biが算出された画像群(画像Ci(0≦i≦n))の中から、傾け角度(基準角度)Viに最も近い正規化角度情報Biに係る画像Ciを傾け角度(基準角度)Vi毎に選択して画像CCiとする。
図10(a)および(b)では、傾け角度(基準角度)V0からV4に向かって、傾け角度(基準角度)Viに最も近い正規化角度情報Biに係る画像Ciが選択され、選択された画像Ciと傾け角度(基準角度)Viとが関連付けられる例を示す。
具体的には、傾け角度V0(=−90°)に最も近い正規化角度情報B0(=−90°)に係る画像C0が選択され、画像CC0として傾け角度V0に関連付けられる。同様に、傾け角度V1(=−45°)に最も近い正規化角度情報B2(=−37.5°)に係る画像C2が選択され、画像CC1として傾け角度V1に関連付けられる。また、傾け角度V2(=0°)に最も近い正規化角度情報B3(=+60°)に係る画像C3が選択され、画像CC2として傾け角度V2に関連付けられる。また、傾け角度V3(=45°)に最も近い正規化角度情報B4(=+82.5°)に係る画像C4が選択され、画像CC3として傾け角度V3に関連付けられる。また、傾け角度V4(=90°)に最も近い正規化角度情報B5(=+90°)に係る画像C5が選択され、画像CC4として傾け角度V4に関連付けられる。
すなわち、画像群(画像Ci(0≦i≦5))の中から、CCi(=[C0,C2,C3,C4,C5]=[CC0,CC1,CC2,CC3,CC4])が選択される。
このように選択されて傾け角度Viに関連付けられた各画像CCiが、撮像装置100の傾きに応じて順次表示される。例えば、撮像装置100の姿勢が、傾け角度(基準角度)Viの状態にある場合には、傾け角度(基準角度)Viに関連付けられている画像CCiが表示される。そして、撮像装置100の姿勢が、傾け角度(基準角度)Vi−1または傾け角度(基準角度)Vi+1になるまでの間、画像CCiが表示され続ける。
図10(c)には、図10(a)および(b)に示す関連付け方法により傾け角度Viに関連付けられた各画像CCiを入出力パネル101に表示する場合における表示例を示す。図10(c)に示す例では、表示対象画像(傾け角度Viに関連付けられた画像CCi)に操作支援情報520を重ねて表示させる例を示す。
操作支援情報520は、グループ画像表示モードが設定されている場合において、表示対象となるグループに属する画像(抽出された全ての表示対象画像)と、入出力パネル101に表示されている画像との関係を表すインジケータである。具体的には、操作支援情報520は、抽出された全ての表示対象画像(C0、C2乃至C5)510、512乃至515と、入出力パネル101に表示されている1つの画像との関係を表す。例えば、全ての画像(C0、C2乃至C5)510、512乃至515のうち、入出力パネル101に表示されている1つの画像に対応する操作支援情報520における矩形領域が、他の領域と異なる表示態様とされる。なお、図10(c)に示す例では、説明の容易のため、操作支援情報520を表す矩形内に、対応する符号(V0乃至V4)を付して示す。
すなわち、図10(c)に示す状態では、表示対象画像(C0、C2乃至C5)510、512乃至515のうち、画像(C3)513が入出力パネル101に表示されている状態を示す。また、撮像装置100が左側方向に回転され、図10(b)に示すV1を超えた状態となった場合には、操作支援情報520における矩形領域V1が、他の領域と異なる表示態様とされる。また、撮像装置100が左側方向にさらに回転され、図10(b)に示すV0を超えた状態となった場合には、操作支援情報520における矩形領域V0が、他の領域と異なる表示態様とされる。一方、撮像装置100が右側方向に回転され、図10(b)に示すV3、V4を超えた状態となった場合についても同様に、操作支援情報520における矩形領域V3、V4が、他の領域と異なる表示態様とされる。
このようにグループ画像表示モードが設定されている場合に、表示対象画像とともにインジケータを表示することにより、表示対象画像の全体の数と、この表示対象画像の全体における表示画像の位置(表示順における位置)を容易に把握することができる。
以上では、各画像に付与されている角度情報を正規化して、一定間隔の角度に各画像を割り当てて、その角度に応じて各画像を表示する例を示した。ただし、その算出された各画像の正規化角度情報の間隔に応じて、傾け角度(基準角度)を決定して、その角度に応じて各画像を表示するようにしてもよい。また、操作支援情報として、インジケータを表示する場合には、その算出された各画像の正規化角度情報の間隔に応じて、インジケータの表示領域を算出するようにしてもよい。このインジケータの表示領域の算出方法および表示例を、図11および図12に示す。
[インジケータ表示の変形例]
図11は、本発明の第1の実施の形態における操作方法決定部180によるインジケータの表示領域の算出方法を模式的に示す図である。
図11(a)には、画像(C0乃至C5)510乃至515と、これらに付与されている角度情報Aiおよびこれらについて算出された正規化角度情報Biとを関連付けて示す。なお、図11(a)に示す例は、図10(a)と同一であるため、ここでの説明を省略する。
図11(b)には、算出された表示領域とインジケータとの関係を模式的に示す。例えば、操作方法決定部180が、画像(C0乃至C5)510乃至515について算出された正規化角度情報Biについてさらに正規化を行う。具体的には、操作方法決定部180が、正規化角度情報BBi(=CCiの正規化角度情報+90度)を算出する。そして、正規化角度情報BBiを用いてインジケータの表示領域Wiを次の式3により求めることができる。
Wi=BBi/Vmax×L …式3
ここで、Lは、入出力パネル101に表示されるインジケータの長さを示す値である。また、BBiは、上述した正規化により算出された値である。
ここで、インジケータの表示領域Wiは、図11(b)に示すインジケータ(長さL)における左側の端部からの長さを示す値である。このように算出されたインジケータの表示領域Wiに基づく表示例を図12に示す。
図12は、本発明の第1の実施の形態における操作方法決定部180により算出されたインジケータの表示領域に基づくインジケータの表示例を示す図である。
図12(a)には、図11に示す例で算出された表示領域Wiとインジケータとの関係を模式的に示す。なお、図12(a)に示す例は、図11に示す例で算出された表示領域Wiにより特定されるインジケータ上の位置に対応する各矩形内に、画像の符号(C0、C2乃至C5)を付した点以外は、図11(b)と同様である。
図12(b)には、図12(a)に示す表示領域Wiとインジケータとの関係に対応するインジケータ(操作支援情報)530が入出力パネル101に表示されている状態を示す。図12(b)に示す例では、画像(C3)513に対応する領域が、他の領域と異なる表示態様とされている状態を示す。
図12(c)乃至(f)には、図12(a)に示す表示領域Wiとインジケータとの関係に対応するインジケータ530の入出力パネル101における表示状態を示す。なお、図12(c)に示す例では、画像(C2)512に対応する領域が、他の領域と異なる表示態様とされている状態を示し、図12(d)に示す例では、画像(C0)510に対応する領域が、他の領域と異なる表示態様とされている状態を示す。また、図12(e)に示す例では、画像(C4)514に対応する領域が、他の領域と異なる表示態様とされている状態を示し、図12(f)に示す例では、画像(C5)515に対応する領域が、他の領域と異なる表示態様とされている状態を示す。
以上では、角度情報が関連付けて記憶されている画像コンテンツを表示する場合を例にして説明した。しかしながら、撮像動作時において角度情報が記録されていない画像コンテンツを表示する場合も想定される。そこで、以下では、撮像動作時において角度情報が記録されていない画像コンテンツを表示する場合について説明する。
[表示対象画像数の決定例および表示対象画像の間引き例]
図13は、本発明の第1の実施の形態における操作方法決定部180による表示対象画像数の決定方法および表示対象画像の間引き方法を模式的に示す図である。
ここで、撮像動作時において角度情報が記録されていない画像コンテンツを表示する場合において、表示対象画像の数が多い場合には、ユーザによる撮像装置100の傾け操作が微小であっても画送りまたは画戻しが行われる可能性がある。この場合には、ユーザの意図しない画送りまたは画戻しが行われることも想定される。そこで、撮像動作時において角度情報が記録されていない画像コンテンツを表示する場合には、ユーザによる撮像装置100の傾け操作可能範囲に応じて、表示対象画像の数を決定し、この表示対象画像のみを表示させる。
図13(a)には、撮像装置100の遷移に対応する撮像装置100の操作範囲(回転角度の全範囲)を模式的に示す。なお、図13(a)に示す撮像装置100の操作範囲は、図9(b)等に示すものと略同様である。
例えば、操作方法決定部180が、表示対象画像数Mを決定する場合には、次の式4を用いて求めることができる。
M=Vmax/γ+1 …式4
ここで、Mは、表示可能枚数を示す値である。また、Vmaxは、式2と同様に、最大傾け角度の絶対値である。また、γは、式1と同様に、手ブレ等がなく、人の手で維持することができる傾け精度を示す値である。
なお、図13(a)に示す例では、角度Vmaxが180度であり、角度γが45度である場合を想定して説明する。この場合には、表示対象画像数M=5(180度/45度+1)が算出される。また、表示対象グループに属する画像は、図13(b)に示す画像(C0乃至C5)510乃至515であるものとする。
ここで、図13に示す例では、画像(C0乃至C5)510乃至515の数(6)が、表示対象画像数Mの数(5)よりも大きい。このように表示対象グループに属する画像の数が、表示対象画像数Mの数(5)よりも大きい場合には、表示対象画像が表示対象画像数M以下となるように間引きを行う必要がある。そこで、図13(b)では、間引き処理(抽出処理)について説明する。
図13(b)には、表示対象画像の間引き処理の流れを示す。この例では、表示対象画像数Mとして5が決定された場合に、6つの画像(画像C0乃至C5)から、5つの画像を抽出する例を示す。
例えば、操作方法決定部180が、表示対象画像を抽出する場合には、表示対象グループに属する各画像Ciについて、次の式5を計算する。
i mod D<(D−M) …式5
ここで、x mod yは、xをyで割った余りを表す値である。また、Dは、表示対象画像数であり、Mは、表示可能数である。
具体的には、操作方法決定部180が、表示対象グループに属する画像Ci毎に、i mod D<(D−M)が成立するか否かを判断する。そして、i mod D<(D−M)が成立する画像Ciを、表示対象画像から取り除く。すなわち、操作方法決定部180が、i mod D<(D−M)が成立しない画像Ciを、表示対象画像として抽出し、この抽出された画像Ciを画像CCiとする。
例えば、図13(b)に示す例では、D=6、M=5であり、D−M=1であるため、画像C0が表示対象画像から除外される。すなわち、画像群(画像Ci(0≦i≦5))の中から、CCi(=[C1,C2,C3,C4,C5]=[CC0,CC1,CC2,CC3,CC4])が抽出される。
図13(c)には、抽出された画像CCiと傾け角度(基準角度)Viとを関連付ける例を模式的に示す。図13(c)に示すように、抽出されたCCi=[C1,C2,C3,C4,C5]を、傾け角度(基準角度)Viに割り当て、画像CCiと傾け角度(基準角度)Viとが関連付けられる。
[インジケータの表示領域設定例]
図14は、本発明の第1の実施の形態における操作方法決定部180によるインジケータの表示領域の設定方法を模式的に示す図である。図14(a)には、図13に示す例で抽出された画像(C1乃至C5)511乃至515を示す。
図14(b)には、設定された表示領域とインジケータとの関係を模式的に示す。図13に示すように、撮像動作時において角度情報が記録されていない画像コンテンツを表示する場合には、一定間隔毎の傾け角度(基準角度)Viに割り当てられる。このため、図14(b)に示すように、インジケータの表示領域を設定する場合についても、傾け角度(基準角度)Viに関連付けて、一定間隔毎に割り当てられることができる。
以上では、グループ画像表示モードが設定されている場合には、表示対象画像とともに、表示対象画像の全体の数とこの全体における表示画像の位置(表示順における位置)を示す操作支援情報(例えば、インジケータ)を表示する例を示した。ただし、表示対象画像とともに、撮像装置100の姿勢と、画送りまたは画戻しとの関係を示す操作支援情報(例えば、傾き具合メータ)を表示するようにしてもよい。また、これらの操作支援情報(例えば、インジケータおよび傾き具合メータ)を同時に表示するようにしてもよい。以下では、撮像装置100の姿勢と、画送りまたは画戻しとの関係を示す操作支援情報(傾き具合メータ)を表示する例について説明する。
[回転角度に基づく傾き具合メータの表示遷移例]
図15は、本発明の第1の実施の形態におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)の表示遷移例を示す図である。この例では、撮像装置100の回転角度に応じて、画送りまたは画戻しを行う場合における表示遷移例を示す。また、この例では、画送りまたは画戻しを行う際の基準角度が20度であり、撮像装置100の傾き角度が20度を超える毎に画送りまたは画戻しを行う例を示す。なお、図15乃至図17に示す例では、傾き具合メータを構成する各矩形上に、対応する角度を表す。
図15(a)には、ユーザにより右側方向に傾けられた場合における撮像装置100の遷移を示す。図15(b)には、ユーザにより撮像装置100が右側方向に傾けられた場合に、その傾け角度に応じて表示される傾き具合メータの表示遷移を示す。なお、図15(a)および図15(b)は、互いに対応しているが、図15(b)の一部は省略して示す。
例えば、図15(a)の最上部に示す状態611は、撮像装置100が水平面330と同一面に存在する状態であるものとする。この場合には、図15(b)の最上部の状態601に示すように、傾き具合メータの真ん中部分の矩形領域のみが、他の領域と異なる表示態様(例えば、黒色)となっているものとする。なお、以下では、他の領域と異なる表示態様を黒色と称して説明する。
例えば、図15(a)に示す状態612および613のように、ユーザが撮像装置100を持った状態で右側方向に回転をさせていく場合を想定する。この場合に、撮像装置100の右側方向への回転角度θが5度に達した場合には、図15(b)の状態602に示すように、傾き具合メータの真ん中から右側部分の2つの矩形領域が黒くなるが、画送りは行われない。さらに、ユーザが撮像装置100を持った状態で、右側方向に回転をさせていくと、回転角度θに応じて、傾き具体メータの真ん中から右側部分の矩形領域が順次黒くなっていく。具体的には、回転角度θが10度に達した場合には、傾き具体メータの真ん中から右側部分の2つの矩形領域が黒くなり(状態603)、回転角度θが15度に達した場合には、傾き具体メータの真ん中から右側部分の3つの矩形領域が黒くなる(状態604)。ただし、状態601乃至604の場合には、画送りは行われない。
続いて、撮像装置100の右側方向への回転角度θが20度に達した場合には、状態605に示すように、傾き具体メータの真ん中から右側部分が全て黒くなり、画送りの傾きに達した旨を表示するとともに、画送りが行われる。
このように画送りが行われ、次の画像が入出力パネル101に表示された後には、状態606に示すように、傾き具体メータの真ん中部分の矩形領域のみが黒くなる。すなわち、状態606における傾き具体メータは、撮像装置100が水平面330と同一面に存在する状態(状態601)と同じとなる。
同様に、ユーザが撮像装置100を持った状態で、右側方向に回転をさせていくと、回転角度θに応じて、図15(b)の状態607および608に示すように、傾き具体メータにおける矩形領域が黒くなるように表示される。
ここで、表示対象画像のうち、最後の画像を画送りする角度まで、右側方向への回転が行われた場合には、傾き具体メータが状態605と同じ状態となる。これにより、これ以上の右側方向への回転が行われた場合でも、画送りが行われない旨を通知することができる。
また、撮像装置100が左側方向に回転された場合についても同様に、傾き具合メータの真ん中から左側部分の矩形領域が順次黒くなる。
以上では、基準角度(例えば、20度)を超える毎に、画送りまたは画戻しを行う例を示したが、他の操作方法により画送りまたは画戻しを行うことができる。そこで、以下では、他の操作方法により画送りまたは画戻しを行う例を示す。
図16は、本発明の第1の実施の形態におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)の表示遷移例を示す図である。この例では、撮像装置100の回転角度が一定角度に達した後にその状態が維持されている場合に、画送り画戻しを順次行う場合における表示遷移例を示す。また、この例では、画送りまたは画戻しを行う際の基準角度が20度であり、撮像装置100の傾き角度が20度を維持している期間、画送りを順次行う例を示す。なお、図16および図17では、図15(a)に示す撮像装置100の遷移例を省略する。
図16(a)には、ユーザにより撮像装置100が右側方向に傾けられた場合に、その傾け角度に応じて表示される傾き具合メータの表示遷移を示す。なお、図16(a)に示す状態621乃至625は、図15(b)に示す状態601乃至605に対応する。すなわち、図15(a)に示す撮像装置100の状態612および613のように、ユーザが撮像装置100を持った状態で右側方向に回転をさせていく場合には、図15(b)に示す状態601乃至604と同様となる。また、状態621乃至624の場合には、画送りは行われない。
続いて、撮像装置100の右側方向への回転角度θが20度に達した場合には、状態625に示すように、傾き具体メータの真ん中から右側部分が全て黒くなり、画送りの傾きに達した旨を表示するとともに、画送りが行われる。
図16(b)には、撮像装置100の右側方向への回転角度θが20度に達した後に、回転角度θが維持された場合(または回転角度θ以上の状態が維持された場合)における傾き具合メータの表示例を示す。
このように撮像装置100の右側方向への回転角度θが20度に達した後に、回転角度θが維持された場合には画送りが行われ、次の画像が入出力パネル101に表示された後には状態626となる。この状態626は、状態625が維持されている状態である。すなわち、状態626における傾き具体メータは、撮像装置100の右側方向への回転角度θが20度に達した状態(状態625)と同じとなる。また、回転角度θが維持されている状態では、一定間隔で画送りが行われる。
図16(c)には、撮像装置100の右側方向への回転角度θが20度に達した後に、回転角度θが戻された場合における傾き具合メータの表示例を示す。
このように撮像装置100の右側方向への回転角度θが20度に達した後に、回転角度θが戻された場合(すなわち、回転角度θが20度未満となった場合)には、画送りが行われ、次の画像が入出力パネル101に表示された後には状態627となる。すなわち、撮像装置100の右側方向への回転角度θが20度に達した後に、回転角度θが戻された場合には、その戻された角度に応じて、傾き具合メータの表示を戻し、画送りを停止させる。
また、撮像装置100が左側方向に回転された場合についても同様に、傾き具合メータの真ん中から左側部分の矩形領域が順次黒くなる。
以上では、撮像装置100の回転角度が、画送りまたは画戻しの基準角度を超えるか否かに応じて、画送りまたは画戻しを行う例を示した。ただし、例えば、撮像装置100の回転角速度が、基準を超えるか否かに応じて、画送りまたは画戻しを行うようにしてもよい。そこで、以下では、撮像装置100の回転角速度が、基準を超えるか否かに応じて、画送りまたは画戻しを行う例について説明する。
[回転角速度に基づく傾き具合メータの表示遷移例]
図17は、本発明の第1の実施の形態におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)の表示遷移例を示す図である。この例では、撮像装置100の回転角速度(回転角度/秒)に応じて、画送りまたは画戻しを行う場合における表示遷移例を示す。すなわち、この例では、一度の回転操作により、一定の角速度に達したか否かに応じて、画送りまたは画戻しを行う例を示す。また、この例では、画送りまたは画戻しを行う際の回転角速度(回転角度/秒)が20度/秒であり、撮像装置100の回転角速度が20度/秒を超える毎に画送りまたは画戻しを行う例を示す。
図17(a)には、ユーザにより撮像装置100が右側方向に5度/秒で回転された場合に、その回転角速度に応じて表示される傾き具合メータの表示遷移を示す(状態631および632)。この場合には、回転角速度が20度/秒に達しないため、画送りは行われず、元の状態に戻る(すなわち、状態632から状態631に戻る)。
図17(b)には、ユーザにより撮像装置100が右側方向に10度/秒で回転された場合に、その回転角速度に応じて表示される傾き具合メータの表示遷移を示す(状態633および634)。この場合には、回転角速度が20度/秒に達しないため、画送りは行われず、元の状態に戻る(すなわち、状態634から状態633に戻る)。なお、ユーザにより撮像装置100が右側方向に15度/秒で回転された場合についても同様に、その傾け角速度に応じて傾き具合メータの表示状態が変化するが、回転角速度が20度/秒に達しないため、画送りは行われない。この場合も同様に元の状態に戻る。
図17(c)には、ユーザにより撮像装置100が右側方向に20度/秒で回転された場合に、その回転角速度に応じて表示される傾き具合メータの表示遷移を示す。この場合には、回転角速度が20度/秒に達したため、画送りが行われる。この画送りの後に、その角度の状態が維持されている場合(すなわち、0度/秒の場合)には、元の状態に戻る(すなわち、状態636から状態637に戻る)。また、その回転角速度が維持されている場合(またはその回転角速度以上の状態が維持された場合)には、その維持されている期間に応じて、傾き具合メータの表示状態が維持され、画送りが順次行われる。
なお、図17(b)および(c)では、状態633から状態634への表示遷移、および、状態635から状態636への表示遷移の一部を省略して示す。
また、撮像装置100が左側方向に回転された場合についても同様に、傾き具合メータの真ん中から左側部分の矩形領域が順次黒くなる。
[操作支援情報の表示例]
図18および図19は、本発明の第1の実施の形態における入出力パネル101における表示遷移と、撮像装置100の姿勢との関係を概略的に示す図である。
図18には、表示対象画像に操作支援情報(インジケータ)を重ねて入出力パネル101に表示させる場合における遷移例を示す。また、図19には、表示対象画像に操作支援情報(傾け具合メータ)を重ねて入出力パネル101に表示させる場合における遷移例を示す。また、図18(b)および図19(b)には、入出力パネル101における画像が表示される際における撮像装置100の姿勢の遷移例を示す。なお、図18(b)および図19(b)に示す例では、グループ画像表示モードの設定時における撮像装置100の姿勢が、水平面330と同一面に位置する場合における遷移例を示す。また、図18および図19では、各図(a)に示す入出力パネル101に表示される画像と、各図(b)に示す撮像装置100の姿勢とについて、対応する関係を左右に並べて示す。
図18(a)および図19(a)には、入出力パネル101に表示される画像の遷移を示す。なお、図18(a)および図19(a)に示す入出力パネル101に表示される画像651乃至653は、同一人物の顔について異なる視点から撮像された画像である。このため、撮像装置100を左右に傾けるユーザ操作を早く行い、画送りまたは画戻しを早く行うことにより、3次元の物体(人物の顔)を見ているようにユーザに認識させることができる。すなわち、撮像装置100を左右に傾けるユーザ操作により、擬似的に3次元画像を見ているようにユーザに認識させることができる。また、画像651乃至653が属するグループは、7つの画像(画像651乃至653を含む)により構成されているものとする。なお、画像651は、そのグループの代表画像であるものとし、画像652および653は、表示順序において最初と最後の画像であるものとする。
最初に、図18を参照して、表示対象画像に操作支援情報(インジケータ)を重ねて入出力パネル101に表示させる場合について説明する。なお、上述したように、グループ画像表示モードが設定された直後には、代表画像(画像651)が入出力パネル101に表示される。この場合には、図7(c)と同様に、操作支援情報403が画像651に重ねて表示される。ただし、この操作支援情報403については、ユーザ操作により画送りまたは画戻りが一定時間(または、一定回数)行われた場合に消去または縮小されるため、図18(a)および図19(b)では、その表示例を省略する。
ここで、グループ画像表示モードが設定されている場合において、画像652が入出力パネル101に表示されている場合を想定する。この場合には、画像652が、同一グループを構成する7つの画像のうち、表示順序において最初の画像であるため、インジケータ660における左端の矩形領域が、他の矩形領域と異なる表示態様とされる。この場合には、それ以上の画戻しを行うことができない。
また、グループ画像表示モードが設定されている場合において、画像653が入出力パネル101に表示されている場合を想定する。この場合には、画像653が、同一グループを構成する7つの画像のうち、表示順序において最後の画像であるため、インジケータ660における右端の矩形領域が、他の矩形領域と異なる表示態様とされる。この場合には、それ以上の画送りを行うことができない。
このように、複数の画像の全体における、入出力パネル101に表示されている画像に関する順序(例えば、正規化角度情報により特定される順序)を表す標識をインジケータとして表示させることができる。
また、グループ画像表示モードが設定されている場合において、表示対象画像とともにインジケータ660を表示させることにより、そのグループにおける表示対象画像の表示順序における位置を容易に把握することができる。これにより、画送りまたは画戻し操作を行う場合には、表示対象画像を見ながら、その操作を容易に行うことができる。
次に、図19を参照して、表示対象画像に操作支援情報(傾き具合メータ)を重ねて入出力パネル101に表示させる場合について説明する。
ここで、グループ画像表示モードが設定されている場合において、画像652が入出力パネル101に表示されている場合を想定する。この場合には、画像652が、同一グループを構成する7つの画像のうち、表示順序において最初の画像であるため、傾き具合メータ670における真ん中から左端までの矩形領域が、他の矩形領域と異なる表示態様とされる。この場合には、それ以上の画戻しを行うことができない。
また、グループ画像表示モードが設定されている場合において、画像653が入出力パネル101に表示されている場合を想定する。この場合には、画像653が、同一グループを構成する7つの画像のうち、表示順序において最後の画像であるため、傾き具合メータ670における真ん中から右端までの矩形領域が、他の矩形領域と異なる表示態様とされる。この場合には、それ以上の画送りを行うことができない。
このように、入出力パネル101における表示状態を変更するために必要な撮像装置100の姿勢の変化量を表す標識を傾き具合メータとして表示させることができる。すなわち、複数の画像について画送りまたは画戻しを行うために必要な撮像装置100の姿勢の変化量を表す標識を傾き具合メータとして表示させることができる。
なお、撮像装置100の傾き角度に応じた傾き具合メータ670の表示状態の遷移については、図15乃至図17の遷移例と同様であるため、ここでの説明を省略する。
このように、グループ画像表示モードが設定されている場合において、表示対象画像とともに傾き具合メータ670を表示させることにより、各表示対象画像を表示させる際における傾き具合をユーザが容易に把握することができる。また、そのグループにおける表示対象画像の表示順序における位置を容易に把握することができる。これにより、画送りまたは画戻し操作を行う場合には、表示対象画像を見ながら、その操作を容易に行うことができる。
[撮像装置の動作例]
図20および図21は、本発明の第1の実施の形態における撮像装置100による画像コンテンツ再生処理の処理手順の一例を示すフローチャートである。
最初に、画像コンテンツの表示指示操作が行われたか否かが判断され(ステップS901)、その表示指示操作が行われていない場合には監視を継続して行う。一方、その表示指示操作が行われた場合には(ステップS901)、制御部140が代表画像表示モードを設定し、代表画像再生部150が、代表画像およびグループ化されていない画像を表示部111に表示させる(ステップS902)。
続いて、代表画像表示モードが設定されている状態で、画送り操作または画戻し操作が行われたか否かが判断される(ステップS903)。画送り操作または画戻し操作が行われた場合には(ステップS903)、代表画像再生部150が表示部111に表示されている画像の表示切替を行う(ステップS904)。すなわち、表示部111に表示されている画像の画送りまたは画戻しが行われる。
また、画送り操作または画戻し操作が行われていない場合には(ステップS903)、グループ画像表示モードの設定操作が行われたか否かが判断され(ステップS905)、グループ画像表示モードの設定操作が行われていない場合には、ステップS916に進む。一方、グループ画像表示モードの設定操作が行われた場合には(ステップS905)、グループ画像表示モード設定処理が行われる(ステップS920)。このグループ画像表示モード設定処理については、図22を参照して詳細に説明する。
続いて、グループ画像再生部160が、最初の操作支援情報(例えば、図7(c)に示す操作支援情報403)を表示対象画像に重ねて表示部111に表示させる(ステップS906)。すなわち、グループ画像再生部160が、画像コンテンツ記憶部200から取得された画像コンテンツをデコードし、このデコードされた画像コンテンツに基づいて表示用の画像を描画メモリ170に描画する。そして、グループ画像再生部160が、描画メモリ170に描画された画像のうちの1つ(代表画像)と、最初の操作支援情報とを同時に表示部111に表示させる。
続いて、最初の操作支援情報が表示されているか否かが判断され(ステップS907)、最初の操作支援情報が表示されていない場合には、ステップS910に進む。一方、最初の操作支援情報が表示されている場合には(ステップS907)、グループ画像表示モードが設定されてから一定時間が経過したか否かが判断される(ステップS908)。グループ画像表示モードが設定されてから一定時間が経過した場合には(ステップS908)、グループ画像再生部160が、表示部111に表示されていた最初の操作支援情報を消去させる(ステップS909)。一方、グループ画像表示モードが設定されてから一定時間が経過していない場合には(ステップS908)、ユーザによる傾け操作があったか否かが判断される(ステップS910)。すなわち、グループ画像再生部160が、解析部130から出力された解析情報に基づいて、撮像装置100の姿勢が一定以上変化したか否かを判断する。
ユーザによる傾け操作があった場合には(ステップS910)、最初の操作支援情報が表示されているか否かが判断され(ステップS911)、最初の操作支援情報が表示されていない場合には、ステップS913に進む。一方、最初の操作支援情報が表示されている場合には(ステップS911)、グループ画像再生部160が、表示部111に表示されていた最初の操作支援情報を消去させる(ステップS912)。
続いて、グループ画像再生部160が、ユーザによる傾け操作に応じた操作量および表示画像(表示部111に表示されている画像)に基づいて、操作支援情報(インジケータまたは傾け具合メータ)の表示状態を変更する(ステップS913)。続いて、グループ画像再生部160が、ユーザによる傾け操作に応じた操作量が表示切替の基準を超えている場合には、表示部111に表示される画像の表示切替(画送りまたは画戻し)を行い(ステップS914)、ステップS907に戻る。なお、ユーザによる傾け操作に応じた操作量が表示切替の基準を超えていない場合には、表示部111に表示される画像の表示切替(画送りまたは画戻し)を行わずに、ステップS907に戻る。
また、ユーザによる傾け操作がない場合には(ステップS910)、代表画像表示モードの設定操作が行われたか否かが判断され(ステップS915)、その設定操作が行われた場合には、ステップS902に戻る。一方、代表画像表示モードの設定操作が行われていない場合には(ステップS915)、画像コンテンツの表示終了操作が行われたか否かが判断され(ステップS916)、その表示終了操作が行われた場合には、画像コンテンツ再生処理の動作を終了する。また、画像コンテンツの表示終了操作が行われていない場合には(ステップS916)、グループ画像表示モードが設定されているか否かが判断される(ステップS917)。そして、グループ画像表示モードが設定されている場合には(ステップS917)、ステップS907に戻り、グループ画像表示モードが設定されていない場合(すなわち、代表画像表示モードが設定されている場合)には、ステップS903に戻る。なお、ステップS906乃至S914、S920は、特許請求の範囲に記載の制御手順の一例である。また、ステップS910は、特許請求の範囲に記載の検出手順の一例である。
図22は、本発明の第1の実施の形態における撮像装置100による画像コンテンツ再生処理の処理手順のうちのグループ画像表示モード設定処理(図20に示すステップS920の処理手順)の一例を示すフローチャートである。
最初に、グループ画像再生部160が、グループ画像表示モードの設定操作時に表示部111に表示されていた代表画像に対応するグループに属する各画像コンテンツを画像コンテンツ記憶部200から取得する(ステップS921)。また、グループ画像再生部160が、そのグループに属する各画像コンテンツに関連付けられている画像管理情報を画像管理情報記憶部210から取得する(ステップS921)。
続いて、操作方法決定部180が、取得された画像管理情報に角度情報が含まれるか否かを判断する(ステップS922)。そして、取得された画像管理情報に角度情報が含まれている場合には(ステップS922)、操作方法決定部180が、取得された画像管理情報に含まれる角度情報を画像コンテンツ毎に正規化する(ステップS923)。
続いて、操作方法決定部180が、正規化された角度情報(正規化角度情報)に基づいて、取得された画像コンテンツと、傾け角度(基準角度)とを関連付ける(ステップS924)。この場合に、取得された画像コンテンツの数が傾け角度(基準角度)の数よりも大きい場合には、操作方法決定部180が、傾け角度(基準角度)の数の範囲内となるように、取得された画像コンテンツについて間引き処理を行う。続いて、操作方法決定部180が、その関連付けによる対応関係に基づいて、インジケータの表示領域を算出する(ステップS925)。
また、取得された画像管理情報に角度情報が含まれていない場合には(ステップS922)、操作方法決定部180が、取得された画像コンテンツの数が、表示可能数(傾け角度(基準角度)の数)よりも大きいか否かを判断する(ステップS926)。取得された画像コンテンツの数が表示可能数以下である場合には(ステップS926)、ステップS928に進む。一方、取得された画像コンテンツの数が表示可能数よりも大きい場合には(ステップS926)、操作方法決定部180が、表示可能数の範囲内となるように、取得された画像コンテンツについて間引き処理を行う(ステップS927)。
続いて、操作方法決定部180が、取得された画像コンテンツ(または間引き処理後の画像コンテンツ)と、傾け角度(基準角度)とを関連付ける(ステップS928)。続いて、操作方法決定部180が、その関連付けによる対応関係に基づいて、インジケータの表示領域を算出する(ステップS929)。
<2.変形例>
以上では、操作支援情報として、棒状の矩形により構成される操作支援情報(傾き具合メータまたはインジケータ)を表示する例を示した。この変形例では、他の構成により表示される操作支援情報(傾き具合メータまたはインジケータ)の例を示す。なお、撮像装置100の構成等については、操作支援情報の表示態様が異なる点以外は、本発明の第1の実施の形態と同様である。このため、以下では、本発明の第1の実施の形態と異なる点を中心にして説明し、共通する部分の説明の一部を省略する。
[傾き具体メータの表示例]
図23は、本発明の第1の実施の形態の変形例におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)と、入出力パネル101における表示遷移例とを示す図である。
図23(a)には、円形状により構成される操作支援情報(傾き具合メータ)の一例を示す。この傾き具合メータを構成する円の外側には、対応する角度を表す。また、撮像装置100の傾き角度については、傾き具合メータを構成する円の中心から、その傾き角度に対応する円上の位置までの矢印により表すものとする。
図23(b)には、入出力パネル101に表示される画像の遷移を示す。上述したように、グループ画像表示モードが設定された直後には、代表画像(画像701)が入出力パネル101に表示される。この場合には、図7(c)と同様に、操作支援情報711が画像701に重ねて表示される。ただし、操作支援情報711については、ユーザ操作により画送りまたは画戻りが一定時間(または、一定回数)行われた場合に消去または縮小される。
また、図23(b)に示す例では、撮像装置100の回転角度に応じて、画送りまたは画戻しを行う場合における表示遷移例を示す。また、この例では、画送りまたは画戻しを行う際の基準角度が30度であり、撮像装置100の傾き角度が30度を超える毎に画送りまたは画戻しを行う例を示す。
例えば、ユーザが撮像装置100を持った状態で左側方向に回転をさせていく場合を想定する。例えば、撮像装置100の左側方向への回転角度が20度に達した場合には、傾き具合メータを構成する円の中心から、その回転角度(20度)に対応する円上の位置までの矢印が付された傾き具合メータ712が画像701に表示される。ただし、この場合には、画送りは行われない。さらに、ユーザが撮像装置100を持った状態で左側方向に回転をさせていき、その回転角度が30度に達した場合を想定する。この場合には、傾き具合メータを構成する円の中心から、その回転角度(30度)に対応する円上の位置(円の最下部)までの矢印が付された傾き具合メータが画像701に表示され、画送りの傾きに達した旨を表示するとともに、画送りが行われる。
また、撮像装置100が右側方向に回転された場合についても同様に、傾き具合メータを構成する円の中心から、その回転角度に対応する円上の位置までの矢印が付された傾き具合メータ713が画像701に重ねて表示される。
図24は、本発明の第1の実施の形態の変形例におけるグループ画像再生部160により表示される操作支援情報(傾き具合メータ)と、入出力パネル101における表示遷移例とを示す図である。
図24(a)には、円形状により構成される操作支援情報(傾き具合メータ)の一例を示す。この傾き具合メータを構成する円の外側には、対応する回転角速度を表す。また、撮像装置100の回転角速度については、傾き具合メータを構成する円の中心から、その回転角速度に対応する円上の位置までの矢印により表すものとする。
図24(b)には、入出力パネル101に表示される画像の遷移を示す。なお、代表画像(画像701)が入出力パネル101に表示され、操作支援情報711が画像701に重ねて表示される点は、図23(b)に示す例と同様である。
また、図24(b)に示す例では、撮像装置100の回転角速度に応じて、画送りまたは画戻しを行う場合における表示遷移例を示す。また、この例では、画送りまたは画戻しを行う際の回転角速度(回転角度/秒)が20度/秒であり、撮像装置100の回転角速度が20度/秒を超える毎に画送りまたは画戻しを行う例を示す。
例えば、ユーザが撮像装置100を持った状態で左側方向に回転をさせ、その回転角速度が20度/秒に達した場合を想定する。この場合には、傾き具合メータを構成する円の中心から、その回転角速度(20度/秒)に対応する円上の位置までの矢印が付された傾き具合メータ721が画像701に表示され、画送りの回転角速度に達した旨を表示するとともに、画送りが行われる。この画送りにより画像702が表示される。また、この画送りの後に、その角度の状態が維持されている場合(すなわち、0度/秒の場合)には、元の状態に戻る。すなわち、傾き具合メータを構成する円の中心から、その回転角速度(0度/秒)に対応する円上の位置(円の最上部)までの矢印が付された傾き具合メータ722が画像702に表示される。
また、撮像装置100が右側方向に回転された場合についても同様に、傾き具合メータを構成する円の中心から、その回転角速度に対応する円上の位置までの矢印が付された傾き具合メータが表示される。
なお、図23および図24に示す傾き具合メータにおいて、円の最上部と、矢印が指し示す円上の位置との範囲(その2点と、円の中心とにより特定される扇系の範囲)を、他の領域と異なる表示態様として、ユーザが認識し易くなるようにしてもよい。
[インジケータの表示例]
図25乃至図28は、本発明の第1の実施の形態の変形例における入出力パネル101における表示遷移例を示す図である。これらの例では、グループ画像再生部160により表示される操作支援情報(インジケータ)の表示態様を変形した例を示す。また、図25および図27では、表示対象となるグループの種類を示す表示支援情報(例えば、アイコン)802および812をインジケータとともに表示する例を示す。
図25および図26には、多視点画像を表示する場合における表示遷移例を示す。図25には、インジケータ801と、表示対象となるグループの種類が「多視点画像」である旨を示す表示支援情報802とを同時に表示する例を示す。図26には、表示対象となるグループの種類が「多視点画像」である旨を示すインジケータ811を表示する例を示す。
図27および図28には、連写画像を表示する場合における表示遷移例を示す。図27には、インジケータ821と、表示対象となるグループの種類が「連写画像」である旨を示す表示支援情報822とを同時に表示する例を示す。図28には、表示対象となるグループの種類が「連写画像」である旨を示すインジケータ831を表示する例を示す。
なお、図25乃至図28に示すインジケータにおける表示状態については、図18等に示す例と同様であるため、ここでの説明を省略する。
このように、入出力パネル101に表示されている画像に係る画像群を構成する各画像の相関性(例えば、グループ種類に対応する)に基づいて、インジケータの表示態様が画像群毎に変更して表示される。
また、グループ画像表示モードが設定されている場合において、表示対象画像とともに、表示対象となるグループの種類を示す表示支援情報を表示させることにより、各表示対象画像を表示させる際における操作をユーザが容易に行うことができる。すなわち、画送りまたは画戻し操作を行う場合には、表示対象画像を見ながら、その操作を容易に行うことができる。
以上で示したように、本発明の実施の形態では、グループ画像表示モードの設定時には、最初の操作支援情報(例えば、図7(c)に示す操作支援情報403)を表示する。これにより、例えば、撮像装置100の持ち方が悪く、画像の閲覧を開始した途端に、表示されている視点の切り替えが発生して見たい視点の画像を見逃してしまうことを防止することができる。
また、例えば、グループ画像表示モードの設定時に多視点画像を表示している場合には、傾き具合メータを表示させることにより、どのくらい傾けると視点が切り替わるのかをユーザが容易に把握することができる。また、例えば、切り替える視点の変化が少ない画像を表示している場合でも、ユーザが傾けるという操作をして画像が切り替わったことをユーザが容易に把握することができる。
また、例えば、グループ画像表示モードの設定時に多視点画像を表示している場合には、インジケータを表示させることにより、現在表示している視点が、全視点の中でどこの視点になるのかをユーザが容易に把握することができる。また、例えば、最も右から撮影した視点の画像を表示している場合には、それ以上右側を下にして傾けても視点が切り替わらないことをユーザが容易に把握することができる。
なお、以上で示した例では、撮像装置100の上下方向を軸とする回転により入出力パネル101における表示状態を変更する例を示した。ただし、撮像装置100の左右方向を軸とする回転により入出力パネル101における表示状態を変更する場合についても本発明の実施の形態を適用することができる。この場合には、例えば、上下の傾け操作により画像の変更を行い、インジケータや傾け具合メータも縦長に配置して表示することができる。さらに、例えば、上下左右の両方向に視点がある画像を表示させる場合には、上下左右の両方向への傾け操作により視点切り替えを行い、インジケータや傾け具合メータも上下左右の両方向のものを表示することができる。また、撮像装置100の上下左右、前後方向の何れかの方向へのスライド(平行移動)により入出力パネル101における表示状態を変更する場合についても本発明の実施の形態を適用することができる。
なお、本発明の実施の形態では、撮像装置を例にして説明したが、記録媒体に記憶されている画像コンテンツを表示部に表示させることが可能な画像処理装置に本発明の実施の形態を適用することができる。例えば、撮像機能付き携帯電話機、ナビゲーションシステム、携帯型メディアプレイヤー等の画像処理装置に本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100 撮像装置
101 入出力パネル
102 シャッターボタン
110 入出力部
111 表示部
112 操作受付部
120 姿勢検出部
130 解析部
140 制御部
150 代表画像再生部
160 グループ画像再生部
170 描画メモリ
180 操作方法決定部
200 画像コンテンツ記憶部
210 画像管理情報記憶部

Claims (12)

  1. 画像処理装置の姿勢の変化を検出する検出部と、
    画像群を構成する複数の画像を前記検出された姿勢の変化に基づいて表示部に順次表示させ、前記表示部における表示状態を前記検出された姿勢の変化により変更する操作を支援するための情報であって前記検出された姿勢の変化と前記表示部における表示状態との関係を示す操作支援情報を前記表示部に表示させる制御を行う制御部と
    を具備する画像処理装置。
  2. 前記複数の画像には角度情報が付与され、
    前記画像処理装置の姿勢が変化する範囲を基準として前記複数の画像に付与されている角度情報を前記画像毎に正規化して当該正規化された角度情報に基づいて前記画像処理装置の姿勢の位置と前記複数の画像とを前記画像毎に関連付けて前記複数の画像を表示する際における操作方法を決定する操作方法決定部をさらに具備し、
    前記制御部は、前記関連付けられた前記画像処理装置の姿勢の位置と前記複数の画像とに基づいて前記操作支援情報を前記表示部に表示させる制御を行う
    請求項1記載の画像処理装置。
  3. 前記制御部は、前記複数の画像の全体における前記表示部に表示されている画像に関する前記正規化された角度情報により特定される順序を表す標識を前記操作支援情報として前記表示部に表示させる制御を行う請求項2記載の画像処理装置。
  4. 前記制御部は、前記表示部における表示状態を変更するために必要な前記画像処理装置の姿勢の変化量を表す標識を前記操作支援情報として前記表示部に表示させる制御を行う請求項1記載の画像処理装置。
  5. 前記制御部は、前記複数の画像について画送りまたは画戻しを行うために必要な前記画像処理装置の姿勢の変化量を表す標識を前記操作支援情報として前記表示部に表示させる制御を行う請求項1記載の画像処理装置。
  6. 前記複数の画像は、所定の規則に基づいて順序が特定される画像であり、
    前記制御部は、前記複数の画像の全体における前記表示部に表示されている画像に関する順序を表す標識を前記操作支援情報として前記表示部に表示させる制御を行う
    請求項1記載の画像処理装置。
  7. 前記複数の画像は、所定の規則により互いに関連する画像であり、
    前記制御部は、前記表示部に表示されている画像に係る画像群を構成する各画像の相関性に基づいて前記操作支援情報の表示態様を前記画像群毎に変更して前記表示部に表示させる制御を行う
    請求項6記載の画像処理装置。
  8. 前記制御部は、表示対象となる画像群を構成する画像の数が基準を超えている場合には当該画像群を構成する画像のうちから前記基準に応じた所定数の画像を抽出して当該抽出された各画像を前記表示部に順次表示させる制御を行う請求項1記載の画像処理装置。
  9. 前記複数の画像は、所定の規則により互いに関連する画像であり、
    前記画像群を表す代表画像を前記表示部に表示する第1の表示モードと、前記画像群を構成する各画像を前記表示部に表示する第2の表示モードとの何れかを設定する設定操作を受け付ける操作受付部をさらに具備し、
    前記制御部は、前記第1の表示モードが設定されている場合には、前記表示部に表示されている代表画像に係る画像群を構成する各画像の相関性に基づいて当該代表画像の表示態様を前記画像群毎に変更して前記表示部に表示させる制御を行う
    請求項1記載の画像処理装置。
  10. 前記検出部は、前記画像処理装置の姿勢が変化する際における角速度を前記姿勢の変化として検出し、
    前記制御部は、前記検出された角速度が一定の基準を超えたか否かに基づいて前記表示部における表示状態を変更する制御を行う
    請求項1記載の画像処理装置。
  11. 画像処理装置の姿勢の変化を検出する検出手順と、
    画像群を構成する複数の画像を前記検出された姿勢の変化に基づいて表示部に順次表示させ、前記表示部における表示状態を前記検出された姿勢の変化により変更する操作を支援するための情報であって前記検出された姿勢の変化と前記表示部における表示状態との関係を示す操作支援情報を前記表示部に表示させる制御を行う制御手順と
    を具備する画像処理方法。
  12. 画像処理装置の姿勢の変化を検出する検出手順と、
    画像群を構成する複数の画像を前記検出された姿勢の変化に基づいて表示部に順次表示させ、前記表示部における表示状態を前記検出された姿勢の変化により変更する操作を支援するための情報であって前記検出された姿勢の変化と前記表示部における表示状態との関係を示す操作支援情報を前記表示部に表示させる制御を行う制御手順と
    を具備する画像処理方法。
JP2010063574A 2010-03-19 2010-03-19 画像処理装置、画像処理方法およびプログラム Expired - Fee Related JP5754074B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2010063574A JP5754074B2 (ja) 2010-03-19 2010-03-19 画像処理装置、画像処理方法およびプログラム
PCT/JP2011/000617 WO2011114615A1 (en) 2010-03-19 2011-02-03 Image processing device, image processing method and program
TW100107314A TWI442382B (zh) 2010-03-19 2011-03-04 影像處理裝置、影像處理方法與程式
CN201180014132.4A CN102804258B (zh) 2010-03-19 2011-03-10 图像处理设备、图像处理方法及程序
EP11755860.1A EP2548198A4 (en) 2010-03-19 2011-03-10 IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
US13/634,425 US9313405B2 (en) 2010-03-19 2011-03-10 Image processing device, image processing method and program
PCT/JP2011/001405 WO2011114667A1 (en) 2010-03-19 2011-03-10 Image processing device, image processing method and program
KR1020127023098A KR20130018677A (ko) 2010-03-19 2011-03-10 화상 처리 장치, 화상 처리 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010063574A JP5754074B2 (ja) 2010-03-19 2010-03-19 画像処理装置、画像処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2011197358A true JP2011197358A (ja) 2011-10-06
JP2011197358A5 JP2011197358A5 (ja) 2013-04-18
JP5754074B2 JP5754074B2 (ja) 2015-07-22

Family

ID=44648731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010063574A Expired - Fee Related JP5754074B2 (ja) 2010-03-19 2010-03-19 画像処理装置、画像処理方法およびプログラム

Country Status (7)

Country Link
US (1) US9313405B2 (ja)
EP (1) EP2548198A4 (ja)
JP (1) JP5754074B2 (ja)
KR (1) KR20130018677A (ja)
CN (1) CN102804258B (ja)
TW (1) TWI442382B (ja)
WO (2) WO2011114615A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206405A (ja) * 2015-04-22 2016-12-08 株式会社ドリコム 画像表示制御プログラム、画像表示制御方法、及び画像表示装置
JP2019160222A (ja) * 2018-03-16 2019-09-19 京セラドキュメントソリューションズ株式会社 情報処理装置
JP2019185152A (ja) * 2018-04-03 2019-10-24 株式会社ミクシィ 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2589227A2 (en) * 2010-06-30 2013-05-08 TP Vision Holding B.V. Multi-view display system and method therefor
TWI511526B (zh) * 2012-03-28 2015-12-01 Tpv Display Technology Xiamen Dimensional display device, image processor and image processing method
US9348431B2 (en) * 2012-07-04 2016-05-24 Korea Advanced Institute Of Science And Technology Display device for controlling auto-rotation of content and method for controlling auto-rotation of content displayed on display device
US9772764B2 (en) * 2013-06-06 2017-09-26 Microsoft Technology Licensing, Llc Accommodating sensors and touch in a unified experience
EP3047358B1 (en) 2013-09-17 2019-09-04 Nokia Technologies Oy Determination of an operation
JP2015225276A (ja) * 2014-05-29 2015-12-14 セイコーエプソン株式会社 表示システム、表示装置、表示制御装置、表示方法、およびプログラム
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US9762791B2 (en) * 2014-11-07 2017-09-12 Intel Corporation Production of face images having preferred perspective angles
JP2017021461A (ja) * 2015-07-08 2017-01-26 株式会社ソニー・インタラクティブエンタテインメント 操作入力装置および操作入力方法
US11809638B2 (en) * 2019-07-19 2023-11-07 Boe Technology Group Co., Ltd. Screen display content control method and apparatus, electronic device, and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11305918A (ja) * 1998-04-22 1999-11-05 Nec Corp 携帯端末、及びその画面表示方法
JP2005221816A (ja) * 2004-02-06 2005-08-18 Sharp Corp 電子装置
JP2006065368A (ja) * 2004-08-24 2006-03-09 Sony Corp 画像表示装置,画像表示方法,およびコンピュータプログラム
JP2009110178A (ja) * 2007-10-29 2009-05-21 Toshiba Corp 情報処理装置、スクロール制御プログラムおよびスクロール制御方法
JP2010009575A (ja) * 2008-05-30 2010-01-14 Canon Inc 画像表示装置及びその制御方法、コンピュータプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3234633B2 (ja) 1992-06-19 2001-12-04 シャープ株式会社 情報処理装置
JP4325075B2 (ja) * 2000-04-21 2009-09-02 ソニー株式会社 データオブジェクト管理装置
KR100415161B1 (ko) * 2003-07-01 2004-01-13 (주)두모션 기울기 센서를 이용한 3차원 이미지 조망 기능을 갖는핸드헬드 장치 및 이를 이용한 3차원 이미지 디스플레이시스템
EP1886509B1 (en) 2005-05-17 2017-01-18 Qualcomm Incorporated Orientation-sensitive signal output
CN101120303A (zh) * 2005-12-26 2008-02-06 C&N株式会社 便携式终端装置
CN101009089A (zh) * 2006-01-26 2007-08-01 宏达国际电子股份有限公司 屏幕显示控制装置
KR100772909B1 (ko) 2006-05-30 2007-11-05 삼성전자주식회사 이미지 검색 방법 및 장치
JP2009534690A (ja) * 2006-07-10 2009-09-24 メムシック,インコーポレイテッド 磁場センサーを用いて偏揺れを感知するためのシステム、および、前記システムを用いた携帯用の電子装置
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
JP4851412B2 (ja) * 2007-09-27 2012-01-11 富士フイルム株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
KR101515390B1 (ko) * 2008-09-12 2015-04-28 삼성전자주식회사 디스플레이 장치 및 그의 이미지 표시방법
US8839128B2 (en) * 2009-11-25 2014-09-16 Cooliris, Inc. Gallery application for content viewing
US9564075B2 (en) * 2009-12-30 2017-02-07 Cyweemotion Hk Limited Electronic control apparatus and method for responsively controlling media content displayed on portable electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11305918A (ja) * 1998-04-22 1999-11-05 Nec Corp 携帯端末、及びその画面表示方法
JP2005221816A (ja) * 2004-02-06 2005-08-18 Sharp Corp 電子装置
JP2006065368A (ja) * 2004-08-24 2006-03-09 Sony Corp 画像表示装置,画像表示方法,およびコンピュータプログラム
JP2009110178A (ja) * 2007-10-29 2009-05-21 Toshiba Corp 情報処理装置、スクロール制御プログラムおよびスクロール制御方法
JP2010009575A (ja) * 2008-05-30 2010-01-14 Canon Inc 画像表示装置及びその制御方法、コンピュータプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206405A (ja) * 2015-04-22 2016-12-08 株式会社ドリコム 画像表示制御プログラム、画像表示制御方法、及び画像表示装置
JP2019160222A (ja) * 2018-03-16 2019-09-19 京セラドキュメントソリューションズ株式会社 情報処理装置
JP7124363B2 (ja) 2018-03-16 2022-08-24 京セラドキュメントソリューションズ株式会社 情報処理装置
JP2019185152A (ja) * 2018-04-03 2019-10-24 株式会社ミクシィ 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム
JP7075005B2 (ja) 2018-04-03 2022-05-25 株式会社ミクシィ 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム
JP7518452B2 (ja) 2018-04-03 2024-07-18 株式会社Mixi 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム

Also Published As

Publication number Publication date
TW201212003A (en) 2012-03-16
EP2548198A1 (en) 2013-01-23
KR20130018677A (ko) 2013-02-25
US9313405B2 (en) 2016-04-12
CN102804258A (zh) 2012-11-28
JP5754074B2 (ja) 2015-07-22
CN102804258B (zh) 2015-11-25
US20130002541A1 (en) 2013-01-03
WO2011114667A1 (en) 2011-09-22
TWI442382B (zh) 2014-06-21
EP2548198A4 (en) 2013-09-04
WO2011114615A1 (en) 2011-09-22

Similar Documents

Publication Publication Date Title
JP5754074B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10708506B2 (en) Image processing device, image processing method and program
EP3127119B1 (en) Device, method, and graphical user interface for navigating media content
EP3226537A1 (en) Mobile terminal and method for controlling the same
JP2015508211A (ja) カメラモジュールを通じてユーザの頭部を追跡することによりスクリーンを制御する方法及び装置、並びにそのコンピュータ可読記録媒体
US20120032988A1 (en) Display control apparatus that displays list of images onto display unit, display control method, and storage medium storing control program therefor
JP2010225016A (ja) 電子機器、表示制御方法およびプログラム
CN103986933A (zh) 动态图片显示方法及装置
KR20140142081A (ko) 그룹 리코딩 방법, 저장 매체 및 전자 장치
US20150029224A1 (en) Imaging apparatus, control method and program of imaging apparatus, and recording medium
JP5966665B2 (ja) 情報処理装置、情報処理方法および記録媒体
JP2015097041A (ja) 画像再生装置、画像再生方法及び画像再生プログラム
US20230254555A1 (en) Electronic apparatus, control method therefor, and computer-readable storage medium storing program
US20240176649A1 (en) Information processing device, information processing method, and program
JP6269738B2 (ja) 情報処理装置、情報処理方法および記録媒体
JP2016081302A (ja) 表示制御装置、その制御方法、プログラム、及び記録媒体
JP2019184689A (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US20170201688A1 (en) Digital image processing device and digital image controlling method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150511

R151 Written notification of patent or utility model registration

Ref document number: 5754074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees