JP5799179B2 - 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体 - Google Patents

端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体 Download PDF

Info

Publication number
JP5799179B2
JP5799179B2 JP2014555892A JP2014555892A JP5799179B2 JP 5799179 B2 JP5799179 B2 JP 5799179B2 JP 2014555892 A JP2014555892 A JP 2014555892A JP 2014555892 A JP2014555892 A JP 2014555892A JP 5799179 B2 JP5799179 B2 JP 5799179B2
Authority
JP
Japan
Prior art keywords
state
screen
terminal device
unit
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014555892A
Other languages
English (en)
Other versions
JPWO2014155748A1 (ja
Inventor
宗 益子
宗 益子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP5799179B2 publication Critical patent/JP5799179B2/ja
Publication of JPWO2014155748A1 publication Critical patent/JPWO2014155748A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体に関する。
表示部に表示される画面を端末装置の姿勢(傾き)に応じて自動的に回転させる機能を備えた端末装置が知られている(例えば特許文献1)。例えば、このような端末装置では、図11に示すようにユーザUが端末装置Tを縦向き状態(言い換えれば、ユーザUから見て端末装置Tが縦長に見える状態)で持っている場合、図12に示すように端末装置Tの長手方向と平行するように画面の向きが設定される。また例えば、図13に示すようにユーザUが端末装置Tを横向き状態(言い換えれば、ユーザUから見て端末装置Tが横長に見える状態)に持ち替えた場合、画面が回転し、図14に示すように端末装置Tの短手方向と平行するように画面の向きが設定される。
特開2008−131616号公報
しかしながら、ユーザUの使用状態によっては画面の自動回転機能を一時的に抑止したい場合がある。
例えば、図11に示すようにユーザUがソファに座って端末装置Tを縦向き状態で持って使用する状態から、図15に示すようにユーザUがソファで横になって端末装置Tを使用する状態へと変わった場合には、図13,14に示す場合と同様に、画面が回転してしまう。この場合、ユーザUから見える画面は例えば図16に示すようになってしまい、画面が見難くなってしまう。
一般的に、端末装置では、画面の自動回転機能を無効に設定することが可能になっている。このため、画面の自動回転機能を無効に設定すれば、上記のような不都合は生じなくなる。しかしながら、画面の自動回転機能を無効に設定してしまうと、画面が自動的に回転してほしい場合(例えば、ユーザUの端末装置Tの使用状態が図11に示す状態から図13に示す状態へと変わる場合)にも、画面が回転しなくなってしまう。
以上のように、ユーザUは画面の自動回転機能を恒常的に抑止したいわけでなく、特定の場合(例えば、ユーザUの端末装置Tの使用状態が図11に示す状態から図15に示す状態へと変わる場合)に画面の自動回転機能を一時的に抑止したいと考える。この点、従来の端末装置では、画面の自動回転機能を一時的に抑止したい場合であっても、画面の自動回転機能を恒常的に抑止する場合と同様に、端末装置の設定を変える必要があり、ユーザUが煩わしさを感じてしまう場合があった。
本発明は上記課題に鑑みてなされたものであって、その目的は、画面の自動回転機能を一時的に抑止するために、画面の自動回転機能を恒常的に抑止する場合と同様の端末装置の設定変更を行う必要がない端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体を提供することにある。
上記課題を解決するために、本発明に係る端末装置は、画面を表示する表示手段を備える端末装置において、前記端末装置の傾きを検出する傾き検出手段と、前記傾き検出手段によって検出される前記端末装置の傾き状態が所定状態になった場合に、前記画面を回転させる画面回転手段と、前記画面を見るユーザを撮影するための撮影手段の撮影画像を取得する撮影画像取得手段と、前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像とを比較する比較手段と、前記比較手段の比較結果に基づいて、前記画面回転手段による前記画面の回転を抑止する抑止手段と、を含むことを特徴とする。
また、本発明に係る端末装置の制御方法は、画面を表示する表示手段を備える端末装置の制御方法において、前記端末装置の傾きを検出する傾き検出手段の検出結果を取得するステップと、前記傾き検出手段によって検出される前記端末装置の傾き状態が所定状態になった場合に、前記画面を回転させる画面回転ステップと、前記画面を見るユーザを撮影するための撮影手段の撮影画像を取得する撮影画像取得ステップと、前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像とを比較する比較ステップと、前記比較ステップにおける比較結果に基づいて、前記画面回転ステップによる前記画面の回転を抑止する抑止ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画面を表示する表示手段を備える端末装置に、前記端末装置の傾きを検出する傾き検出手段の検出結果を取得するステップと、前記傾き検出手段によって検出される前記端末装置の傾き状態が所定状態になった場合に、前記画面を回転させる画面回転ステップと、前記画面を見るユーザを撮影するための撮影手段の撮影画像を取得する撮影画像取得ステップと、前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像とを比較する比較ステップと、前記比較ステップにおける比較結果に基づいて、前記画面回転ステップによる前記画面の回転を抑止する抑止ステップと、を実行させるためのプログラムである。
また、本発明に係る情報記憶媒体は、画面を表示する表示手段を備える端末装置に、前記端末装置の傾きを検出する傾き検出手段の検出結果を取得するステップと、前記傾き検出手段によって検出される前記端末装置の傾き状態が所定状態になった場合に、前記画面を回転させる画面回転ステップと、前記画面を見るユーザを撮影するための撮影手段の撮影画像を取得する撮影画像取得ステップと、前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像とを比較する比較ステップと、前記比較ステップにおける比較結果に基づいて、前記画面回転ステップによる前記画面の回転を抑止する抑止ステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
また、本発明の一態様では、前記撮影手段は、前記撮影手段の動作状態を、撮影可能な第1状態と、前記第1状態よりも消費電力の小さい第2状態との間で変更可能に構成されており、前記撮影画像取得手段は、前記傾き検出手段によって検出される前記端末装置の傾き状態が前記所定状態になる前において、前記撮影手段の動作状態を前記第2状態から前記第1状態へと変更することによって前記撮影手段に撮影を実行させ、前記撮影手段による撮影が実行された後に、前記撮影手段の動作状態を前記第1状態から前記第2状態へと変更する手段と、前記傾き検出手段によって検出される前記端末装置の傾き状態が前記所定状態になった時又は後において、前記撮影手段の動作状態を前記第2状態から前記第1状態へと変更することによって前記撮影手段に撮影を実行させ、前記撮影手段による撮影が実行された後に、前記撮影手段の動作状態を前記第1状態から前記第2状態へと変更する手段と、を含むようにしてもよい。
また、本発明の一態様では、前記画面回転手段による前記画面の回転が前記抑止手段によって抑止された後、前記画面回転手段による前記画面の回転を抑止し続ける抑止継続手段を含むようにしてもよい。
また、本発明の一態様では、前記画面回転手段による前記画面の回転が前記抑止継続手段によって抑止され続けている状態において、前記傾き検出手段によって検出される前記端末装置の傾きの変化が閾値以上になった場合に、前記抑止継続手段による抑止を解除する手段を含むようにしてもよい。
また、本発明の一態様では、前記撮影手段による撮影は時間経過に伴って繰り返し実行され、前記端末装置は、前記撮影手段の撮影画像から前記ユーザを検出する手段と、前記画面回転手段による前記画面の回転が前記抑止継続手段によって抑止され続けている状態において、前記撮影手段の撮影画像から前記ユーザが検出されない状態が所定期間にわたって継続した場合に、前記抑止継続手段による抑止を解除する手段を含むようにしてもよい。
また、本発明の一態様では、前記比較手段は、前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像における前記ユーザの向きと、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像における前記ユーザの向きと、の相違の程度が所定の程度以内であるか否かを判定し、前記抑止手段は、前記相違の程度が前記所定の程度以内である場合に、前記画面回転手段による前記画面の回転を抑止するようにしてもよい。
また、本発明の一態様では、前記比較手段は、前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像と、の相違の程度が所定の程度以内であるか否かを判定し、前記抑止手段は、前記相違の程度が前記所定の程度以内である場合に、前記画面回転手段による前記画面の回転を抑止するようにしてもよい。
本発明によれば、画面の自動回転機能を一時的に抑止するために、画面の自動回転機能を恒常的に抑止する場合と同様の端末装置の設定変更を行う必要がない。
本発明の実施形態に係る端末装置のハードウェア構成の一例を示す図である。 本発明の実施形態に係る端末装置の外観の一例を示す図である。 本発明の実施形態に係る端末装置の機能ブロック図である。 画面回転部の機能(画面の自動回転機能)について説明するための図である。 記憶部に記憶されるデータの一例を示す図である。 撮影画像の一例を示す図である。 撮影画像の他の一例を示す図である。 顔の向きを特定する方法について説明するための図である。 端末装置で実行される処理の一例を示すフロー図である。 端末装置で実行される他の処理の一例を示すフロー図である。 従来の端末装置について説明するための図である。 従来の端末装置について説明するための図である。 従来の端末装置について説明するための図である。 従来の端末装置について説明するための図である。 従来の端末装置について説明するための図である。 従来の端末装置について説明するための図である。
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
本発明の実施形態に係る端末装置は、例えば携帯情報端末、携帯電話機、又は携帯ゲーム機等の携帯端末装置によって実現される。図1は、本実施形態に係る端末装置10のハードウェア構成の一例を示し、図2は、本実施形態に係る端末装置10の外観の一例を示す。
図1に示すように、端末装置10は、制御部11、記憶部12、通信部13、操作部14、撮影部15、姿勢検出センサ16、表示部17、及び音声出力部18を含む。制御部11は例えば1又は複数のマイクロプロセッサを含み、記憶部12に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。記憶部12は主記憶部(例えばRAM)及び補助記憶部(例えばハードディスク又はソリッドステートドライブ)を含む。
通信部13は通信ネットワークを介して他の装置とデータ通信を行うためのものである。プログラム及びデータは通信ネットワークを介して端末装置10の記憶部12に供給される。なお、端末装置10は、メモリカード又は光ディスク等の情報記憶媒体に記憶されたプログラム又はデータを読み取るための構成要素を含むようにしてもよい。そして、情報記憶媒体から読み出されたプログラム又はデータが記憶部12に記憶されるようにしてもよい。
操作部14はユーザが操作を行うためのものである。例えば、操作部14は、端末装置10の表面に設けられたボタン14Bを含む(図2参照)。なお、操作部14はボタン14B以外の操作部材(例えばスティック又はレバー等)を含むようにしてもよい。
また操作部14は、ユーザによって指示された表示部17の画面内の位置を検出する指示位置検出部を含む。例えば、表示部17の上に重ねて設けられるタッチパネル14Tを操作部14は含む。タッチパネル14Tは一般的なタッチパネルであり、ユーザによって接触された位置を検出する。タッチパネル14Tとしては、例えば静電容量方式のタッチパネルが用いられる。静電容量方式のタッチパネルでは、タッチパネルの表面がユーザによって接触された場合に生じる電荷の変化に基づいて、ユーザによって接触されている1又は複数の位置が検出される。なお、タッチパネル14Tとしては、例えば抵抗膜方式等の他の方式のタッチパネルが用いられるようにしてもよい。また、タッチパネル14Tは液晶表示ディスプレイ(表示部)と一体的に形成されていてもよい。
ユーザによって接触されている位置を示す情報が所定時間(例えば1/60秒)ごとに制御部11に供給される。ユーザによって接触されている位置は例えばスクリーン座標系の座標値として表される。なお、「スクリーン座標系」は、例えば図2に示すような状態における左上頂点を原点Oとし、右方向をXs軸正方向とし、下方向をYs軸正方向とするような座標系である。制御部11は、タッチパネルから供給される情報に基づいて、ユーザによって接触されている位置を取得する。
撮影部15は例えばCCD等の撮像素子である。図2に示すように、撮影部15は、表示部17が設けられた面と同じ面に設けられており、表示部17と対向する被写体を撮影可能に設けられている。このため、表示部17に表示される画面を見るユーザを撮影部15によって撮影することが可能である。
撮影部15は静止画を撮影することが可能である。また、撮影部15は動画を撮影することも可能である。例えば、撮影部15は所定時間(例えば1/60秒)ごとに撮影を行う。撮影部15によって撮影された静止画又は動画は記憶部12に保存される。
なお、撮影部15は、撮影部15の動作状態を撮影可能状態と撮影待機状態との間で切り替え可能に構成されている。「撮影可能状態」とは、撮影部15への電力供給が行われている状態であり、文字通り、撮影が可能な状態である。一方、「撮影待機状態」とは、撮影可能状態よりも消費電力の少ない状態であり、例えば「撮影不可能状態」、「スリープ状態」、又は「オフ状態」等と言い換えることができる。
姿勢検出センサ16は、端末装置10の姿勢(傾き)を検出するための一又は複数のセンサを含む。例えば、姿勢検出センサ16は加速度センサ及びジャイロセンサの少なくとも一方を含む。
例えば、加速度センサは互いに直交する三つの軸方向(X軸方向、Y軸方向、及びZ軸方向)の加速度を検出する。図2に示すように、端末装置10は矩形形状を有しており、X軸は端末装置10の短手方向に対応し、Y軸は端末装置10の長手方向に対応する。また、Z軸は端末装置10の奥行き方向に対応する。
また例えば、ジャイロセンサは互いに直交する三つの軸(X軸、Y軸、及びZ軸)の角速度を検出する。すなわち、ジャイロセンサは、端末装置10がX軸を回転軸として回転した場合の単位時間当たりの回転量を検出する。同様に、ジャイロセンサは、端末装置10がY軸を回転軸として回転した場合の単位時間当たりの回転量を検出する。さらに、ジャイロセンサは、端末装置10がZ軸を回転軸として回転した場合の単位時間当たりの回転量を検出する。
姿勢検出センサ16の検出結果を示す情報は所定時間(例えば1/60秒)ごとに制御部11に供給される。制御部11は姿勢検出センサ16の検出結果に基づいて端末装置10の姿勢(傾き)を判断する。
例えば、制御部11は加速度センサの検出結果に基づいて端末装置10の姿勢(傾き)を判断する。例えば、制御部11は、重力加速度がX軸方向、Y軸方向、及びZ軸方向の加速度としてどのように検出されているかに基づいて、端末装置10の姿勢(傾き)を判断する(後述の図4参照)。
また例えば、制御部11はジャイロセンサの検出結果に基づいて端末装置10の姿勢(傾き)を判断する。例えば、制御部11は、ジャイロセンサによって検出された各軸の角速度を積分することによって、各軸を回転軸として端末装置10がどの程度回転したかを判断する。
表示部17は例えば液晶表示ディスプレイ又は有機ELディスプレイ等であり、音声出力部18は例えばスピーカ又はヘッドホン端子等である。
本実施形態に係る端末装置10では、従来の端末装置と同様に、画面の自動回転機能を備えている(図11〜図14参照)。特に、本実施形態に係る端末装置10は、画面の自動回転機能を一時的に抑止する機能を備えている。以下、この機能を実現するための構成について説明する。
図3は、本実施形態に係る端末装置10において実現される機能ブロックのうち、上記機能に関連する機能ブロックを示す機能ブロック図である。図3に示すように、端末装置10は、傾き検出部20、表示制御部22、撮影画像取得部26、比較部28、抑止部30、抑止継続部32、及び解除部34を含む。
傾き検出部20について説明する。傾き検出部20は端末装置10の傾きを検出する。本実施形態の場合、姿勢検出センサ16(例えば加速度センサ)が傾き検出部20に相当する。
表示制御部22について説明する。表示制御部22は画面を表示部17に表示する。表示制御部22は画面回転部24を含む。
画面回転部24は画面の自動回転機能に関するものである。画面回転部24は、傾き検出部20によって検出される端末装置10の傾き状態(言い換えれば、重力方向に対する傾き具合)が所定状態になった場合に、画面を回転させる。
図4は画面回転部24について説明するための図である。図4は、縦向き状態にある端末装置10が横方向に徐々に傾いていき、横向き状態に至る場合を示している。また図4では、端末装置10が縦向き状態から横向き状態へと変化する過程における代表的な状態として状態[a]〜[e]を示している。
状態[a]は縦向き状態を示す。状態[b]は縦向き状態から横方向に少し傾いた状態を示す。状態[c]は縦向き状態から横方向に傾いた状態であって、かつ、状態[b]よりも傾きの程度が大きい状態を示す。状態[d]は縦向き状態から横方向に傾いた状態であって、かつ、状態[c]よりも傾きの程度が大きい状態を示す。状態[e]は横向き状態を示す。
また、図4に示すグラフは加速度センサ(姿勢検出センサ16)の検出結果の一例を示す。なお、ここでは重力加速度のみを考慮している。実線のグラフはY軸方向の加速度を示し、点線のグラフはX軸方向の加速度を示す。t軸は時間軸を示し、時点Ta,Tb,Tc,Td,Teは、それぞれ、端末装置10の傾き状態が状態[a],[b],[c],[d],[e]になった時点を示す。a軸は加速度を示し、「G」は重力加速度を示す。
図4に示すように、縦向き状態(状態[a])では重力加速度がY軸負方向への加速度として検出される。また、端末装置10の傾きの程度が大きくなるのにつれて、Y軸方向の加速度は零に近づいていき、その代わりにX軸方向の加速度が重力加速度に近づいていく。そして、横向き状態(状態[e])では重力加速度がX軸正方向への加速度として検出される。
例えば、画面の向きが表示部17(端末装置10)の長手方向と平行する状態(図12)において、端末装置10の傾き状態が状態[d]になった場合に、画面回転部24は画面を回転させ、画面の向きが表示部17(端末装置10)の短手方向と平行する状態(図14)に変更する。なお、画面回転部24は、端末装置10の傾き状態が状態[c]になった場合に画面を回転させ、画面の向きが表示部17の長手方向と平行する状態から、画面の向きが表示部17の短手方向と平行する状態に変更するようにしてもよい。
ここで、画面の向きが表示部17の短手方向と平行する状態において、端末装置10の傾き状態が状態[e]から状態[a]へと変化する場合を想定する。このような場合、端末装置10の傾き状態が状態[b]になったら、画面回転部24は画面を回転させ、画面の向きが表示部17の長手方向と平行する状態に変更する。なお、画面回転部24は、端末装置10の傾き状態が状態[c]になった場合に画面を回転させ、画面の向きが表示部17の短手方向と平行する状態から、画面の向きが表示部17の長手方向と平行する状態に変更するようにしてもよい。
なお、記憶部12には図5に示すようなデータが記憶されている。図5に示すデータは表示方向フラグと回転抑止フラグとを含んでいる。なお、ここでは表示方向フラグのみについて説明し、回転抑止フラグについては後述する。
表示方向フラグは現在の画面の表示方向を示す情報である。例えば、値「0」又は「1」が表示方向フラグに設定される。例えば、値「0」は、画面の向きが表示部17の長手方向と平行する状態に対応し、値「1」は、画面の向きが表示部17の短手方向と平行する状態に対応する。すなわち、表示方向フラグが「0」である場合、画面の向きが表示部17の長手方向と平行する状態に設定され、表示方向フラグが「1」である場合、画面の向きが表示部17の短手方向と平行する状態に設定される。
画面回転部24は、画面の向きが表示部17の長手方向と平行する状態から、画面の向きが表示部17の短手方向と平行する状態に変更する場合に、表示方向フラグを「0」から「1」に変更する。また、画面回転部24は、画面の向きが表示部17の短手方向と平行する状態から、画面の向きが表示部17の長手方向と平行する状態に変更する場合に、表示方向フラグを「1」から「0」に変更する。
撮影画像取得部26について説明する。撮影画像取得部26は、画面を見るユーザを撮影するための撮影部15の撮影画像を取得する。
図6及び図7は撮影部15の撮影画像の例を示す。図6は、例えば図11に示すようにユーザが端末装置10を縦向き状態で持っている場合における撮影部15の撮影画像40を示す。この場合、撮影画像40にはユーザがまっすぐに写る。
ユーザと端末装置10との相対的位置関係が変わらないようにして、ユーザがソファに座っている状態から横になる場合(すなわち図11に示す状態から図15に示す状態へと変化した場合)には、ユーザと撮影部15との相対的位置関係が変わらない。このため、ユーザがソファに座っている状態から横になる過程のいずれかの時点においても、図6に示すような撮影画像40が撮影部15によって撮影されることになる。
すなわち、上記過程において、撮影画像40に写るユーザの向きは変化しない。つまり、撮影画像40内の背景領域は変化するが、ユーザ領域(すなわちユーザが写っている領域)はほとんど変化しない。また、撮影画像40内のユーザ領域は背景領域に比べて大きくなる傾向があるため、上記過程において、撮影画像40の変化は比較的小さい。
一方、例えば、ユーザがソファに座った状態で端末装置10を縦向き状態から横向き状態に持ち替えた場合(すなわち図11に示す状態から図13に示す状態へと変化した場合)には、ユーザと撮影部15との相対的位置関係が変わる。このため、端末装置10が縦向き状態から横向き状態に持ち替えられる過程において、撮影画像40に写るユーザの向きは変化する。すなわち、この過程においては、例えば図7に示すようなユーザが斜めに写った撮影画像40も撮影される。
比較部28について説明する。比較部28は、端末装置10の傾き状態が所定状態になる前における撮影部15の撮影画像40と、端末装置10の傾き状態が所定状態になった時又は後における撮影部15の撮影画像40とを比較する。
例えば、端末装置10の傾き状態が状態[d]になった場合に画面を回転させるように画面回転部24が構成されている場合、状態[d]が上記「所定状態」に相当する。
この場合、例えば、比較部28は、時点Td(端末装置10の傾き状態が状態[d]になる時点)の直前の時点である時点T1における撮影部15の撮影画像40と、時点Tdの直後の時点である時点T2における撮影部15の撮影画像40とを比較する。
なお、比較部28は、時点T1における撮影部15の撮影画像40と、時点Tdにおける撮影部15の撮影画像40とを比較するようにしてもよい。
以下、比較部28の機能例として二つの例について説明する。なお以下では、時点T1における撮影画像40と、時点T2における撮影画像40とを比較する場合を想定する。
[1]まず一つ目の例について説明する。例えば、比較部28は、時点T1における撮影画像40に写っているユーザの向きと、時点T2における撮影画像40に写っているユーザの向きとを比較する。具体的には、比較部28は、これら二つ撮影画像40に写っているユーザの向きの相違の程度が所定の程度以内であるか否かを判定する。
例えば、比較部28は撮影画像40を対象として顔認識処理を実行する。そして、比較部28は、顔認識処理の結果に基づいてユーザの顔の向きを取得する。
例えば図8に示すように、比較部28は左目領域42L及び右目領域42Rを検出する。そして、比較部28は、左目領域42Lと右目領域42Rとを結ぶ直線44と直交する直線46をユーザの顔の向きとして取得する。
そして、比較部28は、時点T1の撮影画像40における直線46と、時点T2の撮影画像40における直線46とのなす角度が閾値以下であるか否かを判定する。そして、上記角度が閾値以下である場合、比較部28は、それら二つの撮影画像40に写っているユーザの向きの相違の程度が所定の程度以内であると判定する。
なお、撮影画像40に写っているユーザの向き(ユーザの顔の向き)の取得方法又は比較方法は上記に説明した方法に限られない。例えば、撮影画像40から鼻領域と口領域を検出するようにし、鼻領域と口領域とを結ぶ直線をユーザの顔の向きとして用いるようにしてもよい。その他、公知の様々な方法を利用することが可能である。
[2]次に二つ目の例について説明する。例えば、比較部28は、時点T1における撮影画像40と、時点T2における撮影画像40との相違の程度が所定の程度以内であるか否かを判定する。
具体的には、比較部28はそれら二つの撮影画像40の差分値を算出する。なお、比較部28は、公知の背景除去処理を用いて撮影画像40の背景領域を除去し、背景領域が除去された二つの撮影画像40の差分値を算出するようにしてもよい。
また、比較部28は上記差分値が閾値以下であるか否かを判定する。そして、上記差分値が閾値以下である場合、比較部28は上記二つの撮影画像40の相違の程度が所定の程度以内であると判定する。
なお、撮影画像40の相違の程度が所定の程度以内であるか否かの判定方法は上記に説明した方法に限られず、公知の様々な方法を用いることができる。
抑止部30について説明する。抑止部30は、比較部28の比較結果に基づいて、画面回転部24による画面の回転を抑止する。
例えば、比較部28の比較結果が所定の結果である場合に、抑止部30は画面回転部24による画面の回転を抑止する。一方、比較部28の比較結果が所定の結果でない場合、抑止部30は画面回転部24による画面の回転を抑止しない。
例えば、二つの撮影画像40に写っているユーザの向きの相違の程度が所定の程度以内であると比較部28によって判定された場合、抑止部30は画面回転部24による画面の回転を抑止する。一方、二つの撮影画像40に写っているユーザの向きの相違の程度が所定の程度以内でないと比較部28によって判定された場合、抑止部30は画面回転部24による画面の回転を抑止しない。
また例えば、二つの撮影画像40の相違の程度が所定の程度以内であると比較部28によって判定された場合、抑止部30は画面回転部24による画面の回転を抑止する。一方、二つの撮影画像40の相違の程度が所定の程度以内でないと比較部28によって判定された場合、抑止部30は画面回転部24による画面の回転を抑止しない。
抑止継続部32について説明する。抑止継続部32は、画面回転部24による画面の回転が抑止部30によって抑止された後、画面回転部24による画面の回転を抑止し続ける。
画面回転部24による画面の回転が抑止部30によって抑止された場合に、抑止継続部32は回転抑止フラグ(図5)を更新する。回転抑止フラグは、画面回転部24による画面の回転を抑止するか否かを示す情報である。例えば、値「0」又は「1」が回転抑止フラグに設定される。例えば、値「0」は、画面回転部24による画面の回転を抑止しないことを示し、値「1」は、画面回転部24による画面の回転を抑止することを示す。
画面回転部24による画面の回転が抑止部30によって抑止された場合に、抑止継続部32は回転抑止フラグを「1」に更新する。回転抑止フラグが「1」に設定されている間、画面回転部24による画面の回転は実行されない。
先述のように、ユーザと端末装置10との相対的位置関係が変わらないようにして、ユーザがソファに座って端末装置10を使用している状態から横になった場合(すなわち図11に示す状態から図15に示す状態へと変化した場合)、その過程において、撮影画像40に写るユーザの向きはほとんど変化せず、撮影画像40の変化も小さい。
この点、比較部28及び抑止部30によれば、上記のような場合に画面回転部24による画面の回転が抑止される。その結果、例えば、ソファの上で横になっているユーザ(図15)から見える画面は図16に示すような画面にはならず、図12に示すような画面になる。
また、抑止継続部32によれば、ユーザがソファの上で横になった後(すなわち図15に示す状態へと変化した後)においても、画面回転部24による画面の回転が抑止され続ける。すなわち、ユーザがソファの上で横になっている間においても、ユーザから見える画面は、例えば図12に示すような状態であり続ける。
解除部34について説明する。解除部34は抑止継続部32による抑止を解除する。本実施形態の場合、解除部34は回転抑止フラグを「0」に更新することによって、抑止継続部32による抑止を解除する。
例えば、画面回転部24による画面の回転が抑止継続部32によって抑止され続けている状態において、傾き検出部20によって検出される端末装置10の傾きの変化が閾値以上になった場合に、解除部34は抑止継続部32による抑止を解除する。このような解除部34によれば、ユーザが端末装置10の傾きを大きく変化させたような場合に、抑止継続部32による抑止が解除され、画面の自動回転機能が有効になる。
また例えば、画面回転部24による画面の回転が抑止継続部32によって抑止され続けている状態において、解除部34は、撮影画像40からユーザが検出されたか否かを判定する。そして、最後に撮影画像40からユーザが検出されてからの経過時間が所定時間になった場合に、解除部34は抑止継続部32による抑止を解除する。このような解除部34によれば、例えばユーザが端末装置10を使用しなくなってから所定時間が経過した場合に、抑止継続部32による抑止が解除され、画面の自動回転機能が有効になる。
次に、上記に説明した機能ブロックを実現するために端末装置10で実行される処理について説明する。
図9は、画面の自動回転機能を一時的に抑止するための処理の一例を示すフロー図である。制御部11が図9に示す処理をプログラムに従って実行することによって、制御部11が、表示制御部22(画面回転部24)、撮影画像取得部26、比較部28、抑止部30、及び抑止継続部32として機能するようになる。
なお、ここでは、図4に示すように、端末装置10の傾き状態が状態[a]から状態[e]へと変化する場合を想定する。また、端末装置10の傾き状態が状態[d]になった場合に画面を回転させる場合を想定する。
図9に示すように、制御部11は端末装置10の傾き状態が第1の所定状態になったか否かを判定する(S101)。
ここで、「第1の所定状態」とは、図4に示す状態[d]よりも前の状態である。例えば、状態[d]の直前の状態が「第1の所定状態」に相当する。具体的には、図4に示す時点T1における端末装置10の傾き状態が「第1の所定状態」に相当する。
端末装置10の傾き状態が第1の所定状態になったか否かは、加速度センサ(姿勢検出センサ16)の検出結果に基づいて判定される。なお、端末装置10の傾き状態が第2の所定状態になったか否かをジャイロセンサ(姿勢検出センサ16)の検出結果に基づいて判定するようにしてもよい。
端末装置10の傾き状態が第1の所定状態になったと判定された場合、制御部11は撮影画像40を取得する(S102)。
本実施形態の場合、通常、撮影部15の動作状態が撮影待機状態に設定されている。このため、ステップS102において、まず制御部11は撮影部15の動作状態を撮影待機状態(スリープ状態又はオフ状態)から撮影可能状態(オン状態)に移行させる。そして、制御部11は撮影部15に撮影を実行させることによって、その時点の撮影画像40を取得する。撮影画像40の取得が完了した場合、制御部11は撮影部15の動作状態を撮影可能状態(オン状態)から撮影待機状態(スリープ状態又はオフ状態)に戻す。
なお、撮影部15の動作状態を撮影可能状態に予め設定しておき、かつ、撮影部15が所定時間(1/30秒等)ごとに自動的に撮影を行うように予め設定しておくようにしてもよい。この場合、ステップS102において、制御部11は最新の撮影画像40を記憶部12から読み出すことによって、撮影画像40を取得するようにすればよい。
ステップS102が実行された後、制御部11は端末装置10の傾き状態が第2の所定状態になったか否かを判定する(S103)。
ここで、「第2の所定状態」とは、図4に示す状態[d]よりも後の状態である。例えば、状態[d]の直後の状態が「第2の所定状態」に相当する。例えば、図4に示す時点T2における端末状態10の傾き状態が「第2の所定状態」に相当する。なお、「第2の所定状態」とは状態[d]であってもよい。
例えば、端末装置10の傾き状態が第2の所定状態になったか否かは、加速度センサ(姿勢検出センサ16)の検出結果に基づいて判定される。なお、端末装置10の傾き状態が第2の所定状態になったか否かをジャイロセンサ(姿勢検出センサ16)の検出結果に基づいて判定するようにしてもよい。
端末装置10の傾き状態が第2の所定状態になったと判定された場合、制御部11は撮影画像40を取得する(S104)。
ステップS104はステップS102と同様である。本実施形態の場合、通常、撮影部15の動作状態が撮影待機状態に設定されている。このため、ステップS104において、まず制御部11は撮影部15の動作状態を撮影待機状態(スリープ状態又はオフ状態)から撮影可能状態(オン状態)に移行させる。そして、制御部11は撮影部15に撮影を実行させることによって、その時点の撮影画像40を取得する。撮影画像40の取得が完了した場合、制御部11は撮影部15の動作状態を撮影可能状態(オン状態)から撮影待機状態(スリープ状態又はオフ状態)に戻す。
なお、撮影部15の動作状態を撮影可能状態に予め設定しておき、かつ、撮影部15が所定時間(1/30秒等)ごとに自動的に撮影を行うように予め設定しておくようにしてもよい。この場合、ステップS104において、制御部11は最新の撮影画像40を記憶部12から読み出すことによって、撮影画像40を取得するようにすればよい。
ステップS104が実行された後、制御部11は、ステップS102で取得された撮影画像40におけるユーザの向きと、ステップS104で取得された撮影画像40におけるユーザの向きとの相違の程度が所定の程度以内であるか否かを判定する(S105)。
例えば、制御部11は、ステップS102で取得された撮影画像40を対象として顔認識処理を実行することによって顔を検出し、顔の向きを示すベクトルを取得する(図8の直線46参照)。
また制御部11は、ステップS104で取得された撮影画像40を対象として顔認識処理を実行することによって顔を検出し、顔の向きを示すベクトルを取得する(例えば図8の直線46参照)。
そして制御部11は、上記二つのベクトルのなす角度が閾値未満であるか否かを判定する。上記の二つのベクトルのなす角度が閾値未満である場合、制御部11はユーザの向きの相違の程度が所定の程度以内であると判定する。
ユーザの向きの相違の程度が所定の程度以内であると判定されなかった場合、制御部11は表示方向フラグを変更する(S106)。すなわち、制御部11は表示方向フラグを「0」から「1」に変更する。この場合、画面が回転し、画面の向きが表示部17の長手方向と平行する状態から、画面の向きが表示部17の短手方向と平行する状態に切り替えられる。
一方、ユーザの向きの相違の程度が所定の程度以内であると判定された場合、制御部11は回転抑止フラグを変更する(S107)。例えば、制御部11は回転抑止フラグを「0」から「1」に変更する。この場合、画面の自動回転機能が無効となり、画面が回転しなくなる。
なお、ステップS105において、制御部11は、ステップS102で取得された撮影画像40と、ステップS104で取得された撮影画像40との相違の程度が所定の程度以内であるか否かを判定するようにしてもよい。そして、撮影画像40の相違の程度が所定の程度以内でない場合に制御部11はステップS106を実行するようにしてもよい。一方、撮影画像40の相違の程度が所定の程度以内である場合に制御部11はステップS107を実行するようにしてもよい。
図10は、回転抑止フラグが「1」に設定されている場合に制御部11が所定時間ごとに実行する処理の一例を示す。制御部11が図10に示す処理をプログラムに従って実行することによって、制御部11が解除部34として機能するようになる。
図10に示すように、制御部11は、端末装置10の傾きの変化として、閾値以上の変化が検出されたか否かを判定する(S201)。そして、閾値以上の変化が検出されたと判定された場合、制御部11は回転抑止フラグを「1」から「0」に更新する(S206)。この場合、画面の自動回転機能が有効となり、その結果として、端末装置10の傾きに応じて画面が回転するようになる。
一方、閾値以上の変化が検出されなかったと判定された場合、制御部11は撮影装置10を取得する(S202)。
本実施形態の場合、通常、撮影部15の動作状態が撮影待機状態に設定されている。このため、ステップS202において、まず制御部11は撮影部15の動作状態を撮影待機状態(スリープ状態又はオフ状態)から撮影可能状態(オン状態)に移行させる。そして、制御部11は撮影部15に撮影を実行させることによって、その時点の撮影画像40を取得する。撮影画像40の取得が完了した場合、制御部11は撮影部15の動作状態を撮影可能状態(オン状態)から撮影待機状態(スリープ状態又はオフ状態)に戻す。
なお例えば、撮影部15の動作状態が撮影可能状態に予め設定されており、かつ、撮影部15が所定時間(1/30秒等)ごとに自動的に撮影を行うように予め設定されているのであれば、制御部11は最新の撮影画像40を記憶部12から読み出す。
そして、制御部11は、撮影画像40からユーザを検出する処理を実行し(S203)、撮影画像40からユーザが検出されたか否かを判定する(S204)。撮影画像40からユーザが検出された場合、制御部11は本処理を終了する。
一方、撮影画像40からユーザが検出されなかった場合、制御部11は、最後にユーザが検出されてからの経過時間が所定時間以上になったか否かを判定する(S205)。最後にユーザが検出されてからの経過時間が所定時間以上になっていない場合、制御部11は本処理を終了する。
一方、最後にユーザが検出されてからの経過時間が所定時間以上になった場合、制御部11は回転抑止フラグを「1」から「0」に更新する(S206)。この場合、画面の自動回転機能が有効となり、その結果として、端末装置10の傾きに応じて画面が回転するようになる。
以上説明した端末装置10によれば、画面の自動回転機能を一時的に抑止することが可能になる。また、端末装置10によれば、自動的に画面の自動回転機能が一時的に抑止されるため、画面の自動回転機能を一時的に抑止したい場合に、画面の自動回転機能を恒常的に抑止する場合と同様の端末装置10の設定変更を行う必要がない。端末装置10によれば、ユーザが煩わしさを感じることなく画面の自動回転機能が一時的に抑止されるようになる。
また、端末装置10では、原則として撮影部15の動作状態が撮影待機状態(オフ状態又はスリープ状態)に設定されており、撮影する必要がある場合(図9のステップS102,S104及び図10のステップS202)に限って、撮影部15の動作状態が撮影可能状態(オン状態)に設定される。端末装置10によれば、消費電力を軽減することが可能である。
なお、本発明は以上に説明した実施形態に限定されるものではない。
例えば、以上に説明した実施形態では、二つの値(0又は1)が表示方向フラグに設定されるようになっていたが、四つの値(0〜3)が表示方向フラグに設定されるようにしてもよい。この場合、例えば、値「0」は図4に示す状態[a]に対応し、値「1」は図4に示す状態[e]に対応する。また、値「2」は、図4に示す状態「a」を上下反転させてなる状態に対応し、値「3」は、図4に示す状態「e」を左右反転させてなる状態に対応する。
10 端末装置、11 制御部、12 記憶部、13 通信部、14 操作部、14B ボタン、14T タッチパネル、15 撮影部、16 姿勢検出センサ、17 表示部、18 音声出力部、20 傾き検出部、22 表示制御部、24 画面回転部、26 撮影画像取得部、28 比較部、30 抑止部、32 抑止継続部、34 解除部、40 撮影画像、U ユーザ、T 端末装置。

Claims (7)

  1. 画面を表示する表示手段を備える端末装置において、
    前記端末装置の傾きを検出する傾き検出手段と、
    前記傾き検出手段によって検出される前記端末装置の傾き状態が所定状態になった場合に、前記画面を回転させる画面回転手段と、
    前記画面を見るユーザを撮影するための撮影手段と、
    前記撮影手段の撮影画像を取得する撮影画像取得手段と、
    前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像とを比較する比較手段と、
    前記比較手段の比較結果に基づいて、前記画面回転手段による前記画面の回転を抑止する抑止手段と、
    を含み、
    前記撮影手段による撮影は時間経過に伴って繰り返し実行され、
    前記端末装置は、
    前記画面回転手段による前記画面の回転が前記抑止手段によって抑止された後、前記画面回転手段による前記画面の回転を抑止し続ける抑止継続手段と、
    前記撮影手段の撮影画像から前記ユーザを検出する手段と、
    前記画面回転手段による前記画面の回転が前記抑止継続手段によって抑止され続けている状態において、前記撮影手段の撮影画像から前記ユーザが検出されない状態が所定期間にわたって継続した場合に、前記抑止継続手段による抑止を解除する手段と、をさらに含む、
    ことを特徴とする端末装置。
  2. 請求項1に記載の端末装置において、
    前記比較手段は、前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像であって、かつ、背景領域が除去された撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像であって、かつ、背景領域が除去された撮影画像と、の差分値が閾値以下であるか否かを判定し、
    前記抑止手段は、前記差分値が前記閾値以下である場合に、前記画面回転手段による前記画面の回転を抑止する、
    ことを特徴とする端末装置。
  3. 請求項1又は2に記載の端末装置において、
    前記撮影手段は、前記撮影手段の動作状態を、撮影可能な第1状態と、前記第1状態よりも消費電力の小さい第2状態との間で変更可能に構成されており、
    前記撮影画像取得手段は、
    前記傾き検出手段によって検出される前記端末装置の傾き状態が前記所定状態になる前において、前記撮影手段の動作状態を前記第2状態から前記第1状態へと変更することによって前記撮影手段に撮影を実行させ、前記撮影手段による撮影が実行された後に、前記撮影手段の動作状態を前記第1状態から前記第2状態へと変更する手段と、
    前記傾き検出手段によって検出される前記端末装置の傾き状態が前記所定状態になった時又は後において、前記撮影手段の動作状態を前記第2状態から前記第1状態へと変更することによって前記撮影手段に撮影を実行させ、前記撮影手段による撮影が実行された後に、前記撮影手段の動作状態を前記第1状態から前記第2状態へと変更する手段と、を含む、
    ことを特徴とする端末装置。
  4. 請求項1乃至のいずれかに記載の端末装置において、
    前記画面回転手段による前記画面の回転が前記抑止継続手段によって抑止され続けている状態において、前記傾き検出手段によって検出される前記端末装置の傾きの変化が閾値以上になった場合に、前記抑止継続手段による抑止を解除する手段を含む、
    ことを特徴とする端末装置。
  5. 画面を表示する表示手段と、前記画面を見るユーザを撮影するための撮影手段と、を備える端末装置の制御方法において、
    前記端末装置の傾きを検出する傾き検出手段の検出結果を取得するステップと、
    前記傾き検出手段によって検出される前記端末装置の傾き状態が所定状態になった場合に、前記画面を回転させる画面回転ステップと、
    記撮影手段の撮影画像を取得する撮影画像取得ステップと、
    前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像とを比較する比較ステップと、
    前記比較ステップにおける比較結果に基づいて、前記画面回転ステップによる前記画面の回転を抑止する抑止ステップと、
    を含み、
    前記撮影手段による撮影は時間経過に伴って繰り返し実行され、
    前記制御方法は、
    前記画面回転ステップによる前記画面の回転が前記抑止ステップによって抑止された後、前記画面回転ステップによる前記画面の回転を抑止し続ける抑止継続ステップと、
    前記撮影手段の撮影画像から前記ユーザを検出するステップと、
    前記画面回転ステップによる前記画面の回転が前記抑止継続ステップによって抑止され続けている状態において、前記撮影手段の撮影画像から前記ユーザが検出されない状態が所定期間にわたって継続した場合に、前記抑止継続ステップによる抑止を解除するステップと、をさらに含む、
    ことを特徴とする端末装置の制御方法。
  6. 画面を表示する表示手段と、前記画面を見るユーザを撮影するための撮影手段と、を備える端末装置に、
    前記端末装置の傾きを検出する傾き検出手段の検出結果を取得するステップと、
    前記傾き検出手段によって検出される前記端末装置の傾き状態が所定状態になった場合に、前記画面を回転させる画面回転ステップと、
    記撮影手段の撮影画像を取得する撮影画像取得ステップと、
    前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像とを比較する比較ステップと、
    前記比較ステップにおける比較結果に基づいて、前記画面回転ステップによる前記画面の回転を抑止する抑止ステップと、
    を実行させるプログラムであって
    前記撮影手段による撮影は時間経過に伴って繰り返し実行され、
    前記プログラムは、
    前記画面回転ステップによる前記画面の回転が前記抑止ステップによって抑止された後、前記画面回転ステップによる前記画面の回転を抑止し続ける抑止継続ステップと、
    前記撮影手段の撮影画像から前記ユーザを検出するステップと、
    前記画面回転ステップによる前記画面の回転が前記抑止継続ステップによって抑止され続けている状態において、前記撮影手段の撮影画像から前記ユーザが検出されない状態が所定期間にわたって継続した場合に、前記抑止継続ステップによる抑止を解除するステップと、を前記端末装置にさらに実行させる、
    ことを特徴とするプログラム。
  7. 画面を表示する表示手段と、前記画面を見るユーザを撮影するための撮影手段と、を備える端末装置に、
    前記端末装置の傾きを検出する傾き検出手段の検出結果を取得するステップと、
    前記傾き検出手段によって検出される前記端末装置の傾き状態が所定状態になった場合に、前記画面を回転させる画面回転ステップと、
    記撮影手段の撮影画像を取得する撮影画像取得ステップと、
    前記端末装置の傾き状態が前記所定状態になる前の前記撮影手段の撮影画像と、前記端末装置の傾き状態が前記所定状態になった時又は後の前記撮影手段の撮影画像とを比較する比較ステップと、
    前記比較ステップにおける比較結果に基づいて、前記画面回転ステップによる前記画面の回転を抑止する抑止ステップと、
    を実行させるプログラムであって
    前記撮影手段による撮影は時間経過に伴って繰り返し実行され、
    前記プログラムは、
    前記画面回転ステップによる前記画面の回転が前記抑止ステップによって抑止された後、前記画面回転ステップによる前記画面の回転を抑止し続ける抑止継続ステップと、
    前記撮影手段の撮影画像から前記ユーザを検出するステップと、
    前記画面回転ステップによる前記画面の回転が前記抑止継続ステップによって抑止され続けている状態において、前記撮影手段の撮影画像から前記ユーザが検出されない状態が所定期間にわたって継続した場合に、前記抑止継続ステップによる抑止を解除するステップと、を前記端末装置にさらに実行させる、
    ことを特徴とするプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。
JP2014555892A 2013-03-29 2013-03-29 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体 Active JP5799179B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/059771 WO2014155748A1 (ja) 2013-03-29 2013-03-29 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体

Publications (2)

Publication Number Publication Date
JP5799179B2 true JP5799179B2 (ja) 2015-10-21
JPWO2014155748A1 JPWO2014155748A1 (ja) 2017-02-16

Family

ID=51622791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014555892A Active JP5799179B2 (ja) 2013-03-29 2013-03-29 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体

Country Status (3)

Country Link
US (1) US9646576B2 (ja)
JP (1) JP5799179B2 (ja)
WO (1) WO2014155748A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741150B2 (en) 2013-07-25 2017-08-22 Duelight Llc Systems and methods for displaying representative images
WO2014155747A1 (ja) * 2013-03-29 2014-10-02 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
CN107037955A (zh) * 2016-10-24 2017-08-11 阿里巴巴集团控股有限公司 一种显示图像信息的方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568245A (ja) * 1991-09-09 1993-03-19 Nippon Telegr & Teleph Corp <Ntt> 動物体検出および追跡処理方式
JPH0729014A (ja) * 1993-06-24 1995-01-31 Sharp Corp 画像処理装置
JPH11161798A (ja) * 1997-12-01 1999-06-18 Toyota Motor Corp 車両運転者監視装置
JP2000137788A (ja) * 1998-10-29 2000-05-16 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置及び記録媒体
JP2004054960A (ja) * 2002-07-19 2004-02-19 Samsung Electronics Co Ltd 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
JP2004070411A (ja) * 2002-08-01 2004-03-04 Nissan Motor Co Ltd ドライバモニタ装置
JP2011138449A (ja) * 2010-01-04 2011-07-14 Nec Corp 表示制御装置、表示装置、電子装置および表示制御方法
WO2011104837A1 (ja) * 2010-02-25 2011-09-01 富士通株式会社 携帯端末、動作間隔設定方法及びプログラム
JP2012070381A (ja) * 2010-09-08 2012-04-05 Apple Inc 肖像画から風景画へのカメラに基づく方向固定
WO2012120799A1 (ja) * 2011-03-04 2012-09-13 パナソニック株式会社 表示装置及び表示方向切替方法
WO2012144526A1 (ja) * 2011-04-20 2012-10-26 Necカシオモバイルコミュニケーションズ株式会社 情報表示装置、制御方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131616A (ja) 2006-11-27 2008-06-05 Nec Saitama Ltd 携帯端末装置、表示方向切り替え方法、および、表示方向切り替えプログラム
US9690334B2 (en) * 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568245A (ja) * 1991-09-09 1993-03-19 Nippon Telegr & Teleph Corp <Ntt> 動物体検出および追跡処理方式
JPH0729014A (ja) * 1993-06-24 1995-01-31 Sharp Corp 画像処理装置
JPH11161798A (ja) * 1997-12-01 1999-06-18 Toyota Motor Corp 車両運転者監視装置
JP2000137788A (ja) * 1998-10-29 2000-05-16 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置及び記録媒体
JP2004054960A (ja) * 2002-07-19 2004-02-19 Samsung Electronics Co Ltd 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
JP2004070411A (ja) * 2002-08-01 2004-03-04 Nissan Motor Co Ltd ドライバモニタ装置
JP2011138449A (ja) * 2010-01-04 2011-07-14 Nec Corp 表示制御装置、表示装置、電子装置および表示制御方法
WO2011104837A1 (ja) * 2010-02-25 2011-09-01 富士通株式会社 携帯端末、動作間隔設定方法及びプログラム
JP2012070381A (ja) * 2010-09-08 2012-04-05 Apple Inc 肖像画から風景画へのカメラに基づく方向固定
WO2012120799A1 (ja) * 2011-03-04 2012-09-13 パナソニック株式会社 表示装置及び表示方向切替方法
WO2012144526A1 (ja) * 2011-04-20 2012-10-26 Necカシオモバイルコミュニケーションズ株式会社 情報表示装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
US9646576B2 (en) 2017-05-09
US20160163289A1 (en) 2016-06-09
JPWO2014155748A1 (ja) 2017-02-16
WO2014155748A1 (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
JP5857257B2 (ja) 表示装置及び表示方向切替方法
TWI471002B (zh) 具有傾斜及/或透視校正之影像捕捉裝置
JP5978610B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8648924B2 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for generating a combination image on a display of the capturing apparatus
JP5750253B2 (ja) 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
CN104754216A (zh) 一种拍照方法及装置
JP2014053794A (ja) 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP5799179B2 (ja) 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
JP2011188345A (ja) 携帯電子機器
WO2017005070A1 (zh) 显示控制方法及装置
US11068062B2 (en) Display device and method for cancelling a user selected feature on a graphical user interface according to a change in display device rotation
JP6161400B2 (ja) 動画再生装置及びその制御方法
US9734865B2 (en) Display apparatus and control method thereof
JP5736528B2 (ja) 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
JP2016091383A (ja) 携帯端末装置、画面制御方法及び画面制御プログラム
CN109451216A (zh) 一种拍摄照片的显示处理方法和装置
CN113301249B (zh) 全景视频处理方法、装置、计算机设备和存储介质
US9229527B2 (en) Image display device, image display method, and program
JP6573389B2 (ja) 表示制御装置およびその制御方法
JP5662359B2 (ja) 端末装置、画面制御方法、プログラム
JP2014220555A (ja) 撮像装置、その制御方法及びプログラム
JP5759797B2 (ja) 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム
JP2017058554A (ja) 撮像装置、制御方法及びプログラム
JP6221526B2 (ja) 携帯電子機器及び表示制御プログラム
JP6242091B2 (ja) 撮像装置、撮像装置の制御方法、プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150824

R150 Certificate of patent or registration of utility model

Ref document number: 5799179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250