JPWO2013046987A1 - Information processing terminal and information processing method - Google Patents

Information processing terminal and information processing method Download PDF

Info

Publication number
JPWO2013046987A1
JPWO2013046987A1 JP2013536063A JP2013536063A JPWO2013046987A1 JP WO2013046987 A1 JPWO2013046987 A1 JP WO2013046987A1 JP 2013536063 A JP2013536063 A JP 2013536063A JP 2013536063 A JP2013536063 A JP 2013536063A JP WO2013046987 A1 JPWO2013046987 A1 JP WO2013046987A1
Authority
JP
Japan
Prior art keywords
display
content
display unit
information processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013536063A
Other languages
Japanese (ja)
Inventor
一峰 周
一峰 周
雅樹 宮原
雅樹 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013536063A priority Critical patent/JPWO2013046987A1/en
Publication of JPWO2013046987A1 publication Critical patent/JPWO2013046987A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明の情報処理端末は、タッチパネル機能を備えた第１の表示部（１３）および第２の表示部（１５）と、第１の表示部（１３）および第２の表示部（１５）の２つの表示部を使用して表示させているコンテンツに対して、コンテンツの中心線を跨ぐように連続的に触れる操作があると、２つの表示部（１３，１５）のうち、いずれか一方の表示部にコンテンツを表示させる制御部（１７）とを有する。The information processing terminal according to the present invention includes a first display unit (13) and a second display unit (15) having a touch panel function, and a first display unit (13) and a second display unit (15). When there is an operation of continuously touching the content displayed using the two display units across the center line of the content, one of the two display units (13, 15) is displayed. And a control unit (17) for displaying content on the display unit.

Description

本発明は、情報処理端末および情報処理方法に関する。   The present invention relates to an information processing terminal and an information processing method.

２つの表示部を備えた画像表示装置の一例が特許文献１に開示されている。特許文献１には、ユーザの操作にしたがって、２つの画面に表示させる方法を様々に設定できることが開示されている。   An example of an image display device including two display units is disclosed in Patent Document 1. Patent Document 1 discloses that various methods for displaying on two screens can be set in accordance with a user operation.

近年、情報処理端末の表示部に、タッチパネル機能を備えた表示部が用いられることが多くなった。ユーザは、このような情報処理端末の表示部を指で触れることで、表示部に表示されたコンテンツに対して仮想的に操作することができるようになった。操作の例として、フリック操作やドラッグ操作が知られている。   In recent years, a display unit having a touch panel function is often used as a display unit of an information processing terminal. The user can virtually operate the content displayed on the display unit by touching the display unit of such an information processing terminal with a finger. As examples of operations, flick operations and drag operations are known.

フリック操作とは、表示部に触れている指を、一方向に素早くスライドさせる操作である。例えば、情報処理端末が電子ブックである場合、フリック操作によって、本のページをめくるように、表示部に表示されるページを次のページに切り替えることができる。   The flick operation is an operation of quickly sliding a finger touching the display unit in one direction. For example, when the information processing terminal is an electronic book, a page displayed on the display unit can be switched to the next page so as to turn a book page by a flick operation.

ドラッグ操作とは、タッチパネルに指を触れさせたまま、ゆっくりと移動させる操作である。例えば、ドラッグ操作によって、表示部に表示されているキャラクタを、指の移動に伴って移動させることができる。   The drag operation is an operation for slowly moving a finger while touching the touch panel. For example, the character displayed on the display unit can be moved with the movement of the finger by a drag operation.

特開平９−２６５６２号公報JP 9-26562 A

特許文献１に開示された装置において、２つの画面を１画面としてコンテンツを表示した状態で、ユーザが中央付近をフリックやドラッグの操作を行う際、次のような問題が起こることがあった。   In the apparatus disclosed in Patent Document 1, when a user performs a flick or drag operation near the center in a state where content is displayed with two screens as one screen, the following problem may occur.

特許文献１に開示された装置のように、２つの画面がそれぞれ異なる筺体に設けられていると、ユーザが一方の画面と他方の画面を跨ぐようにフリック操作やドラッグ操作する場合、筺体の継ぎ目が邪魔になって操作できないという問題があった。   When the two screens are provided in different casings as in the device disclosed in Patent Document 1, when the user performs a flick operation or a drag operation so as to straddle one screen and the other screen, the joint of the casings There was a problem that could not be operated because of.

本発明の目的の一つは、２画面に表示されたコンテンツに対して、ユーザが表示方法を変更しなくても、２画面に跨るフリックまたはドラッグ等の操作を可能にした情報処理端末および情報処理方法を提供することである。   One of the objects of the present invention is an information processing terminal and information that enable operations such as flicking or dragging over two screens without changing the display method for the content displayed on the two screens. It is to provide a processing method.

本発明の一側面の情報処理端末は、タッチパネル機能を備えた第１の表示部および第２の表示部と、第１の表示部および第２の表示部の２つの表示部を使用して表示させているコンテンツに対して、コンテンツの中心線を跨ぐように連続的に触れる操作があると、２つの表示部のうち、いずれか一方の表示部にコンテンツを表示させる制御部と、を有する構成である。   An information processing terminal according to one aspect of the present invention displays using two display units, a first display unit and a second display unit having a touch panel function, and a first display unit and a second display unit. A control unit that displays the content on one of the two display units when there is an operation of continuously touching the content to be crossed over the center line of the content It is.

また、本発明の一側面の情報処理方法は、タッチパネル機能を備えた２つの表示部および制御部を有する情報処理端末による情報処理方法であって、２つの表示部を使用して表示させているコンテンツに対して、コンテンツの中心線を跨ぐように連続的に触れる操作があるか否かを判定し、判定の結果、コンテンツの中心線を跨ぐように連続的に触れる操作があると、２つの表示部のうち、いずれか一方の表示部にコンテンツを表示させるものである。   An information processing method according to one aspect of the present invention is an information processing method using an information processing terminal having two display units and a control unit having a touch panel function, and displays the information using the two display units. It is determined whether or not there is an operation that continuously touches the content so that it crosses the center line of the content. The content is displayed on any one of the display units.

図１は本実施形態の情報処理端末の一構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of an information processing terminal according to the present embodiment. 図２Ａは本実施形態の情報処理端末の一例を示す外観図である。FIG. 2A is an external view showing an example of an information processing terminal according to the present embodiment. 図２Ｂは本実施形態の情報処理端末の一例を示す外観図である。FIG. 2B is an external view showing an example of the information processing terminal of the present embodiment. 図２Ｃは本実施形態の情報処理端末の一例を示す外観図である。FIG. 2C is an external view showing an example of the information processing terminal of the present embodiment. 図３は図１に示した制御部の一構成例を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration example of the control unit illustrated in FIG. 図４は図１に示した表示部におけるｘｙ座標の一例を示す図である。FIG. 4 is a diagram showing an example of xy coordinates in the display unit shown in FIG. 図５は２画面表示の場合の通常モードを説明するための図である。FIG. 5 is a diagram for explaining the normal mode in the case of two-screen display. 図６は１画面表示の場合の通常モードを説明するための図である。FIG. 6 is a diagram for explaining the normal mode in the case of single screen display. 図７は本実施形態の情報処理端末の動作手順を示すフローチャートである。FIG. 7 is a flowchart showing an operation procedure of the information processing terminal according to the present embodiment. 図８Ａは図７に示すステップ２１３の判定方法を説明するための図である。FIG. 8A is a diagram for explaining the determination method in step 213 shown in FIG. 図８Ｂは図７に示すステップ２１４の判定方法を説明するための図である。FIG. 8B is a diagram for explaining the determination method in step 214 shown in FIG. 図９Ａは２画面に跨るマルチタッチ操作の検出方法を説明するための図である。FIG. 9A is a diagram for explaining a method of detecting a multi-touch operation over two screens. 図９Ｂは２画面に跨るマルチタッチ操作の検出方法を説明するための図である。FIG. 9B is a diagram for explaining a method of detecting a multi-touch operation over two screens. 図９Ｃは２画面に跨るマルチタッチ操作の検出方法を説明するための図である。FIG. 9C is a diagram for explaining a method for detecting a multi-touch operation over two screens.

本実施形態の情報処理端末の構成を説明する。   The configuration of the information processing terminal of this embodiment will be described.

図１は本実施形態の情報処理端末の一構成例を示すブロック図である。図２Ａ〜図２Ｃは本実施形態の情報処理端末の一例を示す外観図である。図３は図１に示す制御部の一構成例を示すブロック図である。   FIG. 1 is a block diagram illustrating a configuration example of an information processing terminal according to the present embodiment. 2A to 2C are external views showing an example of the information processing terminal according to the present embodiment. FIG. 3 is a block diagram showing a configuration example of the control unit shown in FIG.

図１に示すように、本実施形態の情報処理端末１０は、表示部１３および表示部１５と、記憶部１２と、通信部１４と、電源制御部１６と、操作部１８と、姿勢検出部１９と、制御部１７とを有する。図１に示す構成を詳しく説明する前に、情報処理端末１０が取り得る２通りの姿勢について、図２Ａ〜図２Ｃを参照して説明する。   As illustrated in FIG. 1, the information processing terminal 10 according to the present embodiment includes a display unit 13 and a display unit 15, a storage unit 12, a communication unit 14, a power supply control unit 16, an operation unit 18, and an attitude detection unit. 19 and a control unit 17. Before describing the configuration illustrated in FIG. 1 in detail, the two possible postures of the information processing terminal 10 will be described with reference to FIGS. 2A to 2C.

図２Ａに示すように、情報処理端末１０は２つの筺体３３、３５からなり、筺体３３に表示部１３が設けられ、筺体３５に表示部１５が設けられている。筺体３３と筺体３５はヒンジ３７で接続されている。ユーザは、ヒンジ３７を回転軸にして、筺体３３と筺体３５とを重ね合わせて閉じたり、筺体３３を筺体３５から離して開いたりすることができる。   As illustrated in FIG. 2A, the information processing terminal 10 includes two housings 33 and 35, the housing 33 is provided with the display unit 13, and the housing 35 is provided with the display unit 15. The housing 33 and the housing 35 are connected by a hinge 37. The user can close and close the housing 33 and the housing 35 with the hinge 37 as a rotation axis, or can open the housing 33 away from the housing 35.

図２Ａは、表示部１３および表示部１５が横に並んだ状態であり、例えば、筺体３３および筺体３５の短辺側の一部が机の上面に接するように、ユーザが、左手で筺体３３を保持し、右手で筺体３５を保持して、情報処理端末１０を机の上に立てた状態である。図２Ａに示す姿勢に対し情報処理端末１０を１８０度回転させて使用した場合、つまり表示部１５が左、表示部１３が右に位置している場合であっても、情報処理端末１０は図２Ａの姿勢で使用したときと同様に動作する。   FIG. 2A shows a state in which the display unit 13 and the display unit 15 are arranged side by side. For example, the user moves the case 33 with his left hand so that the short sides of the case 33 and the case 35 are in contact with the upper surface of the desk. And holding the housing 35 with the right hand, the information processing terminal 10 stands on the desk. Even when the information processing terminal 10 is rotated 180 degrees with respect to the posture shown in FIG. 2A, that is, when the display unit 15 is on the left and the display unit 13 is on the right, the information processing terminal 10 It operates in the same way as when used in the 2A posture.

図２Ａでは、表示部１３および表示部１５の２画面が１つの画面として機能し、１つのコンテンツが拡大表示されている。図２Ａに示す状態であれば、ユーザは、コンテンツを大きな画面で楽しむことができる。   In FIG. 2A, two screens of the display unit 13 and the display unit 15 function as one screen, and one content is enlarged and displayed. In the state shown in FIG. 2A, the user can enjoy the content on a large screen.

図２Ｂは、表示部１３および表示部１５が縦に並んだ状態、例えば、筺体３５の２つの面のうち、表示部１５が設けられていない方の面が机の上面に接するように、情報処理端末１０が机の上に置かれた状態である。そして、筺体３３は机の上面に対して垂直か、または、垂直方向に対して、ユーザの面する方向と反対方向に少し傾いている。図２Ｂでは、表示部１３にコンテンツが表示され、表示部１５には何も表示されていない。図２Ｂに示す状態では、表示部１３がユーザに面しており、表示部１３の表面がユーザの視線の方向とほぼ垂直になるので、ユーザは表示部１３に表示されるコンテンツが見やすくなる。一方、ユーザは、表示部１５を見ようとすると、見下ろすようにしなければならず、表示部１５にコンテンツが表示されても、かえって見づらくなってしまう。   FIG. 2B shows a state in which the display unit 13 and the display unit 15 are arranged vertically, for example, so that the surface of the housing 35 where the display unit 15 is not provided is in contact with the upper surface of the desk. In this state, the processing terminal 10 is placed on the desk. The housing 33 is either perpendicular to the top surface of the desk or slightly inclined in the direction opposite to the direction facing the user with respect to the vertical direction. In FIG. 2B, the content is displayed on the display unit 13 and nothing is displayed on the display unit 15. In the state shown in FIG. 2B, the display unit 13 faces the user, and the surface of the display unit 13 is substantially perpendicular to the direction of the user's line of sight, so that the user can easily see the content displayed on the display unit 13. On the other hand, when the user tries to look at the display unit 15, the user has to look down, and even if content is displayed on the display unit 15, the user is hard to see.

図２Ｃは、図２Ｂの状態とは反対に、筺体３３を机の上に載せ、筺体３５を立てた状態である。図２Ｃに示す状態では、表示部１５がユーザに面しており、表示部１５の表面がユーザの視線の方向とほぼ垂直になるので、ユーザは表示部１５に表示されるコンテンツが見やすくなる。   2C shows a state in which the housing 33 is placed on the desk and the housing 35 is erected, contrary to the state of FIG. 2B. In the state illustrated in FIG. 2C, the display unit 15 faces the user, and the surface of the display unit 15 is substantially perpendicular to the direction of the user's line of sight, so that the user can easily see the content displayed on the display unit 15.

図２Ａに示す姿勢は、本を開いて立てた形に似ていることから、以下では、「ブックスタイル」と称する。一方、図２Ｂおよび図２Ｃに示す姿勢は、蓋部に表示部が設けられたノート型ＰＣ（Personal Computer）を机の上に載せて蓋部を立てた形に似ていることから、以下では、「ＰＣスタイル」と称する。なお、記憶部１２、通信部１４、電源制御部１６、操作部１８、姿勢検出部１９および制御部１７のそれぞれは、筺体３３および筺体３５のうち、いずれに設けられていてもよい。   Since the posture shown in FIG. 2A is similar to the shape of a book opened and raised, it is hereinafter referred to as “book style”. On the other hand, the posture shown in FIG. 2B and FIG. 2C is similar to a shape in which a lid is put up by placing a notebook PC (Personal Computer) having a lid with a display on a desk. , Referred to as “PC style”. Note that each of the storage unit 12, the communication unit 14, the power supply control unit 16, the operation unit 18, the posture detection unit 19, and the control unit 17 may be provided in any of the housing 33 and the housing 35.

次に、図１を参照して情報処理端末１０の構成を詳しく説明する。   Next, the configuration of the information processing terminal 10 will be described in detail with reference to FIG.

表示部１３および表示部１５のそれぞれは、表示デバイス（不図示）の上にタッチパネル（不図示）が積層された構成である。表示デバイスは液晶ディスプレイである。タッチパネルは、ユーザの指が接触した部位のｘｙ座標（ｘ、ｙ）の情報である座標情報を制御部１７に送信する。表示部１３、１５の表示範囲におけるｘｙ座標の一例を図４に示す。このｘｙ座標を物理座標と称する。物理座標は、表示部１３および表示部１５のそれぞれに定義されており、図４に示すように、原点もそれぞれ異なる。図４に示す例では、表示部１３、１５のそれぞれの表示範囲において、ｘ軸方向の最大値をｗとし、ｙ軸方向の最大値をｈとしている。   Each of the display unit 13 and the display unit 15 has a configuration in which a touch panel (not shown) is stacked on a display device (not shown). The display device is a liquid crystal display. The touch panel transmits coordinate information, which is information on the xy coordinates (x, y) of the part touched by the user's finger, to the control unit 17. An example of the xy coordinates in the display range of the display units 13 and 15 is shown in FIG. The xy coordinates are referred to as physical coordinates. The physical coordinates are defined in each of the display unit 13 and the display unit 15, and the origins are also different as shown in FIG. In the example shown in FIG. 4, the maximum value in the x-axis direction is set to w and the maximum value in the y-axis direction is set to h in the display ranges of the display units 13 and 15.

操作部１８は、ユーザが指示を入力するための構成であり、制御部１７と接続された、電源ボタン（不図示）および表示モード切替ボタン（不図示）を有する。表示モード切替ボタンは、コンテンツを表示させる画面を、表示部１３および表示部１５の２画面、表示部１３の１画面、および表示部１５の一画面の３つの表示モードのうち、いずれを選択するかをユーザが指定するための指示入力手段である。この表示モード切替ボタンによる指定がない場合には、コンテンツが表示される画面は、デフォルト画面に設定される。本実施形態では、デフォルト画面が表示部１３であるものとする。   The operation unit 18 is configured for a user to input an instruction, and includes a power button (not shown) and a display mode switching button (not shown) connected to the control unit 17. The display mode switching button selects one of the three display modes, ie, two screens of the display unit 13 and the display unit 15, one screen of the display unit 13, and one screen of the display unit 15 as a screen for displaying content. This is an instruction input means for the user to specify. When there is no designation by the display mode switching button, the screen on which the content is displayed is set as a default screen. In the present embodiment, it is assumed that the default screen is the display unit 13.

電源制御部１６は、内部電源としての電池（不図示）の電圧値と、外部から供給される交流を直流に変換するＡＣアダプタが自装置に装着されているか否かを監視する。電源制御部１６は、ＡＣアダプタが装着されているか否かの情報と電池の電圧値を制御部１７に通知する。   The power supply control unit 16 monitors the voltage value of a battery (not shown) as an internal power supply and whether or not an AC adapter that converts an alternating current supplied from the outside into a direct current is attached to the apparatus. The power supply control unit 16 notifies the control unit 17 of information on whether or not the AC adapter is attached and the voltage value of the battery.

姿勢検出部１９は、例えば、加速度センサである。姿勢検出部１９は、重力方向を基準方向として、基準方向に対する、情報処理端末１０の姿勢を示す検知信号を制御部１７に送信する。本実施形態では、姿勢検出部１９は、端末の姿勢が図２Ａに示したブックスタイルの場合に第１検知信号を制御部１７に出力し、端末の姿勢が図２Ｂに示したＰＣスタイルの場合に第２検知信号を制御部１７に出力し、端末の姿勢が図２Ｃに示したＰＣスタイルの場合に第３検知信号を制御部１７に出力するものとする。   The posture detection unit 19 is, for example, an acceleration sensor. The posture detection unit 19 transmits a detection signal indicating the posture of the information processing terminal 10 with respect to the reference direction to the control unit 17 with the gravity direction as the reference direction. In the present embodiment, the posture detection unit 19 outputs a first detection signal to the control unit 17 when the terminal posture is the book style shown in FIG. 2A, and the terminal posture is the PC style shown in FIG. 2B. It is assumed that the second detection signal is output to the control unit 17 and the third detection signal is output to the control unit 17 when the terminal posture is the PC style shown in FIG.

通信部１４は、ネットワークを介してウェブサイトからデータを受信する。本実施形態では、ネットワークはインターネットであるものとし、通信部１４が行う通信処理の通信規格がＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）の場合であるものとするが、他の通信規格であってもよい。   The communication unit 14 receives data from a website via a network. In the present embodiment, the network is assumed to be the Internet, and the communication standard of communication processing performed by the communication unit 14 is assumed to be TCP (Transmission Control Protocol) / IP (Internet Protocol). There may be.

記憶部１２には、ネットワークを介して受信するウェブページを表示するためのブラウザソフトウェアプログラムと、動画コンテンツを再生するためのアプリケーションソフトウェアプログラム（以下では、動画再生アプリケーションと称する）とが格納されている。動画再生アプリケーションは、例えば、ＦＬＡＳＨ（登録商標）プレーヤである。   The storage unit 12 stores a browser software program for displaying a web page received via the network and an application software program (hereinafter referred to as a moving image reproduction application) for reproducing moving image content. . The moving image reproduction application is, for example, a FLASH (registered trademark) player.

続いて、図３を参照して制御部１７について詳しく説明する。   Next, the control unit 17 will be described in detail with reference to FIG.

図３に示すように、制御部１７は、ユーザの操作に基づいて表示方法を決定する判定部５１と、動画コンテンツを再生する画像処理部５３とを有する。   As illustrated in FIG. 3, the control unit 17 includes a determination unit 51 that determines a display method based on a user operation, and an image processing unit 53 that reproduces moving image content.

判定部５１は、プログラムにしたがって処理を実行するＣＰＵ（Central Processing Unit）１５１と、プログラムを記憶するメモリ１５２とを有する。画像処理部５３は、動画コンテンツの圧縮データに対して伸張処理を行うハードウェアコーデックの機能を有する。   The determination unit 51 includes a CPU (Central Processing Unit) 151 that executes processing according to a program, and a memory 152 that stores the program. The image processing unit 53 has a hardware codec function that performs decompression processing on compressed data of moving image content.

制御部１７は、ネットワークに接続する旨の指示が入力されると、ブラウザソフトウェアプログラムを記憶部１２から画像処理部５３に読み込み、画像処理部５３にブラウザソフトウェアプログラムを実行させる。そして、制御部１７は、ネットワーク上の動画共有サイトにアクセスする旨の指示が入力されると、動画共有サイトからウェブページのデータを取得し、そのデータに含まれるプログラムにしたがって、ウェブページを通常モードまたはフルスクリーンモードで表示する。通常モードは、ウェブページに含まれるコンテンツの画像が画面全体の一部に表示される表示モードであり、フルスクリーンモードは、コンテンツの画像が画面全体に表示される表示モードである。通常モードおよびフルスクリーンモードについての詳細は後述する。   When an instruction to connect to the network is input, the control unit 17 reads the browser software program from the storage unit 12 into the image processing unit 53 and causes the image processing unit 53 to execute the browser software program. Then, when an instruction to access the video sharing site on the network is input, the control unit 17 acquires the web page data from the video sharing site, and normally converts the web page according to the program included in the data. Display in mode or full screen mode. The normal mode is a display mode in which an image of content included in a web page is displayed on a part of the entire screen, and the full screen mode is a display mode in which an image of content is displayed on the entire screen. Details of the normal mode and the full screen mode will be described later.

また、制御部１７は、ネットワーク上の動画共有サイトに公開されている動画コンテンツをダウンロードする指示が入力されると、動画再生アプリケーションを記憶部１２から画像処理部５３に読み込み、画像処理部５３に動画再生処理を実行可能にさせる。そして、制御部１７が動画共有サイトからネットワークおよび通信部１４を介して動画コンテンツの圧縮データを受信すると、画像処理部５３は、受信する圧縮データを順次、伸張処理し、伸張処理後の動画コンテンツを、判定部５１の指示にしたがって、表示部１３および表示部１５のいずれか一方、または両方を使って再生する。   In addition, when an instruction to download the moving image content published to the moving image sharing site on the network is input, the control unit 17 reads the moving image reproduction application from the storage unit 12 into the image processing unit 53, and Make the video playback process executable. When the control unit 17 receives the compressed data of the moving image content from the moving image sharing site via the network and the communication unit 14, the image processing unit 53 sequentially expands the received compressed data, and the expanded moving image content Is reproduced using one or both of the display unit 13 and the display unit 15 in accordance with an instruction from the determination unit 51.

判定部５１は、動画コンテンツ再生の際、外部から電源が供給されていない場合、電池の電圧値から残量が少ないと判定すると、１画面表示を優先させる。これは、２画面表示させる場合、１画面表示の場合よりも電力消費量が大きいからである。   If the power is not supplied from the outside during playback of moving image content, the determination unit 51 gives priority to the one-screen display when determining that the remaining amount is low from the battery voltage value. This is because the power consumption is larger when displaying two screens than when displaying one screen.

判定部５１は、通常モードでユーザによるドラッグまたはフリックの操作があると、表示部１３および表示部１５から受信する座標情報を参照し、ドラッグまたはフリックの操作が画面に表示されたコンテンツの中心線を跨ぐものであるか否かを判定する。判定の結果、コンテンツの中心線を跨ぐドラッグまたはフリックの操作があると、ドラッグまたはフリックの操作があったことを記憶部１２に記録する。その後、動画コンテンツについて通常モードからフルスクリーンモードへの切り替えの指示が入力されると、判定部５１は、ドラッグまたはフリックがあったことが記憶部１２に記録されているか否かによって、動画コンテンツの表示画面を１画面および２画面のいずれにするかを判定する。   When there is a drag or flick operation by the user in the normal mode, the determination unit 51 refers to the coordinate information received from the display unit 13 and the display unit 15, and the center line of the content on which the drag or flick operation is displayed on the screen It is judged whether it is what straddles. As a result of the determination, if there is a drag or flick operation straddling the center line of the content, the fact that the drag or flick operation has occurred is recorded in the storage unit 12. Thereafter, when an instruction to switch from the normal mode to the full screen mode is input for the moving image content, the determination unit 51 determines whether the moving image content has been dragged or flicked depending on whether or not the storage unit 12 has recorded it. It is determined whether the display screen is one screen or two screens.

また、判定部５１は、動画コンテンツを２画面に表示させた状態で、ユーザが動画コンテンツの中央付近でドラッグまたはフリックの操作を行おうとしたか否かを判定し、ドラッグまたはフリックの操作が行われようとしたことを検出すると、動画コンテンツの表示方法を２画面から１画面に切り替える。判定部５１は、動画コンテンツを２画面に表示させた状態で、２つの表示部１３、１５の接続部を跨ぐマルチタッチ操作があるか否かを判定し、２つの表示部１３、１５に跨るマルチタッチ操作を検出すると、動画コンテンツの表示方法を２画面から１画面に切り替える。   Further, the determination unit 51 determines whether or not the user has attempted to perform a drag or flick operation near the center of the video content while the video content is displayed on two screens, and the drag or flick operation is performed. When it is detected that the user has tried to break, the moving image content display method is switched from two screens to one screen. The determination unit 51 determines whether or not there is a multi-touch operation straddling the connection part of the two display units 13 and 15 in a state where the moving image content is displayed on the two screens, and straddles the two display units 13 and 15. When a multi-touch operation is detected, the moving image content display method is switched from two screens to one screen.

また、判定部５１は、動画コンテンツ再生の際、姿勢検出部１９から第１検知信号を受信すると、表示部１３および表示部１５の２画面で表示する旨を画像処理部５３に指示する。また、判定部５１は、姿勢検出部１９から第２検知信号を受信すると、表示部１３に表示する旨を画像処理部５３に指示し、姿勢検出部１９から第３検知信号を受信すると、表示部１５に表示する旨を画像処理部５３に指示する。ただし、判定部５１は、姿勢検出部１９から第１検知信号を受信しても、表示方法を決定するための他のパラメータにしたがって１画面表示すべきと判定すると、デフォルト画面で表示する旨を画像処理部５３に指示する。   In addition, when the moving image content is reproduced, the determination unit 51 instructs the image processing unit 53 to display on the two screens of the display unit 13 and the display unit 15 when receiving the first detection signal from the posture detection unit 19. Further, when the determination unit 51 receives the second detection signal from the posture detection unit 19, the determination unit 51 instructs the image processing unit 53 to display on the display unit 13. When the determination unit 51 receives the third detection signal from the posture detection unit 19, the display unit 13 displays The image processing unit 53 is instructed to display on the unit 15. However, even if the determination unit 51 receives the first detection signal from the posture detection unit 19 and determines that one screen should be displayed according to another parameter for determining the display method, the determination unit 51 displays that it is displayed on the default screen. The image processing unit 53 is instructed.

なお、本実施形態では、動画コンテンツの圧縮データに対して伸張処理を行うハードウェアコーデックが画像処理部５３に設けられている場合で説明したが、ハードウェアコーデックの代わりに、圧縮データを伸張するためのソフトウェアプログラムを予め記憶部１２に格納し、そのプログラムをＣＰＵ１５１に実行させるソフトウェアコーデックを適用してもよい。   In the present embodiment, the hardware codec that performs the decompression process on the compressed data of the moving image content has been described as being provided in the image processing unit 53. However, instead of the hardware codec, the compressed data is decompressed. A software codec that stores a software program for storing the program in the storage unit 12 in advance and causes the CPU 151 to execute the program may be applied.

動画コンテンツの表示方法として、２画面と１画面の２通りの表示モードについて説明したが、これらの表示モードのそれぞれにおける通常モードとフルスクリーンモードについて説明する。   Although two display modes of two screens and one screen have been described as the moving image content display method, the normal mode and the full screen mode in each of these display modes will be described.

図５は２画面表示の場合の通常モードを示す図であり、図６は１画面表示の場合の通常モードを示す図である。   FIG. 5 is a diagram showing a normal mode in the case of two-screen display, and FIG. 6 is a diagram showing a normal mode in the case of one-screen display.

図５は、２画面表示の際に、ユーザが情報処理端末１０を操作してネットワーク上の動画共有サイトにアクセスする旨の指示を入力したとき、制御部１７が動画共有サイトから取得したウェブページを表示部１３および表示部１５に表示させた状態を示す。図５では、ウェブページの表題とコンテンツの画像が２画面に跨って表示されている。コンテンツの画像は、ヒンジ３７を含む、表示部１３と表示部１５の接続部を跨ぐように表示され、２つの表示部１３、１５を１画面として使用される場合の画面全体のうち一部に表示されている。図５に示す中心線７１は、コンテンツを正常に見たときにコンテンツを左右に２つに均等に分割する線である。   FIG. 5 illustrates a web page acquired by the control unit 17 from the video sharing site when the user inputs an instruction to access the video sharing site on the network by operating the information processing terminal 10 during the two-screen display. Is displayed on the display unit 13 and the display unit 15. In FIG. 5, the title of the web page and the image of the content are displayed across two screens. The image of the content is displayed so as to straddle the connecting portion between the display unit 13 and the display unit 15 including the hinge 37, and part of the entire screen when the two display units 13 and 15 are used as one screen. It is displayed. A center line 71 shown in FIG. 5 is a line that equally divides the content into two left and right when the content is viewed normally.

図５に示す状態から、ユーザが表示部１５に表示されている拡大ボタン６１に触れることで拡大指示を入力すると、２画面は、図２Ａに示したフルスクリーンモードに変化する。フルスクリーンモードでは、図２Ａに示すように、２つの表示部１３、１５が１画面として使用する場合の画面全体にコンテンツが表示される。   When the user inputs an enlargement instruction by touching the enlargement button 61 displayed on the display unit 15 from the state shown in FIG. 5, the two screens change to the full screen mode shown in FIG. 2A. In the full screen mode, as shown in FIG. 2A, content is displayed on the entire screen when the two display units 13 and 15 are used as one screen.

続いて、１画面の場合の通常モードとフルスクリーンモードを説明する。   Next, a normal mode and a full screen mode in the case of one screen will be described.

図６は、１画面表示の際に、図５の場合と同様にしてウェブページをネットワークから取得し、制御部１７が動画共有サイトから取得したウェブページを表示部１３に表示させた状態を示す。図６では、ウェブページの表題とコンテンツの画像が１画面に表示されている。コンテンツの画像は、表示部１３の画面全体のうち一部に表示されている。図６に示す中心線７１は、コンテンツを正常に見たときにコンテンツを左右に２つに均等に分割する線である。   FIG. 6 shows a state in which a web page is acquired from the network in the same way as in FIG. 5 and the control unit 17 displays the web page acquired from the video sharing site on the display unit 13 when displaying one screen. . In FIG. 6, the title of the web page and the image of the content are displayed on one screen. The content image is displayed on a part of the entire screen of the display unit 13. A center line 71 shown in FIG. 6 is a line that equally divides the content into two on the left and right when the content is viewed normally.

図６に示す状態から、ユーザが表示部１３に表示されている拡大ボタン６１に触れることで拡大指示を入力すると、画面は図２Ｂに示したフルスクリーンモードに変化する。フルスクリーンモードでは、図２Ｂに示すように、表示部１３の画面全体にコンテンツが表示される。なお、図５および図６において、ユーザが再生ボタン６３に触れると再生の指示が入力され、動画コンテンツが再生される。   When the user inputs an enlargement instruction by touching the enlargement button 61 displayed on the display unit 13 from the state shown in FIG. 6, the screen changes to the full screen mode shown in FIG. 2B. In the full screen mode, the content is displayed on the entire screen of the display unit 13 as shown in FIG. 2B. In FIGS. 5 and 6, when the user touches the playback button 63, a playback instruction is input, and the moving image content is played back.

次に、本実施形態の情報処理端末１０の動作を説明する。図７は本実施形態の情報処理端末の動作手順を示すフローチャートである。   Next, the operation of the information processing terminal 10 of this embodiment will be described. FIG. 7 is a flowchart showing an operation procedure of the information processing terminal according to the present embodiment.

制御部１７は、ネットワーク上の動画共有サイトにアクセスする旨の指示が入力されると、動画共有サイトからウェブページを取得し、現在の表示モードの設定状態にしたがって、表示部１３および表示部１５のうち、いずれか一方、または、表示部１３および表示部１５にウェブページを表示させる。ここでは、通常モードで、動画コンテンツの画像を含むウェブページが表示されている。   When an instruction to access the video sharing site on the network is input, the control unit 17 acquires a web page from the video sharing site, and the display unit 13 and the display unit 15 according to the current display mode setting state. The web page is displayed on one of them, or on the display unit 13 and the display unit 15. Here, a web page including an image of moving image content is displayed in the normal mode.

続いて、コンテンツの中心線を跨ぐドラッグまたはフリックの操作があると、制御部１７は、ドラッグまたはフリックの操作があったことを記憶部１２に記録する（ステップ２０１）。ユーザが動画コンテンツの表示モードを通常モードからフルスクリーンモードに変更する旨の指示を入力すると、制御部１７は、動画コンテンツをフルスクリーンモードで表示する（ステップ２０２）。その後、制御部１７は、ドラッグ（図７ではＤと表示）またはフリック（図７ではＦと表示）の操作があったことが記憶部１２に記録されているか否かを調べる（ステップ２０３）。   Subsequently, when there is a drag or flick operation straddling the center line of the content, the control unit 17 records in the storage unit 12 that the drag or flick operation has been performed (step 201). When the user inputs an instruction to change the moving image content display mode from the normal mode to the full screen mode, the control unit 17 displays the moving image content in the full screen mode (step 202). Thereafter, the control unit 17 checks whether or not the operation of dragging (displayed as D in FIG. 7) or flicking (displayed as F in FIG. 7) is recorded in the storage unit 12 (step 203).

ドラッグまたはフリックの操作があったことが記録されている場合、制御部１７は、姿勢がＰＣスタイルであるか否かを判定する（ステップ２０４）。姿勢がＰＣスタイルである場合、制御部１７は、姿勢検出部１９からの検知信号にしたがって、ユーザの見やすい方の画面に動画コンテンツを表示させる（ステップ２０６）。ステップ２０４の判定で姿勢がＰＣスタイルでない場合、制御部１７は、デフォルト画面に動画コンテンツを表示させる（ステップ２０５）。   If it is recorded that there has been a drag or flick operation, the control unit 17 determines whether or not the posture is PC style (step 204). When the posture is PC style, the control unit 17 displays the moving image content on the screen that is easy for the user to see according to the detection signal from the posture detection unit 19 (step 206). If it is determined in step 204 that the posture is not PC style, the control unit 17 displays the moving image content on the default screen (step 205).

ここで、通常モードで動画コンテンツの中心線を跨ぐようにドラッグまたはフリックの操作があると、動画コンテンツを１画面で表示させる理由を説明する。通常モードの際に、ユーザは動画コンテンツの中心線を跨いで連続的に触れる操作を行っていることから、動画コンテンツの表示をフルスクリーンモードに切り替えた後も、その操作を行うことが考えられる。しかし、２画面で動画コンテンツをフルスクリーンモードで表示してしまうと、２つの表示部１３、１５の接続部が動画コンテンツの中心線に一致してしまい、通常モードで行っていた操作ができなくなってしまうからである。   Here, the reason why the moving image content is displayed on one screen when a drag or flick operation is performed so as to straddle the center line of the moving image content in the normal mode will be described. In normal mode, the user performs an operation that continuously touches the center line of the video content, so it is possible to perform the operation even after switching the video content display to the full screen mode. . However, if video content is displayed in full screen mode on two screens, the connection between the two display units 13 and 15 matches the center line of the video content, making it impossible to perform operations performed in the normal mode. Because it will end up.

一方、ステップ２０３の判定でドラッグまたはフリックの操作があったことが記録されていない場合、制御部１７は、ＡＣアダプタが装着されているか否かを調べる（ステップ２０７）。ＡＣアダプタが装着されていない場合、制御部１７は、電池の電圧値から電池残量が充分あるか否かを判定する（ステップ２０８）。電池残量が少ない場合、制御部１７は、姿勢がＰＣスタイルであるか否かを判定する（ステップ２０９）。姿勢がＰＣスタイルである場合、制御部１７は、姿勢検出部１９からの検知信号にしたがって、ユーザの見やすい方の画面に動画コンテンツを表示させる（ステップ２１１）。ステップ２０９の判定で姿勢がＰＣスタイルでない場合、制御部１７は、デフォルト画面に動画コンテンツを表示させる（ステップ２１０）。   On the other hand, if it is not recorded in the determination in step 203 that there has been a drag or flick operation, the control unit 17 checks whether or not the AC adapter is attached (step 207). When the AC adapter is not attached, the control unit 17 determines whether or not the remaining battery level is sufficient from the voltage value of the battery (step 208). If the remaining battery level is low, the control unit 17 determines whether or not the posture is PC style (step 209). When the posture is the PC style, the control unit 17 displays the moving image content on the screen that is easy for the user to see according to the detection signal from the posture detection unit 19 (step 211). If it is determined in step 209 that the posture is not PC style, the control unit 17 displays the moving image content on the default screen (step 210).

ステップ２０７の判定でＡＣアダプタが装着されている場合とステップ２０８の判定で電池残量が充分ある場合のいずれの場合も、制御部１７は、動画コンテンツを２画面で表示させる（ステップ２１２）。その後、制御部１７は、動画コンテンツの中央付近でドラッグまたはフリックの操作があるか否かを判定し（ステップ２１３）、２画面に跨るマルチタッチ操作があるか否かを判定する（ステップ２１４）。   In both cases where the AC adapter is attached in the determination in step 207 and the remaining battery level is sufficient in the determination in step 208, the control unit 17 displays the moving image content on two screens (step 212). Thereafter, the control unit 17 determines whether there is a drag or flick operation near the center of the moving image content (step 213), and determines whether there is a multi-touch operation over two screens (step 214). .

ここで、ステップ２１３およびステップ２１４の判定方法について、図８Ａおよび図８Ｂを参照して説明する。図８Ａはステップ２１３の判定方法を説明するための図であり、図８Ｂはステップ２１４の判定方法を説明するための図である。   Here, the determination method of step 213 and step 214 will be described with reference to FIGS. 8A and 8B. FIG. 8A is a diagram for explaining the determination method in step 213, and FIG. 8B is a diagram for explaining the determination method in step 214.

図８Ａに示す破線７５で示す範囲は、表示部１３および表示部１５の接続部を中心にして予め決められた範囲である。破線７５で示す範囲の座標が予めメモリ１５２に登録されている。ステップ２１３において、制御部１７は、破線７５で囲まれる範囲に触れる操作を検出すると、ユーザが動画コンテンツの中央近くを接触点の起点にして、ドラッグまたはフリックの操作を行おうとしたものと認識する。   A range indicated by a broken line 75 in FIG. 8A is a predetermined range centering on the connection portion of the display unit 13 and the display unit 15. The coordinates of the range indicated by the broken line 75 are registered in the memory 152 in advance. In step 213, when the control unit 17 detects an operation that touches the range surrounded by the broken line 75, the control unit 17 recognizes that the user tried to perform a drag or flick operation with the vicinity of the center of the moving image content as the starting point of the contact point. .

なお、図８Ａに示す破線７５は、動画コンテンツの中央付近におけるドラッグ操作およびフリック操作の検出範囲の一例に過ぎず、検出範囲は図に示す範囲と異なるものであってもよい。   The dashed line 75 shown in FIG. 8A is merely an example of the detection range of the drag operation and the flick operation near the center of the moving image content, and the detection range may be different from the range shown in the figure.

図８Ｂに示す接触点７７ａ、７７ｂは、ユーザの指が接触した部位の一例である。接触点７７ａは表示部１３で検出され、接触点７７ｂは表示部１５で検出される。ステップ２１４において、制御部１７は、表示部１３から接触点７７ａの座標情報を受信し、表示部１５から接触点７７ｂの座標情報を受信すると、ユーザが２つの表示部１３、１５を跨ぐようにしてマルチタッチ操作を行ったものと認識する。   The contact points 77a and 77b shown in FIG. 8B are an example of a part touched by the user's finger. The contact point 77 a is detected by the display unit 13, and the contact point 77 b is detected by the display unit 15. In step 214, when the control unit 17 receives the coordinate information of the contact point 77 a from the display unit 13 and receives the coordinate information of the contact point 77 b from the display unit 15, the control unit 17 causes the user to straddle the two display units 13 and 15. To recognize that a multi-touch operation has been performed.

図７に示したステップ２１３および２１４の判定で、動画コンテンツの中央付近におけるドラッグまたはフリックの操作、および２画面に跨るマルチタッチ操作のいずれかを検出すると、制御部１７は、表示画面を２画面から１画面に変更する旨のアラームメッセージを、表示部１３もしくは表示部１５、またはその両方を使って表示し（ステップ２１５）、ステップ２０４に進む。ステップ２１３および２１４の判定で、制御部１７は、対象となる操作を検出しなければ、表示画面を２画面のままにする。   When the determination in steps 213 and 214 shown in FIG. 7 detects either a drag or flick operation near the center of the moving image content or a multi-touch operation over two screens, the control unit 17 displays two display screens. An alarm message to the effect that the screen is changed to one screen is displayed using the display unit 13, the display unit 15, or both (step 215), and the process proceeds to step 204. If it is determined in steps 213 and 214 that the target operation is not detected, the control unit 17 keeps the display screen as two screens.

なお、ステップ２１５の処理がアラームメッセージをユーザに通知する場合で説明したが、制御部１７は、表示画面を２画面から１画面に変更してよいか否かをユーザに問い合わせるメッセージを表示し、ユーザの指示にしたがって表示画面を選択するようにしてもよい。   In addition, although demonstrated in the case where the process of step 215 notifies an alarm message to a user, the control part 17 displays the message which inquires a user whether a display screen may be changed from 2 screens to 1 screen, The display screen may be selected according to a user instruction.

次に、ステップ２１４における、判定部５１のマルチタッチ検出方法を詳しく説明する。   Next, the multi-touch detection method of the determination unit 51 in step 214 will be described in detail.

はじめに、１画面におけるマルチタッチ操作の検出方法を説明する。表示部１３および表示部１５のうち、いずれか一方を動作させている場合、図４を参照して説明したように、判定部５１は、通常、動作させている方の表示部のｘｙ座標で、接触点を検出する。この場合、動作している表示部でマルチタッチ操作が行われると、判定部５１は、同一のｘｙ座標上の２つの接触点を特定することができる。   First, a method for detecting a multi-touch operation on one screen will be described. When either one of the display unit 13 and the display unit 15 is operated, as described with reference to FIG. 4, the determination unit 51 normally uses the xy coordinates of the operated display unit. Detecting contact points. In this case, when a multi-touch operation is performed on the operating display unit, the determination unit 51 can specify two contact points on the same xy coordinate.

しかし、２画面を動作させてコンテンツを表示している状態では、２つの表示部１３、１５のうち、いずれか一方の表示部でしか、接触点検出を有効にしていないケースがある。例えば、デフォルト画面だけが有効になっている場合、デフォルト画面の表示部１３における接触点が検出されても、表示部１５における接触点が検出されないことになる。   However, in a state in which content is displayed by operating two screens, there are cases in which contact point detection is enabled only on one of the two display units 13 and 15. For example, when only the default screen is valid, even if the contact point on the display unit 13 of the default screen is detected, the contact point on the display unit 15 is not detected.

そこで、本実施形態では、２つの表示部１３、１５の両方を動作させている場合、判定部５１は、２つの表示部１３、１５のｘｙ座標を合わせた仮想座標を定義し、表示部１３での接触点の検出を物理座標で行い、表示部１５での接触点の検出を仮想座標で行うことで、２つの表示部１３、１５を跨ぐマルチタッチ操作を検出可能にしている。   Therefore, in this embodiment, when both the two display units 13 and 15 are operated, the determination unit 51 defines virtual coordinates obtained by combining the xy coordinates of the two display units 13 and 15, and the display unit 13. By detecting the contact point with physical coordinates and detecting the contact point on the display unit 15 with virtual coordinates, it is possible to detect a multi-touch operation straddling the two display units 13 and 15.

図９Ａ〜図９Ｃは２画面に跨るマルチタッチ操作の検出方法を説明するための図である。図９Ａ〜図９Ｃでは、図８Ｂに示した接触点７７ａ、７７ｂにユーザが触れた場合とする。   9A to 9C are diagrams for explaining a method for detecting a multi-touch operation over two screens. 9A to 9C, it is assumed that the user touches the contact points 77a and 77b shown in FIG. 8B.

図９Ａに示すように、接触点７７ｂは表示部１３における物理座標で（ｘ１，ｙ１）に位置している。図９Ｂに示すように、接触点７７ａは表示部１５における物理座標で（ｘ２，ｙ２）に位置している。図９Ａの（ｘ１，ｙ１）と図９Ｂの（ｘ２，ｙ２）とは物理座標が異なっている。図９Ｃは表示部１３の原点を基準にして、表示部１３および表示部１５のそれぞれの表示範囲を１つのｘｙ座標に表した仮想座標を示す。   As shown in FIG. 9A, the contact point 77b is located at (x1, y1) in physical coordinates on the display unit 13. As shown in FIG. 9B, the contact point 77a is located at (x2, y2) in physical coordinates on the display unit 15. The physical coordinates of (x1, y1) in FIG. 9A and (x2, y2) in FIG. 9B are different. FIG. 9C shows virtual coordinates in which the display ranges of the display unit 13 and the display unit 15 are expressed as one xy coordinate with the origin of the display unit 13 as a reference.

判定部５１は、２つの表示部１３、１５の両方を動作させる状態にすると、表示部１３の物理座標と仮想座標を定義する。判定部５１は、表示部１３で検出された接触点７７ｂが図９Ａに示す座標（ｘ１，ｙ１）に位置していることを認識する。続いて、判定部５１は、接触点７７ａの座標情報として座標（ｘ２、ｙ２）の情報を表示部１５から受け取ると、図９Ｃに示す座標（ｘ２＋ｗ、ｙ２）に変換する。判定部５１は、接触点７７ａのｘ座標がｗよりも大きいことから、接触点７７ａが表示部１５で検出されたことを認識する。判定部５１は、表示部１３で接触点７７ｂが検出され、表示部１５で接触点７７ａが検出されたことを認識することで、２つの表示部１３、１５を跨ぐマルチタッチ操作があったと判断する。   The determination unit 51 defines physical coordinates and virtual coordinates of the display unit 13 when both the two display units 13 and 15 are operated. The determination unit 51 recognizes that the contact point 77b detected by the display unit 13 is located at the coordinates (x1, y1) illustrated in FIG. 9A. Subsequently, when the determination unit 51 receives the coordinate (x2, y2) information from the display unit 15 as the coordinate information of the contact point 77a, the determination unit 51 converts the coordinate (x2 + w, y2) illustrated in FIG. 9C. The determination unit 51 recognizes that the contact point 77a is detected by the display unit 15 because the x coordinate of the contact point 77a is larger than w. The determination unit 51 recognizes that the contact point 77b is detected on the display unit 13 and recognizes that the contact point 77a is detected on the display unit 15, thereby determining that there has been a multi-touch operation straddling the two display units 13 and 15. To do.

本実施形態によれば、２つの画面に跨る操作を検出すると、コンテンツの表示方法を、２画面ではなく、１画面で行うようにしている。そのため、１画面表示において、ユーザはコンテンツ中央付近でフリックおよびドラッグ等の操作を行うことが可能となる。２画面に表示されたコンテンツに対して、２画面に跨る操作に相当する操作を、ユーザが表示方法を変更しなくても、１画面で実行することができる。   According to the present embodiment, when an operation over two screens is detected, the content display method is performed on one screen instead of two screens. Therefore, in the single screen display, the user can perform operations such as flicking and dragging near the center of the content. For the content displayed on the two screens, an operation corresponding to the operation over the two screens can be executed on the one screen without the user changing the display method.

なお、上述の実施形態では、Ｆｌａｓｈ形式のストリーミング再生の場合で説明したが、動画再生用のアプリケーションソフトウェアにも、本発明を適用することが可能である。   In the above-described embodiment, the case of Flash format streaming playback has been described. However, the present invention can also be applied to application software for video playback.

また、上述の実施形態では、表示対象のコンテンツが動画の場合で説明したが、コンテンツは動画の場合に限らない。   In the above-described embodiment, the content to be displayed is a moving image, but the content is not limited to a moving image.

本発明の効果の一例として、２画面に表示されたコンテンツに対して、２画面に跨るフリックまたはドラッグ等の操作に相当する操作を行うことができる。   As an example of the effect of the present invention, an operation corresponding to an operation such as flicking or dragging over two screens can be performed on content displayed on two screens.

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。   While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

なお、この出願は、２０１１年９月２６日に出願された日本出願の特願２０１１−２０８９６２の内容が全て取り込まれており、この日本出願を基礎として優先権を主張するものである。   Note that this application incorporates all the contents of Japanese Patent Application No. 2011-208962 filed on September 26, 2011, and claims priority based on this Japanese application.

１０ 情報処理端末
１３、１５ 表示部
１７ 制御部
１９ 姿勢検出部DESCRIPTION OF SYMBOLS 10 Information processing terminal 13, 15 Display part 17 Control part 19 Posture detection part

Claims (6)

タッチパネル機能を備えた第１の表示部および第２の表示部と、
前記第１の表示部および第２の表示部の２つの表示部を使用して表示させているコンテンツに対して、該コンテンツの中心線を跨ぐように連続的に触れる操作があると、前記コンテンツを前記２つの表示部のうち、いずれか一方の表示部に表示させる制御部と、
を有する情報処理端末。A first display unit and a second display unit having a touch panel function;
When there is an operation of continuously touching the content displayed using the two display units of the first display unit and the second display unit so as to straddle the center line of the content, A control unit that displays on one of the two display units,
An information processing terminal having 請求項１記載の情報処理端末において、
前記制御部は、
前記コンテンツの中心線を跨ぐように連続的に触れる操作があるか否かの判定を、
前記２つの表示部を使用して前記コンテンツを表示させる前であって、前記２つの表示部を１画面として使用する場合に該１画面の一部に前記コンテンツを表示させ、または、前記２つの表示部のうち、いずれか一方の表示部の画面の一部に前記コンテンツを表示させる第１の表示モードにおいて行う、情報処理端末。The information processing terminal according to claim 1,
The controller is
Determining whether there is an operation that touches continuously so as to cross the center line of the content,
Before using the two display units to display the content, when the two display units are used as one screen, the content is displayed on a part of the one screen, or the two An information processing terminal that performs in a first display mode in which the content is displayed on a part of the screen of one of the display units. 請求項１または２記載の情報処理端末において、
前記制御部は、
前記２つの表示部を１画面として使用する場合に該１画面の全体に前記コンテンツを表示させる第２の表示モードにおいて、
前記コンテンツの中心線を跨ぐように連続的に触れる操作があるか否かの判定を、前記２つの表示部の接続部を中心にして所定の範囲に触れる操作があるか否かで判定で行う、情報処理端末。The information processing terminal according to claim 1 or 2,
The controller is
In the second display mode in which the content is displayed on the entire one screen when the two display units are used as one screen,
It is determined whether or not there is an operation that touches continuously so as to straddle the center line of the content based on whether or not there is an operation that touches a predetermined range centering on the connection portion of the two display portions. Information processing terminal. 請求項３記載の情報処理端末において、
前記制御部は、
前記２つの表示部を用いて前記第２の表示モードで前記コンテンツを表示させている場合に、前記２つの表示部の接続部を跨ぐマルチタッチ操作があると、前記コンテンツの表示を前記２つの表示部のうち、いずれか一方の表示部に切り替える、情報処理端末。The information processing terminal according to claim 3,
The controller is
In the case where the content is displayed in the second display mode using the two display units, if there is a multi-touch operation straddling the connection part of the two display units, the display of the content is performed using the two display units. An information processing terminal that switches to one of the display units. 請求項１から４のいずれか１項記載の情報処理端末において、
前記制御部は、
前記第１の表示部における表示範囲を２次元座標とする物理座標と、該第１の表示部の該物理座標を原点とし、該第１の表示部の該物理座標および前記第２の表示部の表示範囲を合わせた２次元座標である仮想座標とを予め定義し、
前記第１の表示部で検出された接触点を該第１の表示部の物理座標に変換し、前記第２の表示部で検出された接触点を前記仮想座標に変換することで、前記２つの表示部の接続部を跨ぐマルチタッチ操作があるか否かを検出する、情報処理端末。The information processing terminal according to any one of claims 1 to 4,
The controller is
The physical coordinates having the display range in the first display unit as two-dimensional coordinates, and the physical coordinates of the first display unit as the origin, the physical coordinates of the first display unit and the second display unit Pre-defined virtual coordinates that are two-dimensional coordinates with the display range of
The contact point detected by the first display unit is converted into physical coordinates of the first display unit, and the contact point detected by the second display unit is converted into the virtual coordinates, thereby the 2 An information processing terminal that detects whether or not there is a multi-touch operation straddling a connection part of two display parts. タッチパネル機能を備えた２つの表示部および制御部を有する情報処理端末による情報処理方法であって、
前記２つの表示部を使用して表示させているコンテンツに対して、該コンテンツの中心線を跨ぐように連続的に触れる操作があるか否かを判定し、
判定の結果、前記コンテンツの中心線を跨ぐように連続的に触れる操作があると、該コンテンツを前記２つの表示部のうち、いずれか一方の表示部に表示させる、情報処理方法。An information processing method by an information processing terminal having two display units and a control unit having a touch panel function,
Determining whether there is an operation of continuously touching the content displayed using the two display units so as to cross the center line of the content;
As a result of the determination, when there is an operation of continuously touching the center line of the content, the content is displayed on one of the two display units.
JP2013536063A 2011-09-26 2012-08-16 Information processing terminal and information processing method Pending JPWO2013046987A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013536063A JPWO2013046987A1 (en) 2011-09-26 2012-08-16 Information processing terminal and information processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011208962 2011-09-26
JP2011208962 2011-09-26
JP2013536063A JPWO2013046987A1 (en) 2011-09-26 2012-08-16 Information processing terminal and information processing method

Publications (1)

Publication Number Publication Date
JPWO2013046987A1 true JPWO2013046987A1 (en) 2015-03-26

Family

ID=47995038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013536063A Pending JPWO2013046987A1 (en) 2011-09-26 2012-08-16 Information processing terminal and information processing method

Country Status (2)

Country Link
JP (1) JPWO2013046987A1 (en)
WO (1) WO2013046987A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820557B (en) * 2015-05-06 2018-09-11 魅族科技（中国）有限公司 A kind of split screen method and mobile terminal
JP6567621B2 (en) * 2017-10-04 2019-08-28 株式会社Ｎｔｔドコモ Display device
CN107783830B (en) * 2017-10-23 2020-12-04 华为技术有限公司 Multitask management method and terminal equipment
JP7169366B2 (en) * 2018-11-21 2022-11-10 株式会社Fuji Component mounter

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4799013B2 (en) * 2005-03-11 2011-10-19 富士通株式会社 Window display control device in multi-display
WO2010001699A1 (en) * 2008-06-30 2010-01-07 日本電気株式会社 Information processing device, display control method, and recording medium
JP5157971B2 (en) * 2009-03-09 2013-03-06 ソニー株式会社 Information processing apparatus, information processing method, and program
JP5229083B2 (en) * 2009-04-14 2013-07-03 ソニー株式会社 Information processing apparatus, information processing method, and program
US20110090155A1 (en) * 2009-10-15 2011-04-21 Qualcomm Incorporated Method, system, and computer program product combining gestural input from multiple touch screens into one gestural input
CN102597941A (en) * 2009-10-28 2012-07-18 日本电气株式会社 Portable information terminal

Also Published As

Publication number Publication date
WO2013046987A1 (en) 2013-04-04

Similar Documents

Publication Publication Date Title
KR102097496B1 (en) Foldable mobile device and method of controlling the same
US9323351B2 (en) Information processing apparatus, information processing method and program
KR102304178B1 (en) User terminal device and method for displaying thereof
JP6319298B2 (en) Information terminal, display control method and program thereof
JP5802249B2 (en) Display device, source device, and display system
JP2014132427A (en) Information processor and information processing method, and computer program
JP2015132965A (en) Method of displaying application image on a plurality of displays, electronic device, and computer program
US20110007096A1 (en) Content display method, content display program, and content display device
US20120084730A1 (en) Electronic apparatus, icon display method, and program for electronic apparatus
JP5965127B2 (en) Electronic book search apparatus and method for portable terminal
WO2013046987A1 (en) Information processing terminal and information processing method
JP2013109421A (en) Electronic apparatus, electronic apparatus control method and electronic apparatus control program
JP5174616B2 (en) mobile phone
JP5197834B1 (en) Electronic device, electronic device control method, electronic device control program
JP5221694B2 (en) Electronic device, object display method, and object display program.
US11768651B2 (en) Information processing device and control method
JP6365529B2 (en) Terminal device, information display method and program
US20140075391A1 (en) Display control device, display control system, storing medium, and display method
WO2013046986A1 (en) Information processing terminal and information processing method
US11972710B2 (en) Information processing device and control method for foldable displays
US11747865B2 (en) Information processing device and control method
JPWO2013145485A1 (en) Information processing device
JP2014021827A (en) Information appliance, method and program for display control
JP2017146454A (en) Information processing apparatus, image display method, and program
JP7077024B2 (en) Electronic devices, information processing methods, programs and storage media