JP2014102795A - Information processing system, electronic apparatus, information processing method, and information processing program - Google Patents

Information processing system, electronic apparatus, information processing method, and information processing program Download PDF

Info

Publication number
JP2014102795A
JP2014102795A JP2012256174A JP2012256174A JP2014102795A JP 2014102795 A JP2014102795 A JP 2014102795A JP 2012256174 A JP2012256174 A JP 2012256174A JP 2012256174 A JP2012256174 A JP 2012256174A JP 2014102795 A JP2014102795 A JP 2014102795A
Authority
JP
Japan
Prior art keywords
unit
electronic device
image signal
image
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012256174A
Other languages
Japanese (ja)
Inventor
Masayuki Naito
昌行 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012256174A priority Critical patent/JP2014102795A/en
Publication of JP2014102795A publication Critical patent/JP2014102795A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To improve operability in a peripheral device.SOLUTION: In an information system 1 provided with a first electronic apparatus 11 and a second electronic apparatus 12, the second electronic apparatus includes a direction discrimination part 124 for discriminating a direction of a display part provided in its own device, a transmission part 1251 for transmitting direction information showing the direction discriminated by the direction discrimination part to the first electronic apparatus, and a display part 1222 for displaying an image based on an image signal received from the first electronic apparatus, and the first electronic apparatus includes an image generation part 1146 for generating an image signal for showing an image corresponding to a direction shown by direction information received from the second electronic apparatus, and a transmission part 1152 for transmitting the image signal generated by the image generation part to the second electronic apparatus.

Description

本発明は、情報処理システム、電子機器、情報処理方法、及び情報処理プログラムに関する。   The present invention relates to an information processing system, an electronic device, an information processing method, and an information processing program.

多機能携帯電話機や小型パーソナルコンピュータ等の画面の小さな表示部を有する電子機器に、例えば、画面の大きな表示部を有する周辺機器（外部表示装置）を接続して、これらの電子機器の機能を拡張することが試みられている。拡張された機能のうち代表的な機能は、例えば、周辺機器において画像を拡大して表示することである。これにより、周辺機器を用いて複数人への画像を提示するプレゼンテーション等に応用されている。
特許文献１には、電子機器本体に対して回転可能な表示部と、周辺機器に映像を出力する外部出力端子と、周辺機器の画面が回転できない場合、電子機器本体の表示向きの変更に連動した表示出力信号が外部出力端子を介して周辺機器に送られて、電子機器と周辺機器とで同じ表示向きの映像を見ることができる画像出力装置が記載されている。 For example, a peripheral device (external display device) having a large screen display unit is connected to an electronic device having a small screen display unit such as a multi-function mobile phone or a small personal computer to expand the functions of these electronic devices. It has been tried to do. A representative function among the expanded functions is, for example, to display an enlarged image on a peripheral device. Thereby, it is applied to the presentation etc. which show the image to two or more people using a peripheral device.
Patent Document 1 describes a display unit that can rotate with respect to the electronic device main body, an external output terminal that outputs video to the peripheral device, and a display screen of the peripheral device that cannot be rotated. An image output device is described in which a display output signal is sent to a peripheral device via an external output terminal so that an electronic device and the peripheral device can view images in the same display direction.

特開２００５−２４２０７４号公報JP 2005-242074 A

しかしながら、特許文献１の電子機器に接続された周辺機器は、本体の方向に応じた方向に画像を表示する。そのため、周辺機器の画面の方向が可変である場合に特許文献１の技術を適用すると、周辺機器において電子機器本体と同様の操作性を得ることができないという問題点が存在していた。
本発明は上記の点に鑑みてなされたものであり、周辺機器において操作性を向上することができる情報処理システム、電子機器、情報処理方法及び情報処理プログラムを提供する。 However, the peripheral device connected to the electronic device of Patent Document 1 displays an image in a direction corresponding to the direction of the main body. Therefore, when the technique of Patent Document 1 is applied when the direction of the screen of the peripheral device is variable, there is a problem that the same operability as that of the electronic device main body cannot be obtained in the peripheral device.
The present invention has been made in view of the above points, and provides an information processing system, an electronic device, an information processing method, and an information processing program capable of improving operability in a peripheral device.

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第１電子機器と第２電子機器とを備える情報処理システムであり、前記第２電子機器は、自機が備える表示部の方向を判別する方向判別部と、前記方向判別部が判別した方向を示す方向情報を前記第１電子機器に送信する送信部と、前記第１電子機器から受信した画像信号に基づく画像を表示する表示部とを備え、前記第１電子機器は、前記第２電子機器から受信した方向情報が示す方向に応じた画像を示す画像信号を生成する画像生成部と、前記画像生成部が生成した画像信号を前記第２電子機器に送信する送信部とを備えることを特徴とする。   SUMMARY An advantage of some aspects of the invention is that it is an information processing system including a first electronic device and a second electronic device, and the second electronic device is A direction discriminating unit for discriminating the direction of the display unit included in the machine, a transmitting unit for transmitting direction information indicating the direction discriminated by the direction discriminating unit to the first electronic device, and an image signal received from the first electronic device An image generation unit that generates an image signal indicating an image corresponding to a direction indicated by the direction information received from the second electronic device, and the image generation unit And a transmission unit that transmits the image signal generated by the generation unit to the second electronic device.

本発明によれば、周辺機器（第２電子機器）における操作性を向上することができる。   According to the present invention, operability in the peripheral device (second electronic device) can be improved.

本発明の第１の実施形態に係る情報処理システムの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the information processing system which concerns on the 1st Embodiment of this invention. 本実施形態に係る電子機器及び周辺機器の外観を示す概略図である。It is the schematic which shows the external appearance of the electronic device and peripheral device which concern on this embodiment. タッチセンサの操作入力領域の例を示す概念図である。It is a conceptual diagram which shows the example of the operation input area | region of a touch sensor. 本実施形態に係る情報処理の全体を示すフローチャートである。It is a flowchart which shows the whole information processing which concerns on this embodiment. 本実施形態に係る情報処理の一部を示すフローチャートである。It is a flowchart which shows a part of information processing which concerns on this embodiment. 出力画像の例を示す図である。It is a figure which shows the example of an output image. 出力画像の他の例を示す図である。It is a figure which shows the other example of an output image. 本発明の第２の実施形態に係る情報処理の一部を示すフローチャートである。It is a flowchart which shows a part of information processing which concerns on the 2nd Embodiment of this invention. 本実施形態に係る情報処理の他の一部を示すフローチャートである。It is a flowchart which shows a part of other information processing concerning this embodiment.

（第１の実施形態）
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る情報処理システム１の構成を示す概略ブロック図である。
情報処理システム１は、電子機器１１と周辺機器１２とを含んで構成される。電子機器１１と周辺機器１２との間は、その両者間でデータを送信し受信する転送路で接続されている。この転送路は、有線であってもよいし、無線であってもよい。 (First embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic block diagram illustrating a configuration of an information processing system 1 according to the present embodiment.
The information processing system 1 includes an electronic device 11 and a peripheral device 12. The electronic device 11 and the peripheral device 12 are connected by a transfer path for transmitting and receiving data between them. This transfer path may be wired or wireless.

（電子機器１１の構成）
電子機器１１は、タッチパネル１１２、方向センサ１１３、制御部１１４、送受信部１１５及び通信部１１６を含んで構成される。電子機器１１は、例えば、多機能携帯電話機、スマートフォン、タブレット端末装置、等である。 (Configuration of electronic device 11)
The electronic device 11 includes a touch panel 112, a direction sensor 113, a control unit 114, a transmission / reception unit 115, and a communication unit 116. The electronic device 11 is, for example, a multifunction mobile phone, a smartphone, a tablet terminal device, or the like.

タッチパネル１１２は、タッチセンサ（操作入力部）１１２１及び表示部１１２２を含んで構成される。タッチセンサ１１２１は、操作物（例えば、ユーザの指）が接触した２次元平面上の位置を検知し、検知した位置を示す位置情報を生成し、生成した位置情報を制御部１１４の操作入力検出部１１４３に出力する。タッチセンサ１１２１は、例えば静電容量方式であってもよいし、抵抗膜方式であってもよい。
表示部１１２２は、制御部１１４の出力画像生成部１１４６から入力された画像信号に基づく画像を表示する。表示部１１２２は、例えば、液晶ディスプレイパネル、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイパネル等である。表示部１１２２の表面全体は、ほぼタッチセンサ１１２１により覆われている。 The touch panel 112 includes a touch sensor (operation input unit) 1121 and a display unit 1122. The touch sensor 1121 detects a position on a two-dimensional plane with which an operation article (for example, a user's finger) contacts, generates position information indicating the detected position, and detects the generated position information as an operation input of the control unit 114. Output to the unit 1143. The touch sensor 1121 may be, for example, a capacitance type or a resistance film type.
The display unit 1122 displays an image based on the image signal input from the output image generation unit 1146 of the control unit 114. The display unit 1122 is, for example, a liquid crystal display panel, an organic EL (Electroluminescence) display panel, or the like. The entire surface of the display unit 1122 is almost covered with the touch sensor 1121.

方向センサ１１３は、電子機器１１に固定されており、電子機器１１が向いている方向を検出するセンサである。方向センサ１１３は、例えば、３軸加速度センサであって、電子機器１１が静止しているときには、地球の重力加速度を検出することができる。方向センサ１１３は、検出した感度軸の方向毎の加速度を示す方向信号を生成し、生成した方向信号を制御部１１４の方向判別部１１４１に出力する。
制御部１１４は、電子機器１１の動作を制御する。制御部１１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）、記憶装置（ＲＯＭ、ＲＡＭ）、カウンタを含んで構成され、記憶装置に格納されたプログラムを実行することで種々の機能を実現する。これらの機能の面から考察すると、制御部１１４は、方向判別部１１４１、機器検出部１１４２、操作入力検出部１１４３、操作座標変換部１１４４、プログラム実行部１１４５及び出力画像生成部１１４６を含んで構成される。 The direction sensor 113 is a sensor that is fixed to the electronic device 11 and detects a direction in which the electronic device 11 is facing. The direction sensor 113 is, for example, a triaxial acceleration sensor, and can detect the gravitational acceleration of the earth when the electronic device 11 is stationary. The direction sensor 113 generates a direction signal indicating the detected acceleration for each direction of the sensitivity axis, and outputs the generated direction signal to the direction determination unit 1141 of the control unit 114.
The control unit 114 controls the operation of the electronic device 11. The control unit 114 includes, for example, a CPU (Central Processing Unit), a storage device (ROM, RAM), and a counter, and implements various functions by executing programs stored in the storage device. To do. In consideration of these functions, the control unit 114 includes a direction determination unit 1141, a device detection unit 1142, an operation input detection unit 1143, an operation coordinate conversion unit 1144, a program execution unit 1145, and an output image generation unit 1146. Is done.

送受信部１１５は、周辺機器１２との間で上述の転送路を用いてデータを送信又は受信する。送受信部１１５は、受信部１１５１と送信部１１５２を含んで構成される。受信部１１５１は、周辺機器１２から転送された信号を受信し、受信した信号を受信信号として制御部１１４に出力する。送信部１１５２は、制御部１１４から入力された送信信号を周辺機器１２に送信する。送受信部１１５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）２．０、ＵＳＢ３．０、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ， Ｉｎｃ．）８０２．１１、ＩＥＥＥ８０２．１５．１等の短距離通信規格やＭＨＬ（登録商標）（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等の映像信号伝送規格に基づいてデータの送受信を行う。
通信部１１６は、制御部１１４から入力された送信信号を、上述の転送路とは異なるネットワークを介して他の機器に送信し、他の機器から当該ネットワークを介して受信した受信信号を制御部１１４に出力する。通信部１１６が用いるネットワークは、例えば、公衆無線通信網若しくは短距離無線通信網（いわゆる無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ））又は両方の組み合わせである。これにより、他の機器、例えば、他のユーザが用いる多機能携帯電話機のとの通信を実現する。 The transmission / reception unit 115 transmits or receives data to / from the peripheral device 12 using the transfer path described above. The transmission / reception unit 115 includes a reception unit 1151 and a transmission unit 1152. The receiving unit 1151 receives the signal transferred from the peripheral device 12 and outputs the received signal to the control unit 114 as a received signal. The transmission unit 1152 transmits the transmission signal input from the control unit 114 to the peripheral device 12. The transmission / reception unit 115 is, for example, a short-range communication standard such as USB (Universal Serial Bus) 2.0, USB 3.0, IEEE (Institut of Electrical and Electronics Engineers, Inc.) 802.11, IEEE 802.15.1, or the like. Data is transmitted and received based on video signal transmission standards such as (registered trademark) (Mobile High-definition Link).
The communication unit 116 transmits the transmission signal input from the control unit 114 to another device via a network different from the transfer path described above, and receives the reception signal received from the other device via the network. To 114. The network used by the communication unit 116 is, for example, a public wireless communication network, a short-range wireless communication network (so-called wireless LAN (Local Area Network)), or a combination of both. Thus, communication with another device, for example, a multi-function mobile phone used by another user is realized.

方向判別部１１４１は、方向センサ１１３から入力された方向信号に基づいて、表示部１１２２が画像を表示する表示面が向いている方向を判別する。方向判別部１１４１が方向を判別する処理の具体例については後述する。方向判別部１１４１は、判別した方向を示す方向情報を生成し、生成した方向情報をプログラム実行部１１４５に出力する。
以下の説明では、方向判別部１１４１が生成した方向情報を第１方向情報と称し、周辺機器１２が備える方向判別部１２４が生成した第２方向情報と区別する。 Based on the direction signal input from the direction sensor 113, the direction determining unit 1141 determines the direction in which the display surface on which the display unit 1122 displays an image is facing. A specific example of processing in which the direction determination unit 1141 determines the direction will be described later. The direction determination unit 1141 generates direction information indicating the determined direction, and outputs the generated direction information to the program execution unit 1145.
In the following description, the direction information generated by the direction determination unit 1141 is referred to as first direction information and is distinguished from the second direction information generated by the direction determination unit 124 included in the peripheral device 12.

機器検出部１１４２は、送受信部１１５に周辺機器１２が接続されているか否かを検出する。機器検出部１１４２は、例えば、予め定めた時間間隔で接続検出信号を生成し、送信部１１５２に出力する。接続検出信号は、周辺機器１２に対し接続されているときに、接続確認信号を返信することを指示する信号である。機器検出部１１４２は、接続検出信号を出力してから予め定めた時間（例えば、３秒）内に受信部１１５１から接続確認信号が入力された場合、周辺機器１２が接続されていることを検出する。機器検出部１１４２は、接続検出信号を出力してから予め定めた時間を経過しても接続確認信号が入力されない場合、周辺機器１２が接続されていないと判定する。機器検出部１１４２は、送受信部１１５に周辺機器１２が接続されているか否かを示す機器検出信号を生成し、生成した機器検出信号を出力画像生成部１１４６に出力する。   The device detection unit 1142 detects whether or not the peripheral device 12 is connected to the transmission / reception unit 115. For example, the device detection unit 1142 generates a connection detection signal at a predetermined time interval and outputs the connection detection signal to the transmission unit 1152. The connection detection signal is a signal instructing to return a connection confirmation signal when connected to the peripheral device 12. The device detection unit 1142 detects that the peripheral device 12 is connected when the connection confirmation signal is input from the reception unit 1151 within a predetermined time (for example, 3 seconds) after the connection detection signal is output. To do. The device detection unit 1142 determines that the peripheral device 12 is not connected when the connection confirmation signal is not input even after a predetermined time has elapsed since the connection detection signal was output. The device detection unit 1142 generates a device detection signal indicating whether or not the peripheral device 12 is connected to the transmission / reception unit 115, and outputs the generated device detection signal to the output image generation unit 1146.

操作入力検出部１１４３は、タッチセンサ１１２１から入力された位置情報を予め定めた時間間隔（例えば、２０ｍｓ）毎に検出する。操作入力検出部１１４３は、検出した位置情報を生成し、生成した位置情報をプログラム実行部１１４５に出力する。
以下の説明では、操作入力検出部１１４３が生成した位置情報を第１位置情報と呼んで、周辺機器１２が備える操作入力検出部１２６が生成した第２位置情報と区別する。 The operation input detection unit 1143 detects the position information input from the touch sensor 1121 at predetermined time intervals (for example, 20 ms). The operation input detection unit 1143 generates the detected position information and outputs the generated position information to the program execution unit 1145.
In the following description, the position information generated by the operation input detection unit 1143 is referred to as first position information and is distinguished from the second position information generated by the operation input detection unit 126 included in the peripheral device 12.

操作座標変換部１１４４には、受信部１１５１から入力された第２位置情報が示す座標を、出力画像生成部１１４６から入力された第２座標変換情報に基づいて座標変換を行う。第２座標変換情報は、周辺機器１２が備える表示部１２２２の表示座標系から上述の基準座標系への座標変換を行うために用いる情報である。第２座標変換情報は、例えば、変換係数、表示部１２２２の解像度、座標を参照する際の原点もしくは方向、等の情報要素又はこれらの組み合わせである。表示部１２２２の表示座標系は、出力画像生成部１１４６が表示部１２２２に出力する出力画像信号を構成する各画素の座標を示す座標系である。つまり、座標変換は、タッチセンサ１２２１が操作入力を受け付けることができる領域（操作入力領域）の向きを基準座標系の向きに変更する処理、操作入力領域の大きさ（表示部１２２２の解像度に相当）を基準座標系の大きさに変更する処理、又はその両者を含む処理である。   The operation coordinate conversion unit 1144 performs coordinate conversion on the coordinates indicated by the second position information input from the reception unit 1151 based on the second coordinate conversion information input from the output image generation unit 1146. The second coordinate conversion information is information used to perform coordinate conversion from the display coordinate system of the display unit 1222 included in the peripheral device 12 to the reference coordinate system described above. The second coordinate conversion information is, for example, an information element such as a conversion coefficient, a resolution of the display unit 1222, an origin or a direction when referring to the coordinates, or a combination thereof. The display coordinate system of the display unit 1222 is a coordinate system indicating the coordinates of each pixel constituting the output image signal output from the output image generation unit 1146 to the display unit 1222. That is, the coordinate conversion is a process of changing the direction of the area (operation input area) where the touch sensor 1221 can accept an operation input to the direction of the reference coordinate system, and the size of the operation input area (corresponding to the resolution of the display unit 1222). ) To a size of the reference coordinate system, or a process including both.

基準座標系は、電子機器１１において画像信号の生成もしくは操作入力を受け付ける際の基礎となる座標系である。基準座標系は、例えば、表示部１１２２の解像度と予め定めた向き（例えば、縦置き等）に応じて予め設定された座標系であってもよいし、方向判別部１１４１が判別した方向（例えば、横置き等）に応じて可変であってもよい。
操作座標変換部１１４４は、変換した座標を示す第２位置情報をプログラム実行部１１４５に出力する。但し、表示部１２２２の表示座標系と基準座標系が一致する場合には、操作座標変換部１１４４は、第２位置情報の座標変換に係る処理を省略し、入力された第２位置情報をそのままプログラム実行部１１４５に出力してもよい。
これにより、周辺機器１２が備える表示部１２２２で表示される画像の向きが変更された場合に、操作入力がなされた位置が基準座標系に補正される。そのため、周辺機器１２で受け付けられた操作入力が、プログラム実行部１１４５が実行するプログラムにおいて利用可能になる。
表示部１１２２（電子機器１１）の解像度を示す解像度情報を、表示部１２２２（周辺機器１２）の解像度を示す解像度情報と区別するために、以下の説明では前者を第１解像度情報と称し、後者を第２解像度情報と称する。 The reference coordinate system is a coordinate system that serves as a basis when the electronic apparatus 11 receives image signal generation or operation input. The reference coordinate system may be, for example, a coordinate system set in advance according to the resolution of the display unit 1122 and a predetermined orientation (for example, portrait orientation), or the direction (for example, the direction determined by the direction determination unit 1141) , Horizontal placement, etc.) may be variable.
The operation coordinate conversion unit 1144 outputs second position information indicating the converted coordinates to the program execution unit 1145. However, when the display coordinate system of the display unit 1222 matches the reference coordinate system, the operation coordinate conversion unit 1144 omits the process related to the coordinate conversion of the second position information and uses the input second position information as it is. You may output to the program execution part 1145. FIG.
Thereby, when the orientation of the image displayed on the display unit 1222 provided in the peripheral device 12 is changed, the position where the operation input is made is corrected to the reference coordinate system. Therefore, the operation input accepted by the peripheral device 12 can be used in the program executed by the program execution unit 1145.
In order to distinguish the resolution information indicating the resolution of the display unit 1122 (electronic device 11) from the resolution information indicating the resolution of the display unit 1222 (peripheral device 12), the former will be referred to as first resolution information and the latter in the following description. Is referred to as second resolution information.

プログラム実行部１１４５は、制御部１１４が備える記憶装置に記憶されたプログラムを読み出し、読み出したプログラムを実行する。プログラム実行部１１４５が実行するプログラムは、オペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）であってもよいし、アプリケーションソフトウェア（以下、単にアプリケーションと呼ぶ）であってもよい。プログラム実行部１１４５が、例えば撮像装置（図示せず）から取得した画像信号等のユーザデータを送信信号として通信部１１６に出力する。プログラム実行部１１４５には、通信部１１６から入力された受信信号として画像信号、テキスト情報等のユーザデータが入力される。   The program execution unit 1145 reads a program stored in a storage device included in the control unit 114, and executes the read program. The program executed by the program execution unit 1145 may be an operating system (OS: Operating System) or application software (hereinafter simply referred to as an application). The program execution unit 1145 outputs user data such as an image signal acquired from an imaging device (not shown), for example, to the communication unit 116 as a transmission signal. The program execution unit 1145 receives user data such as an image signal and text information as a reception signal input from the communication unit 116.

プログラム実行部１１４５は、プログラムを実行することで画像信号を取得する。プログラム実行部１１４５が取得する画像信号を構成する各画素の座標は基準座標系で示される。プログラム実行部１１４５は、プログラムを実行して行われる処理において操作入力検出部１１４３から入力された第１位置情報、操作座標変換部１１４４から入力された第２位置情報、又はその両者を用いる。プログラム実行部１１４５は、例えば、生成した画像信号が示す画像において第２位置情報が示す座標に予め定めた画像（例えば、カーソル画像）を重畳する処理を行い、処理によって形成された画像を示す画像信号を生成する。プログラム実行部１１４５が生成する画像、例えば、第１位置情報が示す座標及び第２位置情報が示す座標は、前述の基準座標系で示されている。
プログラム実行部１１４５は、プログラムを実行して生成した画像信号を出力画像生成部１１４６に出力する。
なお、プログラム実行部１１４５は、上述したように方向判別部１１４１から入力された第１方向情報が示す方向に応じた基準座標系を定めてもよい。これにより、プログラム実行部１１４５は、電子機器１１の方向に応じて異なる方向を向いた画像を示す画像信号を生成する。 The program execution unit 1145 acquires an image signal by executing a program. The coordinates of each pixel constituting the image signal acquired by the program execution unit 1145 are shown in a reference coordinate system. The program execution unit 1145 uses the first position information input from the operation input detection unit 1143, the second position information input from the operation coordinate conversion unit 1144, or both in the process performed by executing the program. For example, the program execution unit 1145 performs a process of superimposing a predetermined image (for example, a cursor image) on the coordinates indicated by the second position information in the image indicated by the generated image signal, and an image indicating the image formed by the process Generate a signal. An image generated by the program execution unit 1145, for example, the coordinates indicated by the first position information and the coordinates indicated by the second position information are shown in the reference coordinate system described above.
The program execution unit 1145 outputs an image signal generated by executing the program to the output image generation unit 1146.
Note that the program execution unit 1145 may determine a reference coordinate system according to the direction indicated by the first direction information input from the direction determination unit 1141 as described above. As a result, the program execution unit 1145 generates an image signal indicating an image directed in a different direction depending on the direction of the electronic device 11.

出力画像生成部１１４６には、機器検出部１１４２から機器検出信号が入力され、プログラム実行部１１４５から画像信号が入力される。
入力された機器検出信号が、周辺機器１２が接続されていることを示す場合、出力画像生成部１１４６は、次に説明する処理を行う。
出力画像生成部１１４６には、受信部１１５１から入力された受信信号として第２方向情報と第２解像度情報が入力される。出力画像生成部１１４６は、第２解像度情報として、接続確認信号とともに受信部１１５１が受信したものを用いてもよい。
出力画像生成部１１４６は、第２方向情報と第２解像度情報に基づいて周辺機器１２に出力する第２出力画像信号を生成する。ここで、出力画像生成部１１４６は、第２解像度情報が示す第２解像度で各画素の座標を第２方向情報が示す方向に示す座標系を表示座標系と定め、基準座標系から表示座標系への座標変換を行うための変換係数を算出する。算出した変換係数を後述する第１変換係数と区別するため、これを第２変換係数と称する。
また、出力画像生成部１１４６は、表示座標系から基準座標系への座標変換を行うための第２変換係数を算出し、算出した第２変換係数を示す第２座標変換情報を生成する。出力画像生成部１１４６は、生成した第２座標変換情報を操作座標変換部１１４４に出力する。 The output image generation unit 1146 receives a device detection signal from the device detection unit 1142 and receives an image signal from the program execution unit 1145.
When the input device detection signal indicates that the peripheral device 12 is connected, the output image generation unit 1146 performs processing described below.
The output image generation unit 1146 receives the second direction information and the second resolution information as a reception signal input from the reception unit 1151. The output image generation unit 1146 may use the second resolution information received by the reception unit 1151 together with the connection confirmation signal.
The output image generation unit 1146 generates a second output image signal to be output to the peripheral device 12 based on the second direction information and the second resolution information. Here, the output image generation unit 1146 determines a coordinate system indicating the coordinates of each pixel at the second resolution indicated by the second resolution information in the direction indicated by the second direction information as a display coordinate system, and from the reference coordinate system to the display coordinate system. A conversion coefficient for performing coordinate conversion to is calculated. In order to distinguish the calculated conversion coefficient from a first conversion coefficient described later, this is referred to as a second conversion coefficient.
Also, the output image generation unit 1146 calculates a second conversion coefficient for performing coordinate conversion from the display coordinate system to the reference coordinate system, and generates second coordinate conversion information indicating the calculated second conversion coefficient. The output image generation unit 1146 outputs the generated second coordinate conversion information to the operation coordinate conversion unit 1144.

出力画像生成部１１４６は、入力された画像信号を構成する各画素の座標について、第２変換係数を用いて基準座標系で示される座標から、定めた表示座標系で示される座標に座標変換する。出力画像生成部１１４６は、座標が変換された各画素の信号値に基づいて出力画像信号を生成する。
出力画像生成部１１４６は、生成した第２出力画像信号を送信信号として送信部１１５２に出力する。 The output image generation unit 1146 converts the coordinates of each pixel constituting the input image signal from the coordinates indicated by the reference coordinate system to the coordinates indicated by the determined display coordinate system using the second conversion coefficient. . The output image generation unit 1146 generates an output image signal based on the signal value of each pixel whose coordinates are converted.
The output image generation unit 1146 outputs the generated second output image signal to the transmission unit 1152 as a transmission signal.

次に、出力画像生成部１１４６は、生成した第２出力画像信号に基づいて表示部１１２２に出力する第１出力画像信号を生成する。
出力画像生成部１１４６は、第２方向情報が示す方向と第１方向情報が示す方向が等しいか否かを判定する。出力画像生成部１１４６は、第２方向情報が示す方向と第１方向情報が示す方向が等しいと判定された場合、第２出力画像信号の解像度を第２解像度から第１解像度に変換して第１出力画像信号を生成する。 Next, the output image generation unit 1146 generates a first output image signal to be output to the display unit 1122 based on the generated second output image signal.
The output image generation unit 1146 determines whether the direction indicated by the second direction information is equal to the direction indicated by the first direction information. When it is determined that the direction indicated by the second direction information is the same as the direction indicated by the first direction information, the output image generation unit 1146 converts the resolution of the second output image signal from the second resolution to the first resolution and outputs the first resolution. One output image signal is generated.

出力画像生成部１１４６は、第２方向情報が示す方向と第１方向情報が示す方向が異なると判定された場合、次の処理を行う。次に説明する態様の処理を以下では、処理モード１と呼ぶ。出力画像生成部１１４６は、第１解像度を第１方向情報が示す方向に配置して得られる水平方向の画素数１と垂直方向の画素数１を定め、第２解像度を第２方向情報が示す方向に配置して得られる水平方向の画素数２と垂直方向の画素数２を定める。例えば、横置きである場合の第１解像度が水平方向１２８０画素、垂直方向７２０画素であり、第１方向情報が縦置きを示す場合、水平方向の画素数１は７２０画素、垂直方向の画素数１は１２８０画素となる。
そして、出力画像生成部１１４６は、水平方向の画素数１の水平方向の画素数２に対する水平方向の倍率と、垂直方向の画素数１の垂直方向の画素数２に対する垂直方向の倍率を算出する。出力画像生成部１１４６は、算出した水平方向の倍率と垂直方向の倍率のうち、小さい方の倍率で第２出力画像信号が示す第２出力画像の大きさを変更するように解像度を変換して第１出力画像信号を生成する。これにより、表示部１１２２が表示する第１出力画像には、その方向が変更されずに第２出力画像の全体が含まれる。 If it is determined that the direction indicated by the second direction information is different from the direction indicated by the first direction information, the output image generation unit 1146 performs the following processing. The process of the aspect described next is called process mode 1 below. The output image generation unit 1146 determines a horizontal pixel number 1 and a vertical pixel number 1 obtained by arranging the first resolution in the direction indicated by the first direction information, and the second resolution indicates the second resolution. The number of pixels 2 in the horizontal direction and the number of pixels 2 in the vertical direction obtained by arranging in the direction are determined. For example, when the horizontal orientation is 1,280 pixels in the horizontal direction and 720 pixels in the vertical direction, and when the first direction information indicates the vertical orientation, the number of pixels 1 in the horizontal direction is 720 pixels and the number of pixels in the vertical direction 1 becomes 1280 pixels.
Then, the output image generation unit 1146 calculates the horizontal magnification with respect to the horizontal pixel number 2 of the horizontal pixel number 1 and the vertical magnification with respect to the vertical pixel number 2 of the vertical pixel number 1. . The output image generation unit 1146 converts the resolution so as to change the size of the second output image indicated by the second output image signal at the smaller one of the calculated horizontal magnification and vertical magnification. A first output image signal is generated. Thus, the first output image displayed by the display unit 1122 includes the entire second output image without changing its direction.

第２方向情報が示す方向と第１方向情報が示す方向が異なると判定された場合には、出力画像生成部１１４６は、処理モード１の代わりに、次の処理を行ってもよい。次に説明する態様の処理を以下では、処理モード２と呼ぶ。
出力画像生成部１１４６は、第２出力画像信号が示す第２出力画像を、第２方向情報が示す方向と第１方向情報が示す方向に変更し、さらにその解像度を第２解像度から第１解像度に変換して第１出力画像信号を生成する。これにより、表示部１１２２が表示する第１出力画像には、第２方向情報が示す方向に向くが、処理モード１を用いる場合よりも倍率の減少が抑制され、画像が表示されなかった領域が減少する。そのため画像の視認性を損なわれない。また、第１出力画像には第２出力画像の全体が含まれる。
出力画像生成部１１４６は、第２方向情報が示す方向と第１方向情報が示す方向が異なると判定された場合に、処理モード１に係る処理もしくは処理モード２に係る処理の何れを行うかが予め設定されていてもよい。 When it is determined that the direction indicated by the second direction information is different from the direction indicated by the first direction information, the output image generation unit 1146 may perform the following processing instead of the processing mode 1. Hereinafter, the processing of the aspect described below is referred to as processing mode 2.
The output image generation unit 1146 changes the second output image indicated by the second output image signal to the direction indicated by the second direction information and the direction indicated by the first direction information, and further changes the resolution from the second resolution to the first resolution. To generate a first output image signal. As a result, the first output image displayed on the display unit 1122 is directed in the direction indicated by the second direction information, but a reduction in magnification is suppressed as compared with the case where the processing mode 1 is used, and there is an area where no image is displayed. Decrease. Therefore, the visibility of the image is not impaired. The first output image includes the entire second output image.
If the output image generation unit 1146 determines that the direction indicated by the second direction information is different from the direction indicated by the first direction information, whether the output image generation unit 1146 performs the processing related to the processing mode 1 or the processing related to the processing mode 2 It may be set in advance.

なお、アスペクト比（縦横比）は第１解像度と第２解像度との間で異なることがある。その場合、出力画像生成部１１４６は、生成した第１出力画像信号の水平方向の画素数１’と垂直方向の画素数１’を算出し、第２解像度を第２方向情報が示す方向に配置して得られる水平方向の画素数２と垂直方向の画素数２を算出する。そして、出力画像生成部１１４６は、水平方向の画素数１’の水平方向の画素数２に対する水平方向の倍率と、垂直方向の画素数１’の垂直方向の画素数２に対する垂直方向の倍率を算出する。出力画像生成部１１４６は、算出した水平方向の倍率と垂直方向の倍率のうち、小さい方の倍率で第２出力画像信号が示す第２出力画像を拡大するように解像度を変換して第１出力画像信号を生成する。これにより、表示部１１２２が表示する第１出力画像には、その方向が変更されずに第２出力画像の全体が含まれる。   Note that the aspect ratio (aspect ratio) may differ between the first resolution and the second resolution. In that case, the output image generation unit 1146 calculates the horizontal pixel number 1 ′ and the vertical pixel number 1 ′ of the generated first output image signal, and arranges the second resolution in the direction indicated by the second direction information. The number of pixels 2 in the horizontal direction and the number of pixels 2 in the vertical direction thus obtained are calculated. Then, the output image generation unit 1146 calculates the horizontal magnification with respect to the horizontal pixel number 2 of the horizontal pixel number 1 ′ and the vertical magnification with respect to the vertical pixel number 2 of the vertical pixel number 1 ′. calculate. The output image generation unit 1146 converts the resolution so as to enlarge the second output image indicated by the second output image signal at the smaller one of the calculated horizontal magnification and vertical magnification, and outputs the first output. An image signal is generated. Thus, the first output image displayed by the display unit 1122 includes the entire second output image without changing its direction.

入力された機器検出信号が、周辺機器１２が接続されていないことを示す場合には、出力画像生成部１１４６は、上述した第２出力画像信号を生成する処理及び第１出力画像信号を生成する処理を行わない。その代わりに、出力画像生成部１１４６は、プログラム実行部１１４５から入力された画像信号を第１出力画像信号として表示部１１２２に出力する。上述したように、基準座標系を第１方向情報が方向に応じて定められた場合には、その方向に向いた画像を示す画像信号が入力もしくは出力される。   When the input device detection signal indicates that the peripheral device 12 is not connected, the output image generation unit 1146 generates the above-described processing for generating the second output image signal and the first output image signal. Do not process. Instead, the output image generation unit 1146 outputs the image signal input from the program execution unit 1145 to the display unit 1122 as a first output image signal. As described above, when the first direction information is determined according to the direction in the reference coordinate system, an image signal indicating an image oriented in that direction is input or output.

上述のように座標変換（単純な解像度の変換、回転も含む）して生成される第１出力画像は、表示部１１２２の表示面全体を網羅するとは限らない。出力画像生成部１１４６は、表示部１１２２の表示面のうち第１出力画像が表示されない領域に含まれる各画素について予め定めた信号値を与えてもよい。出力画像生成部１１４６は、例えば、その領域に予め定めた画像（例えば、黒画面、グレー画面）を示す信号値を与える。
また、操作座標変換部１１４４は、第２位置情報が示す位置を座標変換した位置が、第１出力画像が表示されない領域に含まれる場合、変換された位置を示す第２位置情報の出力を停止してもよい。これにより、タッチセンサ１１２１上の第１出力画像が表示されない領域になされた操作入力が無視される。 As described above, the first output image generated by coordinate conversion (including simple resolution conversion and rotation) does not necessarily cover the entire display surface of the display unit 1122. The output image generation unit 1146 may give a predetermined signal value for each pixel included in a region where the first output image is not displayed on the display surface of the display unit 1122. For example, the output image generation unit 1146 gives a signal value indicating a predetermined image (for example, a black screen or a gray screen) to the region.
Further, the operation coordinate conversion unit 1144 stops the output of the second position information indicating the converted position when the position obtained by coordinate conversion of the position indicated by the second position information is included in an area where the first output image is not displayed. May be. Thereby, the operation input made in the area where the first output image on the touch sensor 1121 is not displayed is ignored.

また、座標変換が行われると、変換された座標は必ずしも整数値をとるとは限らないため、出力画像生成部１１４６は、座標が変換された各画素の信号値について補間処理を行って、新たな座標毎の信号値を算出してもよい。新たな座標は、０又は０より大きく、第１解像度もしくは第２解像度が示す水平方向もしくは垂直方向の画素数よりも小さい値である。補間処理において、出力画像生成部１１４６は、例えば、双一次補間、双三次補間等の補間法を用いることができる。   In addition, when coordinate conversion is performed, the converted coordinates do not necessarily take an integer value, so the output image generation unit 1146 performs an interpolation process on the signal value of each pixel whose coordinates have been converted, and creates a new value. A signal value for each coordinate may be calculated. The new coordinates are 0 or larger than 0 and smaller than the number of pixels in the horizontal direction or vertical direction indicated by the first resolution or the second resolution. In the interpolation processing, the output image generation unit 1146 can use, for example, an interpolation method such as bilinear interpolation or bicubic interpolation.

（周辺機器１２の構成）
周辺機器１２は、電子機器１１と上述の転送路で接続され、操作入力を受け付けた位置を示す第２位置情報を電子機器１１に送信し、電子機器１１が生成した第２出力画像信号に基づく画像を表示する機能を有する外部表示装置である。周辺機器１２は、例えば、タッチディスプレイ、マルチメディアプロジェクタ、等である。以下、周辺機器１２がタッチディスプレイである場合を例にとって、その構成について説明する。 (Configuration of peripheral device 12)
The peripheral device 12 is connected to the electronic device 11 through the transfer path described above, transmits second position information indicating the position where the operation input is received to the electronic device 11, and is based on the second output image signal generated by the electronic device 11. An external display device having a function of displaying an image. The peripheral device 12 is, for example, a touch display, a multimedia projector, or the like. Hereinafter, the configuration of the peripheral device 12 will be described with reference to an example in which the peripheral device 12 is a touch display.

周辺機器１２は、タッチパネル１２２、方向センサ１２３、方向判別部１２４、送受信部１２５、及び、操作入力検出部１２６を含んで構成される。
タッチパネル１２２は、タッチセンサ（操作入力部）１２２１及び表示部１２２２を含んで構成される。タッチセンサ１２２１は、操作物が接触した位置を検知し、検知した位置を示す位置情報を生成し、生成した位置情報を操作入力検出部１２６に出力する。表示部１２２２は、受信部１２５２から受信信号として入力された第２画像信号に基づく画像を表示する。表示部１２２２は、タッチセンサ１２２１とは別体であってもよいし、一体であってもよい。
なお、タッチパネル１２２は、周辺機器１２の筐体１２１（後述）との相対的な方向が固定されていてもよいし、回転可能とする支持部（図示せず）であって、筐体１２１に固定されている支持部に取り付けられていてもよい。支持部は、例えば、表示部１２２２の表示面の一辺の方向が、上向き、左向き、下向き、右向きのいずれかに可変なものであってもよい。 The peripheral device 12 includes a touch panel 122, a direction sensor 123, a direction determination unit 124, a transmission / reception unit 125, and an operation input detection unit 126.
The touch panel 122 includes a touch sensor (operation input unit) 1221 and a display unit 1222. The touch sensor 1221 detects the position where the operation article comes into contact, generates position information indicating the detected position, and outputs the generated position information to the operation input detection unit 126. The display unit 1222 displays an image based on the second image signal input as a reception signal from the reception unit 1252. The display unit 1222 may be separate from the touch sensor 1221 or may be integrated.
The touch panel 122 may be fixed in a direction relative to a casing 121 (described later) of the peripheral device 12 or may be a support portion (not shown) that can rotate. You may attach to the support part currently fixed. For example, the direction of one side of the display surface of the display unit 1222 may be variable to any one of upward, leftward, downward, and rightward.

方向センサ１２３は、表示部１２２２の表示面が向いている方向を検出するセンサである。方向センサ１２３は、表示部１２２２の表示面との相対的な位置関係が一定に保たれるように周辺機器１２に固定されている。方向センサ１２３は、検出した方向を示す方向信号を生成し、生成した方向信号を方向判別部１２４に出力する。
方向判別部１２４は、方向センサ１２３から入力された方向信号に基づいて、表示部１２２２が画像を表示する表示面が向いている方向を判別する。なお、周辺機器１２が支持部を備える場合には、方向判別部１２４は、表示部１２２２の表示面が向いている方向を電気的に検出してもよい。方向判別部１２４は、判別した方向を示す第２方向情報を生成し、生成した第２方向情報を送信部１２５１に出力する。 The direction sensor 123 is a sensor that detects the direction in which the display surface of the display unit 1222 is facing. The direction sensor 123 is fixed to the peripheral device 12 so that the relative positional relationship with the display surface of the display unit 1222 is kept constant. The direction sensor 123 generates a direction signal indicating the detected direction, and outputs the generated direction signal to the direction determination unit 124.
The direction determination unit 124 determines the direction in which the display surface on which the display unit 1222 displays an image is facing based on the direction signal input from the direction sensor 123. When the peripheral device 12 includes a support unit, the direction determination unit 124 may electrically detect the direction in which the display surface of the display unit 1222 is facing. The direction determination unit 124 generates second direction information indicating the determined direction, and outputs the generated second direction information to the transmission unit 1251.

送受信部１２５は、送受信部１１５と同様に電子機器１１との間で上述の転送路を用いてデータを送信又は受信する。送受信部１２５は、送信部１２５１と受信部１２５２を含んで構成される。送受信部１２５は、送受信部１１５と同一の通信規格に基づいてデータの送受信を行なうことができる外部インタフェースである。
受信部１２５２は、電子機器１１の送信部１１５２から転送された信号を受信し、受信した信号として第２画像信号を表示部１２２２に出力する。
送信部１２５１には、方向判別部１２４から第２方向情報と操作入力検出部１２６から第２位置情報が送信信号として入力され、入力された送信信号を電子機器１１の受信部１１５１に送信する。
なお、受信部１２５２が送信部１１５２から接続検出信号を受信した場合、送信部１２５１は接続確認信号を受信部１１５１に送信する。送信部１２５１は、接続確認信号とともに周辺機器１２が有する機能を示す能力情報を受信部１１５１に送信してもよい。能力情報は、例えば、表示部１２２２の解像度を示す第２解像度情報を含んでいてもよい。 The transmission / reception unit 125 transmits / receives data to / from the electronic device 11 using the transfer path described above as in the transmission / reception unit 115. The transmission / reception unit 125 includes a transmission unit 1251 and a reception unit 1252. The transmission / reception unit 125 is an external interface that can transmit and receive data based on the same communication standard as the transmission / reception unit 115.
The reception unit 1252 receives the signal transferred from the transmission unit 1152 of the electronic device 11 and outputs the second image signal to the display unit 1222 as the received signal.
The transmission unit 1251 receives the second direction information from the direction determination unit 124 and the second position information from the operation input detection unit 126 as transmission signals, and transmits the input transmission signal to the reception unit 1151 of the electronic device 11.
When the reception unit 1252 receives a connection detection signal from the transmission unit 1152, the transmission unit 1251 transmits a connection confirmation signal to the reception unit 1151. The transmission unit 1251 may transmit capability information indicating the function of the peripheral device 12 to the reception unit 1151 together with the connection confirmation signal. The capability information may include, for example, second resolution information indicating the resolution of the display unit 1222.

操作入力検出部１２６は、タッチセンサ１２２１から入力された位置情報を予め定めた時間間隔毎に検出する。操作入力検出部１２６は、入力された位置情報が示す接触領域を代表する代表点の座標を算出し、算出した代表点の位置を示す位置情報を生成する。操作入力検出部１２６は、生成した位置情報を送信信号として送信部１２５１に出力する。   The operation input detection unit 126 detects the position information input from the touch sensor 1221 at predetermined time intervals. The operation input detection unit 126 calculates the coordinates of the representative point representing the contact area indicated by the input position information, and generates position information indicating the calculated position of the representative point. The operation input detection unit 126 outputs the generated position information to the transmission unit 1251 as a transmission signal.

（方向の判別例）
次に、方向判別部１１４１が方向センサ１１３から入力された方向信号に基づいて表示部１１２２の表示面の方向を判別する処理の例について説明する。方向判別部１２４が表示部１２２２の表示面の方向を判別する処理もこの処理と同様である。 (Direction determination example)
Next, an example of processing in which the direction determination unit 1141 determines the direction of the display surface of the display unit 1122 based on the direction signal input from the direction sensor 113 will be described. The process in which the direction determining unit 124 determines the direction of the display surface of the display unit 1222 is the same as this process.

図２は、本実施形態に係る電子機器１１及び周辺機器１２の外観を示す概略図である。
図２において、紙面の右方がｘ方向を示し、下方がｙ方向を示す。紙面の表面から裏面に向かう方向がｚ方向を示す。
図２（ａ）は、電子機器１１の外観を示す。
電子機器１１は、その表面が長方形の形状を有する筐体１１１を備え、上述した各構成部を収容している。電子機器１１の表面の大部分には、タッチパネル１１２が装着されている。電子機器１１全体の長手方向とタッチパネル１１２の長手方向は同一である。タッチパネル１１２の左上端に示されている黒丸は原点Ｏ１を示し、右下端に示されている白丸は端点Ｍ１を示す。 FIG. 2 is a schematic diagram illustrating the appearance of the electronic device 11 and the peripheral device 12 according to the present embodiment.
In FIG. 2, the right side of the drawing shows the x direction, and the lower side shows the y direction. The direction from the front surface to the back surface of the paper indicates the z direction.
FIG. 2A shows the appearance of the electronic device 11.
The electronic device 11 includes a casing 111 whose surface has a rectangular shape, and accommodates the above-described components. A touch panel 112 is attached to most of the surface of the electronic device 11. The longitudinal direction of the entire electronic device 11 and the longitudinal direction of the touch panel 112 are the same. The black circle shown at the upper left corner of the touch panel 112 indicates the origin O1, and the white circle shown at the lower right corner indicates the end point M1.

ここで、方向判別部１１４１（図１）は、例えば、表示部１１２２において画像を表示する表示面が縦置き及び横置きの２方向のうちのいずれの方向であるかを判別する。縦置きとは、図２（ａ）に示すように該表示面の短辺のうちの１辺が底辺、つまり最も重力方向にある辺となる方向を、横置きとは、該表示面の長辺のうちの１辺が底辺となる方向を意味する。縦置きの方向と横置きの方向は、互いに直交する。方向判別部１１４１は、例えば、該表示面が縦長の形状、つまり、長辺がｙ方向を向いている場合であって、方向信号が示すｙ方向の重力成分の絶対値が、x方向の重力成分の絶対値よりも大きい場合、縦置きと判別する。また、方向判別部１１４１は、該表示面が縦長の形状である場合、方向信号が示すｘ方向の重力成分の絶対値が、ｙ方向の重力成分の絶対値よりも大きい場合、横置きと判別する。   Here, the direction discriminating unit 1141 (FIG. 1) discriminates, for example, which of the two orientations of the portrait orientation and the landscape orientation the display surface for displaying an image on the display unit 1122 is. As shown in FIG. 2 (a), the term “vertical placement” refers to the direction in which one of the short sides of the display surface is the bottom side, that is, the side that is in the most gravitational direction. It means a direction in which one of the sides becomes the bottom side. The vertical direction and the horizontal direction are orthogonal to each other. The direction determination unit 1141 is, for example, a case where the display surface has a vertically long shape, that is, the long side faces the y direction, and the absolute value of the gravity component in the y direction indicated by the direction signal is the gravity in the x direction. When it is larger than the absolute value of the component, it is determined that it is placed vertically. In addition, the direction determining unit 1141 determines that the display surface is horizontally long when the absolute value of the gravity component in the x direction indicated by the direction signal is larger than the absolute value of the gravity component in the y direction. To do.

図２（ｂ）は、周辺機器１２の外観を示す。
周辺機器１２は、その表面が長方形の形状を有する筐体１２１を備え、上述した各構成部を収容している。周辺機器１２の表面の大部分には、タッチパネル１２２が装着されている。タッチパネル１２２の左上端に示されている黒丸は、原点Ｏ２を示し、右下端に示されている白丸は端点Ｍ２を示す。周辺機器１２全体の長手方向とタッチパネル１２２の長手方向は同一である。
方向判別部１２４（周辺機器１２）は、方向判別部１１４１（電子機器１１）と同様に表示部１２２２の表示面が縦置き及び横置きの２方向のうちのいずれの方向であるかを判別する。方向判別部１２４は、例えば、該表示面が横長の形状、つまり、長辺がｘ方向を向いている場合であって、方向信号が示すｙ方向の重力成分の絶対値が、ｘ方向の重力成分の絶対値よりも大きい場合、横置きと判別する。また、方向判別部１２４は、該表示面が横長の形状である場合、方向信号が示すｘ方向の重力成分の絶対値が、ｙ方向の重力成分の絶対値よりも大きい場合、縦置きと判別する。
なお、上述の黒丸及び白丸は説明の便宜上のもので、電子機器１１もしくは周辺機器１２に実際に設けられているものではない。 FIG. 2B shows the appearance of the peripheral device 12.
The peripheral device 12 includes a casing 121 whose surface has a rectangular shape, and accommodates the above-described components. A touch panel 122 is attached to most of the surface of the peripheral device 12. The black circle shown at the upper left corner of the touch panel 122 indicates the origin O2, and the white circle shown at the lower right corner indicates the end point M2. The longitudinal direction of the entire peripheral device 12 and the longitudinal direction of the touch panel 122 are the same.
The direction discriminating unit 124 (peripheral device 12) discriminates whether the display surface of the display unit 1222 is in one of the two orientations of the vertical placement and the horizontal orientation, similarly to the direction discriminating unit 1141 (electronic device 11). . The direction determination unit 124 is, for example, a case where the display surface has a horizontally long shape, that is, the long side faces the x direction, and the absolute value of the gravity component in the y direction indicated by the direction signal is the gravity in the x direction. When it is larger than the absolute value of the component, it is determined as horizontal. In addition, the direction determining unit 124 determines that the display surface is vertically placed when the absolute value of the gravity component in the x direction indicated by the direction signal is larger than the absolute value of the gravity component in the y direction when the display surface has a horizontally long shape. To do.
The black and white circles described above are for convenience of explanation, and are not actually provided in the electronic device 11 or the peripheral device 12.

（座標変換の例）
次に、操作座標変換部１１４４が行う座標変換の一例について説明する。以下の説明では、表示座標系が横置きである表示部１２２２の表示面の画像座標系であり、基準座標系が縦置きである表示部１１２２の表示面の画像座標系である場合を例とする。
基準座標系では、図２（ａ）において、原点Ｏ１の座標が（０，０）であり、端点Ｍ１の座標が（Ｘｓｍａｘ−１，Ｙｓｍａｘ−１）である。他方、表示座標系では、図２（ｂ）において、原点Ｏ２の座標が（０，０）であり、端点Ｍ２の座標が（Ｘｔｍａｘ−１，Ｙｔｍａｘ−１）である。
第２位置情報の座標Ｓ２が表示座標系で（Ｘｔ，Ｙｔ）と与えられた場合（図２（ｂ））、操作座標変換部１１４４は、これを基準座標系での座標Ｓ１に変換する（図２（ａ））。具体的には、座標Ｓ１の座標値（Ｘｓ，Ｙｓ）は、それぞれＸｓ＝Ｘｓｍａｘ／Ｙｔｍａｘ×（Ｙｔｍａｘ−１−Ｙｔ）、Ｙｓ＝Ｙｓｍａｘ／Ｘｔｍａｘ×Ｘｔと与えられる。但し、この例では、タッチセンサ１１２１の操作入力領域と表示部１１２２の表示面の領域が一致し、タッチセンサ１２２１の操作入力領域と表示部１２２２の表示面の領域が一致している。 (Example of coordinate transformation)
Next, an example of coordinate conversion performed by the operation coordinate conversion unit 1144 will be described. In the following description, the case where the display coordinate system is the image coordinate system of the display surface of the display unit 1222 in landscape orientation and the reference coordinate system is the image coordinate system of the display surface of the display unit 1122 in portrait orientation is taken as an example. To do.
In the reference coordinate system, in FIG. 2A, the coordinates of the origin O1 are (0, 0), and the coordinates of the end point M1 are (X smax -1, Y smax -1). On the other hand, in the display coordinate system, in FIG. 2B, the coordinates of the origin O2 are (0, 0), and the coordinates of the end point M2 are (X tmax -1, Y tmax -1).
When the coordinate S2 of the second position information is given as (X t , Y t ) in the display coordinate system (FIG. 2B), the operation coordinate conversion unit 1144 converts this to the coordinate S1 in the reference coordinate system. (FIG. 2A). Specifically, the coordinate values (X s , Y s ) of the coordinate S 1 are X s = X smax / Y tmax × (Y tmax −1−Y t ) and Y s = Y smax / X tmax × X t, respectively. And given. However, in this example, the operation input area of the touch sensor 1121 and the display surface area of the display unit 1122 match, and the operation input area of the touch sensor 1221 and the display surface area of the display unit 1222 match.

本実施形態では、上述のように表示部１２２２の表示面の領域が、タッチセンサ１２２１における操作入力領域の大部分が重複していれば、両者は完全に同一でなくてもよい。
図３は、タッチセンサ１２２１の操作入力領域の例を示す概念図である。
図３（ａ）は、操作入力領域の他の例１２２ｔ’を示す図である。この領域１２２ｔ’は、表示部１２２２の表示面の領域よりも小さい（アンダースキャン）。領域１２２ｔ’は、左上端の端点Ａ２の座標値（Ｘａ，Ｙａ）と右下端の端点Ｂ２の座標値（Ｘｂ，Ｙｂ）で示される。２つの端点Ａ２、Ｂ２は、表示部１２２２の表示面の領域に含まれる。この場合、変換される座標Ｓ１の座標値（Ｘｓ，Ｙｓ）は、Ｘｓ＝Ｘｓｍａｘ／（Ｙｂ−Ｙａ）×（（Ｙｂ−Ｙａ）×（Ｙｔ−Ｙａ）、Ｙｓ＝Ｙｓｍａｘ／（Ｘｂ−Ｘａ）×（Ｘｔ−Ｘａ）と与えられる。これにより、タッチセンサ１２２１が操作入力を受け付けることができる領域が表示部１２２２の表示面の領域よりも制限されても、操作入力が受け付けられた位置を基準座標系に基づく座標値に座標変換することができる。
なお、操作座標変換部１１４４がこの処理を実行する前に、送信部１２５１は、端点Ａ２の座標値（Ｘａ，Ｙａ）と端点Ｂ２の座標値（Ｘｂ，Ｙｂ）を示す情報を第２解像度情報とともに操作座標変換部１１４４に送信しておく。 In the present embodiment, as described above, as long as the area of the display surface of the display unit 1222 overlaps most of the operation input area in the touch sensor 1221, the two may not be completely the same.
FIG. 3 is a conceptual diagram illustrating an example of an operation input area of the touch sensor 1221.
FIG. 3A is a diagram showing another example 122t ′ of the operation input area. This area 122t ′ is smaller than the area of the display surface of the display unit 1222 (underscan). The area 122t ′ is indicated by the coordinate value (X a , Y a ) of the upper left end point A2 and the coordinate value (X b , Y b ) of the lower right end point B2. The two end points A2 and B2 are included in the area of the display surface of the display unit 1222. In this case, the coordinate value (X s , Y s ) of the coordinate S1 to be converted is X s = X smax / (Y b −Y a ) × ((Y b −Y a ) × (Y t −Y a ) Y s = Y smax / (X b −X a ) × (X t −X a ) Accordingly, an area where the touch sensor 1221 can accept an operation input is an area on the display surface of the display unit 1222 Even if it is more limited, the position where the operation input is accepted can be coordinate-converted to a coordinate value based on the reference coordinate system.
Before the operation coordinate conversion unit 1144 executes this processing, the transmission unit 1251 displays information indicating the coordinate value (X a , Y a ) of the end point A2 and the coordinate value (X b , Y b ) of the end point B2. The information is transmitted to the operation coordinate conversion unit 1144 together with the second resolution information.

図３（ｂ）は、操作入力領域の他の例１２２ｔ’’を示す図である。この領域１２２ｔ’’は、表示部１２２２の表示面の領域よりも大きく、該表示面の領域を含む（オーバースキャン）。領域１２２ｔ’’は、左上端の端点Ａ２’の座標値（Ｘａ’，Ｙａ’）とこれに向かい合う右下端の端点Ｂ２’の座標値（Ｘｂ’，Ｙｂ’）で示される。この場合、変換される座標Ｓ１の座標値（Ｘｓ，Ｙｓ）は、Ｘｓ＝Ｘｓｍａｘ／（Ｙｂ’−Ｙａ’）×（（Ｙｂ’−Ｙａ’）×（Ｙｔ’−Ｙａ’）、Ｙｓ＝Ｙｓｍａｘ／（Ｙｂ’−Ｙａ’）×（Ｘｔ’−Ｙａ’）と与えられる。
この場合には、原点を端点Ａ２’とし、原点に対向する端点を端点Ｂ２’とするように原点をずらして基準座標系をとる。基準座標系の解像度において、水平方向の画素数がＬｍａｘ画素、垂直方向の画素数がＤｍａｘ画素である場合、原点Ｏ２の座標値を（Ｌｃ，Ｄｃ）とし、端点Ｍ２の座標値を（Ｌｄ，Ｄｄ）とする。このとき、Ｘｔ’＝（Ｄｍａｘ−１）×（Ｘｔｍａｘ−１）／（Ｄｄ−Ｄｃ）、Ｙｂ’＝（Ｌｍａｘ−１）×（Ｙｔｍａｘ−１）／（Ｌｄ−Ｌｃ）である。また、Ｘｔ’＝Ｘｔ＋Ｄｃ×（Ｘｔｍａｘ−１）／（Ｄｄ−Ｄｃ）、Ｙｔ’＝Ｙｔ＋Ｌｃ×（Ｙｔｍａｘ−１）／（Ｌｄ−Ｌｃ）である。
なお、操作座標変換部１１４４がこの処理を実行する前に、送信部１２５１は、端点Ａ２’の座標値（Ｘａ’，Ｙａ’）、端点Ｂ２’の座標値（Ｘｂ’，Ｙｂ’）、と端点Ｂ２の座標値（Ｘｂ，Ｙｂ）、原点Ｏ２の座標値（Ｌｃ，Ｄｃ）及び端点Ｍ２の座標値（Ｌｄ，Ｄｄ）を示す情報を第２解像度情報とともに操作座標変換部１１４４に送信しておく。 FIG. 3B is a diagram illustrating another example 122t ″ of the operation input area. This region 122t ″ is larger than the region of the display surface of the display unit 1222 and includes the region of the display surface (overscan). The region 122t ″ is indicated by the coordinate value (X a ′, Y a ′) of the upper left end point A2 ′ and the coordinate value (X b ′, Y b ′) of the lower right end point B2 ′ facing this. In this case, the coordinate value (X s , Y s ) of the coordinate S1 to be converted is X s = X smax / (Y b ′ −Y a ′) × ((Y b ′ −Y a ′) × (Y t '−Y a ′), Y s = Y smax / (Y b ′ −Y a ′) × (X t ′ −Y a ′).
In this case, the origin is shifted so that the origin is the end point A2 ′ and the end point opposite to the origin is the end point B2 ′, thereby taking the reference coordinate system. When the number of pixels in the horizontal direction is L max pixels and the number of pixels in the vertical direction is D max pixels in the resolution of the reference coordinate system, the coordinate value of the origin O2 is (L c , D c ), and the coordinate value of the end point M2 Is (L d , D d ). At this time, X t ′ = (D max −1) × (X tmax −1) / (D d −D c ), Y b ′ = (L max −1) × (Y tmax −1) / (L d it is a -L c). Further, X t '= X t + D c × (X tmax -1) / (D d -D c), Y t' = Y t + L c × (Y tmax -1) / In (L d -L c) is there.
Before the operation coordinate conversion unit 1144 executes this processing, the transmission unit 1251 performs the coordinate value (X a ′, Y a ′) of the end point A2 ′ and the coordinate value (X b ′, Y b ) of the end point B2 ′. '), Information indicating the coordinate value (X b , Y b ) of the end point B2, the coordinate value (L c , D c ) of the origin O2, and the coordinate value (L d , D d ) of the end point M2 are the second resolution information. At the same time, it is transmitted to the operation coordinate conversion unit 1144.

（情報処理の例）
次に、本実施形態に係る情報処理の例について説明する。
以下の説明では、方向判別部１１４１及び方向判別部１２４が、表示面の方向が縦置きか又は横置きかを判別する場合を例にとる。 (Example of information processing)
Next, an example of information processing according to the present embodiment will be described.
In the following description, an example is given in which the direction determination unit 1141 and the direction determination unit 124 determine whether the direction of the display surface is vertical or horizontal.

図４は、本実施形態に係る情報処理の全体を示すフローチャートである。
（ステップＳ１０１）電子機器１１が備える機器検出部１１４２は、周辺機器１２が送受信部１１５に接続されているか否かを検出する。接続されていることを検出した場合には（ステップＳ１０１ ＹＥＳ）、ステップＳ１０２に進む。接続されていることを検出しなかった場合には（ステップＳ１０１ ＮＯ）、ステップＳ１０３に進む。
（ステップＳ１０２）電子機器１１及び周辺機器１２は、後述する画像生成出力処理１を行う。その後、ステップＳ１０５に進む。 FIG. 4 is a flowchart showing the entire information processing according to the present embodiment.
(Step S <b> 101) The device detection unit 1142 included in the electronic device 11 detects whether or not the peripheral device 12 is connected to the transmission / reception unit 115. If it is detected that it is connected (step S101 YES), the process proceeds to step S102. If it is not detected that the connection is established (NO in step S101), the process proceeds to step S103.
(Step S <b> 102) The electronic device 11 and the peripheral device 12 perform image generation output processing 1 described later. Thereafter, the process proceeds to step S105.

（ステップＳ１０３）方向判別部１１４１は、方向センサ１１３から入力された方向信号が示す方向に基づいて、表示部１１２２の表示面が向いている方向を判別する。その後、ステップＳ１０４に進む。
（ステップＳ１０４）電子機器１１は、後述する画像生成出力処理２を行う。その後、ステップＳ１０５に進む。
（ステップＳ１０５）出力画像生成部１１４６は、画像の出力を停止（ＯＦＦ）するか否かを判定する。出力画像生成部１１４６は、例えば、画像の表示を停止することを示す画像表示停止信号が入力されたか否かを判定する。画像の出力を停止すると判定された場合には（ステップＳ１０５ ＹＥＳ）、処理を終了する。画像の出力を停止すると判定しなかった場合には（ステップＳ１０５ ＮＯ）、ステップＳ１０１に進む。 (Step S103) The direction determination unit 1141 determines the direction in which the display surface of the display unit 1122 is facing based on the direction indicated by the direction signal input from the direction sensor 113. Thereafter, the process proceeds to step S104.
(Step S104) The electronic device 11 performs image generation / output processing 2 described later. Thereafter, the process proceeds to step S105.
(Step S105) The output image generation unit 1146 determines whether or not to stop outputting the image (OFF). For example, the output image generation unit 1146 determines whether or not an image display stop signal indicating that display of an image is to be stopped is input. If it is determined to stop outputting the image (YES in step S105), the process ends. If it is not determined to stop outputting the image (NO in step S105), the process proceeds to step S101.

図５は、本実施形態に係る情報処理の一部を示すフローチャートである。
その情報処理の一部として、画像生成出力処理１について説明する。
図５（ａ）は、画像生成出力処理１を示すフローチャートである。
（ステップＳ２０１）出力画像生成部１１４６（図１）は、周辺機器１２から受信した第２方向情報が示す方向が縦置きか横置きかを判定する。縦置きと判定された場合には（ステップＳ２０１ ＹＥＳ）、ステップＳ２０２に進む。横置きと判定された場合には（ステップＳ２０１ ＮＯ）、ステップＳ２０６に進む。
（ステップＳ２０２）出力画像生成部１１４６は、プログラム実行部１１４５から入力された画像信号について座標変換を行い、縦置きの画像を示す第２出力画像信号を生成する。出力画像生成部１１４６は、生成した第２出力画像信号を周辺機器１２の表示部１２２２に送信する。表示部１２２２は、出力画像生成部１１４６から受信した第２出力画像信号に基づいて縦置きの画像を表示する。その後、ステップＳ２０３に進む。 FIG. 5 is a flowchart showing a part of information processing according to the present embodiment.
As part of the information processing, image generation output processing 1 will be described.
FIG. 5A is a flowchart showing the image generation / output process 1.
(Step S201) The output image generation unit 1146 (FIG. 1) determines whether the direction indicated by the second direction information received from the peripheral device 12 is vertical or horizontal. If it is determined to be vertically placed (YES in step S201), the process proceeds to step S202. If it is determined to be placed horizontally (NO in step S201), the process proceeds to step S206.
(Step S202) The output image generation unit 1146 performs coordinate conversion on the image signal input from the program execution unit 1145, and generates a second output image signal indicating a vertically placed image. The output image generation unit 1146 transmits the generated second output image signal to the display unit 1222 of the peripheral device 12. The display unit 1222 displays a vertically placed image based on the second output image signal received from the output image generation unit 1146. Thereafter, the process proceeds to step S203.

（ステップＳ２０３）出力画像生成部１１４６は、電子機器１１（本体）が備える方向判別部１１４１が判別した方向が縦置きであるか否かを判定する。縦置きであると判定された場合には（ステップＳ２０３ ＹＥＳ）、ステップＳ２０４に進む。横置きであると判定された場合には（ステップＳ２０３ ＮＯ）、ステップＳ２０５に進む。
（ステップＳ２０４）出力画像生成部１１４６は、第２出力画像信号の解像度を第２解像度から第１解像度に変換して第１出力画像信号を生成する。表示部１１２２は、第１出力画像信号に基づく縦置きの画像を表示する。その後、処理を終了する。
（ステップＳ２０５）出力画像生成部１１４６は、第２出力画像信号について上述の処理モード１に係る処理を行って第１出力画像信号を生成する。表示部１１２２は、第１出力画像信号に基づいて、表示面の一部に縦置きの画像を表示する。その後、処理を終了する。 (Step S203) The output image generation unit 1146 determines whether the direction determined by the direction determination unit 1141 included in the electronic device 11 (main body) is vertical. If it is determined to be vertically placed (YES in step S203), the process proceeds to step S204. If it is determined to be in landscape orientation (NO in step S203), the process proceeds to step S205.
(Step S204) The output image generation unit 1146 converts the resolution of the second output image signal from the second resolution to the first resolution, and generates the first output image signal. The display unit 1122 displays a vertically placed image based on the first output image signal. Thereafter, the process ends.
(Step S205) The output image generation unit 1146 performs the processing according to the above-described processing mode 1 on the second output image signal to generate the first output image signal. The display unit 1122 displays a vertically placed image on a part of the display surface based on the first output image signal. Thereafter, the process ends.

（ステップＳ２０６）出力画像生成部１１４６は、プログラム実行部１１４５から入力された画像信号を座標変換して横置きの画像を示す第２出力画像信号を生成する。
表示部１２２２は、第２出力画像信号に基づいて横置きの画像を表示する。その後、ステップＳ２０７に進む。
（ステップＳ２０７）出力画像生成部１１４６は、電子機器１１（本体）が備える方向判別部１１４１が判別した方向が縦置きであるか否かを判定する。縦置きであると判定された場合には（ステップＳ２０７ ＹＥＳ）、ステップＳ２０８に進む。横置きであると判定された場合には（ステップＳ２０７ ＮＯ）、ステップＳ２０９に進む。
（ステップＳ２０８）出力画像生成部１１４６は、第２出力画像信号について、例えば上述の処理モード１に係る処理を行って第１出力画像信号を生成する。表示部１１２２は、第１出力画像信号に基づいて、その表示面の一部に横置きの画像を表示する。その後、処理を終了する。
（ステップＳ２０９）出力画像生成部１１４６は、第２出力画像信号の解像度を第２解像度から第１解像度に変換して第１出力画像信号を生成する。表示部１１２２は、第１出力画像信号に基づいて、その表示面の一部に横置きの画像を示す。その後、処理を終了する。 (Step S206) The output image generation unit 1146 performs coordinate conversion on the image signal input from the program execution unit 1145 to generate a second output image signal indicating a horizontally placed image.
The display unit 1222 displays a landscape image based on the second output image signal. Thereafter, the process proceeds to step S207.
(Step S207) The output image generation unit 1146 determines whether or not the direction determined by the direction determination unit 1141 included in the electronic device 11 (main body) is vertical. If it is determined that it is vertically placed (YES in step S207), the process proceeds to step S208. If it is determined to be in landscape orientation (NO in step S207), the process proceeds to step S209.
(Step S208) The output image generation unit 1146 generates a first output image signal by performing, for example, the processing according to the above-described processing mode 1 on the second output image signal. The display unit 1122 displays a horizontally placed image on a part of the display surface based on the first output image signal. Thereafter, the process ends.
(Step S209) The output image generation unit 1146 converts the resolution of the second output image signal from the second resolution to the first resolution, and generates the first output image signal. The display unit 1122 shows a horizontally placed image on a part of the display surface based on the first output image signal. Thereafter, the process ends.

次に、本実施形態に係る情報処理の他の一部として、画像生成出力処理２について説明する。
図５（ｂ）は、画像生成出力処理２を示すフローチャートである。
（ステップＳ３０１）出力画像生成部１１４６は、方向判別部１１４１から入力された第２方向情報が示す方向が縦置きか横置きかを判定する。縦置きと判定された場合には（ステップＳ３０１ ＹＥＳ）、ステップＳ３０２に進む。横置きと判定された場合には（ステップＳ３０１ ＮＯ）、ステップＳ３０３に進む。
（ステップＳ３０２）出力画像生成部１１４６は、プログラム実行部１１４５が生成した第１出力画像信号を表示部１１２２に出力し、表示部１１２２は、第１出力画像信号に基づく縦置きの画像を表示する。その後、処理を終了する。
（ステップＳ３０３）出力画像生成部１１４６は、プログラム実行部１１４５が生成した第１出力画像信号を表示部１１２２に出力し、表示部１１２２は、第１出力画像信号に基づく横置きの画像を表示する。その後、処理を終了する。 Next, image generation / output processing 2 will be described as another part of information processing according to the present embodiment.
FIG. 5B is a flowchart showing the image generation / output process 2.
(Step S301) The output image generation unit 1146 determines whether the direction indicated by the second direction information input from the direction determination unit 1141 is vertical or horizontal. If it is determined to be vertically placed (YES in step S301), the process proceeds to step S302. If it is determined to be placed horizontally (NO in step S301), the process proceeds to step S303.
(Step S302) The output image generation unit 1146 outputs the first output image signal generated by the program execution unit 1145 to the display unit 1122, and the display unit 1122 displays a vertically placed image based on the first output image signal. . Thereafter, the process ends.
(Step S303) The output image generation unit 1146 outputs the first output image signal generated by the program execution unit 1145 to the display unit 1122, and the display unit 1122 displays a horizontal image based on the first output image signal. . Thereafter, the process ends.

（出力画像の例）
図６は、出力画像の例を示す図である。
図６（ａ）は、ステップＳ２０２（図５）において周辺機器１２の表示部１２２２が表示する縦置きの画像を示す。
図６（ｂ）は、ステップＳ２０４（図５）において電子機器１１の表示部１１２２が表示する縦置きの画像を示す。
図６（ｃ）は、ステップＳ２０５（図５）において電子機器１１の表示部１１２２が表示する縦置きの画像を示す。この画像は、処理モード１で生成され、画像全体を表示するために図６（ｂ）に示されている画像よりも解像度が低下し、左右に画像が表示されていない領域が生じる。
図６（ｄ）は、ステップＳ２０５（図５）において電子機器１１の表示部１１２２が表示する縦置きの画像を示す。この画像は、処理モード２で生成され、画像が表示されていない領域は図６（ｃ）よりも少なくなり、解像度の低下が抑制されている。 (Example of output image)
FIG. 6 is a diagram illustrating an example of an output image.
FIG. 6A shows a vertically placed image displayed on the display unit 1222 of the peripheral device 12 in step S202 (FIG. 5).
FIG. 6B shows a vertically placed image displayed on the display unit 1122 of the electronic device 11 in step S204 (FIG. 5).
FIG. 6C shows a vertically placed image displayed on the display unit 1122 of the electronic device 11 in step S205 (FIG. 5). This image is generated in the processing mode 1, and in order to display the entire image, the resolution is lower than that of the image shown in FIG. 6B, and there are regions where no image is displayed on the left and right.
FIG. 6D shows a vertically arranged image displayed on the display unit 1122 of the electronic device 11 in step S205 (FIG. 5). This image is generated in the processing mode 2, and the area where the image is not displayed is smaller than that in FIG. 6C, and the reduction in resolution is suppressed.

図７は、出力画像の他の例を示す図である。
図７（ａ）は、ステップＳ２０６（図５）において周辺機器１２の表示部１２２２が表示する横置きの画像を示す。
図７（ｂ）は、ステップＳ２０８（図５）において電子機器１１の表示部１１２２が表示する横置きの画像を示す。この画像は、処理モード１で生成され、画像全体を表示するために図７（ａ）に示されている画像よりも解像度が低下し、上下に画像が表示されていない領域が生じる。 FIG. 7 is a diagram illustrating another example of the output image.
FIG. 7A shows a landscape image displayed on the display unit 1222 of the peripheral device 12 in step S206 (FIG. 5).
FIG. 7B shows a landscape image displayed on the display unit 1122 of the electronic device 11 in step S208 (FIG. 5). This image is generated in the processing mode 1, and in order to display the entire image, the resolution is lower than that of the image shown in FIG. 7A, and there are regions where no image is displayed above and below.

図７（ｃ）は、ステップＳ２０８（図５）において、電子機器１１の表示部１１２２が表示する横置きの画像を示す。この画像は、処理モード２で生成され、画像が表示されていない領域は図７（ｂ）よりも少なくなり、解像度の低下が抑制されている。
図７（ｄ）は、ステップＳ２０９（図５）において電子機器１１の表示部１１２２が表示する横置きの画像を示す。この画像は、図７（ｂ）に示されている画像ほど解像度の低下が著しくない。 FIG. 7C shows a landscape image displayed on the display unit 1122 of the electronic device 11 in step S208 (FIG. 5). This image is generated in the processing mode 2, and the area where the image is not displayed is smaller than that in FIG. 7B, and the reduction in resolution is suppressed.
FIG. 7D shows a landscape image displayed on the display unit 1122 of the electronic device 11 in step S209 (FIG. 5). This image is not as significantly degraded in resolution as the image shown in FIG.

このように、本実施形態では、周辺機器１２と電子機器１１とを備える情報処理システム１において、周辺機器１２では、自機が備える表示部の方向を判別し、判別した方向を示す方向情報を電子機器１１に送信し、電子機器１１から受信した画像信号を表示する。また、電子機器１１は、周辺機器１２から受信した方向情報が示す方向に応じた画像を示す画像信号を生成し、生成した画像信号を周辺機器１２に送信する。
これにより、周辺機器１２は、電子機器１１の方向に関わらず、自機が備える表示部の方向に応じて表示される方向が変化した画像を表示する。そのため、周辺機器１２が表示する画像の視認性が損なわれないので、操作入力において操作性が向上する。 Thus, in the present embodiment, in the information processing system 1 including the peripheral device 12 and the electronic device 11, the peripheral device 12 determines the direction of the display unit included in the own device, and the direction information indicating the determined direction. The image signal transmitted to the electronic device 11 and received from the electronic device 11 is displayed. Further, the electronic device 11 generates an image signal indicating an image corresponding to the direction indicated by the direction information received from the peripheral device 12, and transmits the generated image signal to the peripheral device 12.
Accordingly, the peripheral device 12 displays an image in which the displayed direction is changed according to the direction of the display unit included in the own device regardless of the direction of the electronic device 11. Therefore, the visibility of the image displayed by the peripheral device 12 is not impaired, and the operability is improved in the operation input.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態と同一の構成について同一の符号を付して説明を援用し、主に第１の実施形態との差異点について述べる。
電子機器１１が備える方向判別部１１４１は、表示部１１２２の表示面が上向き、左向き、下向き、及び右向きの４方向のうちのいずれかの方向であるかを判別する。
方向判別部１１４１は、例えば、方向センサ１１３から入力された方向信号が示すｙ方向（図２）の重力成分が０より大きく、ｘ方向の重力成分の絶対値よりも大きい場合、上向きと判別する。方向判別部１１４１は、方向信号が示すｘ方向の重力成分が０よりも大きく、ｙ方向の重力成分の絶対値よりも大きい場合、右向きと判別する。方向判別部１１４１は、方向信号が示すｙ方向の重力成分が０よりも小さく、その絶対値がｘ方向の重力成分の絶対値よりも大きい場合、下向きと判別する。方向判別部１１４１は、方向信号が示すｘ方向の重力成分が０より小さく、その絶対値がｙ方向の重力成分の絶対値よりも大きい場合、左向きと判別する。
かかる処理は、方向判別部１１４１は、形状が長方形である表示部１１２２の表示面の４辺のうちのいずれかの辺を底辺とする方向であるかを判別することに相当する。以下の説明では、上向き、左向き、下向き、及び右向きを、それぞれ方向１、方向２、方向３及び方向４と呼ぶ。
また、周辺機器１２が備える方向判別部１２４も、方向センサ１２３から入力された方向信号を用いて、方向判別部１１４１と同様な処理を行って方向１−４のうちのいずれかの方向であるかを判別する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. About the same structure as 1st Embodiment, the same code | symbol is attached | subjected and description is used and a difference with 1st Embodiment is mainly described.
The direction determination unit 1141 included in the electronic device 11 determines whether the display surface of the display unit 1122 is any one of the four directions of upward, leftward, downward, and rightward.
For example, when the gravity component in the y direction (FIG. 2) indicated by the direction signal input from the direction sensor 113 is greater than 0 and greater than the absolute value of the gravity component in the x direction, the direction determination unit 1141 determines that the direction is upward. . When the gravity component in the x direction indicated by the direction signal is greater than 0 and greater than the absolute value of the gravity component in the y direction, the direction determination unit 1141 determines that the direction is rightward. When the gravity component in the y direction indicated by the direction signal is smaller than 0 and the absolute value thereof is larger than the absolute value of the gravity component in the x direction, the direction determination unit 1141 determines that the direction is downward. If the gravity component in the x direction indicated by the direction signal is smaller than 0 and the absolute value thereof is larger than the absolute value of the gravity component in the y direction, the direction determination unit 1141 determines that the direction is leftward.
Such processing corresponds to the direction determination unit 1141 determining whether the direction is based on any one of the four sides of the display surface of the display unit 1122 having a rectangular shape. In the following description, upward, leftward, downward, and rightward are referred to as direction 1, direction 2, direction 3, and direction 4, respectively.
In addition, the direction determination unit 124 included in the peripheral device 12 is also in one of the directions 1-4 by performing the same processing as the direction determination unit 1141 using the direction signal input from the direction sensor 123. Is determined.

（情報処理の例）
次に、本実施形態に係る情報処理の例について説明する。
本実施形態に係る情報処理では、図４に示す情報処理において、画像生成出力処理１及び画像生成出力処理２の代わりに、画像生成出力処理１’及び画像生成出力処理２’を実行する。その情報処理の一部として画像生成出力処理１’について説明する。
図８は、本実施形態に係る情報処理の一部（画像生成出力処理１’）を示すフローチャートである。
（ステップＳ４０１）出力画像生成部１１４６は、第２方向情報が示す方向が方向１であるか否かを判定する。方向１と判定された場合には（ステップＳ４０１ ＹＥＳ）、ステップＳ４０２に進む。方向１ではないと判定された場合には（ステップＳ４０１ ＮＯ）、ステップＳ４０４に進む。
（ステップＳ４０２）出力画像生成部１１４６は、プログラム実行部１１４５から入力された画像信号に座標変換を行って方向１に係る画像を示す第２出力画像信号を生成し、周辺機器１２に送信する。表示部１２２２は、方向１を向いた画像を表示する。その後、ステップＳ４０３に進む。
（ステップＳ４０３）出力画像生成部１１４６は、第２出力画像信号について、上処理モード１に係る処理を行って第１出力画像信号を生成する。表示部１１２２は、出力画像生成部１１４６から入力された第１出力画像信号に基づいて、方向１を向いた画像を表示する。その後、処理を終了する。 (Example of information processing)
Next, an example of information processing according to the present embodiment will be described.
In the information processing according to the present embodiment, instead of the image generation output processing 1 and the image generation output processing 2 in the information processing shown in FIG. 4, an image generation output processing 1 ′ and an image generation output processing 2 ′ are executed. The image generation output process 1 ′ will be described as a part of the information processing.
FIG. 8 is a flowchart showing a part of the information processing (image generation output processing 1 ′) according to the present embodiment.
(Step S401) The output image generation unit 1146 determines whether or not the direction indicated by the second direction information is the direction 1. If it is determined that the direction is 1 (YES in step S401), the process proceeds to step S402. If it is determined that the direction is not 1 (NO in step S401), the process proceeds to step S404.
(Step S <b> 402) The output image generation unit 1146 performs coordinate conversion on the image signal input from the program execution unit 1145, generates a second output image signal indicating an image related to the direction 1, and transmits the second output image signal to the peripheral device 12. The display unit 1222 displays an image facing the direction 1. Thereafter, the process proceeds to step S403.
(Step S403) The output image generation unit 1146 performs processing related to the upper processing mode 1 on the second output image signal to generate a first output image signal. The display unit 1122 displays an image facing the direction 1 based on the first output image signal input from the output image generation unit 1146. Thereafter, the process ends.

（ステップＳ４０４）出力画像生成部１１４６は、第２方向情報が示す方向が方向２であるか否かを判定する。方向２と判定された場合には（ステップＳ４０４ ＹＥＳ）、ステップＳ４０５に進む。方向２ではないと判定された場合には（ステップＳ４０４ ＮＯ）、ステップＳ４０７に進む。
（ステップＳ４０５）出力画像生成部１１４６は、プログラム実行部１１４５から入力された画像信号に座標変換を行って方向２に係る画像を示す第２出力画像信号を生成し、周辺機器１２に送信する。表示部１２２２は、方向２を向いた画像を表示する。その後、ステップＳ４０６に進む。
（ステップＳ４０６）出力画像生成部１１４６は、第２出力画像信号について、上述の処理モード１に係る処理を行って第１出力画像信号を生成する。表示部１１２２は、出力画像生成部１１４６から入力された第１出力画像信号に基づいて、方向２を向いた画像を表示する。その後、処理を終了する。 (Step S404) The output image generation unit 1146 determines whether or not the direction indicated by the second direction information is the direction 2. If it is determined that the direction is 2 (YES in step S404), the process proceeds to step S405. If it is determined that the direction is not 2 (NO in step S404), the process proceeds to step S407.
(Step S <b> 405) The output image generation unit 1146 performs coordinate conversion on the image signal input from the program execution unit 1145, generates a second output image signal indicating an image related to direction 2, and transmits the second output image signal to the peripheral device 12. The display unit 1222 displays an image facing the direction 2. Thereafter, the process proceeds to step S406.
(Step S406) The output image generation unit 1146 performs the processing according to the above-described processing mode 1 on the second output image signal to generate the first output image signal. The display unit 1122 displays an image facing the direction 2 based on the first output image signal input from the output image generation unit 1146. Thereafter, the process ends.

（ステップＳ４０７）出力画像生成部１１４６は、第２方向情報が示す方向が方向３であるか否かを判定する。方向３と判定された場合には（ステップＳ４０７ ＹＥＳ）、ステップＳ４０８に進む。方向３ではないと判定された場合には（ステップＳ４０７ ＮＯ）、ステップＳ４１０に進む。
（ステップＳ４０８）出力画像生成部１１４６は、プログラム実行部１１４５から入力された画像信号に座標変換を行って方向３に係る画像を示す第２出力画像信号を生成し、周辺機器１２に送信する。表示部１２２２は、方向３を向いた画像を表示する。その後、ステップＳ４０９に進む。
（ステップＳ４０９）出力画像生成部１１４６は、第２出力画像信号について、上述の処理モード１に係る処理を行って第１出力画像信号を生成する。表示部１１２２は、出力画像生成部１１４６から入力された第１出力画像信号に基づいて、方向３を向いた画像を表示する。その後、処理を終了する。 (Step S407) The output image generation unit 1146 determines whether or not the direction indicated by the second direction information is the direction 3. If it is determined that the direction is 3 (YES in step S407), the process proceeds to step S408. If it is determined that the direction is not 3 (NO in step S407), the process proceeds to step S410.
(Step S <b> 408) The output image generation unit 1146 performs coordinate conversion on the image signal input from the program execution unit 1145, generates a second output image signal indicating an image related to the direction 3, and transmits the second output image signal to the peripheral device 12. The display unit 1222 displays an image facing the direction 3. Thereafter, the process proceeds to step S409.
(Step S409) The output image generation unit 1146 performs the process according to the above-described processing mode 1 on the second output image signal to generate the first output image signal. The display unit 1122 displays an image facing the direction 3 based on the first output image signal input from the output image generation unit 1146. Thereafter, the process ends.

（ステップＳ４１０）出力画像生成部１１４６は、プログラム実行部１１４５から入力された画像信号に座標変換を行って方向４に係る画像を示す第２出力画像信号を生成し、周辺機器１２に送信する。表示部１２２２は、方向４を向いた画像を表示する。その後、ステップＳ４１１に進む。
（ステップＳ４１１）出力画像生成部１１４６は、第２出力画像信号について、上述の処理モード１に係る処理を行って第１出力画像信号を生成する。表示部１１２２は、出力画像生成部１１４６から入力された第１出力画像信号に基づいて、方向４を向いた画像を表示する。その後、処理を終了する。
なお、上述のステップＳ４０３、Ｓ４０６、Ｓ４０９及びＳ４１１では、出力画像生成部１１４６は、処理モード１に係る処理の代わりに処理モード２に係る処理を行ってもよい。これにより、表示部１１２２は、表示面の方向に回転させた画像を表示してもよい。 (Step S <b> 410) The output image generation unit 1146 performs coordinate conversion on the image signal input from the program execution unit 1145, generates a second output image signal indicating an image related to the direction 4, and transmits the second output image signal to the peripheral device 12. The display unit 1222 displays an image facing the direction 4. Thereafter, the process proceeds to step S411.
(Step S411) The output image generation unit 1146 performs the process according to the above-described processing mode 1 on the second output image signal to generate the first output image signal. The display unit 1122 displays an image facing the direction 4 based on the first output image signal input from the output image generation unit 1146. Thereafter, the process ends.
In steps S403, S406, S409, and S411 described above, the output image generation unit 1146 may perform processing related to the processing mode 2 instead of processing related to the processing mode 1. Thereby, the display unit 1122 may display an image rotated in the direction of the display surface.

次に情報処理の他の一部の例として画像生成出力処理２’について説明する。
図９は、本実施形態に係る情報処理の他の一部（画像生成出力処理２’）を示すフローチャートである。
（ステップＳ５０１）出力画像生成部１１４６は、第１方向情報が示す方向が方向１であるかを判定する。方向１であると判定された場合には（ステップＳ５０１ ＹＥＳ）、ステップＳ５０２に進む。方向１ではないと判定された場合には（ステップＳ５０１ ＮＯ）、ステップＳ５０３に進む。
（ステップＳ５０２）出力画像生成部１１４６は、プログラム実行部１１４５が生成した画像信号を第１出力画像信号として表示部１１２２に出力する。表示部１１２２は、第１出力画像信号に基づいて方向１に画像を表示する。その後、処理を終了する。 Next, image generation output processing 2 ′ will be described as another example of information processing.
FIG. 9 is a flowchart showing another part of the information processing (image generation output processing 2 ′) according to the present embodiment.
(Step S501) The output image generation unit 1146 determines whether the direction indicated by the first direction information is the direction 1. If it is determined that the direction is 1 (YES in step S501), the process proceeds to step S502. When it is determined that the direction is not 1 (NO in step S501), the process proceeds to step S503.
(Step S502) The output image generation unit 1146 outputs the image signal generated by the program execution unit 1145 to the display unit 1122 as a first output image signal. The display unit 1122 displays an image in the direction 1 based on the first output image signal. Thereafter, the process ends.

（ステップＳ５０３）出力画像生成部１１４６は、方向判別部１１４１から入力された第２方向情報が示す方向が方向２であるかを判定する。方向２であると判定された場合には（ステップＳ５０３ ＹＥＳ）、ステップＳ５０４に進む。方向２ではないと判定された場合には（ステップＳ５０３ ＮＯ）、ステップＳ５０５に進む。
（ステップＳ５０４）出力画像生成部１１４６は、プログラム実行部１１４５が生成した画像信号を第１出力画像信号として表示部１１２２に出力する。表示部１１２２は、第１出力画像信号に基づいて方向２に画像を表示する。その後、処理を終了する。 (Step S503) The output image generation unit 1146 determines whether the direction indicated by the second direction information input from the direction determination unit 1141 is the direction 2. If it is determined that the direction is 2 (YES in step S503), the process proceeds to step S504. If it is determined that the direction is not 2 (NO in step S503), the process proceeds to step S505.
(Step S504) The output image generation unit 1146 outputs the image signal generated by the program execution unit 1145 to the display unit 1122 as a first output image signal. The display unit 1122 displays an image in the direction 2 based on the first output image signal. Thereafter, the process ends.

（ステップＳ５０５）出力画像生成部１１４６は、方向判別部１１４１から入力された第２方向情報が示す方向が方向３であるかを判定する。方向３であると判定された場合には（ステップＳ５０５ ＹＥＳ）、ステップＳ５０６に進む。方向３ではないと判定された場合には（ステップＳ５０５ ＮＯ）、ステップＳ５０７に進む。
（ステップＳ５０６）出力画像生成部１１４６は、プログラム実行部１１４５が生成した画像信号を第１出力画像信号として表示部１１２２に出力する。表示部１１２２は、第１出力画像信号に基づいて方向３に画像を表示する。その後、処理を終了する。
（ステップＳ５０７）出力画像生成部１１４６は、プログラム実行部１１４５が生成した画像信号を第１出力画像信号として表示部１１２２に出力する。表示部１１２２は、第１出力画像信号に基づいて方向４に画像を表示する。その後、処理を終了する。 (Step S505) The output image generation unit 1146 determines whether the direction indicated by the second direction information input from the direction determination unit 1141 is the direction 3. If it is determined that the direction is 3 (YES in step S505), the process proceeds to step S506. If it is determined that the direction is not 3 (NO in step S505), the process proceeds to step S507.
(Step S506) The output image generation unit 1146 outputs the image signal generated by the program execution unit 1145 to the display unit 1122 as a first output image signal. The display unit 1122 displays an image in the direction 3 based on the first output image signal. Thereafter, the process ends.
(Step S507) The output image generation unit 1146 outputs the image signal generated by the program execution unit 1145 to the display unit 1122 as a first output image signal. The display unit 1122 displays an image in the direction 4 based on the first output image signal. Thereafter, the process ends.

このように、本実施形態では、周辺機器１２において判別される方向の数が４通りである。その２通りである場合よりも、きめの細かく表示方向が制御されるので視認性が保たれる。また、表示部が画像を表示する表示面が長方形の形状を有する場合には、表示方向の制御において複雑な演算が要求されないため処理量ひいてはハードウェア規模の増大を抑制でき、経済的な実現が可能になる。   Thus, in this embodiment, the number of directions discriminated in the peripheral device 12 is four. Visibility is maintained since the display direction is controlled more finely than in the two cases. In addition, when the display surface on which the display unit displays an image has a rectangular shape, complicated calculation is not required in the control of the display direction, so that it is possible to suppress an increase in the processing amount and consequently the hardware scale, which is economically realized. It becomes possible.

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１の実施形態と同一の構成について同一の符号を付して説明を援用し、主に第１の実施形態との差異点について述べる。
本実施形態に係る周辺機器１２は、タッチセンサ１２２１を省略し、操作入力検出部１２６には、周辺機器１２とは別体又は一体化された操作入力部からの位置情報が入力される。操作入力部は、ユーザの操作によって指示された位置を検出し、検出した位置を示す位置情報を生成するポインティングデバイス、例えば、マウス、スタイラスペン、ジョイスティック等がある。操作入力部から操作入力検出部１２６への位置情報の出力は、有線で行われても無線で行なわれてもよい。したがって、必ずしも操作物を操作入力領域に接触させなくとも位置情報を入力できるので、操作性の低下を回避することができる。 (Third embodiment)
Next, a third embodiment of the present invention will be described. About the same structure as 1st Embodiment, the same code | symbol is attached | subjected and description is used and a difference with 1st Embodiment is mainly described.
The peripheral device 12 according to the present embodiment omits the touch sensor 1221, and the operation input detection unit 126 receives position information from an operation input unit that is separate from or integrated with the peripheral device 12. The operation input unit includes a pointing device that detects a position instructed by a user operation and generates position information indicating the detected position, such as a mouse, a stylus pen, and a joystick. The position information output from the operation input unit to the operation input detection unit 126 may be performed by wire or wirelessly. Therefore, the positional information can be input without necessarily bringing the operation article into contact with the operation input area, so that a decrease in operability can be avoided.

なお、上述した実施形態では、方向判別部１１４１、１２４が判別する方向の数が２通り又は４通りである場合を例にとって説明したが、これには限られない。方向判別部１１４１、１２４が判別する方向の数が３通り又は４通りよりも多くてもよい。
また、上述した実施形態では、タッチパネル１１２は、電子機器１１の筐体１１１との相対的な方向を回転可能に取り付けられていてもよい。 In the above-described embodiment, the case where the number of directions determined by the direction determination units 1141 and 124 is two or four has been described as an example, but the present invention is not limited thereto. The number of directions determined by the direction determination units 1141 and 124 may be more than three or four.
In the above-described embodiment, the touch panel 112 may be attached so as to be rotatable relative to the casing 111 of the electronic device 11.

なお、本実施形態は、次の態様でも実施することができる。
（１）第１電子機器と第２電子機器とを備える情報システムにおいて、前記第２電子機器は、自機が備える表示部の方向を判別する方向判別部と、前記方向判別部が判別した方向を示す方向情報を前記第１電子機器に送信する送信部と、前記第１電子機器から受信した画像信号に基づく画像を表示する表示部とを備え、前記第１電子機器は、前記第２電子機器から受信した方向情報が示す方向に応じた画像を示す画像信号を生成する画像生成部と、前記画像生成部が生成した画像信号を前記第２電子機器に送信する送信部と、を備えることを特徴とする情報処理システム。 In addition, this embodiment can be implemented also in the following aspect.
(1) In an information system including a first electronic device and a second electronic device, the second electronic device includes a direction determining unit that determines a direction of a display unit included in the device, and a direction determined by the direction determining unit. And a display unit that displays an image based on an image signal received from the first electronic device, wherein the first electronic device includes the second electronic device. An image generation unit that generates an image signal indicating an image corresponding to the direction indicated by the direction information received from the device, and a transmission unit that transmits the image signal generated by the image generation unit to the second electronic device. An information processing system characterized by

（２）前記画像生成部は、原画像信号を構成する画素毎の座標であって予め定めた座標系で示された座標から前記第２電子機器から受信した方向情報に基づく座標系で示された座標に変換された前記画像信号を生成することを特徴とする（１）の情報処理システム。
（３）前記第２電子機器は、操作入力を受け付けた位置を検出する操作入力検出部を備え、前記送信部は、前記操作入力検出部が検出した位置を示す位置情報を前記第１電子機器に送信し、前記第１電子機器は、前記第２電子機器から受信した位置情報が示す位置であって、前記第１電子機器から受信した方向情報に基づく座標系で示された位置から前記予め定めた座標系で示された位置に変換する操作座標変換部と、を備えることを特徴とする（１）又は（２）に記載の情報処理システム。
（４）前記第１電子機器は、前記第２電子機器が接続されているか否かを検出する機器検出部を備え、前記第２電子機器が接続されていないことが検出された場合には、前記画像生成部は前記画像信号を生成する処理を停止することを特徴とする（１）ないし（３）のいずれかに記載の情報処理システム。 (2) The image generation unit is a coordinate system based on direction information received from the second electronic device from the coordinates of each pixel constituting the original image signal and indicated in a predetermined coordinate system. The information processing system according to (1), wherein the image signal converted into coordinates is generated.
(3) The second electronic device includes an operation input detection unit that detects a position where the operation input is received, and the transmission unit receives position information indicating the position detected by the operation input detection unit. The first electronic device is the position indicated by the position information received from the second electronic device, and the position is indicated in advance from the position indicated by the coordinate system based on the direction information received from the first electronic device. An information processing system according to (1) or (2), further comprising: an operation coordinate conversion unit that converts the position to a position indicated by a defined coordinate system.
(4) The first electronic device includes a device detection unit that detects whether or not the second electronic device is connected, and when it is detected that the second electronic device is not connected, The information processing system according to any one of (1) to (3), wherein the image generation unit stops a process of generating the image signal.

（５）前記方向判別部は、前記方向判別部は、前記表示部の方向が、当該表示部の長辺を底辺とする方向であるか、又は当該表示部の短辺を底辺とする方向であるかを判別することを特徴とする（１）ないし（４）のいずれかに記載の情報処理システム。
（６）前記方向判別部は、前記表示部の方向が当該表示部の４辺のうちいずれの辺を底辺とする方向であるかを判別することを特徴とする（１）ないし（４）のいずれかに記載の情報処理システム。 (5) The direction determining unit may be configured such that the direction of the display unit is a direction in which the long side of the display unit is a base, or a direction in which the short side of the display unit is a base. The information processing system according to any one of (1) to (4), wherein it is determined whether or not there is.
(6) The direction determination unit may determine which of the four sides of the display unit is a direction based on the base of the display unit (1) to (4) An information processing system according to any one of the above.

（７）周辺機器が備える表示部の方向を示す方向情報を受信する受信部と、前記受信部が受信した方向情報が示す方向に応じた画像を示す画像信号を生成する画像生成部と、前記画像生成部が生成した画像信号を前記周辺機器に送信する送信部とを備えることを特徴とする電子機器。
（８）電子機器における情報処理方法であって、周辺機器が備える表示部であって、前記電子機器から受信した画像信号に基づく画像を表示する表示部の方向を示す方向情報を受信する受信過程と、前記受信過程で生成した方向情報が示す方向に応じた画像を示す画像信号を生成する画像生成過程と、前記画像生成過程で生成した画像信号を前記周辺機器に送信する送信過程とを有することを特徴とする情報処理方法。
（９）電子機器のコンピュータに周辺機器が備える表示部であって、前記電子機器から受信した画像信号に基づく画像を表示する表示部の方向を示す方向情報を受信する受信手順、
前記受信手順で受信した方向情報が示す方向に応じた画像を示す画像信号を生成する画像生成手順、前記画像生成手順で生成した画像信号を前記周辺機器に送信する送信手順、を実行させるための情報処理プログラム。 (7) A receiving unit that receives direction information indicating the direction of the display unit included in the peripheral device, an image generating unit that generates an image signal indicating an image corresponding to the direction indicated by the direction information received by the receiving unit, An electronic device comprising: a transmission unit that transmits an image signal generated by an image generation unit to the peripheral device.
(8) An information processing method in an electronic device, which is a display unit included in a peripheral device, and a reception process of receiving direction information indicating a direction of a display unit that displays an image based on an image signal received from the electronic device. And an image generation process for generating an image signal indicating an image corresponding to a direction indicated by the direction information generated in the reception process, and a transmission process for transmitting the image signal generated in the image generation process to the peripheral device. An information processing method characterized by the above.
(9) A receiving procedure for receiving direction information indicating a direction of a display unit that is provided in a peripheral device in a computer of the electronic device and displays an image based on an image signal received from the electronic device;
An image generation procedure for generating an image signal indicating an image corresponding to a direction indicated by the direction information received in the reception procedure, and a transmission procedure for transmitting the image signal generated in the image generation procedure to the peripheral device. Information processing program.

なお、上述した実施形態における電子機器１１及び周辺機器１２の一部、例えば、制御部１１４、方向判別部１２４及び操作入力検出部１２６をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、電子機器１１又は周辺機器１２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における電子機器１１又は周辺機器１２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い電子機器１１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。 In addition, you may make it implement | achieve a part of the electronic device 11 in the embodiment mentioned above and the peripheral device 12, for example, the control part 114, the direction discrimination | determination part 124, and the operation input detection part 126 with a computer. In that case, the program for realizing the control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed. Here, the “computer system” is a computer system built in the electronic device 11 or the peripheral device 12 and includes an OS and hardware such as a peripheral device. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, In such a case, a volatile memory inside a computer system serving as a server or a client may be included and a program that holds a program for a certain period of time. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
In addition, each functional block of the electronic device 11 that may be realized by integrating a part or all of the electronic device 11 or the peripheral device 12 in the above-described embodiment as an integrated circuit such as an LSI (Large Scale Integration) is individually converted into a processor. Alternatively, some or all of them may be integrated into a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where an integrated circuit technology that replaces LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology may be used.

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。   As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the present invention. It is possible to

１…情報処理システム、１１…電子機器、１１１…筐体、
１１２…タッチパネル、１１２１…タッチセンサ、１１２２…表示部、
１１３…方向センサ、１１４…制御部、１１４１…方向判別部、１１４２…機器検出部、
１１４３…操作入力検出部、１１４４…操作座標変換部、１１４５…プログラム実行部、
１１４６…出力画像生成部、
１１５…送受信部、１１５１…受信部、１１５２…送信部、１１６…通信部、
１２…周辺機器、１２１…筐体、
１２２…タッチパネル、１２２１…タッチセンサ、１２２２…表示部、
１２３…方向センサ、１２４…方向判別部、
１２５…送受信部、１２５１…送信部、１２５２…受信部、１２６…操作入力検出部 DESCRIPTION OF SYMBOLS 1 ... Information processing system, 11 ... Electronic equipment, 111 ... Case,
112 ... Touch panel, 1121 ... Touch sensor, 1122 ... Display unit,
113 ... Direction sensor, 114 ... Control unit, 1141 ... Direction determination unit, 1142 ... Device detection unit,
1143 ... operation input detection unit, 1144 ... operation coordinate conversion unit, 1145 ... program execution unit,
1146: an output image generation unit,
115: Transmission / reception unit, 1151 ... Reception unit, 1152 ... Transmission unit, 116 ... Communication unit,
12 ... peripheral equipment, 121 ... casing,
122 ... Touch panel, 1221 ... Touch sensor, 1222 ... Display unit,
123 ... direction sensor, 124 ... direction discrimination unit,
125: Transmission / reception unit, 1251 ... Transmission unit, 1252 ... Reception unit, 126 ... Operation input detection unit

Claims (9)

第１電子機器と第２電子機器とを備える情報システムにおいて、
前記第２電子機器は、
自機が備える表示部の方向を判別する方向判別部と、
前記方向判別部が判別した方向を示す方向情報を前記第１電子機器に送信する送信部と、
前記第１電子機器から受信した画像信号に基づく画像を表示する表示部と、
を備え、
前記第１電子機器は、
前記第２電子機器から受信した方向情報が示す方向に応じた画像を示す画像信号を生成する画像生成部と、
前記画像生成部が生成した画像信号を前記第２電子機器に送信する送信部と、
を備えることを特徴とする情報処理システム。 In an information system comprising a first electronic device and a second electronic device,
The second electronic device is
A direction discriminating unit for discriminating the direction of the display unit included in the own device;
A transmission unit that transmits direction information indicating the direction determined by the direction determination unit to the first electronic device;
A display unit for displaying an image based on an image signal received from the first electronic device;
With
The first electronic device is
An image generation unit that generates an image signal indicating an image corresponding to a direction indicated by the direction information received from the second electronic device;
A transmission unit that transmits the image signal generated by the image generation unit to the second electronic device;
An information processing system comprising: 前記画像生成部は、原画像信号を構成する画素毎の座標であって予め定めた座標系で示された座標から前記第２電子機器から受信した方向情報に基づく座標系で示された座標に変換された前記画像信号を生成することを特徴とする請求項１に記載の情報処理システム。   The image generation unit converts the coordinates of each pixel constituting the original image signal into coordinates shown in a coordinate system based on direction information received from the second electronic device from coordinates shown in a predetermined coordinate system. The information processing system according to claim 1, wherein the converted image signal is generated. 前記第２電子機器は、
操作入力を受け付けた位置を検出する操作入力検出部を備え、
前記送信部は、前記操作入力検出部が検出した位置を示す位置情報を前記第１電子機器に送信し、
前記第１電子機器は、
前記第２電子機器から受信した位置情報が示す位置であって、前記第１電子機器から受信した方向情報に基づく座標系で示された位置から予め定めた座標系で示された位置に変換する操作座標変換部と、
を備えることを特徴とする請求項１又は２に記載の情報処理システム。 The second electronic device is
Provided with an operation input detection unit that detects a position where an operation input is received,
The transmission unit transmits position information indicating the position detected by the operation input detection unit to the first electronic device;
The first electronic device is
The position indicated by the position information received from the second electronic device is converted from the position indicated by the coordinate system based on the direction information received from the first electronic device to the position indicated by the predetermined coordinate system. An operation coordinate converter,
The information processing system according to claim 1, further comprising: 前記第１電子機器は、
前記第２電子機器が接続されているか否かを検出する機器検出部を備え、
前記第２電子機器が接続されていないことが検出された場合には、前記画像生成部は前記画像信号を生成する処理を停止することを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。 The first electronic device is
A device detection unit for detecting whether or not the second electronic device is connected;
The said image generation part stops the process which produces | generates the said image signal, when it is detected that the said 2nd electronic device is not connected, The Claim 1 thru | or 3 characterized by the above-mentioned. Information processing system. 前記方向判別部は、前記表示部の方向が、当該表示部の長辺を底辺とする方向であるか、又は当該表示部の短辺を底辺とする方向であるかを判別することを特徴とする請求項１ないし４のいずれかに記載の情報処理システム。   The direction discriminating unit discriminates whether the direction of the display unit is a direction in which the long side of the display unit is a bottom side or a direction in which the short side of the display unit is a base side. The information processing system according to any one of claims 1 to 4. 前記方向判別部は、前記表示部の方向が当該表示部の４辺のうちいずれの辺を底辺とする方向であるかを判別することを特徴とする請求項１ないし４のいずれかに記載の情報処理システム。   The said direction discrimination | determination part discriminate | determines whether the direction of the said display part is a direction which makes a base the side among the four sides of the said display part, The Claim 1 thru | or 4 characterized by the above-mentioned. Information processing system. 周辺機器が備える表示部の方向を示す方向情報を受信する受信部と、
前記受信部が受信した方向情報が示す方向に応じた画像を示す画像信号を生成する画像生成部と、
前記画像生成部が生成した画像信号を前記周辺機器に送信する送信部と、
を備えることを特徴とする電子機器。 A receiving unit that receives direction information indicating the direction of the display unit included in the peripheral device;
An image generation unit that generates an image signal indicating an image according to a direction indicated by the direction information received by the reception unit;
A transmission unit that transmits the image signal generated by the image generation unit to the peripheral device;
An electronic device comprising: 電子機器における情報処理方法であって、
周辺機器が備える表示部であって、前記電子機器から受信した画像信号に基づく画像を表示する表示部の方向を示す方向情報を受信する受信過程と、
前記受信過程で生成した方向情報が示す方向に応じた画像を示す画像信号を生成する画像生成過程と、
前記画像生成過程で生成した画像信号を前記周辺機器に送信する送信過程と、
を有することを特徴とする情報処理方法。 An information processing method in an electronic device,
A display unit provided in a peripheral device, and a reception process of receiving direction information indicating a direction of a display unit that displays an image based on an image signal received from the electronic device;
An image generation process for generating an image signal indicating an image corresponding to the direction indicated by the direction information generated in the reception process;
A transmission process of transmitting the image signal generated in the image generation process to the peripheral device;
An information processing method characterized by comprising: 電子機器のコンピュータに
周辺機器が備える表示部であって、前記電子機器から受信した画像信号に基づく画像を表示する表示部の方向を示す方向情報を受信する受信手順、
前記受信手順で受信した方向情報が示す方向に応じた画像を示す画像信号を生成する画像生成手順、
前記画像生成手順で生成した画像信号を前記周辺機器に送信する送信手順、
を実行させるための情報処理プログラム。 A display unit provided in a peripheral device in a computer of an electronic device, wherein the reception procedure receives direction information indicating a direction of a display unit that displays an image based on an image signal received from the electronic device,
An image generation procedure for generating an image signal indicating an image corresponding to the direction indicated by the direction information received in the reception procedure;
A transmission procedure for transmitting the image signal generated in the image generation procedure to the peripheral device;
Information processing program to execute.
JP2012256174A 2012-11-22 2012-11-22 Information processing system, electronic apparatus, information processing method, and information processing program Pending JP2014102795A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012256174A JP2014102795A (en) 2012-11-22 2012-11-22 Information processing system, electronic apparatus, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012256174A JP2014102795A (en) 2012-11-22 2012-11-22 Information processing system, electronic apparatus, information processing method, and information processing program

Publications (1)

Publication Number Publication Date
JP2014102795A true JP2014102795A (en) 2014-06-05

Family

ID=51025223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012256174A Pending JP2014102795A (en) 2012-11-22 2012-11-22 Information processing system, electronic apparatus, information processing method, and information processing program

Country Status (1)

Country Link
JP (1) JP2014102795A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069017A (en) * 2013-09-30 2015-04-13 シャープ株式会社 Display device, source apparatus, and display system
WO2015190002A1 (en) * 2014-06-13 2015-12-17 株式会社 東芝 Electronic apparatus, control method, and program
CN111443883A (en) * 2019-01-17 2020-07-24 精工爱普生株式会社 Control method of display device, display device and display system
CN112422935A (en) * 2019-08-23 2021-02-26 精工爱普生株式会社 Terminal device control method and recording medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069017A (en) * 2013-09-30 2015-04-13 シャープ株式会社 Display device, source apparatus, and display system
WO2015190002A1 (en) * 2014-06-13 2015-12-17 株式会社 東芝 Electronic apparatus, control method, and program
JPWO2015190002A1 (en) * 2014-06-13 2017-06-15 株式会社東芝 Electronic device, control method and program
CN111443883A (en) * 2019-01-17 2020-07-24 精工爱普生株式会社 Control method of display device, display device and display system
JP2020112763A (en) * 2019-01-17 2020-07-27 セイコーエプソン株式会社 Method for controlling display unit, display unit, and display system
US11132768B2 (en) 2019-01-17 2021-09-28 Seiko Epson Corporation Method for controlling display device, display device, and display system
JP6992769B2 (en) 2019-01-17 2022-01-13 セイコーエプソン株式会社 Display control method, display device and display system
CN111443883B (en) * 2019-01-17 2023-05-05 精工爱普生株式会社 Control method of display device, display device and display system
CN112422935A (en) * 2019-08-23 2021-02-26 精工爱普生株式会社 Terminal device control method and recording medium
JP2021033038A (en) * 2019-08-23 2021-03-01 セイコーエプソン株式会社 Control method for terminal device and control program for terminal device

Similar Documents

Publication Publication Date Title
CN111034181B (en) Image capturing apparatus, image display system, and operation method
US9586147B2 (en) Coordinating device interaction to enhance user experience
EP4009159A1 (en) Electronic device for sharing application and control method thereof
JP7005161B2 (en) Electronic devices and their control methods
EP2677741A1 (en) Remote control apparatus and control method thereof
EP2352117A1 (en) Information processing device, information processing method, program, and information processing system
CN108196755B (en) Background picture display method and device
US20160139797A1 (en) Display apparatus and contol method thereof
WO2018137304A1 (en) Method for displaying 2d application in vr device, and terminal
JPWO2019069575A1 (en) Information processing equipment, information processing methods and programs
JP2014102795A (en) Information processing system, electronic apparatus, information processing method, and information processing program
JP2007253648A (en) Input support system and on-vehicle terminal equipment constituting the same system
US10964045B2 (en) Information processing device, information processing method, and individual imaging device for measurement of a size of a subject
WO2017022031A1 (en) Information terminal device
KR102278229B1 (en) Electronic device and its control method
JP2015082148A (en) Mobile terminal, image processing apparatus, and program
JP6034709B2 (en) Terminal device, external display device, and information system including terminal device and external display device
JP7005160B2 (en) Electronic devices and their control methods
CN113467682A (en) Method, device, terminal and storage medium for controlling movement of map covering
JP2012088959A (en) Remote operation system, remote operation method and program
CN111373359A (en) Electronic device capable of changing display portion of image
JP2020108112A (en) Electronic apparatus and method for controlling the same
JP2014215890A (en) Electronic apparatus, information processing method, and information processing program
JP6484914B2 (en) Information processing equipment and operation system
JP6622686B2 (en) Information processing apparatus, information processing apparatus control method, and control program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150515