JP2019175460A - Display controller, display control method, and control program - Google Patents
Display controller, display control method, and control program Download PDFInfo
- Publication number
- JP2019175460A JP2019175460A JP2019061988A JP2019061988A JP2019175460A JP 2019175460 A JP2019175460 A JP 2019175460A JP 2019061988 A JP2019061988 A JP 2019061988A JP 2019061988 A JP2019061988 A JP 2019061988A JP 2019175460 A JP2019175460 A JP 2019175460A
- Authority
- JP
- Japan
- Prior art keywords
- display
- information
- arrangement
- display elements
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本開示は、GUI(Graphical User Interface)に係る画像の表示を制御する技術に関する。 The present disclosure relates to a technique for controlling display of an image related to a GUI (Graphical User Interface).
従来、GUI部品であるラベル等を、画面サイズが小さなディスプレイに表示できない場合に、例えばラベルをスクロール表現する、ラベルのフォントを小さくする等といった表示制御ルールを用いた表示制御によって、そのラベル等をそのディスプレイに表示する情報処理装置が知られている(例えば特許文献1参照)。 Conventionally, when a label or the like as a GUI component cannot be displayed on a display having a small screen size, the label or the like is displayed by display control using a display control rule such as scrolling the label or reducing the font of the label. An information processing apparatus that displays on the display is known (see, for example, Patent Document 1).
従来の表示制御技術では、比較的小さなディスプレイを表示対象とする場合のユーザの操作対象となるGUI画像(つまりGUIとしての画像)の表示において、その画像が必ずしも操作に適した状態で表示されるとは限らない。 In the conventional display control technique, when displaying a GUI image (that is, an image as a GUI) that is a user's operation target when a relatively small display is a display target, the image is always displayed in a state suitable for the operation. Not necessarily.
本開示は、GUI画像を操作に適した状態で表示されるようにする表示制御装置を提供する。また本開示は、その表示制御装置で用いられる表示制御方法、及び、表示制御のためのコンピュータプログラムである制御プログラムを提供する。 The present disclosure provides a display control device that displays a GUI image in a state suitable for operation. The present disclosure also provides a display control method used in the display control device and a control program that is a computer program for display control.
本開示における表示制御装置は、GUI(Graphical User Interface)として用いられる画面に表示されるべき複数の表示要素について規定した表示情報であって複数の表示要素間の包含関係を示す構造情報を含む当該表示情報と、前記複数の表示要素を表示する画面である対象画面の形態を示す画面情報とを取得する取得部と、前記複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するために前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、前記表示情報とに基づいて、前記画面情報が示す前記対象画面の形態に応じて当該対象画面内に前記複数の表示要素が収まり、且つ、前記複数の表示要素のうち前記サイズ制約情報で前記要件が定められた表示要素については前記要件が満たされるように、前記複数の表示要素各々の配置を決定する配置決定処理と前記複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する第1処理部と、前記第1処理部による前記配置決定処理及び前記表示態様決定処理の結果に応じた出力を行う出力部とを備える。 The display control device according to the present disclosure includes display information that defines a plurality of display elements to be displayed on a screen used as a GUI (Graphical User Interface) and includes structure information that indicates an inclusion relationship between the plurality of display elements. An acquisition unit that acquires display information and screen information indicating a form of a target screen that is a screen for displaying the plurality of display elements, and a predetermined arrangement of one or more display elements among the plurality of display elements. Information for determining the arrangement, size constraint information in which requirements regarding the size of each of the display elements of the plurality of display elements in order to ensure operability are predetermined, and the display information The plurality of display elements fits in the target screen according to the form of the target screen indicated by the screen information, and the size of the plurality of display elements For a display element for which the requirement is defined by about information, an arrangement determination process for determining the arrangement of each of the plurality of display elements and a display mode for determining the display mode of each of the plurality of display elements so that the requirement is satisfied. A first processing unit that executes a determination process; and an output unit that performs output according to the results of the placement determination process and the display mode determination process performed by the first processing unit.
また、本開示における表示制御方法は、表示制御装置において用いられる表示制御方法であって、GUI(Graphical User Interface)として用いられる画面に表示されるべき複数の表示要素について規定した表示情報であって複数の表示要素間の包含関係を示す構造情報を含む当該表示情報と、前記複数の表示要素を表示する画面である対象画面の形態を示す画面情報とを取得する取得ステップと、前記複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するために前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、前記表示情報とに基づいて、前記画面情報が示す前記対象画面の形態に応じて当該対象画面内に前記複数の表示要素が収まり、且つ、前記複数の表示要素のうち前記サイズ制約情報で前記要件が定められた表示要素については前記要件が満たされるように、前記複数の表示要素各々の配置を決定する配置決定処理と前記複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する処理ステップと、前記処理ステップでの前記配置決定処理及び前記表示態様決定処理の結果に応じた出力を行う出力ステップとを含む。 The display control method according to the present disclosure is a display control method used in a display control device, and is display information that defines a plurality of display elements to be displayed on a screen used as a GUI (Graphical User Interface). An acquisition step for acquiring the display information including structural information indicating an inclusion relationship between a plurality of display elements, and screen information indicating a form of a target screen that is a screen for displaying the plurality of display elements, and the plurality of displays Predetermined information for determining the arrangement of one or more display elements among the elements, and a requirement regarding the size of each of the display elements of the one or more display elements in order to ensure operability. Based on the predetermined size constraint information and the display information, the target screen includes the target screen according to the form of the target screen. The arrangement of each of the plurality of display elements is determined so that the number of display elements can be accommodated and the requirement is satisfied for the display elements for which the requirement is defined by the size constraint information among the plurality of display elements. A processing step for executing a layout determination process and a display mode determination process for determining the display mode of each of the plurality of display elements, and an output corresponding to the results of the layout determination process and the display mode determination process in the processing step Output step to be performed.
また、本開示における制御プログラムは、マイクロプロセッサを備える表示制御装置に、表示制御処理を実行させるための制御プログラムであって、前記表示制御処理は、GUI(Graphical User Interface)として用いられる画面に表示されるべき複数の表示要素について規定した表示情報であって複数の表示要素間の包含関係を示す構造情報を含む当該表示情報と、前記複数の表示要素を表示する画面である対象画面の形態を示す画面情報とを取得する取得ステップと、前記複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するために前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、前記表示情報とに基づいて、前記画面情報が示す前記対象画面の形態に応じて当該対象画面内に前記複数の表示要素が収まり、且つ、前記複数の表示要素のうち前記サイズ制約情報で前記要件が定められた表示要素については前記要件が満たされるように、前記複数の表示要素各々の配置を決定する配置決定処理と前記複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する処理ステップと、前記処理ステップでの前記配置決定処理及び前記表示態様決定処理の結果に応じた出力を行う出力ステップとを含む。 The control program in the present disclosure is a control program for causing a display control device including a microprocessor to execute display control processing, and the display control processing is displayed on a screen used as a GUI (Graphical User Interface). Display information that is defined for a plurality of display elements to be performed and includes display information including structure information indicating an inclusion relationship between the plurality of display elements, and a form of a target screen that is a screen for displaying the plurality of display elements An acquisition step for acquiring screen information to be displayed; information for determining a predetermined arrangement for the arrangement of one or more display elements among the plurality of display elements; and a plurality of display elements for ensuring operability. Based on the size constraint information in which the requirements regarding the size in the display mode of each of the one or more display elements are predetermined, and the display information Regarding the display element in which the plurality of display elements are accommodated in the target screen according to the form of the target screen indicated by the screen information, and the requirement is defined by the size constraint information among the plurality of display elements. A processing step for executing an arrangement determining process for determining an arrangement of each of the plurality of display elements and a display mode determining process for determining a display mode of each of the plurality of display elements so that the requirement is satisfied; And an output step of performing output in accordance with the result of the arrangement determination process and the display mode determination process.
本開示における表示制御装置、表示制御方法又は制御プログラムによれば、GUIの画像がユーザの操作に適した状態(つまりユーザの操作性を確保した状態)で表示される。 According to the display control device, the display control method, or the control program in the present disclosure, the GUI image is displayed in a state suitable for a user operation (that is, a state in which user operability is ensured).
表示対象のディスプレイのサイズ等に応じてGUIの画像をユーザの操作に適した状態で表示すべく、本開示における表示制御装置は、GUI(Graphical User Interface)として用いられる画面に表示されるべき複数の表示要素について規定した表示情報であって複数の表示要素間の包含関係を示す構造情報を含む当該表示情報と、前記複数の表示要素を表示する画面である対象画面の形態を示す画面情報とを取得する取得部と、前記複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するために前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、前記表示情報とに基づいて、前記画面情報が示す前記対象画面の形態に応じて当該対象画面内に前記複数の表示要素が収まり、且つ、前記複数の表示要素のうち前記サイズ制約情報で前記要件が定められた表示要素については前記要件が満たされるように、前記複数の表示要素各々の配置を決定する配置決定処理と前記複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する第1処理部と、前記第1処理部による前記配置決定処理及び前記表示態様決定処理の結果に応じた出力を行う出力部とを備える。 In order to display a GUI image in a state suitable for a user operation according to the size of a display to be displayed, a display control device according to the present disclosure has a plurality of items to be displayed on a screen used as a GUI (Graphical User Interface). Display information stipulated with respect to the display elements, including the display information including structure information indicating an inclusion relationship between the plurality of display elements, and screen information indicating a form of a target screen that is a screen for displaying the plurality of display elements; An acquisition unit for acquiring the information, predetermined arrangement determination information about the arrangement of one or more display elements among the plurality of display elements, and one or more of the plurality of display elements to ensure operability The form of the target screen indicated by the screen information based on the size constraint information in which the requirements regarding the size in the display mode of each display element are predetermined and the display information Accordingly, the plurality of display elements are accommodated in the target screen, and the plurality of display elements are set such that the requirements are satisfied for the display elements for which the requirements are defined by the size constraint information. A first processing unit that executes a layout determination process for determining a layout of each display element and a display mode determination process for determining a display mode of each of the plurality of display elements; the layout determination process by the first processing unit; and An output unit that performs output according to the result of the display mode determination process.
これにより、GUIとして用いられる画面のサイズがたとえ比較的小さいものであっても、画面情報、サイズ制約情報等の参照により、GUIの画像を構成する各表示要素の適切な配置等が決定されるので、GUIの画像がユーザの操作に適した状態、つまりユーザの操作性を確保した状態で表示されるようになる。 As a result, even if the size of the screen used as the GUI is relatively small, an appropriate arrangement or the like of each display element constituting the GUI image is determined by referring to the screen information, size constraint information, and the like. Therefore, the GUI image is displayed in a state suitable for the user's operation, that is, in a state where the user's operability is ensured.
ここで、例えば、前記構造情報は、前記複数の表示要素それぞれを複数階層の木構造における各ノードに対応付けて表現され、最大の表示領域を有する表示要素を最上位のルートノードに対応付け、相対的に上位のノードに対応する表示要素の表示領域に包含されるべき1つ又は複数の表示要素に対応するノードを当該上位のノードの配下に配置した情報であり、前記第1処理部は、前記表示情報に基づいて前記サイズ制約情報で定められた前記要件を満たすように前記複数の表示要素について一旦配置を決定する暫定配置処理を実行し且つ前記表示態様決定処理を実行した結果として、前記複数の表示要素のうちの1つ以上の各表示要素について、当該表示要素が前記対象画面内に収まらない場合には当該表示要素が前記対象画面内に収まるように、当該表示要素が前記木構造における当該表示要素に対応するノードの上位のノードに係る表示領域内に収まらない場合には当該表示要素が当該表示領域内に収まるように、前記配置決定処理を実行することとしてもよい。 Here, for example, the structure information is expressed by associating each of the plurality of display elements with each node in a tree structure of a plurality of hierarchies, and associating the display element having the largest display area with the highest root node, It is information in which nodes corresponding to one or more display elements to be included in a display area of a display element corresponding to a relatively higher node are arranged under the higher node, and the first processing unit is As a result of executing the provisional arrangement process for temporarily determining the arrangement for the plurality of display elements so as to satisfy the requirement defined in the size constraint information based on the display information and executing the display mode determination process. For one or more display elements of the plurality of display elements, if the display element does not fit within the target screen, the display element fits within the target screen. As described above, when the display element does not fit in the display area related to the node higher than the node corresponding to the display element in the tree structure, the placement determination process is performed so that the display element fits in the display area. It is good also as performing.
これにより、既存の配置技術等によってはGUI画像を構成する各表示要素が収められるべき領域に収まらないような場合に対応できるようになり、ユーザの操作性を確保するようにGUI画像の各表示要素の配置等を適切に決定し得る。 As a result, it becomes possible to cope with the case where each display element constituting the GUI image does not fit in the area to be accommodated depending on the existing arrangement technology, etc., and each display of the GUI image so as to ensure the operability of the user. The arrangement of elements can be appropriately determined.
また、例えば、前記第1処理部は、前記複数の表示要素について一旦配置を決定し且つ前記表示態様決定処理を実行した結果として前記複数の表示要素のうちの1つの表示要素が、前記対象画面内に収まらない場合又は前記構造情報の前記木構造における当該1つの表示要素に対応するノードの上位のノードに係る表示領域内に収まらない場合には、前記配置決定処理として、当該1つの表示要素に対応する前記木構造におけるノードの1階層上位のノードの直下の各ノードに対応する表示要素間の相対的な配置の変更を行うこととしてもよい。 In addition, for example, the first processing unit once determines the arrangement of the plurality of display elements and executes the display mode determination process, so that one display element of the plurality of display elements is the target screen. If it does not fit within the display area, or if it does not fit within the display area of the node corresponding to the one display element in the tree structure of the structure information, the one display element It is also possible to change the relative arrangement between the display elements corresponding to the nodes immediately below the node that is one level higher than the node in the tree structure corresponding to.
これにより、ある表示領域に収められるべき複数の表示要素間の相対的な配置の調整がなされるので、適切なGUI画像の形成が可能となる。 As a result, the relative arrangement of the plurality of display elements that should be accommodated in a certain display area is adjusted, so that an appropriate GUI image can be formed.
また、例えば、前記配置決定用情報は、前記暫定配置処理で決定するための前記複数の表示要素各々の配置を示す第1配置情報と、前記構造情報の前記木構造における1つのノードの直下の各ノードに対応する各表示要素について第1配置情報が示す配置と異なる配置を示す第2配置情報とを含み、前記第1処理部は、前記第1配置情報に従って前記暫定配置処理を実行し、前記第2配置情報に従って前記配置決定処理を実行することとしてもよい。 Further, for example, the placement determination information includes first placement information indicating the placement of each of the plurality of display elements to be determined in the provisional placement processing, and immediately below one node in the tree structure of the structure information. Each of the display elements corresponding to each node includes second arrangement information indicating a different arrangement from the arrangement indicated by the first arrangement information, and the first processing unit executes the provisional arrangement processing according to the first arrangement information, The arrangement determination process may be executed according to the second arrangement information.
これにより、GUIとして用いられる画面のサイズが多様であることを想定してデザイナー等が予め用意した第1配置情報とその代替用の第2配置情報とが活用されるので、対象画面に応じて適切な配置にした複数の表示要素で構成されるGUI画像の提供が、可能となる。 As a result, the first arrangement information prepared in advance by a designer or the like and the second arrangement information for replacement thereof are used based on the assumption that there are various sizes of screens used as a GUI. It is possible to provide a GUI image composed of a plurality of display elements arranged appropriately.
また、例えば、前記配置決定用情報は、前記複数の表示要素の全部又は一部についての相対的な配置に関する要件が予め定められた配置制約情報を含み、前記第1処理部は、前記配置制約情報で定められた前記要件を満たすように前記暫定配置処理及び前記配置決定処理を実行することとしてもよい。 In addition, for example, the arrangement determination information includes arrangement constraint information in which requirements regarding relative arrangement of all or some of the plurality of display elements are determined in advance, and the first processing unit includes the arrangement constraint information The provisional arrangement process and the arrangement determination process may be executed so as to satisfy the requirement defined by the information.
これにより、複数の表示要素間において操作性を高める上で適切な相対配置(つまり相対位置)等が存在する場合(例えば実行ボタンと停止ボタン等といった機能的に密接に関連した複数のボタン同士を近接して配置すべき場合等)にその相対配置等に係る配置制約情報を定めて活用するので、対象画面のサイズがたとえ小さくても、操作性を確保したGUI画像の提供が可能になる。 As a result, when there is an appropriate relative arrangement (that is, relative position) for improving operability among a plurality of display elements (for example, a plurality of buttons that are functionally closely related such as an execution button and a stop button) Since the arrangement constraint information related to the relative arrangement and the like is determined and used in the case where the objects should be arranged close to each other, it is possible to provide a GUI image that ensures operability even if the size of the target screen is small.
また、例えば、前記第1処理部は、前記複数の表示要素について一旦配置を決定し且つ前記表示態様決定処理を実行した結果として前記複数の表示要素のうちの1つの表示要素が、前記対象画面内に収まらない場合又は前記構造情報の前記木構造における当該1つの表示要素に対応するノードの上位のノードに係る表示領域内に収まらない場合には、当該1つの表示要素に対応する前記木構造におけるノードの1階層上位のノードの直下の全てのノードに対応する表示要素を収めるべき表示領域の幅及び高さを特定し、当該特定の結果に基づいて当該表示領域に収めるべき前記表示要素を収めるように、前記配置決定処理を実行することとしてもよい。 In addition, for example, the first processing unit once determines the arrangement of the plurality of display elements and executes the display mode determination process, so that one display element of the plurality of display elements is the target screen. The tree structure corresponding to the one display element if it does not fit within the display area of the node corresponding to the one display element in the tree structure of the structure information. The width and height of the display area in which the display elements corresponding to all the nodes immediately below the node one level higher in the node are to be stored are identified, and the display elements to be stored in the display area are determined based on the specific result. It is good also as performing the said arrangement | positioning determination process so that it may accommodate.
これにより、表示要素が収めるべき領域に収まらないと判定した際に明らかとなっているはずのその領域の幅及び高さの情報を活用して、再び表示要素の配置の決定を行うので、効率的に適切な配置の決定を行うことが可能となる。 This makes it possible to use the information on the width and height of the area that should be clear when it is determined that the display element does not fit in the area to be contained, and to determine the arrangement of the display element again. It is possible to determine an appropriate arrangement.
また、例えば、前記第1処理部は、前記複数の表示要素について一旦配置を決定し且つ前記表示態様決定処理を実行した結果として前記複数の表示要素のうちの1つの表示要素が、前記対象画面内に収まらない場合又は前記構造情報の前記木構造における当該1つの表示要素に対応するノードの上位のノードに係る表示領域内に収まらない場合において、当該1つの表示要素に対応する前記木構造におけるノードの1階層上位のノードの直下の2つ以上のノードに対応する各表示要素が行列状に配置されているときには、当該行列状に配置されている各表示要素を収めるべき表示領域の幅及び高さを特定し、当該特定の結果に基づいて当該表示領域に収めるべき前記各表示要素を収めるように前記行列状の配置における行数及び列数を変更することで、前記配置決定処理を実行することとしてもよい。 In addition, for example, the first processing unit once determines the arrangement of the plurality of display elements and executes the display mode determination process, so that one display element of the plurality of display elements is the target screen. In the tree structure corresponding to the one display element in the case where it does not fit in the display area related to the node higher than the node corresponding to the one display element in the tree structure of the structure information When each display element corresponding to two or more nodes immediately below a node one level higher than the node is arranged in a matrix, the width of the display area in which each display element arranged in the matrix is to be stored; The height is specified, and the number of rows and the number of columns in the matrix-like arrangement is changed so that the display elements to be stored in the display area are stored based on the specific result. It is, may execute the layout determination processing.
これにより、行列状に配置している表示要素についての行数及び列数の変更で、操作性を適切に維持して、各表示要素の適切な配置を実現することができるようになる。 Thus, by appropriately changing the number of rows and the number of columns for the display elements arranged in a matrix, it is possible to appropriately maintain the operability and realize an appropriate arrangement of the display elements.
また、例えば、前記サイズ制約情報は、前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する前記要件として、当該各表示要素の最小サイズを定めた情報であり、前記第1処理部は、前記表示態様決定処理を、少なくとも前記配置決定処理の実行後に実行し、前記第1処理部は、前記配置決定処理の実行後に実行される前記表示態様決定処理では、前記複数の表示要素のうち前記サイズ制約情報で最小サイズを前記要件として定められた表示要素については、前記構造情報の前記木構造における当該表示要素に対応するノードの上位のノードに係る表示領域内に当該表示要素が収まる範囲で、当該最小サイズより大きなサイズで表示できる場合には当該大きなサイズとなるように当該表示要素の表示態様を決定し、前記構造情報の前記木構造における当該表示要素に対応するノードの上位のノードに係る表示領域内に当該表示要素が収まる範囲で当該最小サイズより大きなサイズで表示できない場合には当該最小サイズとなるように当該表示要素の表示態様を決定することとしてもよい。 Further, for example, the size constraint information is information that defines a minimum size of each display element as the requirement regarding the size in the display mode of each of one or more display elements among the plurality of display elements. The processing unit executes the display mode determination process at least after execution of the arrangement determination process, and the first processing unit executes the plurality of displays in the display mode determination process executed after execution of the arrangement determination process. For display elements whose minimum size is defined as the requirement in the size constraint information among the elements, the display element is included in a display area related to a node above the node corresponding to the display element in the tree structure of the structure information. If it can be displayed in a size larger than the minimum size within the range that fits, the display mode of the display element is determined to be the large size If the display element cannot be displayed in a size larger than the minimum size within the display area related to the node above the node corresponding to the display element in the tree structure of the structure information, the minimum size is set. In this way, the display mode of the display element may be determined.
これにより、GUI画像を構成する表示要素の配置を変更した後においてその配置で操作し易いサイズとなるようにサイズの調整をするので、操作性の高いGUI画像の提供が可能となる。 Thereby, after changing the arrangement of the display elements constituting the GUI image, the size is adjusted so that the size can be easily operated by the arrangement, so that a GUI image with high operability can be provided.
また、例えば、前記第1処理部は、前記配置決定処理の実行後に実行される前記表示態様決定処理では、前記複数の表示要素のうち前記サイズ制約情報で最小サイズを前記要件として定められた表示要素については、前記構造情報の前記木構造における当該表示要素に対応するノードの上位のノードに係る表示領域内に当該表示要素が収まる範囲で、当該最小サイズより大きなサイズで表示できる場合には、最大のサイズとなるように当該表示要素の表示態様を決定することとしてもよい。 In addition, for example, in the display mode determination process executed after execution of the arrangement determination process, the first processing unit displays a minimum size defined as the requirement in the size constraint information among the plurality of display elements. For the element, if the display element can be displayed in a size larger than the minimum size within the display area related to the display area related to the node higher than the node corresponding to the display element in the tree structure of the structure information, It is good also as determining the display mode of the said display element so that it may become the maximum size.
一般的にGUIボタンは小さいより大きい方が操作し易いので、これにより、十分に操作性の高いGUI画像の提供が可能となる。 In general, the GUI button is easier to operate when it is larger than the smaller one, so that it is possible to provide a GUI image with sufficiently high operability.
また、例えば、前記表示情報は、前記複数の表示要素のうち1以上の表示要素各々の表示態様を指定する表示態様情報を含み、前記第1処理部は、前記複数の表示要素のうち前記表示態様情報で表示態様が指定された表示要素については当該指定に従うように、前記暫定配置処理を実行し且つ前記表示態様決定処理を実行することとしてもよい。 Further, for example, the display information includes display mode information that specifies a display mode of each of one or more display elements among the plurality of display elements, and the first processing unit includes the display information among the plurality of display elements. For the display element whose display mode is specified by the mode information, the provisional arrangement process may be executed and the display mode determination process may be executed so as to comply with the specification.
これにより、GUI画像を構成する表示要素についての表示態様が指定されている場合において、まずその指定に従った配置を試み、それで十分でなかった場合に改めて配置変更等を行うこととなるので、対象画面のサイズ等に基づく配置変更の必要性に応じて、効率的に、配置決定を行うことが可能となる。 Thereby, in the case where the display mode for the display elements constituting the GUI image is designated, the placement according to the designation is first tried, and if that is not sufficient, the placement change is performed again. It is possible to efficiently determine the arrangement according to the necessity of the arrangement change based on the size of the target screen.
また、例えば、前記第1処理部は、前記暫定配置処理及び前記表示態様決定処理を実行した結果として、前記複数の表示要素のうちの1つ以上の各表示要素について、当該表示要素が前記対象画面内に収まらない場合又は当該表示要素が前記木構造における当該表示要素に対応するノードの上位のノードに係る表示領域内に収まらない場合には、当該表示要素に関する情報を前記出力部に出力させ、更に当該表示要素に関する情報の出力後に、当該表示要素の配置に係る入力情報を取得して当該入力情報に基づいて前記配置決定処理を実行することとしてもよい。 Further, for example, as a result of executing the provisional arrangement process and the display mode determination process, the first processing unit is configured such that the display element is the target for one or more display elements of the plurality of display elements. If the display element does not fit in the screen, or if the display element does not fit in the display area related to the node higher than the node corresponding to the display element in the tree structure, the output unit outputs information on the display element. Further, after the output of the information about the display element, input information related to the arrangement of the display element may be acquired and the arrangement determination process may be executed based on the input information.
これにより、表示制御装置において人間による配置の指示に係る入力の受け付けが可能となり、その指示に応じて、操作性を確保した適切な配置及び表示態様の表示要素で構成されるGUI画像が対象画面に表示されるようになる。 Accordingly, the display control apparatus can accept an input related to an arrangement instruction by a human, and a GUI image configured with display elements having an appropriate arrangement and display mode in which operability is ensured according to the instruction. Will be displayed.
また、例えば、前記出力部は、前記第1処理部による前記配置決定処理及び前記表示態様決定処理の結果に応じた配置及び表示態様で、前記複数の表示要素それぞれを前記対象画面に表示することで、前記出力を行うこととしてもよい。 Further, for example, the output unit displays each of the plurality of display elements on the target screen in an arrangement and a display mode according to the result of the arrangement determination process and the display mode determination process by the first processing unit. Then, the output may be performed.
これにより、操作性を確保した適切な配置及び表示態様の表示要素で構成されるGUI画像が対象画面に表示されるようになる。 As a result, a GUI image composed of display elements having an appropriate arrangement and display mode ensuring operability is displayed on the target screen.
また、例えば、前記出力部は、前記複数の表示要素それぞれを前記対象画面に表示するために、前記第1処理部による前記配置決定処理及び前記表示態様決定処理の結果に応じて前記各表示要素の配置及び表示態様を定めた表示制御情報を前記表示制御装置の外部に送信することで、前記出力を行うこととしてもよい。 In addition, for example, the output unit displays each of the plurality of display elements according to a result of the arrangement determination process and the display mode determination process by the first processing unit in order to display each of the plurality of display elements on the target screen. The output may be performed by transmitting display control information that defines the arrangement and display mode to the outside of the display control device.
これにより、表示制御装置は、対象画面にGUI画像を表示する外部装置(例えばユーザが操作する端末装置)に対して提供するための表示制御情報を、送信により出力する。このため、その外部装置は表示制御情報を参照することで、操作性を確保した適切なGUI画像を対象画面に表示できるようになる。 Thereby, the display control device outputs display control information to be provided to an external device (for example, a terminal device operated by the user) that displays a GUI image on the target screen by transmission. For this reason, the external device can display an appropriate GUI image ensuring operability on the target screen by referring to the display control information.
また、本開示における表示制御装置は、さらに、前記配置決定処理及び前記表示態様決定処理を実行する前に、前記取得部で取得した前記表示情報に規定された前記複数の表示要素を分析して前記複数の表示要素各々の特徴を特定し、特定した前記各々の特徴に応じて前記複数の表示要素のサイズを拡大する拡大限界サイズ及びサイズを拡大するための方針を決定し、決定した前記拡大限界サイズ及び前記方針に基づいて前記複数の表示要素各々のサイズを拡大する第2処理部を備えることとしてもよい。 In addition, the display control apparatus according to the present disclosure further analyzes the plurality of display elements defined in the display information acquired by the acquisition unit before executing the arrangement determination process and the display mode determination process. The feature of each of the plurality of display elements is specified, and the enlargement limit size for expanding the size of the plurality of display elements according to each specified feature and the policy for expanding the size are determined, and the determined enlargement A second processing unit that enlarges the size of each of the plurality of display elements based on the limit size and the policy may be provided.
例えば、GUI画像を拡大させて表示する場合、単にGUI画像を拡大しただけでは、全体的にGUI画像が大きくなるだけであり、GUI画像が間延びするように見えてしまう。ここで、GUI画像を構成する複数の表示要素において、表示要素のサイズを大きく拡大する必要のあるものと、表示要素のサイズをあまり拡大する必要のないものとがある。GUI画像が間延びして見えないために、1つずつの表示要素ごとに予め表示態様を決定しておけばよいが、全ての表示要素ごとに表示態様を決定しなければならず、処理が煩雑になる。また、GUI画像が想定外のサイズ変更をされる場合に、適切に対応できなくなる場合がある。 For example, when a GUI image is enlarged and displayed, simply enlarging the GUI image only enlarges the GUI image as a whole, and the GUI image appears to be extended. Here, among a plurality of display elements constituting a GUI image, there are a display element that needs to be greatly enlarged and a display element that does not need to be enlarged so much. Since the GUI image is extended and cannot be seen, it is sufficient to determine the display mode for each display element in advance. However, the display mode must be determined for each display element, and the processing is complicated. become. In addition, when the GUI image is unexpectedly resized, it may not be able to respond appropriately.
そこで、本開示の表示制御装置では、複数の表示要素の特徴を特定することで、各々の表示要素の特徴に応じて、表示要素のサイズを自動的に拡大することができる。このため、GUI画像とはサイズ(画像の幅及び高さ)及びアスペクト比が異なるディスプレイに対して、所定の表示基準等を満たしたGUI画像をディスプレイに表示させることができる。 Therefore, in the display control device according to the present disclosure, by specifying the characteristics of a plurality of display elements, the size of the display elements can be automatically enlarged according to the characteristics of each display element. For this reason, a GUI image satisfying a predetermined display standard or the like can be displayed on a display different in size (width and height of the image) and aspect ratio from the GUI image.
また、例えば、前記拡大限界サイズは、前記複数の表示要素各々のサイズを拡大する前の各々のサイズを基準として、前記複数の表示要素各々に対応する当該各々のサイズ以上、かつ、前記画面情報が示す前記対象画面のサイズ以下であることとしてもよい。 In addition, for example, the enlargement limit size is equal to or larger than each size corresponding to each of the plurality of display elements with respect to each size before enlarging the size of each of the plurality of display elements, and the screen information It is good also as being below the size of the above-mentioned object screen which shows.
これにより、複数の表示要素のうちの一部の表示要素が大きくなり過ぎたり、大きくなり過ぎた表示要素によって複数の表示要素のうちの一部の表示要素が小さくなり過ぎたりするといったことが抑制される。このため、ユーザに対してGUI画像の一定の視認性及び操作性を確保した適切なGUI画像を対象画面に表示できるようになる。 As a result, some display elements of the plurality of display elements are prevented from becoming too large, or some display elements of the plurality of display elements from becoming too small due to the display elements that have become too large. Is done. For this reason, it becomes possible to display on the target screen an appropriate GUI image that ensures a certain visibility and operability of the GUI image for the user.
また、例えば、前記方針には、前記複数の表示要素各々の表示態様のサイズのアスペクト比を維持しながら前記複数の表示要素のサイズを拡大すること、前記複数の表示要素各々の表示態様のサイズのアスペクト比を維持せずに前記複数の表示要素のサイズを拡大すること、前記複数の表示要素各々の表示態様のサイズのアスペクト比を維持せずに当該各々の表示態様を特定方向にだけ拡大することの少なくともいずれかが含まれることとしてもよい。 Further, for example, in the policy, the size of the plurality of display elements is enlarged while maintaining the aspect ratio of the display mode size of each of the plurality of display elements, and the size of the display mode of each of the plurality of display elements. Expanding the size of the plurality of display elements without maintaining the aspect ratio of the display element, and expanding each display mode only in a specific direction without maintaining the aspect ratio of the size of the display mode of each of the plurality of display elements. It is good also as at least any of doing is included.
これにより、決定された方針、つまり表示要素の表示態様に応じて、表示態様が拡大されたGUI画像が対象画面に表示されるようになる。 Thereby, the GUI image in which the display mode is enlarged is displayed on the target screen in accordance with the determined policy, that is, the display mode of the display element.
また、例えば、前記第2処理部は、少なくとも、前記複数の表示要素が操作対象となる機能を有しているかどうかによって、前記複数の表示要素を分析して前記複数の表示要素各々の特徴を特定することとしてもよい。 In addition, for example, the second processing unit analyzes the plurality of display elements according to whether or not the plurality of display elements have a function to be operated, and determines the characteristics of the plurality of display elements. It may be specified.
これにより、表示要素を特定するための分析が簡易になるため、第2処理部は、表示要素の特徴を容易に特定することができる。 Thereby, since the analysis for specifying a display element becomes easy, the 2nd process part can specify the characteristic of a display element easily.
また、例えば、前記第2処理部は、さらに、前記複数の表示要素における、大きさ、及び、形状に基づいて、前記複数の表示要素を分析して前記複数の表示要素各々の特徴を特定することとしてもよい。 Further, for example, the second processing unit further analyzes the plurality of display elements based on the size and shape of the plurality of display elements, and identifies the characteristics of the plurality of display elements. It is good as well.
これにより、第2処理部は、表示要素における大きさ、及び、形状といった態様に応じて、表示要素を特定することができる。 Thereby, the 2nd processing part can specify a display element according to modes, such as a size in a display element, and a shape.
また、本開示における表示制御方法は、表示制御装置において用いられる表示制御方法であって、GUI(Graphical User Interface)として用いられる画面に表示されるべき複数の表示要素について規定した表示情報であって複数の表示要素間の包含関係を示す構造情報を含む当該表示情報と、前記複数の表示要素を表示する画面である対象画面の形態を示す画面情報とを取得する取得ステップと、前記複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するために前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、前記表示情報とに基づいて、前記画面情報が示す前記対象画面の形態に応じて当該対象画面内に前記複数の表示要素が収まり、且つ、前記複数の表示要素のうち前記サイズ制約情報で前記要件が定められた表示要素については前記要件が満たされるように、前記複数の表示要素各々の配置を決定する配置決定処理と前記複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する処理ステップと、前記処理ステップでの前記配置決定処理及び前記表示態様決定処理の結果に応じた出力を行う出力ステップとを含む。 The display control method according to the present disclosure is a display control method used in a display control device, and is display information that defines a plurality of display elements to be displayed on a screen used as a GUI (Graphical User Interface). An acquisition step for acquiring the display information including structural information indicating an inclusion relationship between a plurality of display elements, and screen information indicating a form of a target screen that is a screen for displaying the plurality of display elements, and the plurality of displays Predetermined information for determining the arrangement of one or more display elements among the elements, and a requirement regarding the size of each of the display elements of the one or more display elements in order to ensure operability. Based on the predetermined size constraint information and the display information, the target screen includes the target screen according to the form of the target screen. The arrangement of each of the plurality of display elements is determined so that the number of display elements can be accommodated and the requirement is satisfied for the display elements for which the requirement is defined by the size constraint information among the plurality of display elements. A processing step for executing a layout determination process and a display mode determination process for determining the display mode of each of the plurality of display elements, and an output corresponding to the results of the layout determination process and the display mode determination process in the processing step Output step to be performed.
これにより、GUIとして用いられる画面のサイズがたとえ比較的小さいものであっても、画面情報、サイズ制約情報等の参照により、GUIの画像を構成する各表示要素の適切な配置等が決定されるので、GUIの画像がユーザの操作に適した状態、つまりユーザの操作性を確保した状態で表示されるようになる。 As a result, even if the size of the screen used as the GUI is relatively small, an appropriate arrangement or the like of each display element constituting the GUI image is determined by referring to the screen information, size constraint information, and the like. Therefore, the GUI image is displayed in a state suitable for the user's operation, that is, in a state where the user's operability is ensured.
また、本開示における制御プログラムは、マイクロプロセッサを備える表示制御装置に、表示制御処理を実行させるための制御プログラムであって、前記表示制御処理は、GUI(Graphical User Interface)として用いられる画面に表示されるべき複数の表示要素について規定した表示情報であって複数の表示要素間の包含関係を示す構造情報を含む当該表示情報と、前記複数の表示要素を表示する画面である対象画面の形態を示す画面情報とを取得する取得ステップと、前記複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するために前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、前記表示情報とに基づいて、前記画面情報が示す前記対象画面の形態に応じて当該対象画面内に前記複数の表示要素が収まり、且つ、前記複数の表示要素のうち前記サイズ制約情報で前記要件が定められた表示要素については前記要件が満たされるように、前記複数の表示要素各々の配置を決定する配置決定処理と前記複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する処理ステップと、前記処理ステップでの前記配置決定処理及び前記表示態様決定処理の結果に応じた出力を行う出力ステップとを含む。 The control program in the present disclosure is a control program for causing a display control device including a microprocessor to execute display control processing, and the display control processing is displayed on a screen used as a GUI (Graphical User Interface). Display information that is defined for a plurality of display elements to be performed and includes display information including structure information indicating an inclusion relationship between the plurality of display elements, and a form of a target screen that is a screen for displaying the plurality of display elements An acquisition step for acquiring screen information to be displayed; information for determining a predetermined arrangement for the arrangement of one or more display elements among the plurality of display elements; and a plurality of display elements for ensuring operability. Based on the size constraint information in which the requirements regarding the size in the display mode of each of the one or more display elements are predetermined, and the display information Regarding the display element in which the plurality of display elements are accommodated in the target screen according to the form of the target screen indicated by the screen information, and the requirement is defined by the size constraint information among the plurality of display elements. A processing step for executing an arrangement determining process for determining an arrangement of each of the plurality of display elements and a display mode determining process for determining a display mode of each of the plurality of display elements so that the requirement is satisfied; And an output step of performing output in accordance with the result of the arrangement determination process and the display mode determination process.
この制御プログラムを、プロセッサ(マイクロプロセッサ)を備える表示制御装置(コンピュータ等)にインストールすれば、その表示制御装置は、操作性を確保したGUIを対象画面に表示するための処理を実行することが可能となり得る。従って、この制御プログラムにより、ユーザの操作に適したGUIの提供が可能となり得る。 If this control program is installed in a display control device (computer or the like) including a processor (microprocessor), the display control device may execute a process for displaying a GUI with secured operability on the target screen. Could be possible. Therefore, this control program can provide a GUI suitable for the user's operation.
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の1つ又は複数の組合せが含まれる。 These comprehensive or specific various aspects include one or more combinations of an apparatus, a system, a method, an integrated circuit, a computer program, a computer-readable recording medium, and the like.
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.
なお、発明者は、当業者が本開示を十分に理解するために図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。即ち、以下の具体例を用いた説明で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、工程或いは処理のステップ及びステップの順序等は、一例であって、特許請求の範囲に記載の主題を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。 The inventor provides drawings and the following description for those skilled in the art to fully understand the present disclosure, and is not intended to limit the subject matter described in the claims. . That is, the numerical values, shapes, constituent elements, arrangement and connection forms of constituent elements, and steps or order of steps, etc. shown in the description using the following specific examples are examples, and It is not intended to limit the subject matter described in the scope. Among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims can be arbitrarily added. Each figure is a mimetic diagram and is not necessarily illustrated strictly.
(実施の形態1)
本実施の形態では、表示制御装置を含むシステムの一例として、表示制御装置100及びサーバ装置200を備える表示制御システムについて、図面を用いて説明する。
(Embodiment 1)
In this embodiment, as an example of a system including a display control device, a display control system including the
[1−1.表示制御システムの構成]
図1は、表示制御システムの構成図である。この表示制御システムは、通信路201により通信する表示制御装置100及びサーバ装置200を備える。通信路201は、有線又は無線での通信のための通信網等である。なお、同図ではサーバ装置200を1台示しているが、表示制御装置100の通信相手となるサーバ装置200は、相互に離間して複数台存在してもよい。
[1-1. Configuration of display control system]
FIG. 1 is a configuration diagram of a display control system. The display control system includes a
表示制御装置100は、サーバ装置200から取得した表示情報に基づいてGUI画像(つまりGUIとしての画像)をディスプレイに表示するGUI画像表示機能を有し、ユーザの操作を受け付けて操作に応じて各種の情報処理(例えば検索処理、表示内容の切り替え処理、計算処理等)を実行する装置である。表示制御装置100は、例えばユーザの操作に応じた情報をサーバ装置200に送信することで、サーバ装置200から新たな表示情報を取得してその表示情報に基づいて新たなGUI画像を表示してもよい。表示情報は、GUI画像を規定した情報、つまり、GUIとして用いられる画面に表示されるべき複数の表示要素について規定した情報である。GUI画像は、ウェブページであってもよい。表示情報については後に詳しく説明する。ディスプレイ面に表示されることとなるGUI画像は、複数の表示要素を含む。複数の表示要素には、GUIとしての役割毎に区別された各種のGUI部品と、GUI部品を配置し得る領域とが含まれる。GUI部品には、例えば、ラベル、入力フィールド、ラジオボタン、チェックボックス、リストボックス、コンボボックス、スクロールバー、スクロールボックス、表、リスト、画像、文章、段落、他のGUI部品を収めるための領域等がある。なお、画像は、例えば静止画でも動画でもよく、文字、図形等を含んでもよい。また、表示要素は、写真、文字、図形等のいかなる視覚的情報であってもよい。
The
表示制御装置100は、図1に示すように、プロセッサ(マイクロプロセッサ)101、メモリ102、通信I/F(Interface)103、及び、ユーザI/F104を備えるコンピュータで構成される。表示制御装置100は、例えば、テレビ(television)放送等の放送受信機、デスクトップコンピュータ、ATM(Automated Teller Machine)等の据え置き型の装置であっても、例えばタブレット、スマートフォン等の携帯性を有する装置であってもよい。
As illustrated in FIG. 1, the
メモリ102は、ROM(Read Only Memory)、RAM(Random Access Memory)等であり、プロセッサ101により実行される各種プログラム(例えば表示制御処理のための制御プログラム等のコンピュータプログラム)及び各種情報(つまり各種データ)を記憶することができる。表示制御装置100は、メモリ102に格納された表示制御処理のための制御プログラムをプロセッサ101で実行することで表示制御方法を実現する。制御プログラムは、例えば、アプリ(application program)であっても、OS(Operating System)の一部であってもよい。例えばプロセッサ101が、制御プログラムに従って動作することにより、表示制御装置100は、GUI画像の表示に係る表示制御方法を用いたGUI画像表示機能を実現することになる。なお、コンピュータプログラムは、所定の機能を達成するために、プロセッサに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、表示制御装置100は、メモリ102の他に、メモリ102と同様に各種プログラム及び各種データを記録可能なハードディスク等の記録媒体を備えてもよい。
The
通信I/F103は、所定の通信プロトコルに従って通信路201を介してサーバ装置200等といった外部装置と通信するための通信回路等である。通信I/F103を介してプロセッサ101は、サーバ装置200から送信される表示情報を取得可能である。
The communication I /
ユーザI/F104は、プロセッサ101の制御下でユーザに情報を提示する装置或いはユーザ操作を受け付けてプロセッサ101に伝達する装置等であり、例えばGUI画像を表示可能なタッチパネルである。タッチパネルは、GUI画像を表示可能なディスプレイと、そのディスプレイ面上に重畳されたタッチパッドとを含んで構成される。ユーザI/F104におけるディスプレイは、いかなる種類のものであってもよく、例えば、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等である。なお、ユーザI/F104は、必ずしもタッチパネルに限られることはなく、ディスプレイ、プロジェクタ等の画像表示用の装置と、キーボード、或いは、マウス等のポインティングデバイスといった入力受付用の装置とにより構成されてもよい。GUI画像は、表示制御装置100が備える画像表示用の装置における画面(例えばディスプレイ面等といったスクリーン)に表示される。ここでは、説明の便宜上、表示制御装置100はディスプレイ(例えばタッチパネルの一部としてのディスプレイ)を備え、ディスプレイにGUI画像を表示するものとして説明する。GUI画像が表示された画面に対するユーザの操作は、例えばタッチパネルの表面への指、ペン等での接触操作であっても、ポインティングデバイスを用いた操作、或いは、その他の入力装置を介して行われる操作であってもよい。
The user I /
サーバ装置200は、表示されるべきGUI画像に関する情報である表示情報の送信機能(例えばウェブサーバ機能等)を有するコンピュータである。サーバ装置200は通信路201を介して表示情報を表示制御装置100に送信する。なお、サーバ装置200の通信相手は、1台の表示制御装置100に限られず、複数の表示制御装置(例えばディスプレイの画面サイズが相互に相違し得る他は表示制御装置100と同様なGUI画像表示機能を有する複数の表示制御装置)であってもよい。なお、表示情報は、1台の表示制御装置100のディスプレイの形態(例えば画面サイズ)だけに特化した専用情報ではなく、例えば、形態(画面サイズ等)が相互に相違する複数のディスプレイそれぞれに表示されるべき表示要素を規定した情報であり得る。また、表示情報は、表示制御装置100以外の情報処理装置におけるディスプレイ等の表示装置に特化した専用情報であってもよい。
The
[1−2.表示制御装置の機能構成]
図2は、表示制御装置100の機能構成を示すブロック図である。
[1-2. Functional configuration of display control device]
FIG. 2 is a block diagram illustrating a functional configuration of the
表示制御装置100は、図2に示すように取得部110と記憶部120と処理部130(第1処理部)と出力部140とを含んで構成される。
As illustrated in FIG. 2, the
取得部110は、表示情報と、表示制御装置100において表示要素の表示の対象とする画面(「対象画面」と称する)の形態を示す画面情報とを取得して処理部130に伝達する機能を有する。取得部110は、取得した表示情報と画面情報とを処理部130が参照可能なように記憶部120に格納することで、その表示情報と画面情報との処理部130への伝達を行ってもよい。取得部110は、例えば、制御プログラムを実行するプロセッサ101、通信I/F103等により実現される。取得部110は、サーバ装置200から通信路201を介して受信することで表示情報或いは画面情報を取得することとしてもよいし、表示制御装置100が備える記録媒体(例えばメモリ102、ハードディスクその他の記録媒体)からの読み出しにより表示情報或いは画面情報を取得することとしてもよい。なお、画面情報は、表示制御装置100が通信可能なネットワーク上のサーバ装置200がディスプレイドライバの提供元であるような場合にそのサーバ装置200から取得部110が取得してもよいし、表示制御装置100におけるディスプレイ又はディスプレイドライバから取得部110が読み出して取得してもよい。
The
取得部110が取得する表示情報の一例を図3に示す。同図に示すように、表示情報は、GUIとして用いられる画面に表示されるべき複数の表示要素について規定した情報であり、構造情報を含む。図3の例では、各表示要素を、「A」、「AA」、「AB」、「AAA」、「AAB」等の識別名称を用いて表している。この識別名称は、例えばGUI部品の種別を区別可能な名称であってもよいし、いかなるコード、データ値等であってもよい。
An example of the display information acquired by the
構造情報は、複数の表示要素間の包含関係を示す情報である。図3の例において、構造情報は、複数の表示要素それぞれを複数階層の木構造における各ノードに対応付けて表現された情報である。木構造において、最下層以外のノードを上位ノードと称すると、上位ノードの配下のノードはその上位ノードの下のいずれかの階層のノードであり、その上位ノードの直下のノードはその上位ノードの配下で1階層下のノードである。上位ノードに対応する表示要素の表示領域は、その上位ノードの配下の各ノードに対応する表示要素の表示領域を包含する。図3の例の構造情報では、最大の表示領域を有する表示要素「A」を最上位のルートノードに対応付け、相対的に上位のノードに対応する表示要素の表示領域に包含されるべき1つ又は複数の表示要素に対応するノードをその上位のノードの配下に配置している。なお、前提として、ルートノードに対応する表示要素の表示領域は、GUI画像が表示されるべき対象画面(ディスプレイ等の画面)に収まる。図3の例の木構造では、表示要素「A」に対応するルートノードの直下(つまり配下でかつ1階層下)に、表示要素「AA」に対応するノードと表示要素「AB」に対応するノードとが位置している。また、表示要素「AA」に対応するノードの1階層下に、5つの表示要素「AAA」、「AAB」、「AAC」、「AAD」、「AAE」のそれぞれに対応するノードが位置している。また、表示要素「AB」に対応するノードの直下に、3つの表示要素「ABA」、「ABB」、「ABC」のそれぞれに対応するノードが位置している。また、表示要素「ABC」に対応するノードの直下に、4つの表示要素「ABCA」、「ABCB」、「ABCC」、「ABCD」のそれぞれに対応するノードが位置している。この構造情報は、例えば、表示要素「ABC」の表示領域内には、4つの表示要素「ABCA」、「ABCB」、「ABCC」、「ABCD」(以下、便宜上この4つの表示要素をGUIのボタンであるとして説明する。)が包含されるべきであることを示している。木構造の最下位のリーフノードに対応する表示要素「ABCA」、「ABCB」等は、その表示要素の表示領域内に他の表示要素を包含しない。なお、構造情報として、1つのノードの直下に複数のノードが位置する場合において、その複数のノードに対応する複数の表示要素間に表示のための一定の順序に係る情報を含ませてもよく、例えば図3の上方に表されたノードに対応する表示要素ほどその順序が先であることとしてもよい。 The structure information is information indicating an inclusion relationship between a plurality of display elements. In the example of FIG. 3, the structure information is information expressed by associating each of a plurality of display elements with each node in a tree structure of a plurality of hierarchies. In a tree structure, when a node other than the lowermost layer is referred to as an upper node, a node under the upper node is a node at any level below the upper node, and a node immediately below the upper node is a node of the upper node. It is a node one level below. The display area of the display element corresponding to the upper node includes the display area of the display element corresponding to each node under the upper node. In the structure information in the example of FIG. 3, the display element “A” having the largest display area is associated with the highest root node, and is included in the display area of the display element corresponding to the relatively higher node. Nodes corresponding to one or a plurality of display elements are arranged under the upper nodes. As a premise, the display area of the display element corresponding to the root node fits in a target screen (screen such as a display) on which the GUI image is to be displayed. In the tree structure of the example of FIG. 3, the node corresponding to the display element “AA” and the display element “AB” are directly below the root node corresponding to the display element “A” (that is, subordinate and one layer below). The node is located. In addition, nodes corresponding to each of the five display elements “AAA”, “AAB”, “AAC”, “AAD”, and “AAE” are located one level below the node corresponding to the display element “AA”. Yes. Further, nodes corresponding to the three display elements “ABA”, “ABB”, and “ABC” are located immediately below the node corresponding to the display element “AB”. In addition, nodes corresponding to the four display elements “ABCA”, “ABCB”, “ABCC”, and “ABCD” are located immediately below the node corresponding to the display element “ABC”. For example, the structure information includes four display elements “ABCA”, “ABCB”, “ABCC”, “ABCD” (hereinafter, these four display elements are represented by GUI in the display area of the display element “ABC”. Is described as being a button.) Should be included. The display elements “ABCA” and “ABCB” corresponding to the lowest leaf node of the tree structure do not include other display elements within the display area of the display element. In addition, as a structure information, when a plurality of nodes are located immediately below one node, information related to a certain order for display may be included between a plurality of display elements corresponding to the plurality of nodes. For example, the display elements corresponding to the nodes shown in the upper part of FIG.
表示情報は、上述した構造情報の他に、複数の表示要素のうち1以上の表示要素各々の表示態様を指定する表示態様情報を含んでもよく、図3には、表示情報が表示態様情報を含む例を示している。例えば、表示要素が文字列であれば、表示要素の表示態様は、例えば、文字列の内容、文字フォントの種別、文字フォントのサイズ、文字色、背景色等である。また表示態様に、太字、斜体等の区別、或いは、右揃え、中央揃え等の区別を含んでもよい。表示要素がGUI部品としてのボタン或いはアイコンであれば、表示態様は、例えば、表示内容、ボタンのサイズ(幅、高さ等)等である。ある表示要素の表示態様として、他の表示要素との相対位置等を含んでもよい。 In addition to the structure information described above, the display information may include display mode information that designates the display mode of each of one or more display elements among the plurality of display elements. FIG. Including examples. For example, if the display element is a character string, the display mode of the display element is, for example, the contents of the character string, the character font type, the character font size, the character color, the background color, and the like. The display mode may include distinction such as bold and italic, or distinction such as right alignment and center alignment. If the display element is a button or icon as a GUI component, the display mode is, for example, display content, button size (width, height, etc.), and the like. A display mode of a certain display element may include a relative position with respect to another display element.
なお、表示情報の様式は、図3に示す様式に限られず、複数の表示要素間の包含関係を示す構造情報を特定可能なものであれば、表示情報は、いかなる構成のデータ或いはプログラムであってもよい。例えば、表示情報は、例えば、XML(eXtensible Markup Language)、HTML(HyperText Markup Language)で記述された文書により特定される情報であってもよい。また、表示情報或いは表示態様情報は、例えば、HTMLで記述された文書に付随する、予め定められたスクリプト(例えば表示要素に関連した処理等を規定したスクリプト)によって特定される情報を含んでもよい。また、表示態様情報は、例えば、HTMLで記述された文書の一部、或いは、表示要素の表示態様を規定したCSS(Cascading Style Sheets)等により特定される情報であってもよい。 The format of the display information is not limited to the format shown in FIG. 3, and the display information can be any data or program having any structure as long as it can identify structural information indicating the inclusion relationship between the plurality of display elements. May be. For example, the display information may be information specified by a document described in, for example, XML (eXtensible Markup Language) or HTML (HyperText Markup Language). In addition, the display information or the display mode information may include information specified by a predetermined script (for example, a script that defines processing related to a display element) attached to a document described in HTML, for example. . The display mode information may be information specified by, for example, a part of a document described in HTML, or CSS (Cascading Style Sheets) that defines the display mode of display elements.
表示制御装置100は、例えば、ユーザI/F104を介してネットワーク上から、表示されるべきウェブページの情報を指定するURL(Uniform Resource Locator)等の情報(例えばウェブサイトのネットワークアドレス等)を指定するユーザ操作を受け付けて、ウェブサーバ機能を有するサーバ装置200にアクセスし、HTML文書を受信して解析する等によって、表示されるべきGUI画像としてのウェブページについての表示情報を取得してもよい。
The
取得部110が取得する画面情報の一例を図4に示す。画面情報は、表示制御装置100が表示要素の表示の対象とする対象画面の形態を示す。図4に示すように、画面情報は、例えば画面幅(つまり対象画面の幅)、画面高さ(つまり対象画面の高さ)等といった画面サイズ、その他の画面(つまり表示要素が表示されるべき範囲)の情報である。図4では、画面幅及び画面高さについてピクセル単位により画素数で表したが、単位はいかなるものであってもよく、メートル(m)等であってもよい。なお、表示制御装置100の運用において表示対象とされ得る画面の形状として、矩形、楕円等というように複数の形状が想定されるような場合等には、例えば、図4に示すように「矩形」といった対象画面の形状を示す情報を含んでもよい。また、画面情報は、対象画面の一部に所謂ノッチ(つまり切り欠き等の凹部)が存在する場合においてそのノッチの範囲を示す情報を含んでもよい。表示制御装置100は、画面情報に基づいて、表示要素を表示可能な範囲を判定することになり、その表示可能な範囲内に表示情報の構造情報でルートノードとして示された表示要素が含まれるように、GUI画像を構成する各表示要素の配置、表示態様等を定めることになる。
An example of the screen information acquired by the
記憶部120は、取得部110により取得された表示情報及び画面情報が記憶され得るメモリ等の記録媒体の一領域である。記憶部120は、また、配置決定用情報とサイズ制約情報とを記憶する。配置決定用情報は、表示情報が示す、GUIとして用いられる画面に表示されるべき複数の表示要素のうち、1以上の表示要素の配置について定めた情報である。配置決定用情報は、取得部110により取得された表示情報の一部に含まれていた情報(例えば図3に示す表示態様情報の一部等)であってもよい。この配置決定用情報は、表示制御装置100の処理部130が表示要素の配置を決定する際に用いる情報である。
The
記憶部120が記憶する配置決定用情報の一例を図5A及び図5Bに示す。図5A及び図5Bの例は、図3に示した表示情報に対応して定められた配置決定用情報の一例であるが、配置決定用情報は、例えば、表示要素としてのGUI部品の種別に応じて定められた配置の情報であってもよい。配置決定用情報は、例えば、既存のウェブブラウザが、HTML文書に従って表示要素を配置するときに用いる情報と同様の、通常の配置に係る既定値等を含み、更に、例えば、代替配置、配置制約、自動で配置を変更するためのアルゴリズムに係る情報等を含んでもよい。図5Aの例では、「ABA」、「ABB」、「ABC」で識別される各表示要素は、この順に上、中、下に配置されることを示している。また、図5Aの配置決定用情報は、「ABCA」、「ABCB」、「ABCC」、「ABCD」で識別される各表示要素(つまり各ボタン)は、この順に左から右へと順に配置されることを示す第1配置情報を含んでいる。また、図5Aの配置決定用情報は、代替配置に係る情報として、「ABCB」で識別される表示要素が「ABCA」で識別される表示要素の右に配置され、「ABCC」で識別される表示要素が「ABCB」で識別される表示要素の下に配置され、「ABCD」で識別される表示要素が「ABCC」で識別される表示要素の右に配置されることを示す第2配置情報を含んでいる。この図5Aの例では、図3の表示情報における構造情報を前提とすると、木構造における「ABC」で識別される表示要素に対応するノードの直下の各ノードに対応する各表示要素「ABCA」、「ABCB」、「ABCC」、「ABCD」について、第2配置情報は、第1配置情報が示す配置と異なる配置を示している。図5Bは、配置決定用情報が、表示されるべき複数の表示要素の全部又は一部についての相対的な配置に関する要件を予め定めた配置制約情報を含む例を示している。図5Bの例では、「ABC」で識別される表示要素の領域に包含されるべき表示要素についての制約として、「ABCB」で識別される表示要素の位置は、「ABCA」で識別される表示要素の右に限られるという配置の要件が定められている。この配置制約情報は、例えば操作し易くするために、複数の表示要素を、特定の位置関係で配置することが有用な場合に用いられ得る。例えば動画、音楽等の再生用のボタン(つまりGUI部品のボタン)の隣に停止用のボタンを並べて配置するために配置制約情報は利用可能である。また、図5Bの例では、「AA」で識別される表示要素の領域に包含されるべき表示要素についての制約として、各表示要素を縦一列に配置するという配置の要件が定められている。これは、図3の構造情報を前提とすると、「AA」で識別される表示要素に対応するノードの配下のノードに対応する「AAA」、「AAB」、「AAC」、「AAD」、「AAE」で識別される各表示要素が縦一列にリスト状に配置されるべきという要件が定められていることになる。
An example of the arrangement determination information stored in the
記憶部120が記憶するサイズ制約情報の一例を図6に示す。サイズ制約情報は、GUIとして必要な操作性を確保するために、GUIとして表示されるべき複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件を定めた情報である。ここでの操作性は、操作の前提として必要となる表示要素の視認性も含む概念である。サイズ制約情報は、GUIとして用いられる対象画面が小さい場合でも、表示要素が視認可能であり、GUIとしてのボタン等が操作可能であるためのサイズについての要件(例えば1つ又は複数の表示要素それぞれの最小サイズ)を定めたものである。前述のサイズに係る要件としての表示要素の最小サイズは、一例としては一般的なユーザの指のサイズに基づいて定められ、例えば、指で押下することが可能な最小のサイズである。また、文字列である表示要素の最小サイズ(例えば最小フォントサイズ)は、一例としては一般的なユーザが肉眼で判読可能な最小のサイズである。表示制御装置100の処理部130は、このサイズ制約情報が示すサイズについての要件を満たすように、表示要素の表示態様を決定することになる。図6の例では、「ABB」で識別されるラベル等の文字列の表示要素の最小サイズとして、フォントサイズについて8ポイント(pt)が規定されている。これは、「ABB」で識別される表示要素の文字列は8ポイント以上で表示されるべきであることを示している。また、図6の例では、「ABCA」、「ABCB」、「ABCC」、「ABCD」のそれぞれで識別される各表示要素(つまり各ボタン)の最小サイズとして、幅150ピクセル(px)及び高さ150ピクセル(px)が規定されている。これは、「ABCA」等で識別される4つのボタンは、幅が150ピクセル以上でかつ高さが150ピクセル以上で表示されるべきであることを示している。
An example of the size constraint information stored in the
処理部130は、記憶部120が記憶する配置決定用情報とサイズ制約情報と表示情報とに基づいて、画面情報が示す対象画面の形態に応じてその対象画面内にGUI画像を構成するための複数の表示要素が収まり、且つ、その複数の表示要素のうちサイズ制約情報で要件が定められた表示要素についてはその要件が満たされるように、配置決定処理と表示態様決定処理とを実行する機能を有する。処理部130は、例えば、制御プログラムを実行するプロセッサ101等により実現される。処理部130は、機能面において、GUIに係る複数の表示要素各々の配置を決定する配置決定処理を実行する配置決定部131と、その複数の表示要素各々の表示態様を決定する表示態様決定処理を実行する表示態様決定部132とを備える。処理部130が、表示情報、配置決定用情報及びサイズ制約情報に基づいて、画面情報に応じて配置決定処理と表示態様決定処理とを実行することによって、サイズ、形状等といった対象画面の形態に応じて、各表示要素の配置及び表示態様が決定されることとなり、対象画面が大きい場合でも小さい場合でもGUIとしての操作性を確保した表示要素の表示が可能となり得る。例えば、上述した最小サイズ(図6参照)をサイズについての要件として定めたサイズ制約情報に基づいて、表示態様決定部132で表示態様決定処理が実行された場合には、表示態様決定部132は、その最小サイズ或いはそれより大きなサイズとなるように、その最小サイズに係る要件が定められた表示要素の表示態様を決定する。これにより、GUIに係る表示要素を介して操作を行うユーザにとって、操作性が十分に確保されることになる。
The
処理部130は、GUIのための複数の表示要素(つまりGUI画像を構成する複数の表示要素)の配置及び表示態様を決定するために、まず、表示情報に基づいて、サイズ制約情報で定められた要件を満たすように複数の表示要素について一旦配置を決定する暫定配置処理を実行し且つ表示態様決定処理を実行する。暫定配置処理は、例えば、処理部130における配置決定部131により実行され得る。暫定配置処理においては例えば既存のウェブブラウザ等と同様の技術により各表示要素の配置が決定され得る。この暫定配置処理は、表示情報における構造情報により、各GUI部品等の表示要素の包含関係を把握し、表示態様情報等に基づいて各表示要素のサイズを算定すること等によって行われる。但し、暫定配置処理においては、サイズ制約情報で定められた要件を満たさない表示要素についてはサイズ制約情報で定められた要件を満たすように調整される。一旦行われた暫定配置処理及び表示態様決定処理の実行結果として、処理部130は、複数の表示要素のうちの1つ以上の各表示要素について、その表示要素が対象画面内に収まらない場合にはその表示要素が対象画面内に収まるように、その表示要素が表示情報内の構造情報の木構造におけるその表示要素に対応するノードの上位のノードに係る表示領域(つまりその上位のノードに対応する表示要素の表示領域)内に収まらない場合にはその表示要素がその表示領域内に収まるように、配置決定処理を実行する。なお、処理部130は、この配置決定処理がなされる場合において、表示態様決定処理を更に行うこととしてもよい。
In order to determine the arrangement and display mode of a plurality of display elements for GUI (that is, a plurality of display elements constituting a GUI image), the
処理部130は、複数の表示要素について一旦配置を決定し且つ表示態様決定処理を実行した結果として、GUIのための複数の表示要素のうちの1つの表示要素が、対象画面内に収まらない場合又は表示情報内の構造情報の木構造におけるその1つの表示要素に対応するノードの上位のノードに係る表示領域内に収まらない場合には、配置決定処理として、その1つの表示要素に対応する木構造におけるノードの1階層上位のノードの直下の各ノードに対応する表示要素間の相対的な配置の変更を行い得る。この配置変更の方法として、代替配置用の情報(例えば図5Aの第1配置情報及び第2配置情報)に基づいて配置を決める方法、自動的に配置を決める方法等が挙げられる。自動的に配置を決める方法においては、例えば、配置制約情報(図5B参照)で定められた要件を満足するように行うこととしてもよいし、例えば、ランダムに配置を試みて、各表示要素が目標範囲(例えば対象画面内或いは上位のノードに係る表示領域)に収まらない場合には、再度ランダムに配置を試みることを、各表示要素が目標範囲に収まるまで繰り返す方法を用いてもよい。
When the
出力部140は、例えばディスプレイ等のユーザI/F104、制御プログラムを実行するプロセッサ101等により実現される。出力部140は、処理部130による配置決定処理及び表示態様決定処理の結果に応じた出力を行う。具体例としては、出力部140は、GUIのための各表示要素を、配置決定処理及び表示態様決定処理の結果に応じた配置及び表示態様で、対象画面としてのディスプレイへ表示することで、出力を行う。
The
[1−3.表示制御装置の動作]
以下、上述の構成を備える表示制御装置100による表示制御方法に係る動作について説明する。
[1-3. Operation of display control device]
Hereinafter, an operation related to the display control method by the
[1−3−1.表示制御処理]
図7は、表示制御装置100における表示制御方法としての表示制御処理の一例を示すフローチャートである。以下、同図に即して、表示制御装置100の動作を説明する。
[1-3-1. Display control processing]
FIG. 7 is a flowchart illustrating an example of display control processing as a display control method in the
表示制御処理は、例えば、GUI画像を表示させるための所定のユーザ操作等(例えば表示制御装置100の電源オン操作、特定のアプリの起動操作、その他の操作等)により開始される。ここでは、表示制御装置100のユーザI/F104におけるディスプレイ面が対象画面であることとして説明する。
The display control process is started by, for example, a predetermined user operation for displaying a GUI image (for example, a power-on operation of the
まず、表示制御装置100は、GUI画像を構成する複数の表示要素を表示すべき対象画面に係る画面情報を取得する(ステップS1)。
First, the
次に、表示制御装置100は、例えばサーバ装置200から、GUI画像を構成する複数の表示要素について規定した表示情報を取得する(ステップS2)。
Next, the
次に、表示制御装置100は、配置決定用情報(図5A、図5B参照)、サイズ制約情報(図6参照)、表示情報(図3参照)及び画面情報(図4参照)を参照した表示決定処理(つまり、暫定配置処理、表示態様決定処理及び配置決定処理)を実行する(ステップS3)。
Next, the
そして、表示制御装置100は、ステップS3で最終的に実行された配置決定処理及び表示態様決定処理の結果に応じた出力を実行する(ステップS4)。この出力により、例えば、ユーザI/F104におけるディスプレイにGUI画像を構成する各表示要素が表示される。なお、表示されたGUI画像に対応してユーザが操作を行うことにより新たなGUI画像の表示が必要となれば、表示制御装置100は、再び表示制御処理を実行し得る。この場合において既に取得済みの画面情報の取得(ステップS1)を省略してもよい。また、この場合においてステップS2では、例えばその新たなGUI画像に対応した表示情報が取得される。
And the
[1−3−2.表示決定処理]
以下、上述した表示制御処理における表示決定処理(ステップS3)について、図8に例示するフローチャートに即して、詳細に説明する。この例の表示決定処理では、処理部130は、配置決定用情報(図5A参照)の第1配置情報に従って暫定配置処理を実行し、第2配置情報に従って配置決定処理を実行する。
[1-3-2. Display decision processing]
Hereinafter, the display determination process (step S3) in the display control process described above will be described in detail with reference to the flowchart illustrated in FIG. In the display determination process of this example, the
まず、処理部130の配置決定部131は、表示情報に基づいてGUI画像を構成する複数の表示要素について一旦配置を決定する暫定配置処理を実行する(ステップS11)。この暫定配置処理では、例えば、図3の表示情報において「ABCA」、「ABCB」、「ABCC」及び「ABCD」のそれぞれで識別されるボタンの表示要素が、図5Aの配置決定用情報の第1配置情報に従って配置される。その他の表示要素は、暫定配置処理において、例えば配置決定用情報に従って配置される。なお、暫定配置処理においても、サイズ制約情報を参照し、その要件を満たすサイズで各表示要素が表示された場合に重なり合わないように、配置を決定することとしてもよい。なお、処理部130は、GUI画像を構成する複数の表示要素のうち表示態様情報(図3参照)で表示態様が指定された表示要素についてはその指定に従うように、暫定配置処理を実行し、且つ、表示態様決定処理を実行することとしてもよい。
First, the
次に、処理部130の表示態様決定部132は、GUI画像を構成する各表示要素が、サイズ制約情報に係る要件を満たすサイズとなるように、表示態様決定処理を実行する(ステップS12)。
Next, the display
次に、処理部130は、GUI画像を構成する各表示要素のうち、上位表示領域(つまり、対象画面、及び、その表示要素に対応するノードの上位ノードに対応する表示要素の表示領域)に収まらない表示要素が存在するか否かを判定する(ステップS13)。
Next, the
ステップS13で、肯定的に判定した場合、つまり、GUI画像を構成するいずれかの表示要素が上位表示領域内に収まっていないと判定した場合には、処理部130は、サイズ制約情報の示す最小サイズにしているのに上位表示領域に収まらない表示要素が存在するか否かを判定する(ステップS14)。
If it is determined affirmative in step S13, that is, if any display element constituting the GUI image is determined not to be within the upper display area, the
ステップS14で、肯定的に判定した場合には、処理部130は、上位表示領域に収まらなかった各表示要素について、配置決定部131で、配置の変更を行うために配置決定処理を実行する(ステップS15)。
If the determination in step S14 is affirmative, the
ステップS15での配置決定処理の後に、或いは、ステップS14で否定的に判定した場合には、処理部130は、表示態様決定部132で、上位表示領域に収まらなかった各表示要素について表示態様決定処理を実行する(ステップS16)。ステップS16では、表示態様決定部132は、例えば、サイズ制約情報に係る要件として定められた最小サイズ以上となるように表示態様を決定する。ここで、表示態様決定部132は、例えば、サイズ制約情報に係る要件として定められた最小サイズ以上で、上位表示領域に収まる最大サイズとなるように、表示態様を決定する方法を用いることとしてもよいし、最大サイズでなくても、最小サイズより大きなサイズとなるように、表示態様を決定する方法を用いることとしてもよい。なお、表示態様決定部132は、最小サイズより大きなサイズで表示できない場合にはその最小サイズとなるように表示要素の表示態様を決定することになる。この方法は、表示要素が一層大きなサイズであれば操作性が一層向上し得る場合において有用である。つまり、処理部130が、表示態様決定処理を少なくとも配置決定処理の実行後に実行して、表示要素が一層大きく表示できるか否かを探ることは操作性の向上に繋がり得るので有用である。
After the placement determination process in step S15 or when a negative determination is made in step S14, the
ステップS16での表示態様決定処理の後に、処理部130は、GUI画像を構成する各表示要素のうち、上位表示領域に収まらない表示要素がまだ存在するか否かを判定するステップS13に再び戻る。
After the display mode determination process in step S16, the
ステップS13で、否定的に判定した場合、つまり、GUI画像を構成する各表示要素は全て上位表示領域内に収まっていると判定した場合には、処理部130は、表示決定処理を終える。結果的に、GUI画像を構成する各表示要素は、最後に決定された配置及び表示態様で、ユーザI/F104におけるディスプレイに表示されることになる。
If the determination is negative in step S13, that is, if it is determined that all the display elements constituting the GUI image are within the upper display area, the
なお、対象画面サイズが十分に小さい可能性を考慮して表示情報等を予め設計しておくことで、ステップS13で肯定的な判定が無限に繰り返されることは防止できる。ステップS13で肯定的な判定が一定回数以上繰り返される場合には、例えば、GUI画像を構成する全部又は一部の表示要素を操作に応じてスクロール可能となるように表示することとしてもよい。 In addition, it is possible to prevent the positive determination in step S13 from being repeated indefinitely by designing display information and the like in consideration of the possibility that the target screen size is sufficiently small. When the affirmative determination is repeated a predetermined number of times or more in step S13, for example, all or a part of display elements constituting the GUI image may be displayed so as to be scrollable according to the operation.
[1−3−3.配置決定処理の動作例1]
以下、上述した表示決定処理における配置決定処理(ステップS15)の一例を示す図9Aのフローチャートに即して、配置決定処理の動作例1を説明する。
[1-3-3. Operation example 1 of arrangement determination processing]
Hereinafter, an operation example 1 of the arrangement determination process will be described with reference to the flowchart of FIG. 9A showing an example of the arrangement determination process (step S15) in the display determination process described above.
前提として、図5Aの第1配置情報及び第2配置情報のように、1つの表示要素について複数の配置を示す配置決定用情報が定められているものとして説明する。 As a premise, description will be made assuming that arrangement determination information indicating a plurality of arrangements for one display element is defined as in the first arrangement information and the second arrangement information in FIG. 5A.
処理部130の配置決定部131は、まず、上位表示領域に収まらなかった表示要素についての、その上位表示領域に収められるべき1つの表示要素に着目する(ステップS21)。ここでは、図3に示す表示情報において、対象画面の左半分を表示領域とする「AB」で識別される表示要素に対応する木構造のノードの直下のノードに対応する「ABC」で識別される表示要素の表示領域が、対象画面の面積の1/4のサイズで対象画面の左下側に位置している例を用いて説明する。「ABC」で識別される表示要素の表示領域に収められるべき4つのボタン(つまり「ABCA」、「ABCB」、「ABCC」及び「ABCD」のそれぞれで識別される表示要素)のうち、「ABCD」で識別されるボタンが「ABC」に係る表示領域に収まらなかったとする。この場合には、ステップS21では、配置決定部131は、「ABC」に係る表示領域に収められるべき1つの表示要素として「ABCA」、「ABCB」、「ABCC」及び「ABCD」のそれぞれで識別される表示要素のいずれか1つに着目する。
First, the
次に、配置決定部131は、着目した表示要素について、最後に用いた配置情報の次の配置情報を用いて配置を決定する(ステップS22)。このステップS22では、例えば、暫定配置処理において用いられた配置決定用情報における第1配置情報の次である第2配置情報を用いて、配置を決定することになる。なお、図5Aは、一例に過ぎず、配置決定用情報において、1つの表示要素について3つ以上の配置を示す情報が定められていてもよい。
Next, the
次に、配置決定部131は、着目した表示要素の上位表示領域(この例では「ABC」で識別される表示要素の表示領域)に収められるべき別の表示要素が存在するか否かを判定し(ステップS23)、存在する場合には、その別の1つの表示要素に着目して(ステップS24)、ステップS22での配置の決定に戻る。
Next, the
そして、その上位表示領域に収められるべき各表示要素についての配置が決定されると、ステップS23で、別の表示要素が存在しないと判定され、配置決定処理が終了する。このような配置決定処理により、1つ又は複数の代替配置のための情報が用いられて、操作性を確保したサイズの制約の下で、GUI画像を構成する各表示要素について、対象画面に適した配置が選択されるようになる。 Then, when the arrangement for each display element to be stored in the upper display area is determined, it is determined in step S23 that there is no other display element, and the arrangement determination process ends. By such an arrangement determination process, information for one or more alternative arrangements is used, and each display element constituting the GUI image is suitable for the target screen under a size constraint that ensures operability. The selected arrangement will be selected.
[1−3−4.配置決定処理の動作例2]
以下、上述した表示決定処理における配置決定処理(ステップS15)の一例を示す図9Bのフローチャートに即して、配置決定処理の動作例2を説明する。
[1-3-4. Operation example 2 of arrangement determination processing]
Hereinafter, an operation example 2 of the arrangement determination process will be described with reference to the flowchart of FIG. 9B showing an example of the arrangement determination process (step S15) in the display determination process described above.
処理部130が表示決定処理によって、GUI画像を構成する複数の表示要素について一旦配置を決定し且つ表示態様決定処理を実行した結果として複数の表示要素のうちの1つの表示要素が、対象画面内に収まらない場合又は構造情報(図3参照)の木構造におけるその1つの表示要素に対応するノードの上位のノードに係る表示領域内に収まらない場合がある。この動作例2では、その1つの表示要素に対応する木構造におけるノードの1階層上位のノードの直下の全てのノードに対応する表示要素を収めるべき表示領域の幅及び高さを特定し、その特定の結果に基づいてその表示領域に収めるべき表示要素を収めるように、配置決定処理を実行する。具体的には、その表示領域内に収まらないその1つの表示要素に対応する木構造におけるノードの1階層上位のノードの直下の2つ以上のノードに対応する各表示要素が行列状に配置されているときには、その行列状に配置されている各表示要素を収めるべき表示領域の幅及び高さを特定し、その特定の結果に基づいてその表示領域に収めるべき各表示要素を収めるように行列状の配置における行数及び列数を変更することで、配置決定処理を実行する。行列状の配置とは、m行n列の配置であり、行数であるmと、列数であるnとはいずれも自然数であり、mとnとは同値でも別の値でもよい。
As a result of the
この動作例2の前提として、処理部130は、配置決定用情報における配置制約情報で定められた要件を満たすように暫定配置処理(図8のステップS11)を行っている。そして、配置決定処理においても、その配置制約情報で定められた要件を満たすように配置の決定が行われる。
As a premise of this operation example 2, the
ここでは、図5Bに示すような配置決定用情報で、1つ以上の表示要素についての配置の要件としての配置制約情報が定められているものとして、配置決定部131が、配置制約情報に従って各表示要素の配置を、決定する例について説明する。また、図3に示す表示情報において「ABC」で識別される表示要素の表示領域が、対象画面の面積の1/4以下のサイズで対象画面の左下側に位置し、その表示領域(つまり上位表示領域)に収められるべき4つのボタン(つまり「ABCA」、「ABCB」、「ABCC」及び「ABCD」のそれぞれで識別される表示要素)が横一列(つまり1行4列)に配置され、「ABCD」で識別されるボタンが「ABC」に係る表示領域に収まらなかったとして説明する。 Here, it is assumed that the placement constraint information as placement requirements for one or more display elements is determined in the placement decision information as shown in FIG. 5B. An example of determining the arrangement of display elements will be described. In addition, the display area of the display element identified by “ABC” in the display information shown in FIG. 3 is located on the lower left side of the target screen with a size equal to or smaller than ¼ of the area of the target screen. Four buttons (that is, display elements identified by “ABCA”, “ABCB”, “ABCC”, and “ABCD”) to be stored in the display area) are arranged in one horizontal row (that is, one row and four columns), A description will be given assuming that the button identified by “ABCD” does not fit in the display area related to “ABC”.
この状態の一例を図10に示す。図10は、表示決定処理の完了前におけるGUI画像を構成する複数の表示要素の配置例を示す。配置された表示要素401〜405は、例えば図3の表示情報において「AAA」、「AAB」、「AAC」、「AAD」及び「AAE」のそれぞれで識別される表示要素を示す。また、表示要素410は、「ABA」で識別される表示要素を示し、表示要素420は、「ABB」で識別される表示要素を示す。表示要素431〜434は、「ABC」で識別される表示要素の表示領域に包含されるべき各表示要素(つまり「ABCA」、「ABCB」、「ABCC」及び「ABCD」のそれぞれで識別される表示要素)を示す。
An example of this state is shown in FIG. FIG. 10 shows an arrangement example of a plurality of display elements constituting a GUI image before the display determination process is completed. The arranged
配置決定部131は、まず、上位表示領域に収まらなかった表示要素についての、その上位表示領域には、複数の表示要素が行列状に収められているか否かを判定する(ステップS31)。
The
ステップS31で、肯定的に判定した場合(つまり上位表示領域にいくつかの表示要素が収まっていないが複数の表示要素が行列状に収められている場合)には、配置決定部131は、その上位表示領域の幅及び高さを特定する(ステップS32)。ここでは、図4に示す画面情報に基づいて幅が1280ピクセルで、高さが720ピクセルの対象画面の面積の1/4以下のサイズとして、「ABC」で識別される表示要素に係る表示領域の幅が、例えば、620ピクセルで高さが340ピクセルであると特定されるものとして説明を続ける。
If the determination in step S31 is affirmative (that is, some display elements are not accommodated in the upper display area but a plurality of display elements are accommodated in a matrix), the
配置決定部131は、ステップS32で特定した幅及び高さに収まるように、配置制約情報の制約に従った上で、複数の表示要素(つまり「ABCA」、「ABCB」、「ABCC」及び「ABCD」のそれぞれで識別される表示要素)の行列状の配置における行数及び列数を変更する(ステップS33)。これにより、1行4列のボタンは、例えば、2行2列となるように行数及び列数が変更される。行数及び列数の変更の別の例としては、例えば、1行6列を、2行3列、3行2列、或いは、6行1列に変更するような例が挙げられる。なお、配置決定部131は、その変更した行数及び列数に従って複数のボタンについての行列状の配置を決定するに際して、例えば図5Bに示す配置制約情報に従って、「ABCB」で識別されるボタンは、「ABCA」で識別されるボタンの右に配置されるように、配置を決定する。
The
こうして配置決定処理が完了することで表示決定処理が完了した後におけるGUI画像を構成する複数の表示要素の配置例を図11に示す。表示要素431〜434は、図10において1行4列の行列状に配置されていたボタン群であり、図11においては2行2列の行列状に配置され、対象画面400に収まっている。なお、ここでは、表示要素431〜434である各ボタンの最小の幅及び高さは150ピクセルであるものとしている(図6参照)。この配置決定処理の後において、図8のステップS16に示す表示態様決定処理により、各ボタンのサイズは、例えば、高さが170ピクセル、幅が310ピクセル等と、一層大きく、操作が容易となるように、決定されてもよい。
FIG. 11 shows an arrangement example of a plurality of display elements constituting the GUI image after the display determination process is completed by completing the arrangement determination process. The
また、ステップS31で、否定的に判定した場合には、配置決定部131は、配置制約情報の制約に従って、上位表示領域に収まらなかった表示要素の配置を変更して(ステップS34)、配置決定処理を終える。
If the determination in step S31 is negative, the
なお、この動作例2では、ステップS33において複数の表示要素について行列状に配置する例を示したが、処理部130は、各表示要素を必ずしも行列状に配置する必要はない。
In this operation example 2, an example in which a plurality of display elements are arranged in a matrix in step S33 is shown, but the
[1−4.効果等]
上述した表示制御装置100によれば、サイズ制約情報等の参照により、ユーザの操作性を確保して、対象画面にGUI画像を構成する各表示要素が収まるような配置が決定され得る。これにより、例えば、比較的小さなディスプレイを含むタッチパネル等の入出力装置を有するスマートフォン、タブレット等の端末装置を、操作し易いGUIとして活用することが可能となる。
[1-4. Effect]
According to the
(実施の形態2)
上述の実施の形態1では、表示制御装置100が、GUI画像を表示するためのディスプレイ等のユーザI/F104を備える例を示した。これに対して、本実施の形態では、ディスプレイ等を備えない表示制御装置100aが、ディスプレイ等を備える端末装置300へのGUI画像の表示のための制御を行う表示制御システムについて、図面を用いて説明する。
(Embodiment 2)
In the first embodiment described above, the example in which the
[2−1.表示制御システムの構成]
図12は、本実施の形態に係る表示制御システムの構成図である。この表示制御システムは、通信路201により通信する表示制御装置100a及びサーバ装置200、並びに、表示制御装置100aと有線又は無線により相互に通信可能な端末装置300を備える。図12において図1で示したものと同様の構成要素には同一の符号を付しており、ここではその説明を適宜省略する。表示制御装置100aは、実施の形態1で示した表示制御装置100を部分的に変形したものであり、ここで特に説明しない点は、表示制御装置100と同様である。図12では端末装置300を1台しか示していないが、複数台存在してもよく、例えば各端末装置が有するディスプレイが異なる形態であってもよい。また、表示制御装置100aが取り扱う表示情報、画面情報、配置決定用情報、及び、サイズ制約情報については実施の形態1で示したものと同様である。なお、表示情報は、1台の端末装置300のディスプレイの形態(例えば画面サイズ)だけに特化した専用情報ではなく、例えば、形態(画面サイズ等)が相互に相違する複数のディスプレイそれぞれに表示されるべき表示要素を規定した情報であり得る。また、表示情報は、端末装置300以外の情報処理装置におけるディスプレイ等の表示装置に特化した専用情報であってもよい。
[2-1. Configuration of display control system]
FIG. 12 is a configuration diagram of the display control system according to the present embodiment. This display control system includes a
表示制御装置100aは、サーバ装置200から取得した表示情報に基づいてGUI画像を、端末装置300のディスプレイである対象画面に表示するために、GUI画像を構成する複数の表示要素の配置及び表示態様を定めた表示制御情報を、端末装置300に送信するGUI画像表示制御機能を有する情報処理装置である。
The
表示制御装置100aは、図12に示すように、プロセッサ101、メモリ102、及び、通信I/F103aを備えるコンピュータで構成される。
As shown in FIG. 12, the
メモリ102は、ROM、RAM等であり、プロセッサ101により実行される各種プログラム(例えば表示制御処理のための制御プログラム等)及び各種情報を記憶することができる。表示制御装置100aは、メモリ102に格納された表示制御処理のための制御プログラムをプロセッサ101で実行することで表示制御方法を実現する。例えばプロセッサ101が、制御プログラムに従って動作することにより、表示制御装置100aは、GUI画像表示制御機能を実現することになる。なお、表示制御装置100aは、メモリ102の他に、メモリ102と同様に各種プログラム及び各種データを記録可能なハードディスク等の記録媒体を備えてもよい。
The
通信I/F103aは、所定の通信プロトコルに従ってサーバ装置200、端末装置300等といった外部装置と通信するための通信回路等である。通信I/F103aを介してプロセッサ101は、サーバ装置200から送信される表示情報を取得可能である。また、通信I/F103aを介してプロセッサ101は、端末装置300に対して表示制御情報を送信可能である。
The communication I /
表示制御装置100aの機能構成は、実施の形態1で示した表示制御装置100の機能構成と同様である(図2参照)。但し、表示制御装置100aの出力部140は、GUI画像を構成する複数の表示要素それぞれを対象画面(つまり端末装置300のディスプレイ等)に表示するために、処理部130による配置決定処理及び表示態様決定処理の結果に応じてその各表示要素の配置及び表示態様を定めた表示制御情報を、自装置の外部(具体的には端末装置300)に送信することで出力する。
The functional configuration of the
端末装置300は、図12に示すように、プロセッサ301、メモリ302、及び、通信I/F303、及び、ユーザI/F304を備えるコンピュータで構成される。端末装置300は、デスクトップコンピュータ、ATM等の据え置き型の装置であっても、例えばタブレット、スマートフォン等の携帯性を有する装置であってもよい。
As illustrated in FIG. 12, the
メモリ302は、ROM、RAM等であり、プロセッサ301により実行される各種プログラム及び各種情報を記憶することができる。端末装置300は、メモリ302に格納されたプログラムをプロセッサ301で実行することで各種の情報処理を実現する。
The
通信I/F303は、所定の通信プロトコルに従って表示制御装置100aと通信するための通信回路等である。通信I/F303を介してプロセッサ301は、表示制御装置100aからGUI画像を表示するための表示制御情報を取得可能である。プログラムを実行するプロセッサ301は、取得された表示制御情報に基づいてGUI画像を構成する各表示要素の配置及び表示態様を定めてユーザI/F304におけるディスプレイ等に表示する。
The communication I /
ユーザI/F304は、プロセッサ301の制御下でユーザに情報を提示する装置或いはユーザ操作を受け付けてプロセッサ301に伝達する装置等であり、例えばGUI画像を表示可能なディスプレイを含むタッチパネルである。なお、ユーザI/F304は、必ずしもタッチパネルに限られることはなく、ディスプレイ、プロジェクタ等の画像表示用の装置と、キーボード、或いは、マウス等のポインティングデバイスといった入力受付用の装置とにより構成されてもよい。GUI画像は、端末装置300が備える画像表示用の装置における画面(例えばディスプレイ面等といったスクリーン)に表示される。ここでは、説明の便宜上、端末装置300はディスプレイ(例えばタッチパネルの一部としてのディスプレイ)を備え、ディスプレイにGUI画像を表示するものとして説明する。端末装置300は、例えばユーザの操作に応じた情報を表示制御装置100aに送信し、表示制御装置100aがその情報をサーバ装置200に中継送信することで、サーバ装置200から新たな表示情報を取得してその表示情報に基づいて新たなGUI画像を表示するための表示制御情報を作成して端末装置300に返信してもよい。
The user I /
[2−2.表示制御装置の動作]
表示制御装置100aは、実施の形態1で示した表示制御装置100と同様に、表示制御処理を行う(図7、図8、図9A及び図9B参照)。
[2-2. Operation of display control device]
The
但し、ステップS1で取得する画面情報は、GUI画像の表示対象となる端末装置300のディスプレイに関する画面情報である。
However, the screen information acquired in step S1 is screen information related to the display of the
また、ステップS4での配置決定処理及び表示態様決定処理の結果に応じた出力を、GUI画像を構成する各表示要素について決定された配置及び表示態様を示す表示制御情報を、端末装置300に送信することにより実現する。
In addition, output corresponding to the results of the layout determination process and the display mode determination process in step S4 is transmitted to the
[2−3.効果等]
上述した表示制御装置100aによれば、GUI画像が表示されるべき端末装置300のディスプレイ等の形態に係る画面情報に応じて、GUI画像の各表示要素について規定した表示情報から、サイズ制約情報に係る要件を満たすように各表示要素の配置及び表示態様を決定することで表示制御情報を生成する。そして、表示制御装置100aは、その表示制御情報を端末装置300に提供するので、端末装置300は、ユーザの操作性を確保して各表示要素が適切に配置されたGUI画像を表示できるようになる。即ち、表示制御装置100aによって、端末装置300は、比較的小さなディスプレイを有する場合であっても、操作し易いGUIが提供できるようになる。
[2-3. Effect]
According to the
(実施の形態3)
上述の実施の形態2では、表示制御装置100の処理部130が、配置決定処理及び表示態様決定処理を実行する例を示した。これに対して、本実施の形態では、決定処理部133が配置決定処理及び表示態様決定処理を実行する前に、複数の表示要素のサイズを拡大する拡大限界サイズ及びサイズを拡大するための方針を決定する処理を行う表示制御装置100bについて、図面を用いて説明する。
(Embodiment 3)
In the above-described second embodiment, the example in which the
[3−1.表示制御装置の構成]
図13は、本実施の形態に係る表示制御装置100bの構成図である。図13において図1以降で示したものと同様の構成要素には同一の符号を付しており、ここではその説明を適宜省略する。表示制御装置100bは、実施の形態1等で示した表示制御装置100を部分的に変形したものであり、ここで特に説明しない点は、表示制御装置100と同様である。また、表示制御装置100bが取り扱う表示情報、画面情報、配置決定用情報、及び、サイズ制約情報については実施の形態1等で示したものと同様である。なお、表示情報は、1台の端末装置300のディスプレイの形態(例えば画面サイズ)だけに特化した専用情報ではなく、例えば、形態(画面サイズ等)が相互に相違する複数のディスプレイそれぞれに表示されるべき表示要素を規定した情報であり得る。また、表示情報は、端末装置300以外の情報処理装置におけるディスプレイ等の表示装置に特化した専用情報であってもよい。
[3-1. Configuration of display control apparatus]
FIG. 13 is a configuration diagram of the
図13に示すように、表示制御装置100bは、取得部110、記憶部120、処理部130、及び、出力部140の他に、決定処理部133(第2処理部)を備える。
As illustrated in FIG. 13, the
決定処理部133は、配置決定処理及び表示態様決定処理を実行する前に、取得部110で取得した表示情報に規定された複数の表示要素を分析して複数の表示要素各々の特徴を特定する。また、決定処理部133は、少なくとも、複数の表示要素が操作対象となる機能を有しているかどうかによって、複数の表示要素を分析して複数の表示要素各々の特徴を特定する。つまり、表示要素が操作対象となる機能を有している場合、表示要素が操作対象となる機能を有しているボタン等であると言えるため、決定処理部133は、表示要素の特徴を特定することができる。また、決定処理部133は、さらに、複数の表示要素における、サイズの大きさ及び形状に基づいて、複数の表示要素を分析して複数の表示要素各々の特徴を特定する。例えば、決定処理部133は、表示要素における、サイズの大きさ及び形状に基づいて、表示要素が画像、文字列、枠線等の罫線等のいずれかであることを特定する。
The
また、決定処理部133は、特定した複数の表示要素各々の特徴に応じて、複数の表示要素のサイズを拡大する拡大限界サイズ、及び、複数の表示要素のサイズを拡大するための方針を決定する。また、決定処理部133は、決定した拡大限界サイズ及び当該方針に基づいて複数の表示要素各々のサイズを拡大する機能を有する。このような決定処理部133は、例えば、制御プログラムを実行するプロセッサ等により実現される。
Further, the
ここで、拡大限界サイズは、複数の表示要素各々のサイズを拡大する前のサイズである各々のサイズを基準として、複数の表示要素各々に対応する当該各々のサイズ以上、かつ、画面情報が示す対象画面のサイズ以下である。つまり、拡大限界サイズは、元々の表示要素のサイズを基準としたときに、表示要素が基準としたサイズ以上であり、かつ、対象画面のサイズ以下(画面幅及び画面高さ以下)である。 Here, the enlargement limit size is equal to or larger than each size corresponding to each of the plurality of display elements and is indicated by the screen information on the basis of each size that is a size before the size of each of the plurality of display elements is enlarged. It is less than the target screen size. That is, the enlargement limit size is equal to or larger than the reference size of the display element and is equal to or smaller than the size of the target screen (less than the screen width and the screen height) when the original display element size is used as a reference.
また、決定処理部133が複数の表示要素のサイズを拡大する方針には、複数の表示要素各々の表示態様のサイズのアスペクト比を維持しながら複数の表示要素のサイズを拡大すること、複数の表示要素各々の表示態様のサイズのアスペクト比を維持せずに複数の表示要素のサイズを拡大すること、複数の表示要素各々の表示態様のサイズのアスペクト比を維持せずに当該各々の表示態様を特定方向にだけ拡大することの少なくともいずれかが含まれる。
The policy that the
例えば、複数の表示要素各々の表示態様のサイズのアスペクト比を維持しながら複数の表示要素のサイズを拡大する場合は、表示要素が表示態様のサイズのアスペクト比を維持する必要がある画像、文字列等のときである。この場合、決定処理部133は、画像のアスペクト比、文字列の幅及び文字列の高さの比率等を保ったまま、表示要素のサイズを拡大する。
For example, when enlarging the size of a plurality of display elements while maintaining the aspect ratio of the display mode size of each of the plurality of display elements, images and characters that require the display element to maintain the aspect ratio of the display mode size This is the case of a row. In this case, the
例えば、複数の表示要素各々の表示態様のサイズのアスペクト比を維持せずに複数の表示要素のサイズを拡大する場合は、表示要素が表示態様のサイズのアスペクト比を維持する必要のない表示要素である場合であり、表示要素が操作対象となる機能を有しているボタン等のときである。この場合、決定処理部133は、ボタン等のアスペクト比を問わずにボタンを拡大する。
For example, when expanding the size of a plurality of display elements without maintaining the aspect ratio of the display mode size of each of the plurality of display elements, the display element does not need to maintain the aspect ratio of the size of the display mode The display element is a button or the like having a function to be operated. In this case, the
例えば、複数の表示要素各々の表示態様のサイズのアスペクト比を維持せずに当該各々の表示態様を特定方向にだけ拡大する場合は、表示要素が表示態様のサイズのアスペクト比を維持する必要のない表示要素である場合であり、表示要素が枠線等の罫線等のときである。この場合、決定処理部133は、特定の方向にだけ、罫線等を拡大(所定の方向に延ばす)する。
For example, if each display mode is enlarged only in a specific direction without maintaining the aspect ratio of the display mode size of each of the plurality of display elements, the display element needs to maintain the aspect ratio of the display mode size. This is the case where there are no display elements, and when the display elements are ruled lines such as frame lines. In this case, the
決定処理部133は、処理部130と通信可能に接続され、拡大した複数の表示要素を示すGUI画像を処理部130に出力する。なお、決定処理部133は、処理部130内に搭載されていてもよい。
The
[3−2.表示制御装置の動作]
以下、上述の構成を備える表示制御装置100bによる表示制御方法に係る動作について説明する。
[3-2. Operation of display control device]
Hereinafter, an operation related to a display control method by the
図14は、表示制御装置100bにおける表示制御方法としての表示制御処理の一例を示すフローチャートである。表示制御装置100bは、GUI画像のサイズと異なるサイズの対象画面にGUI画像を表示させる場合に図14の処理を行う。図14の処理は、配置決定処理及び表示態様決定処理を実行する前に行われる。以下、同図に即して、表示制御装置100bの動作を説明する。
FIG. 14 is a flowchart illustrating an example of display control processing as a display control method in the
決定処理部133は、取得部110で取得した表示情報に規定された複数の表示要素を分析して複数の表示要素各々の特徴を特定する(S101)。決定処理部133は、表示要素が操作対象となる機能を有しているかどうかを分析したり、表示要素における、サイズの大きさ及び形状に基づいて、複数の表示要素を分析したりして、複数の表示要素各々の特徴を特定する。例えば、決定処理部133は、表示要素が操作対象となる機能を有していれば、操作対象となる機能を有しているボタンであると特定する。また、決定処理部133は、表示要素における、サイズの大きさ及び形状に基づいて、表示要素におけるサイズが大きく、表示要素における形状が正方形又は正方形に近い形の長方形なら、表示要素が画像であると特定する。決定処理部133は、表示要素における形状が特定の方向に長尺である場合、枠線等の罫線等であると特定する。
The
次に、決定処理部133は、特定した複数の表示要素各々の特徴に応じて、複数の表示要素のサイズを拡大する処理を行う。決定処理部133は、各々の表示要素のサイズを拡大するループを開始し、各々の処理について以下のステップS102〜S105を実行する(S102)。
Next, the
次に、決定処理部133は、特定した表示要素の特徴に応じて、表示要素のサイズを拡大する拡大限界サイズを決定する(S103)。
Next, the
拡大限界サイズは、画面情報が示す対象画面のサイズと、表示要素のサイズを拡大する前の各々のサイズを基準とした第1サイズとによって決定される。決定処理部133は、拡大限界サイズによって、表示要素の特性に応じた表示要素のサイズを決定する。例えば、表示要素が操作対象となる機能を有しているボタンである場合、ユーザが操作できる大きさが確保できればよいため、決定処理部133は、例えばこのボタンのサイズを1倍から約2倍の間に決定する。本実施の形態では、ボタンのサイズを1.2倍程度にすることが好ましい。また、表示要素が画像、罫線等である場合、ユーザが認識し易いように可能な限り大きくすべきであるため、決定処理部133は、可能な限り大きく拡大するように、1倍以上から対象画面と同等となる大きさの倍数までの間の、任意の倍数に決定する。なお、表示要素が文字列である場合、ユーザが視認できる大きさが確保できればよいため、決定処理部133は、文字列の大きさを1倍から2倍の間に決定する。また、罫線については、特定方向についてのみ拡大すればよく、例えば厚みを拡大(分厚く)する必要はない。
The enlargement limit size is determined by the size of the target screen indicated by the screen information and the first size based on each size before the display element size is enlarged. The
次に、決定処理部133は、特定した表示要素の特徴に応じて、表示要素のサイズを拡大するための方針を決定する(S104)。
Next, the
例えば、表示要素が操作対象となる機能を有しているボタンである場合、決定処理部133は、ボタンのサイズのアスペクト比を維持せずに表示要素のサイズを拡大する。また、表示要素が画像、文字列等である場合、決定処理部133は、画像、文字列等のサイズのアスペクト比を維持しながら表示要素のサイズを拡大する。また、表示要素が罫線等である場合、決定処理部133は、罫線等のサイズのアスペクト比を維持せずに表示要素のサイズを拡大する。
For example, when the display element is a button having a function to be operated, the
これは、画像、文字列等はアスペクト比を維持しないと、見栄えが悪くなったり、ユーザが画像、文字列等に示される情報を認識し難くなる。このため、画像、文字列等はアスペクト比を維持する必要がある。 This is because if the aspect ratio of the image, character string, etc. is not maintained, the appearance will deteriorate, and it will be difficult for the user to recognize the information shown in the image, character string, etc. For this reason, it is necessary to maintain the aspect ratio of images, character strings, and the like.
次に、決定処理部133は、ステップS103及びS104で決定した、表示要素のサイズを拡大する拡大限界サイズ、及び、表示要素のサイズを拡大するための方針に応じて、表示要素のサイズを拡大する(S105)。つまり、決定処理部133は、GUI画像を拡大する。なお、決定処理部133は、GUI画像を拡大する際に、表示要素のサイズを拡大するだけでなく、各々の表示要素の空白部分も同様に拡大させてもよい。具体的には、空白には、表示要素の外側の空白部分を示すMarginと、表示要素のBorderの内側の空白部分を示すPaddingとで構成される。本実施の形態では、この空白部分のサイズを同様に拡大させてもよい。
Next, the
決定処理部133は、全ての表示要素に対して、複数の表示要素のサイズを拡大する処理を行う。全ての表示要素に対して表示要素のサイズを拡大する処理が行われると、決定処理部133は、各々の表示要素のサイズを拡大するループを終了する。決定処理部133は、ステップS105でサイズを拡大した複数の表示要素を示すGUI画像を処理部130に出力する。
The
処理部130は、ステップS105で拡大された複数の表示要素が対象画面内に収まるように、複数の表示要素のサイズを調節する(S106)。つまり、ステップS103の表示要素の特徴に応じて決定された拡大限界サイズに基づいて、表示制御装置100bは、図7等で示される処理を行うことで、複数の表示要素各々のサイズを拡大する前の各々のサイズ(表示要素の元々のサイズ)よりも小さくならならず、かつ、拡大された複数の表示要素が対象画面内に収まるように、複数の表示要素のサイズを調節する。そして、表示制御装置100bは、表示制御処理を終了する。
The
図15は、図14におけるGUI画像を構成する複数の表示要素の配置例を示す図である。図15のAでは、対象画面400aに元々のGUI画像が表示されている。図15のAでは、例えば、GUI画像には、4つの表示要素(リスト)401〜404が表示される。
FIG. 15 is a diagram showing an arrangement example of a plurality of display elements constituting the GUI image in FIG. In FIG. 15A, the original GUI image is displayed on the
図15のBは、元々のGUI画像を対象画面400aとは別のサイズの対象画面400bに表示させる場合に、図14のステップS102〜S105の処理を行った結果である。図15のBでは、GUI画像が拡大される。このとき、決定処理部133は、画像である表示要素410を対象画面400のサイズの限界まで拡大させる。決定処理部133は、各々の表示要素間の空白(白抜きの矢印で示す)についても同様に拡大する。また、図15のBでは、図15のAに対して表示要素405がさらに追加され、5つの表示要素401〜405がGUI画像に表示される。なお、決定処理部133は、表示要素410を拡大させる際に、表示要素を数個程度増やしてもよく、数個程度減らしてもよい。また、決定処理部133が表示要素の数を増減させる場合、例えば、画像、文字列、枠線等の罫線等のように表示要素の種類ごとに表示要素の数を増減させてもよい。表示要素を増減させた後の数は、5つ程度であることが好ましい。これは、一般的に、ユーザ体験の観点から、同じ画面上に表示するリストの項目数(選択肢の数)は7±2個であることが好ましいとされているからである。本実施の形態を例に挙げると、決定処理部133は、表示要素を拡大した場合に、対象画面400aに表示される4つの表示要素401〜404を、対象画面400bに5つの表示要素401〜405が表示されるように、表示要素の数を増加させてもよい。なお、表示要素を拡大した場合に表示させる表示要素の数は、表示制御装置によって任意に設定変更することができてもよい。
B of FIG. 15 is a result of performing the processing of steps S102 to S105 of FIG. 14 when displaying the original GUI image on the
図15のCでは、図15のBのGUI画像が対象画面内に収まるように、複数の表示要素のサイズを調節する。このようにして、GUI画像を構成する複数の表示要素の配置が変更される。 15C, the sizes of the plurality of display elements are adjusted so that the GUI image of FIG. 15B fits within the target screen. In this way, the arrangement of the plurality of display elements that make up the GUI image is changed.
[3−3.効果等]
上述した表示制御装置100bによれば、複数の表示要素各々の特徴を特定することで、特定した各々の特徴に応じて複数の表示要素のサイズを拡大する拡大限界サイズ及びサイズを拡大するための方針が決定される。これにより、決定された方針に基づいて、表示要素のサイズを自動的に拡大することができる。このため、GUI画像とはサイズ(画像の幅及び高さ)、及び、アスペクト比が異なるディスプレイに対して、所定の表示基準等を満たしたGUI画像をディスプレイに表示させることができる。
[3-3. Effect]
According to the above-described
(他の実施の形態等)
以上のように、本出願において開示する技術の例示として、実施の形態1、2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
(Other embodiments, etc.)
As described above,
上述の実施の形態では、表示制御装置100の取得部110が、サーバ装置200から表示情報を取得する例を示したが、取得部110は、表示情報をどこから取得してもよい。また、取得部110は、表示制御装置100の記録媒体に記録されたデータ或いは外部装置から受信したデータに基づいて、演算処理(例えばそのデータの解析処理等)を実行して表示情報の内容を特定することによって、その表示情報の取得を行うこととしてもよい。
In the above-described embodiment, an example in which the
上述の実施の形態1では、表示制御装置100の出力部140による出力が、対象画面へ複数の表示要素を表示することである例を示し、実施の形態2では、表示制御装置100aの出力部140による出力が、対象画面へ複数の表示要素を表示するために用いられるべき、各表示要素の配置及び表示態様を示す表示制御情報を、端末装置300に送信することである例を示した。この他に、出力部140は、GUI画像を構成する各表示要素の配置及び表示態様を示す情報或いはそのGUI画像を、音声、光その他のいかなるものを媒介として出力してもよいし、着脱自在な記録媒体(例えばメモリカード等)に記録することで出力してもよい。
In the first embodiment described above, an example in which the output by the
上述の実施の形態では、サイズ制約情報が、特定の表示要素についての最小サイズ等の要件を示す例を示したが、サイズ制約情報が、文字を表示する全ての表示要素における文字フォントの最小サイズの要件を示すこととしてもよいし、押下され得る全てのGUIボタンである表示要素における最小サイズの要件を示すこととしてもよい。なお、サイズ制約情報が示すサイズについての要件を、ユーザが変更できるようにしてもよい。これにより、ユーザは、自らの視力、指のサイズ等に応じて適切にサイズ制約情報を設定可能となる。 In the above-described embodiment, the example in which the size constraint information indicates the requirements such as the minimum size for the specific display element is shown. However, the size constraint information indicates the minimum size of the character font in all the display elements that display characters. Or a minimum size requirement for display elements that are all GUI buttons that can be pressed. Note that the user may be able to change the requirements regarding the size indicated by the size constraint information. Thereby, the user can appropriately set the size constraint information according to his / her own eyesight, finger size, and the like.
上述の実施の形態では、処理部130の配置決定部131は、配置決定処理におけるステップS13、S31等で、上位表示領域に収まらない表示要素の存在に係る判定を行う例を示した。この判定に関連して、配置決定部131は、上位表示領域に収まらない表示要素が存在する場合に、その表示要素に関する情報を、出力部140を介して出力することとしてもよい。ここで、上位表示領域は、対象画面の全体領域であることとしてもよい。そして、出力部140による出力は、例えば、上位表示領域に収まらない表示要素の表示、或いは、その表示要素に関するサイズ、位置等の表示態様に係るパラメータの表示等により実現され得る。この出力によって、上位表示領域に収まらない表示要素に関する情報を認識した人間(例えば表示制御装置100のユーザ)が、その表示要素の配置を決定してもよい。その人間は、決定した表示要素の配置に係る情報(例えば表示要素の位置等の情報)を、表示制御装置100に入力し得る。そして、表示制御装置100における配置決定部131は、入力情報(つまりその入力された表示要素の配置に係る情報)に基づいて(例えば人間が指示した配置に従って)、配置決定処理におけるステップS15、S34等での表示要素の配置の変更を行うこととしてもよい。
In the above-described embodiment, the example in which the
また、上述した表示制御装置100、100aにおける各部の機能分担(図2参照)は一例に過ぎず、任意に変更することができ、各部を統合してもよい。また、表示制御装置100、100aは、処理部130における一部の処理を、表示制御装置100、100aの外部の装置(例えばサーバ装置200、端末装置300等)に分担させてもよい。
Moreover, the function sharing (refer FIG. 2) of each part in the
また、上述した表示制御装置100、100aにおける各種処理(例えば図7、図8、図9A、或いは、図9Bに示す手順等)の実行順序は、必ずしも、上述した通りの順序に制限されるものではなく、例えば、実行順序を入れ替えたり、複数の手順を並列に行ったり、その手順の一部を省略したりすることができる。また、上述の表示制御装置100、100aにおける各種処理(例えば図7、図8、図9A、或いは、図9Bに示す手順等)の全部又は一部は、専用の電子回路等のハードウェアにより実現されても、プロセッサ及びソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、表示制御装置100、100aに含まれるプロセッサがメモリに記憶されたプログラム(例えばGUI画像の表示制御用の制御プログラム)を実行することにより実現されるものである。また、そのプログラムを、コンピュータが読み取り可能なROM、光ディスク、ハードディスク等の非一時的な記録媒体に記録して頒布や流通させてもよい。例えば、頒布された表示制御用の制御プログラムを表示制御装置100或いは表示制御装置100aにインストールして、そのインストール先の表示制御装置のプロセッサに実行させることで、その表示制御装置に各種処理(例えば図7、図8、図9A、或いは、図9Bに示す手順等)の全部又は一部を行わせることが可能となる。GUI画像の表示制御用の制御プログラムは、表示制御装置100、100aの記録媒体(例えば記憶部120)に予め格納されていてもよいし、インターネット等を含む広域通信網を介してその記録媒体へ供給されてもよい。なお、表示制御用の制御プログラムは、表示制御処理を実行するためのステップ(手順)を含む。この表示制御処理は、例えば、GUIとして用いられる画面に表示されるべき複数の表示要素について規定した表示情報であって複数の表示要素間の包含関係を示す構造情報を含むその表示情報と、その複数の表示要素を表示する画面である対象画面の形態を示す画面情報とを取得する取得ステップ(例えばステップS1、S2)と、その複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するためにその複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、表示情報とに基づいて、画面情報が示す対象画面の形態に応じてその対象画面内にその複数の表示要素が収まり、且つ、その複数の表示要素のうちサイズ制約情報で要件が定められた表示要素についてはその要件が満たされるように、その複数の表示要素各々の配置を決定する配置決定処理とその複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する処理ステップ(例えばステップS3)と、その処理ステップでの配置決定処理及び表示態様決定処理の結果に応じた出力を行う出力ステップ(例えばステップS4)とを含む。
Further, the execution order of various processes (for example, the procedures shown in FIGS. 7, 8, 9A, or 9B) in the
また、上述した表示制御装置100、100aにおける各機能構成要素としての機能ブロックの全部又は一部は、IC(Integrated Circuit)、LSI(Large Scale Integration)等の半導体装置により個別に1チップ化されてもよいし、一部又は全部を含むよう
に1チップ化されてもよい。1チップ化されたLSIは、プロセッサ、ROM、RAM等を含みコンピュータとして機能するシステムLSIであってもよい。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)
、或いは、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
In addition, all or a part of the functional blocks as the functional components in the
Alternatively, a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used. Furthermore, if integrated circuit technology that replaces LSI appears as a result of progress in semiconductor technology or other derived technology, functional blocks may be integrated using this technology. Biotechnology can be applied as a possibility.
また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。 In addition, forms realized by arbitrarily combining the components and functions described in the above-described embodiments are also included in the scope of the present disclosure.
本開示は、GUI画像を表示するための表示制御装置、表示制御システム等に適用可能である。 The present disclosure is applicable to a display control device, a display control system, and the like for displaying a GUI image.
100、100a 表示制御装置
101、301 プロセッサ(マイクロプロセッサ)
102、302 メモリ
110 取得部
120 記憶部
130 処理部(第1処理部)
131 配置決定部
132 表示態様決定部
133 決定処理部(第2処理部)
140 出力部
200 サーバ装置
201 通信路
300 端末装置
400、400a、400b 対象画面
401〜405、410、420、431〜434 表示要素
100, 100a
102, 302
131
140
Claims (20)
前記複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するために前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、前記表示情報とに基づいて、前記画面情報が示す前記対象画面の形態に応じて当該対象画面内に前記複数の表示要素が収まり、且つ、前記複数の表示要素のうち前記サイズ制約情報で前記要件が定められた表示要素については前記要件が満たされるように、前記複数の表示要素各々の配置を決定する配置決定処理と前記複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する第1処理部と、
前記第1処理部による前記配置決定処理及び前記表示態様決定処理の結果に応じた出力を行う出力部とを備える
表示制御装置。 Display information that is defined for a plurality of display elements to be displayed on a screen used as a GUI (Graphical User Interface) and includes structure information indicating an inclusion relationship between the plurality of display elements, and the plurality of displays An acquisition unit for acquiring screen information indicating a form of a target screen that is a screen for displaying an element;
In the display mode of each of the one or more display elements of the plurality of display elements, in order to ensure operability, and predetermined arrangement determination information about the arrangement of one or more display elements of the plurality of display elements Based on the size constraint information in which requirements regarding size are determined in advance and the display information, the plurality of display elements are accommodated in the target screen according to the form of the target screen indicated by the screen information, and the Among the plurality of display elements, an arrangement determining process for deciding the arrangement of each of the plurality of display elements so that the requirement is satisfied for the display elements for which the requirement is determined by the size constraint information, and each of the plurality of display elements A first processing unit that executes a display mode determination process for determining a display mode of
A display control apparatus comprising: an output unit that performs output according to a result of the arrangement determination process and the display mode determination process by the first processing unit.
前記第1処理部は、前記表示情報に基づいて前記サイズ制約情報で定められた前記要件を満たすように前記複数の表示要素について一旦配置を決定する暫定配置処理を実行し且つ前記表示態様決定処理を実行した結果として、前記複数の表示要素のうちの1つ以上の各表示要素について、当該表示要素が前記対象画面内に収まらない場合には当該表示要素が前記対象画面内に収まるように、当該表示要素が前記木構造における当該表示要素に対応するノードの上位のノードに係る表示領域内に収まらない場合には当該表示要素が当該表示領域内に収まるように、前記配置決定処理を実行する
請求項1記載の表示制御装置。 The structure information is expressed by associating each of the plurality of display elements with each node in a tree structure of a plurality of hierarchies, associating the display element having the largest display area with the highest root node, It is information in which nodes corresponding to one or more display elements to be included in the display area of the display element corresponding to the node are arranged under the upper node,
The first processing unit executes temporary arrangement processing that temporarily determines the arrangement of the plurality of display elements so as to satisfy the requirement defined by the size constraint information based on the display information and the display mode determination processing As a result of executing, for one or more display elements of the plurality of display elements, if the display elements do not fit in the target screen, so that the display elements fit in the target screen, If the display element does not fit in the display area related to the node higher than the node corresponding to the display element in the tree structure, the placement determination process is executed so that the display element fits in the display area The display control apparatus according to claim 1.
請求項2記載の表示制御装置。 The first processing unit temporarily determines the arrangement of the plurality of display elements and, as a result of executing the display mode determination process, one display element of the plurality of display elements does not fit in the target screen. In the case where the arrangement information does not fit within the display area related to the node higher than the node corresponding to the one display element in the tree structure of the structure information, The display control apparatus according to claim 2, wherein a relative arrangement of display elements corresponding to each node immediately below a node one level higher than a node in the tree structure is changed.
前記第1処理部は、前記第1配置情報に従って前記暫定配置処理を実行し、前記第2配置情報に従って前記配置決定処理を実行する
請求項3記載の表示制御装置。 The placement determination information corresponds to first placement information indicating the placement of each of the plurality of display elements to be determined in the provisional placement processing, and each node immediately below one node in the tree structure of the structure information Each display element includes second arrangement information indicating a different arrangement from the arrangement indicated by the first arrangement information,
The display control apparatus according to claim 3, wherein the first processing unit executes the provisional arrangement process according to the first arrangement information, and executes the arrangement determination process according to the second arrangement information.
前記第1処理部は、前記配置制約情報で定められた前記要件を満たすように前記暫定配置処理及び前記配置決定処理を実行する
請求項3記載の表示制御装置。 The placement determination information includes placement constraint information in which requirements regarding relative placement for all or part of the plurality of display elements are predetermined,
The display control apparatus according to claim 3, wherein the first processing unit executes the provisional arrangement process and the arrangement determination process so as to satisfy the requirement defined by the arrangement constraint information.
請求項3〜5のいずれか一項に記載の表示制御装置。 The first processing unit temporarily determines the arrangement of the plurality of display elements and, as a result of executing the display mode determination process, one display element of the plurality of display elements does not fit in the target screen. If it does not fit within the display area related to the node higher than the node corresponding to the one display element in the tree structure of the structure information, 1 of the node in the tree structure corresponding to the one display element Specify the width and height of the display area that should contain the display elements corresponding to all the nodes directly below the upper node of the hierarchy, and so as to contain the display element that should be contained in the display area based on the specific result, The display control apparatus according to any one of claims 3 to 5, wherein the arrangement determining process is executed.
請求項3〜5のいずれか一項に記載の表示制御装置。 The first processing unit temporarily determines the arrangement of the plurality of display elements and, as a result of executing the display mode determination process, one display element of the plurality of display elements does not fit in the target screen. Or in the case where the structure information does not fit in the display area related to the node higher than the node corresponding to the one display element in the tree structure, one level of the node in the tree structure corresponding to the one display element When display elements corresponding to two or more nodes immediately below the upper node are arranged in a matrix, specify the width and height of the display area in which each display element arranged in the matrix is to be stored And by changing the number of rows and the number of columns in the matrix arrangement so as to accommodate the display elements that should be accommodated in the display area based on the specific result, The display control device according to any one of claims 3-5 to perform location determination process.
前記第1処理部は、前記表示態様決定処理を、少なくとも前記配置決定処理の実行後に実行し、
前記第1処理部は、前記配置決定処理の実行後に実行される前記表示態様決定処理では、前記複数の表示要素のうち前記サイズ制約情報で最小サイズを前記要件として定められた表示要素については、前記構造情報の前記木構造における当該表示要素に対応するノードの上位のノードに係る表示領域内に当該表示要素が収まる範囲で、当該最小サイズより大きなサイズで表示できる場合には当該大きなサイズとなるように当該表示要素の表示態様を決定し、前記構造情報の前記木構造における当該表示要素に対応するノードの上位のノードに係る表示領域内に当該表示要素が収まる範囲で当該最小サイズより大きなサイズで表示できない場合には当該最小サイズとなるように当該表示要素の表示態様を決定する
請求項2〜7のいずれか一項に記載の表示制御装置。 The size constraint information is information that defines the minimum size of each display element as the requirement regarding the size in the display mode of each of one or more display elements among the plurality of display elements,
The first processing unit executes the display mode determination process at least after execution of the arrangement determination process,
In the display mode determination process executed after execution of the arrangement determination process, the first processing unit is configured to display a display element whose minimum size is defined as the requirement in the size constraint information among the plurality of display elements. If the display element can be displayed in a size larger than the minimum size within the display area of the upper node of the node corresponding to the display element in the tree structure of the structure information, the size becomes the large size. The display mode of the display element is determined as described above, and a size larger than the minimum size in a range in which the display element is contained in a display area related to a node higher than the node corresponding to the display element in the tree structure of the structure information The display mode of the display element is determined so as to be the minimum size when it cannot be displayed by the method according to any one of claims 2 to 7. The display control apparatus described.
請求項8記載の表示制御装置。 In the display mode determination process executed after execution of the arrangement determination process, the first processing unit is configured to display a display element whose minimum size is defined as the requirement in the size constraint information among the plurality of display elements. If the display element can be displayed in a size larger than the minimum size within the display area related to the upper node of the node corresponding to the display element in the tree structure of the structure information, the maximum size and The display control apparatus according to claim 8, wherein the display mode of the display element is determined so as to be.
前記第1処理部は、前記複数の表示要素のうち前記表示態様情報で表示態様が指定された表示要素については当該指定に従うように、前記暫定配置処理を実行し且つ前記表示態様決定処理を実行する
請求項2〜9のいずれか一項に記載の表示制御装置。 The display information includes display mode information that specifies a display mode of each of one or more display elements among the plurality of display elements,
The first processing unit executes the provisional arrangement process and the display mode determination process so that a display element whose display mode is specified by the display mode information among the plurality of display elements is subjected to the specification. The display control apparatus according to any one of claims 2 to 9.
請求項2〜10のいずれか一項に記載の表示制御装置。 The first processing unit, as a result of executing the provisional arrangement process and the display mode determination process, for one or more display elements of the plurality of display elements, the display elements are within the target screen. If there is no display element, or if the display element does not fit within the display area related to the node higher than the node corresponding to the display element in the tree structure, the display unit outputs information on the display element, and the display The display control apparatus according to any one of claims 2 to 10, wherein after the output of information related to an element, input information relating to the arrangement of the display element is acquired and the arrangement determination process is executed based on the input information.
請求項1〜11のいずれか一項に記載の表示制御装置。 The output unit displays each of the plurality of display elements on the target screen in an arrangement and a display mode according to the result of the arrangement determination process and the display mode determination process by the first processing unit, and thereby the output The display control apparatus according to any one of claims 1 to 11.
請求項1〜11のいずれか一項に記載の表示制御装置。 The output unit displays and displays each of the plurality of display elements on the target screen according to a result of the arrangement determination process and the display mode determination process by the first processing unit. The display control device according to any one of claims 1 to 11, wherein the output is performed by transmitting display control information defining a mode to the outside of the display control device.
請求項1〜13のいずれか一項に記載の表示制御装置。 Further, before executing the arrangement determination process and the display mode determination process, the display elements specified in the display information acquired by the acquisition unit are analyzed to identify the characteristics of the display elements. Then, an enlargement limit size for enlarging the size of the plurality of display elements and a policy for enlarging the size are determined according to the specified characteristics, and the plurality of the display elements are determined based on the determined enlargement limit size and the policy The display control apparatus as described in any one of Claims 1-13 provided with the 2nd process part which expands the size of each display element.
請求項14記載の表示制御装置。 The enlargement limit size is equal to or larger than each size corresponding to each of the plurality of display elements on the basis of each size before enlarging the size of each of the plurality of display elements, and the target indicated by the screen information The display control apparatus according to claim 14, wherein the display control apparatus is smaller than a screen size.
請求項15記載の表示制御装置。 The policy includes expanding the size of the plurality of display elements while maintaining the aspect ratio of the display mode size of each of the plurality of display elements, and setting the aspect ratio of the display mode size of each of the plurality of display elements. Enlarging the size of the plurality of display elements without maintaining, at least enlarging each display mode only in a specific direction without maintaining the aspect ratio of the size of the display mode of each of the plurality of display elements The display control apparatus according to claim 15, wherein any one of them is included.
請求項14〜16のいずれか一項に記載の表示制御装置。 The second processing unit analyzes the plurality of display elements and specifies the characteristics of each of the plurality of display elements depending on at least whether or not the plurality of display elements have a function to be operated. The display control apparatus according to any one of 14 to 16.
請求項17記載の表示制御装置。 The second processing unit further analyzes the plurality of display elements based on the size and shape of the plurality of display elements, and identifies the characteristics of each of the plurality of display elements. Display controller.
GUI(Graphical User Interface)として用いられる画面に表示されるべき複数の表示要素について規定した表示情報であって複数の表示要素間の包含関係を示す構造情報を含む当該表示情報と、前記複数の表示要素を表示する画面である対象画面の形態を示す画面情報とを取得する取得ステップと、
前記複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するために前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、前記表示情報とに基づいて、前記画面情報が示す前記対象画面の形態に応じて当該対象画面内に前記複数の表示要素が収まり、且つ、前記複数の表示要素のうち前記サイズ制約情報で前記要件が定められた表示要素については前記要件が満たされるように、前記複数の表示要素各々の配置を決定する配置決定処理と前記複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する処理ステップと、
前記処理ステップでの前記配置決定処理及び前記表示態様決定処理の結果に応じた出力を行う出力ステップとを含む
表示制御方法。 A display control method used in a display control device,
Display information that is defined for a plurality of display elements to be displayed on a screen used as a GUI (Graphical User Interface) and includes structure information indicating an inclusion relationship between the plurality of display elements, and the plurality of displays An acquisition step for acquiring screen information indicating a form of a target screen that is a screen for displaying an element;
In the display mode of each of the one or more display elements of the plurality of display elements, in order to ensure operability, and predetermined arrangement determination information about the arrangement of one or more display elements of the plurality of display elements Based on the size constraint information in which requirements regarding size are determined in advance and the display information, the plurality of display elements are accommodated in the target screen according to the form of the target screen indicated by the screen information, and the Among the plurality of display elements, an arrangement determining process for deciding the arrangement of each of the plurality of display elements so that the requirement is satisfied for the display elements for which the requirement is determined by the size constraint information, and each of the plurality of display elements Processing steps for executing a display mode determination process for determining the display mode of
A display control method comprising: an output step of performing output in accordance with the result of the arrangement determining process and the display mode determining process in the processing step.
前記表示制御処理は、
GUI(Graphical User Interface)として用いられる画面に表示されるべき複数の表示要素について規定した表示情報であって複数の表示要素間の包含関係を示す構造情報を含む当該表示情報と、前記複数の表示要素を表示する画面である対象画面の形態を示す画面情報とを取得する取得ステップと、
前記複数の表示要素のうち1以上の表示要素の配置についての予め定められた配置決定用情報と、操作性を確保するために前記複数の表示要素のうち1以上の表示要素各々の表示態様におけるサイズに関する要件が予め定められたサイズ制約情報と、前記表示情報とに基づいて、前記画面情報が示す前記対象画面の形態に応じて当該対象画面内に前記複数の表示要素が収まり、且つ、前記複数の表示要素のうち前記サイズ制約情報で前記要件が定められた表示要素については前記要件が満たされるように、前記複数の表示要素各々の配置を決定する配置決定処理と前記複数の表示要素各々の表示態様を決定する表示態様決定処理とを実行する処理ステップと、
前記処理ステップでの前記配置決定処理及び前記表示態様決定処理の結果に応じた出力を行う出力ステップとを含む
制御プログラム。 A control program for causing a display control device including a microprocessor to execute display control processing,
The display control process includes:
Display information that is defined for a plurality of display elements to be displayed on a screen used as a GUI (Graphical User Interface) and includes structure information indicating an inclusion relationship between the plurality of display elements, and the plurality of displays An acquisition step for acquiring screen information indicating a form of a target screen that is a screen for displaying an element;
In the display mode of each of the one or more display elements of the plurality of display elements, in order to ensure operability, and predetermined arrangement determination information about the arrangement of one or more display elements of the plurality of display elements Based on the size constraint information in which requirements regarding size are determined in advance and the display information, the plurality of display elements are accommodated in the target screen according to the form of the target screen indicated by the screen information, and the Among the plurality of display elements, an arrangement determining process for deciding the arrangement of each of the plurality of display elements so that the requirement is satisfied for the display elements for which the requirement is determined by the size constraint information, and each of the plurality of display elements Processing steps for executing display mode determination processing for determining the display mode of
A control program comprising: an output step for performing output in accordance with the result of the arrangement determining process and the display mode determining process in the processing step.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018064945 | 2018-03-29 | ||
JP2018064945 | 2018-03-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019175460A true JP2019175460A (en) | 2019-10-10 |
Family
ID=68169578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019061988A Pending JP2019175460A (en) | 2018-03-29 | 2019-03-27 | Display controller, display control method, and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019175460A (en) |
-
2019
- 2019-03-27 JP JP2019061988A patent/JP2019175460A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10976888B2 (en) | Automatically generating column layouts in electronic documents | |
US9111007B2 (en) | Adaptive rendering of a webpage on an electronic display device | |
US10467337B2 (en) | Responsive data exploration on small screen devices | |
US11790158B1 (en) | System and method for using a dynamic webpage editor | |
US8645849B2 (en) | Method and apparatus for providing portioned web pages in a graphical user interface | |
US8949707B2 (en) | Adaptive document displaying apparatus and method | |
US10740540B2 (en) | Techniques for programmatic magnification of visible content elements of markup language documents | |
US20150088669A1 (en) | Apparatus and method for providing responsive user interface and electronic device-readable recording medium therefor | |
US10410606B2 (en) | Rendering graphical assets on electronic devices | |
JP6975339B2 (en) | Backdrop rendering of digital components | |
KR20210040611A (en) | Method and apparatus for generating web page | |
EP2437184A1 (en) | Host apparatus and method of displaying content by the same | |
JP2015075783A (en) | Design support program, design support method, and design support device | |
CN117055987A (en) | Webpage display method and device, electronic equipment and computer readable storage medium | |
JP6924544B2 (en) | Cartoon data display system, method and program | |
JP2002108323A (en) | Information terminal and storage medium | |
JP2019175460A (en) | Display controller, display control method, and control program | |
JP6113983B2 (en) | Screen control display system and screen control display program | |
JP2011128710A (en) | Display device, display system, display control method and display control program | |
US9536502B2 (en) | Screen display based on the inter-screen relationship | |
KR102057626B1 (en) | Method, Apparatus and Computer program for generating Bookmark, and Method, Apparatus and Computer program for displaying Bookmark. | |
CN115344252A (en) | Visual large screen generation method and device and storage medium | |
CN117195839A (en) | Text data processing method and device, electronic equipment and readable storage medium | |
JP2010134701A (en) | Information display system, information display method and information display program | |
JP2006092499A (en) | System and computer program for browsing contents |