JP6482452B2

JP6482452B2 - Screen transition identification device, screen transition identification system, and screen transition identification method

Info

Publication number: JP6482452B2
Application number: JP2015221923A
Authority: JP
Inventors: 祥佐々木
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2015-11-12
Filing date: 2015-11-12
Publication date: 2019-03-13
Anticipated expiration: 2035-11-12
Also published as: JP2017091297A

Description

本発明は、端末に表示された画面の遷移状態を特定する画面遷移特定装置、画面遷移特定システム及び画面遷移特定方法に関する。 The present invention relates to a screen transition specifying device, a screen transition specifying system, and a screen transition specifying method for specifying a transition state of a screen displayed on a terminal.

従来、他の端末に表示されている動画の内容を再現する方法が知られている。特許文献１においては、他の端末に表示されている動画に含まれる画像フレームの番号、及び他の端末における操作内容を示す操作コードを含むログ情報を取得し、取得したログ情報に基づいて動画の内容を再現する方法が記載されている。また、特許文献２においては、携帯電話機における操作画面の履歴情報に基づいて、操作画面を特定する方法が記載されている。 Conventionally, a method for reproducing the content of a moving image displayed on another terminal is known. In Patent Document 1, log information including an image frame number included in a moving image displayed on another terminal and an operation code indicating an operation content in the other terminal is acquired, and the moving image is acquired based on the acquired log information. The method of reproducing the contents of is described. Patent Document 2 describes a method of specifying an operation screen based on history information of an operation screen in a mobile phone.

特開２００９−２４７５６３号公報JP 2009-247563 A 特開２０１１−１７５４４３号公報JP 2011-175443 A

スマートフォン及びタブレット等の端末で実行されるアプリケーションの仕様を改善したり、アプリケーションの使用方法をユーザにアドバイスしたりするために、端末に表示されている画面の遷移状態を把握する必要性が高まっている。しかしながら、従来のようにログ情報又は履歴情報に基づいて画面の状態を把握できるようにするためには、端末のアプリケーションを設計する時点で、ログ情報又は履歴情報を生成する機能を実装しておく必要があった。したがって、アプリケーションの設計工数が増加してしまうという問題があった。また、ログ情報又は履歴情報を生成する機能が実装されていないアプリケーションにより表示される画面の状態を把握することは困難であり、他の端末に表示された内容を特定できる画面の種類が、限定的であるという問題もあった。 In order to improve the specifications of applications executed on terminals such as smartphones and tablets, and to advise users on how to use applications, the need to grasp the transition state of screens displayed on terminals has increased. Yes. However, in order to be able to grasp the screen state based on log information or history information as in the past, a function for generating log information or history information is implemented at the time of designing a terminal application. There was a need. Therefore, there is a problem that the design man-hour of the application increases. In addition, it is difficult to grasp the state of the screen displayed by an application that does not have a function for generating log information or history information, and the types of screens that can specify the content displayed on other terminals are limited. There was also the problem of being correct.

そこで、本発明はこれらの点に鑑みてなされたものであり、端末の画面に画像を表示するアプリケーションに追加機能を実装することなく、画面の遷移状態を特定するための画面遷移特定装置、画面遷移特定システム及び画面遷移特定方法を提供することを目的とする。 Accordingly, the present invention has been made in view of these points, and a screen transition specifying device and screen for specifying a screen transition state without implementing an additional function in an application that displays an image on a terminal screen. An object is to provide a transition identification system and a screen transition identification method.

本発明の第１の態様においては、画像を表示する表示部と、前記表示部の画面に表示された画面データを取得する取得部と、前記画面データの特徴を示す特徴情報を生成する情報生成部と、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、を有する画面遷移特定装置を提供する。 In the first aspect of the present invention, a display unit that displays an image, an acquisition unit that acquires screen data displayed on the screen of the display unit, and information generation that generates feature information indicating the characteristics of the screen data A storage unit that stores one or more reference feature information indicating characteristics of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen, and the feature information is the one or more A determination unit that determines whether the reference information matches or is similar to any one of the reference feature information; and the determination unit determines that the feature information matches or is similar to any of the one or more reference feature information, A storage control unit that stores time information associated with feature information in the storage unit in association with identification information that identifies the reference feature information that matches or is similar to the feature information. To provide.

本発明の第２の態様においては、携帯端末の画面に表示された画面データの特徴を示す特徴情報を取得する取得部と、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、を有する画面遷移特定装置を提供する。 In the second aspect of the present invention, the acquisition unit that acquires the characteristic information indicating the characteristics of the screen data displayed on the screen of the mobile terminal, and one or more of the screen data displayed on the screen are the same or similar A storage unit that stores one or more reference feature information indicating features of one or more reference screen data; a determination unit that determines whether the feature information matches or is similar to any of the one or more reference feature information; When the determination unit determines that the feature information matches or is similar to any one of the one or more reference feature information, the time information associated with the feature information is the reference that matches or is similar to the feature information. There is provided a screen transition specifying device including a storage control unit that stores the storage unit in association with identification information that identifies feature information.

前記記憶部に記憶された前記時刻情報に基づく順番に、前記特徴情報と一致又は類似する前記基準特徴情報に対応する基準画面データを含む画面データを出力する出力部をさらに有してもよい。 You may further have an output part which outputs the screen data containing the reference | standard screen data corresponding to the said reference | standard feature information which is the same or similar to the said characteristic information in order based on the said time information memorize | stored in the said memory | storage part.

前記出力部は、前記特徴情報と一致又は類似する前記基準特徴情報に対応する前記基準画面データを出力した後に、前記基準画面データに類似する前記特徴情報に対応する類似画面データを出力してもよい。 The output unit may output similar screen data corresponding to the feature information similar to the reference screen data after outputting the reference screen data corresponding to the reference feature information that matches or is similar to the feature information. Good.

前記判定部は、前記特徴情報の一部と、前記一以上の基準特徴情報のいずれかの一部とが一致する場合に、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定してもよい。 The determination unit, when a part of the feature information and a part of any one of the one or more reference feature information match, the feature information matches or is similar to any one of the one or more reference feature information Then, it may be determined.

前記判定部は、透明画素により構成される透明領域と、透明画素以外の画素により構成される非透明領域とを含む前記基準特徴情報と、前記特徴情報とを比較することにより、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定してもよい。 The determination unit compares the feature information with the reference feature information including a transparent region formed of transparent pixels and a non-transparent region formed of pixels other than the transparent pixels, thereby obtaining the feature information. It may be determined whether or not it matches or resembles any of the one or more reference feature information.

前記判定部は、前記画面データを複数の分割領域に分割し、前記複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより生成されたハッシュ情報を含む前記特徴情報が、前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定してもよい。 The determination unit includes the hash information generated by dividing the screen data into a plurality of divided regions and comparing an average value of luminance or chromaticity of each of the plurality of divided regions with a predetermined threshold value. However, it may be determined whether it matches or resembles any one of the one or more reference feature information.

本発明の第３の態様においては、携帯端末の表示部の画面に表示された画面データを取得するステップと、前記画面データの特徴を示す特徴情報を生成するステップと、前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定するステップと、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、を有する画面遷移特定方法を提供する。 In the third aspect of the present invention, the step of obtaining screen data displayed on the screen of the display unit of the mobile terminal, the step of generating feature information indicating the feature of the screen data, and the feature information are Determining whether or not it matches or resembles any one or more pieces of reference feature information indicating a feature of one or more pieces of reference screen data that are the same or similar to one or more pieces of screen data displayed on the screen; When it is determined that the information matches or is similar to any one of the one or more reference feature information, the time information associated with the feature information is used as identification information that identifies the reference feature information that matches or is similar to the feature information. And a step of associating and storing the information in a storage unit.

本発明の第４の態様においては、携帯端末の表示部の画面に表示された画面データの特徴を示す特徴情報を取得するステップと、前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す基準特徴情報と一致又は類似するか否かを判定するステップと、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、を有する画面遷移特定方法を提供する。 In the fourth aspect of the present invention, the step of obtaining feature information indicating the feature of the screen data displayed on the screen of the display unit of the mobile terminal, and the feature information is displayed on the screen. Determining whether the feature information matches or resembles reference feature information indicating a feature of one or more reference screen data that is the same as or similar to the screen data, and the feature information matches any of the one or more reference feature information, or A step of storing the time information associated with the feature information in a storage unit in association with identification information for identifying the reference feature information that matches or is similar to the feature information when it is determined to be similar Provide a specific method.

本発明の第５の態様においては、画面データを表示する画面を有する端末と、前記端末に表示された前記画面データの遷移状態を特定する画面遷移特定装置と、を備え、前記端末は、前記画面に表示された画面データを取得する取得部と、前記画面データの特徴を示す特徴情報を生成する情報生成部と、前記特徴情報を、当該特徴情報に関連付けられた時刻情報とともに前記画面遷移特定装置に送信する送信部と、を有し、前記画面遷移特定装置は、前記特徴情報を取得する取得部と、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、を有する画面遷移特定システムを提供する。 In a fifth aspect of the present invention, the apparatus includes: a terminal having a screen that displays screen data; and a screen transition specifying device that specifies a transition state of the screen data displayed on the terminal. An acquisition unit that acquires screen data displayed on the screen, an information generation unit that generates feature information indicating the characteristics of the screen data, and the screen information specifying the feature information together with time information associated with the feature information. A transmission unit that transmits to the device, wherein the screen transition identification device acquires the feature information, and one or more criteria that are the same as or similar to the one or more screen data displayed on the screen A storage unit that stores one or more reference feature information indicating features of screen data; a determination unit that determines whether the feature information matches or is similar to any of the one or more reference feature information; When the unit determines that the feature information matches or is similar to any of the one or more reference feature information, the time information associated with the feature information is changed to the reference feature information that matches or is similar to the feature information. There is provided a screen transition specifying system that includes a storage control unit that is stored in the storage unit in association with identification information to be identified.

本発明によれば、端末の画面に画像を表示するアプリケーションに追加機能を実装することなく、画面の遷移状態を特定することができるという効果を奏する。 According to the present invention, there is an effect that a screen transition state can be specified without mounting an additional function in an application that displays an image on a terminal screen.

本実施形態に係る画面遷移特定システムＳの概要を説明するための図である。It is a figure for demonstrating the outline | summary of the screen transition specific system S which concerns on this embodiment. 携帯端末１Ａの構成を示す図である。It is a figure which shows the structure of 1 A of portable terminals. 画面遷移特定装置２の構成を示す図である。2 is a diagram illustrating a configuration of a screen transition identification device 2. FIG. トラッキング用画像Ｔを示す図である。It is a figure which shows the image T for tracking. 取得画像Ｓの一例を示す図である。It is a figure which shows an example of the acquisition image. 携帯端末１Ａ及び画面遷移特定装置２における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process in 1 A of portable terminals and the screen transition specific | specification apparatus 2. FIG. 複数の分割領域の例を示す図である。It is a figure which shows the example of several division area. 携帯端末１Ａ及び画面遷移特定装置２における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process in 1 A of portable terminals and the screen transition specific | specification apparatus 2. FIG. 第３の実施形態に係る携帯端末１Ｂの構成を示す図である。It is a figure which shows the structure of the portable terminal 1B which concerns on 3rd Embodiment.

＜第１の実施形態＞
［第１の実施形態の概要］
図１は、本実施形態に係る画面遷移特定システムＳの概要を説明するための図である。画面遷移特定システムＳは、携帯端末１Ａと、画面遷移特定装置２とを備える。
携帯端末１Ａは、スマートフォン及びタブレットのように、テキスト及び画像を表示することができるディスプレイを有する端末である。図１に示す携帯端末１Ａは、無線通信回線を介して携帯電話網の基地局Ｎ１に接続され、インターネット等のネットワークＮ２を介して画面遷移特定装置２と通信することができる。携帯端末１Ａは、無線端末に限られず、有線ケーブルを介してネットワークＮ２に接続されるコンピュータ又は家電機器等であってもよい。 <First Embodiment>
[Outline of First Embodiment]
FIG. 1 is a diagram for explaining an overview of the screen transition specifying system S according to the present embodiment. The screen transition identification system S includes a mobile terminal 1A and a screen transition identification device 2.
1 A of portable terminals are terminals which have a display which can display a text and an image like a smart phone and a tablet. A mobile terminal 1A shown in FIG. 1 is connected to a base station N1 of a mobile phone network via a wireless communication line, and can communicate with the screen transition specifying device 2 via a network N2 such as the Internet. The portable terminal 1A is not limited to a wireless terminal, and may be a computer or a home appliance that is connected to the network N2 via a wired cable.

画面遷移特定装置２は、ネットワークＮ２に接続されているサーバである。画面遷移特定装置２は、携帯端末１Ａから受信した情報に基づいて、携帯端末１Ａに表示されている画面の遷移状態を特定する。画面遷移特定装置２は、特定した画面の遷移状態に基づいて、携帯端末１Ａに対して適切な情報を提供したり、携帯端末１Ａのユーザがアプリケーションソフトウェア（以下、アプリケーションという）をどのように使用しているかに関する情報を収集したりすることができる。 The screen transition specifying device 2 is a server connected to the network N2. The screen transition specifying device 2 specifies the transition state of the screen displayed on the mobile terminal 1A based on the information received from the mobile terminal 1A. The screen transition specifying device 2 provides appropriate information to the mobile terminal 1A based on the specified screen transition state, and how the user of the mobile terminal 1A uses application software (hereinafter referred to as an application). You can collect information about what you are doing.

携帯端末１Ａ及び画面遷移特定装置２が以下のように動作することにより、画面遷移特定装置２において、携帯端末１Ａに表示された画面の遷移状態を特定することができる。
まず、携帯端末１Ａは、実行中のアプリケーションの種別を特定し、特定した種別に基づいて、画面の内容を特定する一連の処理を実行するか否かを決定する（図１における（１））。携帯端末１Ａは、画面の内容を特定する処理を実行すると決定した場合、表示した画面の内容の特徴を示す情報である特徴情報を生成し、生成した特徴情報を画面遷移特定装置２に送信する（図１における（２））。特徴情報は、画面の特徴に基づいて生成された情報であり、例えば、画面データ自体に比べて容量が小さいデータである。 When the mobile terminal 1A and the screen transition specifying device 2 operate as follows, the screen transition specifying device 2 can specify the transition state of the screen displayed on the mobile terminal 1A.
First, the mobile terminal 1A specifies the type of the application being executed, and determines whether or not to execute a series of processes for specifying the contents of the screen based on the specified type ((1) in FIG. 1). . When it is determined that the process for specifying the contents of the screen is to be executed, the portable terminal 1A generates feature information that is information indicating the characteristics of the displayed screen contents, and transmits the generated feature information to the screen transition specifying device 2. ((2) in FIG. 1). The feature information is information generated based on the feature of the screen, for example, data having a smaller capacity than the screen data itself.

携帯端末１Ａにおいては、画面を表示している第１のアプリケーションと異なる第２のアプリケーションが、第１のアプリケーションが表示している画面の内容を解析して特徴情報を生成する。このようにすることで、既存のアプリケーションを改造することなく、携帯端末１Ａが特徴情報を生成することができる。 In the mobile terminal 1A, a second application different from the first application displaying the screen analyzes the contents of the screen displayed by the first application and generates feature information. By doing in this way, portable terminal 1A can generate feature information, without modifying an existing application.

携帯端末１Ａが送信した特徴情報は、所定のタイミング（例えば、５秒間隔）で、基地局Ｎ１及びネットワークＮ２を介して画面遷移特定装置２へと送られる（図１における（３））。画面遷移特定装置２は、受信した一以上の特徴情報それぞれと、予め作成しておいた、携帯端末１Ａにおいて表示され得る画面の種類に関連付けられた一以上の基準特徴情報とを比較し、受信した一以上の特徴情報それぞれが、一以上の基準特徴情報のいずれかに一致又は類似するか否かを判定する。 The feature information transmitted by the portable terminal 1A is sent to the screen transition specifying device 2 via the base station N1 and the network N2 at a predetermined timing (for example, every 5 seconds) ((3) in FIG. 1). The screen transition specifying device 2 compares each received one or more pieces of feature information with one or more pieces of reference feature information created in advance and associated with the type of screen that can be displayed on the mobile terminal 1A. It is determined whether each of the one or more pieces of feature information matches or is similar to any of the one or more pieces of reference feature information.

画面遷移特定装置２は、特徴情報が一以上の基準特徴情報のいずれかに一致又は類似すると判定した場合、基準特徴情報に対応する基準画面データと、受信した特徴情報に対応する時刻情報とを関連付けて、記憶部に記憶する。その後、画面遷移特定装置２は、記憶部に記憶された基準画面データを、時刻情報に基づくタイミングで読み出すことにより、携帯端末１Ａにおける画面遷移を再現することができる（図１における（４））。 When it is determined that the feature information matches or resembles any one or more reference feature information, the screen transition specifying device 2 includes reference screen data corresponding to the reference feature information and time information corresponding to the received feature information. Associating and storing in the storage unit. Thereafter, the screen transition specifying device 2 can reproduce the screen transition in the portable terminal 1A by reading the reference screen data stored in the storage unit at the timing based on the time information ((4) in FIG. 1). .

［携帯端末１Ａ及び画面遷移特定装置２の構成］
以下、携帯端末１Ａ及び画面遷移特定装置２の構成及び動作について詳細に説明する。
図２は、携帯端末１Ａの構成を示す図である。携帯端末１Ａは、操作部１１と、通信部１２と、表示部１３と、記憶部１４と、制御部１５とを有する。 [Configuration of portable terminal 1A and screen transition specifying device 2]
Hereinafter, the configuration and operation of the mobile terminal 1A and the screen transition identification device 2 will be described in detail.
FIG. 2 is a diagram illustrating a configuration of the mobile terminal 1A. The mobile terminal 1 A includes an operation unit 11, a communication unit 12, a display unit 13, a storage unit 14, and a control unit 15.

操作部１１は、ユーザが操作を入力するためのデバイスであり、例えば、タッチパネルである。通信部１２は、基地局Ｎ１と通信するための無線ユニットである。表示部１３は、画面を表示するディスプレイである。 The operation unit 11 is a device for a user to input an operation, and is, for example, a touch panel. The communication unit 12 is a wireless unit for communicating with the base station N1. The display unit 13 is a display that displays a screen.

記憶部１４は、ＲＯＭ及びＲＡＭを含んでいる。ＲＯＭは、制御部１５が実行するプログラムを記憶している。ＲＯＭは、例えば、メール用のアプリケーション、ゲーム用のアプリケーション等の各種の第１のアプリケーションと、特徴情報を生成するための第２のアプリケーションとを記憶している。ＲＡＭは、制御部１５が各種の処理を実行する際のワークメモリとして使用される。 The storage unit 14 includes a ROM and a RAM. The ROM stores a program executed by the control unit 15. The ROM stores, for example, various first applications such as a mail application and a game application, and a second application for generating feature information. The RAM is used as a work memory when the control unit 15 executes various processes.

制御部１５は、例えばＣＰＵを含んでいる。制御部１５は、記憶部１４に記憶されたプログラムを実行することにより、取得部１５１、情報生成部１５２及び表示制御部１５３として機能する。 The control unit 15 includes, for example, a CPU. The control unit 15 functions as an acquisition unit 151, an information generation unit 152, and a display control unit 153 by executing a program stored in the storage unit 14.

取得部１５１は、表示部１３の画面に表示された画面データを取得する。取得部１５１は、例えば、携帯端末１ＡのＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）を介して、携帯端末１Ａに表示されている画面を定期的にキャプチャすることにより、画面データを取得する。取得部１５１は、画面データの取得に先立ち、携帯端末１において実行されているアプリケーション（第１のアプリケーション）を特定する。取得部１５１は、特定したアプリケーションが、記憶部１４に記憶されている、画面ログ情報を取得する対象として予め登録されているアプリケーション一覧に含まれているか否かを判定する。取得部１５１は、特定したアプリケーションが、アプリケーション一覧に登録されている場合、画面データを取得することに決定する。 The acquisition unit 151 acquires screen data displayed on the screen of the display unit 13. For example, the acquisition unit 151 acquires screen data by periodically capturing a screen displayed on the mobile terminal 1A via an OS (Operating System) of the mobile terminal 1A. The acquisition unit 151 specifies an application (first application) being executed in the mobile terminal 1 prior to acquisition of screen data. The acquisition unit 151 determines whether or not the identified application is included in an application list stored in the storage unit 14 and registered in advance as a target for acquiring screen log information. When the identified application is registered in the application list, the acquisition unit 151 determines to acquire screen data.

情報生成部１５２は、画面データの特徴に対応する特徴情報を生成する。例えば、情報生成部１５２は、画面データを圧縮したり、間引きしたりすることにより特徴情報を生成する。情報生成部１５２は、画面データ自体を特徴情報としてもよい。情報生成部１５２は、通信部１２を介して、特徴情報を画面遷移特定装置２に送信する。この際、情報生成部１５２は、特徴情報に関連付けられた時刻情報も画面遷移特定装置２に送信する。時刻情報は、例えば、特徴情報に対応する画面データがキャプチャされた時刻、又は特徴情報が生成された時刻を示す情報である。 The information generator 152 generates feature information corresponding to the feature of the screen data. For example, the information generation unit 152 generates feature information by compressing or thinning screen data. The information generation unit 152 may use the screen data itself as feature information. The information generation unit 152 transmits the feature information to the screen transition identification device 2 via the communication unit 12. At this time, the information generation unit 152 also transmits time information associated with the feature information to the screen transition identification device 2. The time information is, for example, information indicating the time when the screen data corresponding to the feature information is captured or the time when the feature information is generated.

表示制御部１５３は、各種のデータを表示部１３に表示させる。表示制御部１５３は、例えば、第１のアプリケーションが生成した画面データを表示部１３に表示させる。また、表示制御部１５３は、画面遷移特定装置２から受信した表示情報を、第２のアプリケーションを用いて表示部１３に表示させる。 The display control unit 153 displays various data on the display unit 13. For example, the display control unit 153 causes the display unit 13 to display screen data generated by the first application. In addition, the display control unit 153 causes the display unit 13 to display the display information received from the screen transition identification device 2 using the second application.

図３は、画面遷移特定装置２の構成を示す図である。画面遷移特定装置２は、通信部２１と、記憶部２２と、制御部２３とを有する。通信部２１は、携帯端末１Ａから特徴情報を取得する取得部として機能する。以下の説明では、特徴情報に基づいて再現可能な画像を取得画像Ｓと称する。 FIG. 3 is a diagram illustrating a configuration of the screen transition identification device 2. The screen transition identification device 2 includes a communication unit 21, a storage unit 22, and a control unit 23. The communication unit 21 functions as an acquisition unit that acquires feature information from the mobile terminal 1A. In the following description, an image that can be reproduced based on the feature information is referred to as an acquired image S.

記憶部２２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部２２は、ＲＯＭ又はハードディスクに、制御部２３が実行するプログラムを記憶している。また、記憶部２２は、携帯端末１Ａの画面に表示される可能性がある一以上の画面データの少なくとも一部の画面データと同一又は類似の一以上の基準特徴情報としての基準画面データを記憶している。基準画面データは、例えば、携帯端末１Ａに表示された画面と同一又は類似の画像の候補となる画像（以下、「トラッキング用画像Ｔ」という）である。 The storage unit 22 is a storage medium such as a ROM, a RAM, and a hard disk. The storage unit 22 stores a program executed by the control unit 23 in a ROM or a hard disk. In addition, the storage unit 22 stores reference screen data as one or more reference feature information that is the same as or similar to at least a part of the screen data of one or more screen data that may be displayed on the screen of the mobile terminal 1A. doing. The reference screen data is, for example, an image that is a candidate for an image that is the same as or similar to the screen displayed on the mobile terminal 1A (hereinafter referred to as “tracking image T”).

図４は、トラッキング用画像Ｔを示す図である。図４（ａ）は、送信メールを作成する画面のトラッキング用画像Ｔ１であり、符号ｔが示す斜線の領域は、透明画素により構成されている。図４（ｂ）は、受信メールを表示する画面のトラッキング用画像Ｔ２である。記憶部２２は、このようなトラッキング用画像Ｔを、種類が異なる画面ごとに記憶している。 FIG. 4 is a diagram showing the tracking image T. As shown in FIG. FIG. 4A shows a tracking image T1 on a screen for creating a transmission mail, and a hatched area indicated by a symbol t is composed of transparent pixels. FIG. 4B is a tracking image T2 for displaying a received mail. The storage unit 22 stores such a tracking image T for each type of screen.

制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、判定部２３１、記憶制御部２３２及び出力部２３３として機能する。
判定部２３１は、通信部２１が携帯端末１Ａから受信した特徴情報に対応する取得画像Ｓが、記憶部２２に記憶されている一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する。判定部２３１は、透明画素により構成される透明領域と、透明画素以外の画素により構成される非透明領域とを含むトラッキング用画像Ｔと、取得画像Ｓとを比較することにより、取得画像Ｓが一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する。判定部２３１は、例えば、取得画像Ｓに対して各トラッキング用画像Ｔを重ね合せて合成画像を生成し、生成した合成画像が、取得画像Ｓと一致するかどうかを判定する。 The control unit 23 functions as the determination unit 231, the storage control unit 232, and the output unit 233 by executing the program stored in the storage unit 22.
The determination unit 231 determines whether or not the acquired image S corresponding to the feature information received from the mobile terminal 1A by the communication unit 21 matches or is similar to any one or more of the tracking images T stored in the storage unit 22. Determine. The determination unit 231 compares the acquired image S with the tracking image T including the transparent region configured by the transparent pixels and the non-transparent region configured by pixels other than the transparent pixels. It is determined whether or not it matches or resembles any one or more of the tracking images T. For example, the determination unit 231 generates a composite image by superimposing the tracking images T on the acquired image S, and determines whether the generated composite image matches the acquired image S.

図５は、取得画像Ｓの一例を示す図である。この場合、判定部２３１は、以下のように動作する。
スクリーンキャプチャーをした取得画像Ｓの各画素をＳ［ｘ、ｙ］、トラッキング用画像Ｔの各画素をＴ［ｘ、ｙ］、合成画像Ｃの各画素をＣ［ｘ、ｙ］とする。ここで、ｘ、ｙは、画素の座標位置を示す整数である。このとき、合成画像Ｃの各画素は以下のようになる。
Ｃ［ｘ、ｙ］＝Ｓ［ｘ、ｙ］（ｉｆＴ［ｘ、ｙ］＝透明画素値）
Ｃ［ｘ、ｙ］＝Ｔ［ｘ、ｙ］（ｉｆＴ［ｘ、ｙ］≠透明画素値） FIG. 5 is a diagram illustrating an example of the acquired image S. As illustrated in FIG. In this case, the determination unit 231 operates as follows.
Assume that each pixel of the acquired image S obtained by screen capture is S [x, y], each pixel of the tracking image T is T [x, y], and each pixel of the composite image C is C [x, y]. Here, x and y are integers indicating the coordinate positions of the pixels. At this time, each pixel of the composite image C is as follows.
C [x, y] = S [x, y] (if T [x, y] = transparent pixel value)
C [x, y] = T [x, y] (if T [x, y] ≠ transparent pixel value)

Ｃ［ｘ、ｙ］＝Ｓ［ｘ、ｙ］が全ての画素値で成り立つ場合は、Ｔ［ｘ、ｙ］≠透明画素値となる全ての画素［ｘ、ｙ］において、Ｔ［ｘ、ｙ］＝Ｓ［ｘ、ｙ］が満たされるので、判定部２３１は、取得画像Ｓがトラッキング用画像Ｔと一致する画面であると判定できる。全画素のうち不一致の画素［ｘ、ｙ］の割合が所定値以下の場合、判定部２３１は、取得画像Ｓがトラッキング用画像Ｔに類似する画面であると判定する。 When C [x, y] = S [x, y] holds for all pixel values, T [x, y] is satisfied for all pixels [x, y] where T [x, y] ≠ transparent pixel value. ] = S [x, y] is satisfied, the determination unit 231 can determine that the acquired image S is a screen that matches the tracking image T. When the ratio of non-matching pixels [x, y] among all the pixels is equal to or smaller than a predetermined value, the determination unit 231 determines that the acquired image S is a screen similar to the tracking image T.

判定部２３１は、例えば、図５に示す取得画像Ｓと図４（ａ）に示すトラッキング用画像Ｔ１とを合成して合成画像Ｃ１を生成し、取得画像Ｓと図４（ｂ）に示すトラッキング用画像Ｔ２とを合成して合成画像Ｃ２を生成する。この場合、合成画像Ｃ１は、取得画像Ｓと一致する。他方、合成画像Ｃ２は、取得画像Ｓと一致しない。したがって、判定部２３１は、取得画像Ｓが、トラッキング用画像Ｔ１と一致又は類似すると判定する。なお、判定部２３１は、取得画像Ｓの一部と、トラッキング用画像Ｔの一部とが一致する場合に、取得画像Ｓが、一以上のトラッキング用画像Ｔのいずれかと一致すると判定してもよい。 For example, the determination unit 231 generates a composite image C1 by combining the acquired image S illustrated in FIG. 5 and the tracking image T1 illustrated in FIG. 4A, and acquires the acquired image S and the tracking illustrated in FIG. The composite image C2 is generated by combining the work image T2. In this case, the composite image C1 matches the acquired image S. On the other hand, the composite image C2 does not match the acquired image S. Therefore, the determination unit 231 determines that the acquired image S matches or is similar to the tracking image T1. Note that the determination unit 231 determines that the acquired image S matches one of the one or more tracking images T when a part of the acquired image S matches a part of the tracking image T. Good.

記憶制御部２３２は、判定部２３１が、記憶部２２に記憶された一以上のトラッキング用画像Ｔのいずれかに取得画像Ｓが一致又は類似すると判定した場合に、取得画像Ｓに関連付けられた時刻情報を、一致又は類似するトラッキング用画像Ｔを識別するＩＤに関連付けて記憶部２２に記憶させる。記憶制御部２３２は、例えば、判定部２３１が取得画像Ｓに一致又は類似すると判定したトラッキング用画像Ｔが変化したことを条件として、変化した後のトラッキング用画像Ｔを時刻情報に関連付けて記憶部２２に記憶させる。 The storage control unit 232 determines the time associated with the acquired image S when the determination unit 231 determines that the acquired image S matches or resembles one of the one or more tracking images T stored in the storage unit 22. The information is stored in the storage unit 22 in association with the ID for identifying the matching or similar tracking image T. For example, the storage control unit 232 stores the changed tracking image T in association with time information on the condition that the tracking image T determined by the determination unit 231 to match or similar to the acquired image S has changed. 22 is stored.

出力部２３３は、記憶部２２に記憶された時刻情報に基づく順番に、トラッキング用画像Ｔに対応する基準画面データを含む画面データを出力する。出力部２３３は、通信部２１を介して接続されたコンピュータに、時刻情報に対応する時刻において画面データを出力する。出力部２３３は、例えば、画面Ａ→Ｂ→Ａ→Ｃ→・・・と遷移させて画面データを出力する。このようにすることで、コンピュータには、携帯端末１Ａにおいて表示された画面遷移の状態が再現される。 The output unit 233 outputs screen data including reference screen data corresponding to the tracking image T in the order based on the time information stored in the storage unit 22. The output unit 233 outputs the screen data to a computer connected via the communication unit 21 at a time corresponding to the time information. The output unit 233 outputs screen data by making a transition from screen A → B → A → C →. By doing so, the state of the screen transition displayed on the mobile terminal 1A is reproduced on the computer.

出力部２３３は、時刻情報に基づいて、一以上のトラッキング用画像ＴのＩＤに対応する一以上のトラッキング用画像Ｔを並べることにより、携帯端末１Ａにおける画面遷移を再現する。例えば、記憶制御部２３２は、時刻ｔから時刻ｔ＋ａの間、ＩＤがＩＤ１のトラッキング用画像Ｔのログがあった場合、（ＩＤ１，ｔ，ｔ＋ａ）という形式で時系列情報を生成し、生成した時系列情報を記憶部２２に記憶させる。そして、出力部２３３は、記憶部２２に記憶された時系列情報に基づいて、トラッキング用画像Ｔが、携帯端末１Ａで表示された画像と同じタイミングで表示される動画として画面遷移パターンを再現する。 The output unit 233 reproduces the screen transition in the mobile terminal 1A by arranging one or more tracking images T corresponding to the IDs of the one or more tracking images T based on the time information. For example, when there is a log of the tracking image T with ID ID1 from time t to time t + a, the storage control unit 232 generates and generates time-series information in the format of (ID1, t, t + a) The time series information is stored in the storage unit 22. Then, based on the time-series information stored in the storage unit 22, the output unit 233 reproduces the screen transition pattern as a moving image in which the tracking image T is displayed at the same timing as the image displayed on the mobile terminal 1A. .

出力部２３３は、例えば、画面遷移パターンを再現する際に、取得画像Ｓと一致又は類似する基準特徴画像としてのトラッキング用画像Ｔを出力した後に、トラッキング用画像Ｔに類似する特徴情報に対応する類似画面データの画像を出力してもよい。例えば、出力部２３３は、図４（ａ）に示す送信メール作成画面のトラッキング用画像Ｔを出力した後に、携帯端末１Ａから、携帯端末１Ａのユーザが入力したメール本文に対応する画像、又はメール本文を加工した画像を受信し、受信した画像をトラッキング用画像Ｔに重畳した画像を出力する。 For example, when reproducing the screen transition pattern, the output unit 233 outputs a tracking image T as a reference feature image that matches or is similar to the acquired image S, and then corresponds to feature information similar to the tracking image T. An image of similar screen data may be output. For example, the output unit 233 outputs the image corresponding to the mail text input by the user of the mobile terminal 1A from the mobile terminal 1A or the mail after outputting the tracking image T on the outgoing mail creation screen shown in FIG. An image obtained by processing the text is received, and an image in which the received image is superimposed on the tracking image T is output.

出力部２３３は、多数の携帯端末１Ａから送信される、同一のアプリケーションの画面遷移パターンの平均値又は分散等の統計値を算出し、算出した統計値を出力してもよい。また、出力部２３３は、特定の画面Ａにおける滞在時間の平均値、画面Ａから画面Ｂへの遷移割合を出力してもよい。出力部２３３は、例えば、画面遷移の内容及び統計値を表示したり、他のコンピュータに送信したりする。画面遷移特定装置２が、特徴情報に基づいて携帯端末１Ａの画面遷移パターンを特定することで、携帯端末１Ａに画面を表示するアプリケーションの設計者が、ユーザがどのようにアプリケーションを使用しているかを把握し、アプリケーションを改良する際に役立つ。 The output unit 233 may calculate a statistical value such as an average value or variance of screen transition patterns of the same application transmitted from a large number of portable terminals 1A, and may output the calculated statistical value. Further, the output unit 233 may output an average stay time on a specific screen A and a transition ratio from the screen A to the screen B. The output unit 233 displays, for example, the contents of screen transitions and statistical values, or transmits them to other computers. The screen transition identification device 2 identifies the screen transition pattern of the mobile terminal 1A based on the feature information, so that the user of the application designer who displays the screen on the mobile terminal 1A is using the application To help you understand and improve your application.

なお、出力部２３３は、特定した画面遷移パターンに基づいて、携帯端末１Ａに表示させる表示情報を携帯端末１Ａに送信してもよい。例えば、出力部２３３は、一以上のトラッキング用画像Ｔの間の遷移パターンに関連付けて記憶部２２に記憶された表示情報を、画面遷移のタイミングに同期して携帯端末１Ａに送信してもよい。このようにすることで、携帯端末１Ａは、画面遷移時にユーザに通知すべき情報を表示することができる。 Note that the output unit 233 may transmit display information to be displayed on the mobile terminal 1A to the mobile terminal 1A based on the identified screen transition pattern. For example, the output unit 233 may transmit the display information stored in the storage unit 22 in association with the transition pattern between the one or more tracking images T to the mobile terminal 1A in synchronization with the screen transition timing. . By doing in this way, 1 A of portable terminals can display the information which should be notified to a user at the time of a screen transition.

［携帯端末１Ａ及び画面遷移特定装置２における処理の流れ］
図６は、携帯端末１Ａ及び画面遷移特定装置２における処理の流れを示すフローチャートである。図６に示す処理は、主に携帯端末１Ａにおける制御部１５及び画面遷移特定装置２における制御部２３によって行われる。 [Processing Flow in Portable Terminal 1A and Screen Transition Identification Device 2]
FIG. 6 is a flowchart showing the flow of processing in the mobile terminal 1 A and the screen transition identification device 2. The process shown in FIG. 6 is mainly performed by the control unit 15 in the mobile terminal 1A and the control unit 23 in the screen transition identification device 2.

まず、制御部１５は、表示部１３に画面を表示している第１のアプリケーションが、画面データを取得する対象のアプリケーションであるか否かを判定する（Ｓ１１）。制御部１５は、表示部１３に画面を表示している第１のアプリケーションが、画面データを取得する対象のアプリケーションでないと判定した場合（Ｓ１１においてＮＯ）、画面データを取得する対象のアプリケーションが実行中になるまでＳ１１の処理を繰り返す。制御部１５は、表示部１３に画面を表示している第１のアプリケーションが、画面データを取得する対象のアプリケーションであると判定した場合（Ｓ１１においてＹＥＳ）、Ｓ１２に処理を進める。 First, the control unit 15 determines whether or not the first application displaying a screen on the display unit 13 is a target application for acquiring screen data (S11). When it is determined that the first application displaying the screen on the display unit 13 is not the target application for acquiring screen data (NO in S11), the control unit 15 executes the target application for acquiring screen data. The process of S11 is repeated until it becomes medium. When it is determined that the first application displaying the screen on the display unit 13 is the target application for acquiring screen data (YES in S11), the control unit 15 advances the process to S12.

Ｓ１２において、制御部１５は、表示部１３に表示されている画面データを取得する（Ｓ１２）。続いて、制御部１５は、画面データに基づいて、特徴情報を生成する（Ｓ１３）。制御部１５は、時刻情報に関連付けて、生成した特徴情報を画面遷移特定装置２に送信する（Ｓ１４）。 In S12, the control unit 15 acquires screen data displayed on the display unit 13 (S12). Subsequently, the control unit 15 generates feature information based on the screen data (S13). The control unit 15 transmits the generated feature information to the screen transition identification device 2 in association with the time information (S14).

画面遷移特定装置２において、制御部２３は、特徴情報を受信すると（Ｓ２１）、受信した特徴情報に対応する取得画像Ｓが、一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する（Ｓ２２）。そして、制御部２３は、取得画像Ｓが、一以上のトラッキング用画像Ｔのいずれかと一致又は類似すると判定した場合、一致又は類似すると判定したトラッキング用画像Ｔと時刻情報とを関連付けて記憶部２２に記憶させる（Ｓ２３）。その後、制御部２３は、例えばユーザからの出力指示に応じて、時刻情報に対応する順番に、トラッキング用画像Ｔを出力することにより、携帯端末１における画面遷移を再現した動画を出力する（Ｓ２４）。 In the screen transition specifying device 2, when the control unit 23 receives the feature information (S21), whether or not the acquired image S corresponding to the received feature information matches or is similar to any one or more of the tracking images T. Is determined (S22). When the control unit 23 determines that the acquired image S matches or resembles one or more of the one or more tracking images T, the control unit 23 associates the tracking image T determined to match or similar with the time information and stores the storage unit 22. (S23). Thereafter, the control unit 23 outputs a moving image in which the screen transition in the portable terminal 1 is reproduced by outputting the tracking images T in the order corresponding to the time information in response to an output instruction from the user, for example (S24). ).

［第１の実施形態における効果］
以上説明したように、本実施形態においては、携帯端末１Ａが、表示している画面データの特徴を示す特徴情報を生成し、特徴情報を時刻情報に関連付けて、画面遷移特定装置２に送信する。画面遷移特定装置２は、受信した特徴情報に一致又は類似する基準特徴情報があるか否かを判定し、一致又は類似する基準特徴情報があった場合、基準特徴情報に対応する基準画面データと時刻情報とを関連付けて記憶部２２に記憶させる。そして、出力部２３３が、時刻情報に基づく順番に基準画面データを出力することにより、携帯端末１Ａにおける画面遷移を再現する。このようにすることで、画面遷移特定システムＳにおいては、携帯端末１Ａの画面に画像を表示するアプリケーションに追加機能を実装することなく、画面の遷移状態を特定することができる。また、キャプチャした画面データの特徴を示す特徴情報を用いることにより、画面データ自体を用いる場合に比べて、データの保存領域、及び通信量を削減することが可能になる。 [Effect in the first embodiment]
As described above, in the present embodiment, the mobile terminal 1A generates feature information indicating the characteristics of the displayed screen data, associates the feature information with the time information, and transmits the feature information to the screen transition specifying device 2. . The screen transition specifying device 2 determines whether there is reference feature information that matches or is similar to the received feature information. If there is reference feature information that matches or is similar, the reference screen data corresponding to the reference feature information The time information is associated and stored in the storage unit 22. Then, the output unit 233 reproduces the screen transition in the mobile terminal 1A by outputting the reference screen data in the order based on the time information. By doing in this way, in the screen transition specifying system S, the screen transition state can be specified without implementing an additional function in an application that displays an image on the screen of the mobile terminal 1A. Further, by using the feature information indicating the feature of the captured screen data, it is possible to reduce the data storage area and the communication amount compared to the case of using the screen data itself.

＜第２の実施形態＞
第１の実施形態においては、判定部２３１は、携帯端末１Ａに表示された画面データが、透明画素を含む一以上のトラッキング用画像Ｔのいずれかに一致又は類似するか否かを判定することにより、携帯端末１Ａにおける画面遷移を特定した。第２の実施形態においては、携帯端末１Ａが、画面データの特徴を示す端末ハッシュ情報を特徴情報として生成し、判定部２３１が、予め記憶部２２に記憶した基準ハッシュ情報と端末ハッシュ情報とを比較することにより、画面遷移を特定する。
以下、ハッシュ情報を用いる場合の携帯端末１Ａ及び画面遷移特定装置２における動作について説明する。 <Second Embodiment>
In the first embodiment, the determination unit 231 determines whether or not the screen data displayed on the mobile terminal 1A matches or resembles any one or more tracking images T including transparent pixels. Thus, the screen transition in the mobile terminal 1A is specified. In the second embodiment, the mobile terminal 1A generates terminal hash information indicating the characteristics of the screen data as feature information, and the determination unit 231 uses the reference hash information and the terminal hash information stored in the storage unit 22 in advance. The screen transition is specified by comparison.
Hereinafter, operations in the mobile terminal 1A and the screen transition identification device 2 when hash information is used will be described.

携帯端末１Ａにおいて、情報生成部１５２は、画面データを複数の分割領域に分割する。情報生成部１５２は、例えば、携帯端末１Ａの機種名に基づいて、各分割領域のサイズ及び位置を決定する。情報生成部１５２は、画面を表示している第１のアプリケーションの種別に応じて、各分割領域のサイズ及び位置を決定してもよい。 In the mobile terminal 1A, the information generation unit 152 divides the screen data into a plurality of divided areas. For example, the information generation unit 152 determines the size and position of each divided region based on the model name of the mobile terminal 1A. The information generation unit 152 may determine the size and position of each divided area according to the type of the first application displaying the screen.

図７は、複数の分割領域の例を示す図である。図７（ａ）においては、表示部１３が、８×１３＝１０４個の分割領域に分けられている。分割領域は、（行番号、列番号）により表される座標により特定することができる。例えば、左上の分割領域の座標は（１，１）、右上の分割領域の座標は（１，８）、左下の分割領域の座標は（１３，１）、右下の分割領域の座標は（１３，８）である。 FIG. 7 is a diagram illustrating an example of a plurality of divided regions. In FIG. 7A, the display unit 13 is divided into 8 × 13 = 104 divided regions. The divided area can be specified by coordinates represented by (row number, column number). For example, the coordinates of the upper left divided area are (1, 1), the coordinates of the upper right divided area are (1, 8), the coordinates of the lower left divided area are (13, 1), and the coordinates of the lower right divided area are ( 13, 8).

情報生成部１５２は、例えば、複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより量子化して得られる量子化値を含む端末ハッシュ情報（ＡｖｅｒａｇｅＨａｓｈ）を生成する。情報生成部１５２は、例えば、表示されている画面全体の画面データに含まれる画素の輝度又は色度の平均値を上記の所定の閾値として用いることができる。 For example, the information generation unit 152 generates terminal hash information (Average Hash) including a quantization value obtained by quantization by comparing an average value of luminance or chromaticity of each of the plurality of divided regions with a predetermined threshold. . For example, the information generation unit 152 can use the average value of the luminance or chromaticity of the pixels included in the screen data of the entire displayed screen as the predetermined threshold.

情報生成部１５２は、複数の分割領域のそれぞれに含まれる全ての画素の輝度又は色度を平均することにより、平均値を算出する。そして、情報生成部１５２は、算出した平均値が所定の閾値以上である場合に、対応する分割領域における量子化値を「１」とし、算出した平均値が所定の閾値より小さい場合に、量子化値を「０」とする。情報生成部１５２は、全ての分割領域に対応する量子化値を算出し、全ての分割領域の量子化値を所定の順序で並べることにより、表示されている画面データの端末ハッシュ情報を生成する。なお、情報生成部１５２は、離散コサイン変換処理により低周波成分を抽出し、低周波成分の有無により量子化値を生成することにより端末ハッシュ情報（ｐＨａｓｈ）を生成してもよい。 The information generation unit 152 calculates an average value by averaging the luminance or chromaticity of all the pixels included in each of the plurality of divided regions. Then, the information generation unit 152 sets the quantization value in the corresponding divided region to “1” when the calculated average value is equal to or larger than the predetermined threshold value, and determines the quantum value when the calculated average value is smaller than the predetermined threshold value. The conversion value is set to “0”. The information generation unit 152 calculates the quantized values corresponding to all the divided regions, and generates the terminal hash information of the displayed screen data by arranging the quantized values of all the divided regions in a predetermined order. . Note that the information generation unit 152 may generate terminal hash information (pHash) by extracting a low-frequency component by discrete cosine transform processing and generating a quantized value based on the presence or absence of the low-frequency component.

図７（ｂ）は、図４（ａ）に示したメール送信画面に対応する量子化値を示している。図７（ｂ）における黒い分割領域は、分割領域における輝度の平均値が所定値よりも小さい領域であり、白い分割領域は、分割領域における輝度の平均値が所定値以上の領域である。情報生成部１５２は、図７（ｂ）に示す例において、座標（１，１）、座標（１，２）・・・座標（１，８）、座標（２，１）・・・座標（１３，８）の順番に量子化値を並べることにより、「１１１１１１１１００００００００００１１１１１１００１１１１１１・・・・１１１１１１１１０１０００１０００１０００１００」という、分割領域の数に等しいビット数の端末ハッシュ情報を生成する。 FIG. 7B shows quantized values corresponding to the mail transmission screen shown in FIG. The black divided region in FIG. 7B is a region where the average luminance value in the divided region is smaller than a predetermined value, and the white divided region is a region where the average luminance value in the divided region is equal to or larger than the predetermined value. In the example shown in FIG. 7B, the information generation unit 152 has coordinates (1, 1), coordinates (1, 2)... Coordinates (1, 8), coordinates (2, 1). By arranging the quantized values in the order of (13,8), terminal hash information with the number of bits equal to the number of divided areas, “11111111000000000011111100111111... 111111110100010001000100” is generated.

続いて、画面遷移特定装置２における動作について説明する。
判定部２３１は、例えば、受信した端末ハッシュ情報と、記憶部２２に記憶されている一以上の基準ハッシュ情報それぞれとの間のハミング距離を算出することにより、端末ハッシュ情報が基準ハッシュ情報と一致又は類似するか否かを判定する。具体的には、判定部２３１は、端末ハッシュ情報のあるビットと基準ハッシュ情報の対応するビットとが一致している場合、ビット間距離を０とし、端末ハッシュ情報のあるビットが０で、基準ハッシュ情報の対応するビットが１の場合に、ビット間距離を１とし、端末ハッシュ情報のあるビットが１で、基準ハッシュ情報の対応するビットが０の場合に、ビット間距離を‐１とする。判定部２３１は、全てのビット間距離を加算することにより、端末ハッシュ情報と基準ハッシュ情報との間のハミング距離を算出する。 Next, the operation in the screen transition identification device 2 will be described.
For example, the determination unit 231 calculates the hamming distance between the received terminal hash information and each of the one or more reference hash information stored in the storage unit 22 so that the terminal hash information matches the reference hash information. Alternatively, it is determined whether or not they are similar. Specifically, when the bit having the terminal hash information matches the corresponding bit of the reference hash information, the determination unit 231 sets the inter-bit distance to 0, the bit having the terminal hash information to 0, When the corresponding bit of the hash information is 1, the inter-bit distance is 1, and when the certain bit of the terminal hash information is 1 and the corresponding bit of the reference hash information is 0, the inter-bit distance is -1. . The determination unit 231 calculates the Hamming distance between the terminal hash information and the reference hash information by adding all the inter-bit distances.

判定部２３１は、例えばｋ−ｍｅａｎｓ法を用いて、通信部２１が受信した端末ハッシュ情報が、ハミング距離が最も小さい基準ハッシュ情報に類似していると判定する。判定部２３１は、携帯端末１Ａから受信した一以上の端末ハッシュ情報のそれぞれとの間のハミング距離が最も小さい基準ハッシュ情報を特定することにより、一以上の端末ハッシュ情報のそれぞれが、どのクラスタに属するかを特定する。判定部２３１は、端末ハッシュ情報との間のハミング距離が同一の基準ハッシュ情報が複数ある場合、端末ハッシュ情報に含まれる所定の位置のデータと、基準ハッシュ情報に含まれる所定の位置のデータとの間のハミング距離が最も小さい基準ハッシュ情報に対応する基準画面データに、携帯端末１Ａに表示されている画面が類似すると判定してもよい。 The determination unit 231 determines that the terminal hash information received by the communication unit 21 is similar to the reference hash information with the smallest Hamming distance, using, for example, the k-means method. The determination unit 231 identifies the reference hash information having the shortest Hamming distance between each of the one or more terminal hash information received from the mobile terminal 1A, so that each of the one or more terminal hash information is assigned to which cluster. Identify whether it belongs. When there are a plurality of reference hash information having the same hamming distance from the terminal hash information, the determination unit 231 includes data at a predetermined position included in the terminal hash information and data at a predetermined position included in the reference hash information. It may be determined that the screen displayed on the mobile terminal 1A is similar to the reference screen data corresponding to the reference hash information with the smallest hamming distance between the two.

記憶制御部２３２は、判定部２３１が、記憶部２２に記憶された一以上の基準ハッシュ情報のいずれかに端末ハッシュ情報が一致又は類似すると判定した場合に、端末ハッシュ情報に関連付けられた時刻情報を、一致又は類似する基準ハッシュ情報を識別する識別情報に関連付けて記憶部２２に記憶させる。記憶制御部２３２は、例えば、判定部２３１が端末ハッシュ情報に一致又は類似すると判定した基準ハッシュ情報が変化したことを条件として、変化した後の基準ハッシュ情報を時刻情報に関連付けて記憶部２２に記憶させる。 The storage control unit 232, when the determination unit 231 determines that the terminal hash information matches or is similar to any one or more reference hash information stored in the storage unit 22, the time information associated with the terminal hash information Are stored in the storage unit 22 in association with the identification information for identifying the matching or similar reference hash information. For example, the storage control unit 232 associates the changed reference hash information with the time information in the storage unit 22 on the condition that the reference hash information determined by the determination unit 231 to match or similar to the terminal hash information has changed. Remember.

［携帯端末１Ａ及び画面遷移特定装置２における処理の流れ］
図８は、携帯端末１Ａ及び画面遷移特定装置２における処理の流れを示すフローチャートである。図８に示す処理は、主に携帯端末１Ａにおける制御部１５及び画面遷移特定装置２における制御部２３によって行われる。図８においては、制御部１５がアプリケーションの種別を特定した後の処理を示している。 [Processing Flow in Portable Terminal 1A and Screen Transition Identification Device 2]
FIG. 8 is a flowchart showing the flow of processing in the mobile terminal 1 A and the screen transition identification device 2. The processing shown in FIG. 8 is mainly performed by the control unit 15 in the mobile terminal 1A and the control unit 23 in the screen transition identification device 2. FIG. 8 shows processing after the control unit 15 specifies the type of application.

まず、制御部１５は、表示部１３に表示されている画面データを取得する（Ｓ３１）。続いて、制御部１５は、画面データを所定の分割領域に分割し（Ｓ３２）、分割領域ごとに、輝度の平均値を算出する（Ｓ３３）。続いて、制御部１５は、輝度の平均値を閾値と比較することにより、分割領域ごとに量子化値を算出し（Ｓ３４）、算出した量子化値を並べることにより、端末ハッシュ情報を生成する（Ｓ３５）。そして、制御部１５は、生成した端末ハッシュ情報を、端末ハッシュ情報を生成した時刻又は画面データが表示された時刻を示す時刻情報に関連付けて、通信部１２を介して画面遷移特定装置２に送信する（Ｓ３６）。 First, the control unit 15 acquires screen data displayed on the display unit 13 (S31). Subsequently, the control unit 15 divides the screen data into predetermined divided areas (S32), and calculates an average luminance value for each divided area (S33). Subsequently, the control unit 15 calculates the quantization value for each divided region by comparing the average value of the luminance with the threshold value (S34), and generates the terminal hash information by arranging the calculated quantization values. (S35). Then, the control unit 15 associates the generated terminal hash information with the time information indicating the time at which the terminal hash information was generated or the time at which the screen data was displayed, and transmits it to the screen transition specifying device 2 via the communication unit 12. (S36).

画面遷移特定装置２においては、制御部２３は、端末ハッシュ情報を受信すると（Ｓ４１）、受信した端末ハッシュ情報と一以上の基準ハッシュ情報とを比較する（Ｓ４２）。そして、制御部２３は、端末ハッシュ情報と一以上の基準ハッシュ情報それぞれとの間のハミング距離を算出し、ハミング距離が所定の値よりも小さい基準ハッシュ情報に対応する基準画面データを特定する（Ｓ４３）。続いて、制御部２３は、特定した基準画面データと、対応する時刻情報とを関連付けて記憶部２２に記憶させる（Ｓ４４）。その後、制御部２３は、例えばユーザからの出力指示に応じて、時刻情報に対応する順番に、基準画面データを出力する（Ｓ４５）。 In the screen transition specifying device 2, when receiving the terminal hash information (S41), the control unit 23 compares the received terminal hash information with one or more reference hash information (S42). Then, the control unit 23 calculates a hamming distance between the terminal hash information and each of the one or more reference hash information, and specifies reference screen data corresponding to the reference hash information whose hamming distance is smaller than a predetermined value ( S43). Subsequently, the control unit 23 stores the identified reference screen data and the corresponding time information in the storage unit 22 in association with each other (S44). Thereafter, the control unit 23 outputs the reference screen data in the order corresponding to the time information, for example, according to the output instruction from the user (S45).

［第２の実施形態における効果］
以上説明したように、第２の実施形態においては、特徴情報としてハッシュ情報を使用するので、特徴情報のデータ量を小さくすることができる。したがって、携帯端末１は、通信回線に大きな負荷をかけることなく、高い頻度で特徴情報を画面遷移特定装置２に送信することができるので、画面遷移特定装置２は、画面が頻繁に変化する場合においても、画面遷移を高い精度で特定することができる。 [Effects of Second Embodiment]
As described above, in the second embodiment, since hash information is used as feature information, the data amount of feature information can be reduced. Therefore, since the mobile terminal 1 can transmit the feature information to the screen transition specifying device 2 at a high frequency without imposing a heavy load on the communication line, the screen transition specifying device 2 can be used when the screen changes frequently. The screen transition can be specified with high accuracy.

＜第３の実施形態＞
第１の実施形態においては、携帯端末１Ａにおける画面遷移を、通信回線を介して携帯端末１Ａに接続された画面遷移特定装置２において特定した。これに対して、第２の実施形態においては、制御部１５が、携帯端末１Ｂにインストールされた第１のアプリケーションを実行することにより表示した画面遷移パターンを、携帯端末１Ｂにインストールされた第２のアプリケーションを実行することにより特定し、特定した画面遷移パターンをサーバ（不図示）に出力するという点で、第１の実施形態と異なる。 <Third Embodiment>
In the first embodiment, the screen transition in the mobile terminal 1A is specified in the screen transition specifying device 2 connected to the mobile terminal 1A via the communication line. On the other hand, in 2nd Embodiment, the control part 15 displays the screen transition pattern displayed by executing the 1st application installed in the portable terminal 1B in the 2nd installed in the portable terminal 1B. This is different from the first embodiment in that it is specified by executing the application and outputs the specified screen transition pattern to a server (not shown).

図９は、第３の実施形態に係る携帯端末１Ｂの構成を示す図である。携帯端末１Ｂは、操作部１１と、通信部１２と、表示部１３と、記憶部１４と、制御部１５とを有する。制御部１５は、記憶部１４に記憶された第１のアプリケーションを実行している間に、記憶部１４に記憶された第２のアプリケーションを実行することにより、取得部１５１、情報生成部１５２、表示制御部１５３、判定部１５４、記憶制御部１５５及び出力部１５６として機能する。 FIG. 9 is a diagram illustrating a configuration of a mobile terminal 1B according to the third embodiment. The mobile terminal 1 B includes an operation unit 11, a communication unit 12, a display unit 13, a storage unit 14, and a control unit 15. While executing the first application stored in the storage unit 14, the control unit 15 executes the second application stored in the storage unit 14, thereby obtaining the acquisition unit 151, the information generation unit 152, It functions as a display control unit 153, a determination unit 154, a storage control unit 155, and an output unit 156.

判定部１５４、記憶制御部１５５及び出力部１５６は、第１の実施形態における画面遷移特定装置２が有する判定部２３１、記憶制御部２３２及び出力部２５３に対応し、判定部２３１、記憶制御部２３２及び出力部２５３とほぼ同一の機能を有する。 The determination unit 154, the storage control unit 155, and the output unit 156 correspond to the determination unit 231, the storage control unit 232, and the output unit 253 included in the screen transition identification device 2 in the first embodiment. 232 and the output unit 253 have substantially the same functions.

記憶部１４は、制御部１５が第１のアプリケーションを実行することによって画面に表示する一以上の画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する。記憶部１４が記憶している基準特徴情報は、第１の実施形態における記憶部２２に記憶されていた基準特徴情報と同等の情報であり、例えばトラッキング用画像Ｔである。 The storage unit 14 stores one or more reference feature information indicating features of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen when the control unit 15 executes the first application. To do. The reference feature information stored in the storage unit 14 is information equivalent to the reference feature information stored in the storage unit 22 in the first embodiment, and is, for example, a tracking image T.

以下、判定部１５４、記憶制御部１５５及び出力部１５６の各部が、判定部２３１、記憶制御部２３２及び出力部２５３と異なる点を中心に説明する。なお、本実施形態においては、情報生成部１５２が生成した特徴情報に対応する画像を、取得画像Ｓと称する。 Hereinafter, description will be made centering on differences between the determination unit 154, the storage control unit 155, and the output unit 156 from the determination unit 231, the storage control unit 232, and the output unit 253. In the present embodiment, an image corresponding to the feature information generated by the information generation unit 152 is referred to as an acquired image S.

判定部１５４は、取得画像Ｓが、記憶部１４に記憶されている一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する。記憶制御部１５５は、判定部１５４が、取得画像Ｓが一以上のトラッキング用画像Ｔのいずれかと一致又は類似すると判定した場合に、取得画像Ｓに関連付けられた時刻情報を、一致又は類似するトラッキング用画像ＴのＩＤに関連付けて記憶部１４に記憶させる。記憶制御部１５５は、例えば、取得画像Ｓに対応する画面データが表示された時刻を、トラッキング用画像Ｔに関連付けて記憶部１４に記憶させる。 The determination unit 154 determines whether or not the acquired image S matches or is similar to one of the one or more tracking images T stored in the storage unit 14. When the determination unit 154 determines that the acquired image S matches or resembles one of the one or more tracking images T, the storage control unit 155 performs tracking that matches or resembles the time information associated with the acquired image S. The image is stored in the storage unit 14 in association with the ID of the image T for use. For example, the storage control unit 155 stores the time when the screen data corresponding to the acquired image S is displayed in the storage unit 14 in association with the tracking image T.

出力部１５６は、記憶部１４に記憶された基準画面データを出力する。出力部１５６は、例えば、トラッキング用画像ＴのＩＤと時刻情報とを関連付けて、画面遷移を解析するためのサーバに送信する。この際、出力部１５６は、携帯端末１ＢのユーザのユーザＩＤ又は端末ＩＤを一緒に送信することが好ましい。 The output unit 156 outputs the reference screen data stored in the storage unit 14. For example, the output unit 156 associates the ID of the tracking image T with the time information, and transmits it to the server for analyzing the screen transition. At this time, the output unit 156 preferably transmits the user ID or terminal ID of the user of the portable terminal 1B together.

サーバにおいては、記憶部２２が、トラッキング用画像ＴのＩＤに関連付けて、トラッキング用画像Ｔを記憶している。サーバは、第１の実施形態と同様に、時刻情報に基づいて、一以上のトラッキング用画像ＴのＩＤに対応する一以上のトラッキング用画像Ｔを並べることにより、携帯端末１Ｂにおける画面遷移を再現する。例えば、サーバは、時刻ｔから時刻ｔ＋ａの間、あるトラッキング用画像Ｔに関連付けられたＩＤのログがあった場合、（ＩＤ，ｔ，ｔ＋ａ）という形式で時系列情報を生成し、一以上のトラッキング用画像Ｔが、携帯端末１Ｂで表示された画像と同じタイミングで順次表示される動画として画面遷移パターンを再現する。 In the server, the storage unit 22 stores the tracking image T in association with the ID of the tracking image T. As in the first embodiment, the server reproduces the screen transition in the mobile terminal 1B by arranging one or more tracking images T corresponding to the IDs of the one or more tracking images T based on the time information. To do. For example, when there is an ID log associated with a certain tracking image T from time t to time t + a, the server generates time series information in the format of (ID, t, t + a), and The screen transition pattern is reproduced as a moving image in which the tracking image T is sequentially displayed at the same timing as the image displayed on the mobile terminal 1B.

なお、出力部１５６は、時刻情報に基づく順番に、トラッキング用画像ＴのＩＤをサーバに送信してもよく、時刻情報に関係ない順番に、トラッキング用画像ＴのＩＤをサーバに送信してもよい。また、出力部１５６は、表示制御部１５３を介して、時刻情報に基づく順番に、トラッキング用画像Ｔに対応する画面データを表示部１３に表示させてもよい。 The output unit 156 may transmit the ID of the tracking image T to the server in the order based on the time information, or may transmit the ID of the tracking image T to the server in an order not related to the time information. Good. Further, the output unit 156 may cause the display unit 13 to display screen data corresponding to the tracking image T in the order based on the time information via the display control unit 153.

［第３の実施形態における効果］
以上説明したように、第２の実施形態における携帯端末１Ｂにおいては、制御部１５が、第１のアプリケーションを実行して表示部１３に画面データを表示している間に、第２のアプリケーションを実行することにより、表示部１３に表示された画面データをキャプチャし、キャプチャした画面データの特徴を示す取得画像Ｓが、一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する。そして、制御部１５は、取得画像Ｓに関連付けられた時刻情報と、取得情報Ｓと一致又は類似するトラッキング用画像ＴのＩＤとを関連付けて、画面遷移を解析するサーバに送信する。 [Effect in the third embodiment]
As described above, in the mobile terminal 1 B according to the second embodiment, the control unit 15 executes the first application and displays the screen data on the display unit 13. By executing, the screen data displayed on the display unit 13 is captured, and it is determined whether or not the acquired image S indicating the characteristics of the captured screen data matches or resembles any one or more of the tracking images T To do. Then, the control unit 15 associates the time information associated with the acquired image S with the ID of the tracking image T that matches or is similar to the acquired information S, and transmits it to the server that analyzes the screen transition.

このようにすることで、携帯端末１Ｂにおいては、制御部１５が、第１のアプリケーションを実行することによって表示部１３に表示した画面遷移を特定するための情報を、第２のアプリケーションを実行することにより生成し、サーバに送信できる。したがって、携帯端末１Ｂによれば、携帯端末１Ｂの画面に画像を表示するためのアプリケーションに追加機能を実装することなく、携帯端末１Ｂ又はサーバにおいて画面の遷移状態を特定することが可能になるという効果を奏する。 In this manner, in the mobile terminal 1B, the control unit 15 executes the second application with information for specifying the screen transition displayed on the display unit 13 by executing the first application. Can be generated and sent to the server. Therefore, according to the mobile terminal 1B, it is possible to specify the transition state of the screen in the mobile terminal 1B or the server without implementing an additional function in an application for displaying an image on the screen of the mobile terminal 1B. There is an effect.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. In particular, the specific embodiments of the distribution / integration of the devices are not limited to those illustrated above, and all or a part thereof may be added in arbitrary units according to various additions or according to functional loads. It can be configured functionally or physically distributed and integrated.

１携帯端末
２画面遷移特定装置
１１操作部
１２通信部
１３表示部
１４記憶部
１５制御部
２１通信部
２２記憶部
２３制御部
１５１取得部
１５２情報生成部
１５３表示制御部
１５４判定部
１５５記憶制御部
１５６出力部
２３１判定部
２３２記憶制御部
２３３出力部 DESCRIPTION OF SYMBOLS 1 Mobile terminal 2 Screen transition specific apparatus 11 Operation part 12 Communication part 13 Display part 14 Storage part 15 Control part 21 Communication part 22 Storage part 23 Control part 151 Acquisition part 152 Information generation part 153 Display control part 154 Determination part 155 Storage control part 156 Output unit 231 Determination unit 232 Storage control unit 233 Output unit

Claims

画像を表示する表示部と、
前記表示部の画面に表示された画面データを取得する取得部と、
前記画面データの特徴を示す特徴情報を生成する情報生成部と、
前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、
前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、
を有する画面遷移特定装置。 A display for displaying an image;
An acquisition unit for acquiring screen data displayed on the screen of the display unit;
An information generating unit that generates characteristic information indicating characteristics of the screen data;
A storage unit that stores one or more reference feature information indicating characteristics of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen;
A determination unit that determines whether the feature information matches or is similar to any one of the one or more reference feature information;
When the determination unit determines that the feature information matches or is similar to any one or more of the one or more reference feature information, the time information associated with the feature information matches or is similar to the feature information. A storage control unit for storing in the storage unit in association with identification information for identifying information;
A screen transition specifying device.

携帯端末の画面に表示された画面データの特徴を示す特徴情報を取得する取得部と、
前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、
前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、
を有する画面遷移特定装置。 An acquisition unit for acquiring characteristic information indicating characteristics of screen data displayed on the screen of the mobile terminal;
A storage unit that stores one or more reference feature information indicating characteristics of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen;
A determination unit that determines whether the feature information matches or is similar to any one of the one or more reference feature information;
When the determination unit determines that the feature information matches or is similar to any one or more of the one or more reference feature information, the time information associated with the feature information matches or is similar to the feature information. A storage control unit for storing in the storage unit in association with identification information for identifying information;
A screen transition specifying device.

前記記憶部に記憶された前記時刻情報に基づく順番に、前記特徴情報と一致又は類似する前記基準特徴情報に対応する基準画面データを含む画面データを出力する出力部をさらに有する、
請求項１又は２に記載の画面遷移特定装置。 An output unit that outputs screen data including reference screen data corresponding to the reference feature information that matches or is similar to the feature information in order based on the time information stored in the storage unit;
The screen transition specifying device according to claim 1 or 2.

前記出力部は、前記特徴情報と一致又は類似する前記基準特徴情報に対応する前記基準画面データを出力した後に、前記基準画面データに類似する前記特徴情報に対応する類似画面データを出力する、
請求項３に記載の画面遷移特定装置。 The output unit outputs the similar screen data corresponding to the feature information similar to the reference screen data after outputting the reference screen data corresponding to the reference feature information matching or similar to the feature information.
The screen transition specifying device according to claim 3.

前記判定部は、前記特徴情報の一部と、前記一以上の基準特徴情報のいずれかの一部とが一致する場合に、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定する、
請求項１から４のいずれか１項に記載の画面遷移特定装置。 The determination unit, when a part of the feature information and a part of any one of the one or more reference feature information match, the feature information matches or is similar to any one of the one or more reference feature information It is determined that
The screen transition specifying device according to any one of claims 1 to 4.

前記判定部は、透明画素により構成される透明領域と、透明画素以外の画素により構成される非透明領域とを含む前記基準特徴情報と、前記特徴情報とを比較することにより、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する、
請求項５に記載の画面遷移特定装置。 The determination unit compares the feature information with the reference feature information including a transparent region formed of transparent pixels and a non-transparent region formed of pixels other than the transparent pixels, thereby obtaining the feature information. Determining whether it matches or resembles any of the one or more reference feature information;
The screen transition specifying device according to claim 5.

前記判定部は、前記画面データを複数の分割領域に分割し、前記複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより生成されたハッシュ情報を含む前記特徴情報が、前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する、
請求項１又は２に記載の画面遷移特定装置。 The determination unit includes the hash information generated by dividing the screen data into a plurality of divided regions and comparing an average value of luminance or chromaticity of each of the plurality of divided regions with a predetermined threshold value. Determines whether or not it matches or is similar to any of the one or more reference feature information.
The screen transition specifying device according to claim 1 or 2.

携帯端末の表示部の画面に表示された画面データを取得するステップと、
前記画面データの特徴を示す特徴情報を生成するステップと、
前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定するステップと、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、
を有する画面遷移特定方法。 Acquiring screen data displayed on the screen of the display unit of the mobile device;
Generating feature information indicating features of the screen data;
It is determined whether or not the feature information matches or is similar to one or more reference feature information indicating a feature of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen. And steps to
When the feature information is determined to match or similar to any one of the one or more reference feature information, the time information associated with the feature information is identified to identify the reference feature information that matches or is similar to the feature information Storing the information in the storage unit in association with the information;
A screen transition specifying method.

携帯端末の表示部の画面に表示された画面データの特徴を示す特徴情報を取得するステップと、
前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す基準特徴情報と一致又は類似するか否かを判定するステップと、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、
を有する画面遷移特定方法。 Obtaining feature information indicating features of screen data displayed on the screen of the display unit of the mobile terminal;
Determining whether the feature information matches or resembles reference feature information indicating a feature of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen;
When the feature information is determined to match or similar to any one of the one or more reference feature information, the time information associated with the feature information is identified to identify the reference feature information that matches or is similar to the feature information Storing the information in the storage unit in association with the information;
A screen transition specifying method.

画面データを表示する画面を有する端末と、前記端末に表示された前記画面データの遷移状態を特定する画面遷移特定装置と、を備え、
前記端末は、
前記画面に表示された画面データを取得する取得部と、
前記画面データの特徴を示す特徴情報を生成する情報生成部と、
前記特徴情報を、当該特徴情報に関連付けられた時刻情報とともに前記画面遷移特定装置に送信する送信部と、
を有し、
前記画面遷移特定装置は、
前記特徴情報を取得する取得部と、
前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、
前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、
を有する画面遷移特定システム。
A terminal having a screen for displaying screen data; and a screen transition specifying device for specifying a transition state of the screen data displayed on the terminal,
The terminal
An acquisition unit for acquiring screen data displayed on the screen;
An information generating unit that generates characteristic information indicating characteristics of the screen data;
A transmission unit that transmits the feature information to the screen transition identification device together with time information associated with the feature information;
Have
The screen transition specifying device is:
An acquisition unit for acquiring the feature information;
A storage unit that stores one or more reference feature information indicating characteristics of one or more reference screen data that is the same as or similar to the one or more screen data displayed on the screen;
A determination unit that determines whether the feature information matches or is similar to any one of the one or more reference feature information;
When the determination unit determines that the feature information matches or is similar to any one or more of the one or more reference feature information, the time information associated with the feature information matches or is similar to the feature information. A storage control unit for storing in the storage unit in association with identification information for identifying information;
A screen transition specifying system.