JP2014007532A - Portable terminal device - Google Patents
Portable terminal device Download PDFInfo
- Publication number
- JP2014007532A JP2014007532A JP2012141474A JP2012141474A JP2014007532A JP 2014007532 A JP2014007532 A JP 2014007532A JP 2012141474 A JP2012141474 A JP 2012141474A JP 2012141474 A JP2012141474 A JP 2012141474A JP 2014007532 A JP2014007532 A JP 2014007532A
- Authority
- JP
- Japan
- Prior art keywords
- information
- related information
- stored
- unit
- life log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 claims description 59
- 230000033001 locomotion Effects 0.000 claims description 36
- 230000008451 emotion Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010079 rubber tapping Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000003490 calendering Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、ライフログを収集することが可能な携帯端末装置に関する。 The present invention relates to a mobile terminal device capable of collecting life logs.
タッチパネルなどの入力インターフェイスや、大容量かつ小型化された記録メディアの開発が進み、無線通信技術の向上、無線通信設備の整備などにより、スマートフォンやタブレットPC(パーソナルコンピュータ)などの携帯端末装置によって実現できる機能が大幅に向上し、普及率も高いものとなっている。 Realized with mobile terminal devices such as smartphones and tablet PCs (personal computers) through the development of input interfaces such as touch panels and the development of large-capacity and miniaturized recording media, improved wireless communication technology, and maintenance of wireless communication facilities The functions that can be performed are greatly improved, and the penetration rate is high.
このような携帯端末装置の状況を見据えた新たなサービスの提供も開始されている。たとえば、携帯端末装置の現在位置がユーザの現在位置と同じであるという想定のもとに、現在位置に連動して情報の共有やコミュニケーションを図ることができる位置情報連動SNS(Social Networking Service)などが提供される。また、ユーザによるウェブサイトの閲覧履歴、検索のために入力されたキーワードに基づいて、ユーザに応じた広告情報の配信を行うサービスや、現在位置情報に応じてクーポンの配信を行うサービスなど、ユーザのライフスタイルに合わせて、様々なサービスの提供を行うコンシェルジュサービスの提供も始まっている。 Providing new services with a view to the situation of such portable terminal devices has also started. For example, based on the assumption that the current location of the mobile terminal device is the same as the current location of the user, a location information linkage SNS (Social Networking Service) that can share information and communicate with the current location, etc. Is provided. In addition, users such as a service that distributes advertisement information according to the user, a service that distributes coupons according to the current location information, etc., based on the browsing history of the website by the user and keywords input for searching Concierge services that provide various services in accordance with the lifestyles of people have started.
このようなサービスを提供するに当たっては、提供すべきサービスを決定するために、ユーザの行動内容をデジタルデータ化したライフログを取得することが重要となる。 In providing such a service, in order to determine a service to be provided, it is important to obtain a life log obtained by converting the action content of the user into digital data.
特許文献1記載の情報グループ化システムは、個人の生活や行動にまつわる状態情報群をグループ化して追記するシステムであって、ユーザがキャプチャ装置を操作すると、被キャプチャ装置が送信した状態情報を1つのグループとしてグループIDを対応付けて記憶手段に追記する。 The information grouping system described in Patent Document 1 is a system that adds a group of state information related to an individual's life and behavior, and additionally writes the state information transmitted by the captured device when the user operates the capture device. A group ID is associated with the group and added to the storage means.
特許文献1記載の情報グループ化システムは、IDによって状態情報をグループ化して行動履歴を記録しようとするものである。この情報グループ化システムは、IDによってキャプチャ装置が操作されたときの各被キャプチャ装置が送信する状態情報を1つのグループとして互いに関連性を持たせることができるが、複数の情報を1つのグループとして関連付けるだけに過ぎず、記憶したライフログを十分に活用することができない。 The information grouping system described in Patent Document 1 attempts to record state history by grouping state information by ID. In this information grouping system, the status information transmitted by each capture target device when the capture device is operated by the ID can be related to each other as one group, but a plurality of information is regarded as one group. It is only associated with each other, and the stored life log cannot be fully utilized.
本発明の目的は、記憶したライフログを十分に活用することができる携帯端末装置を提供することである。 The objective of this invention is providing the portable terminal device which can fully utilize the memorize | stored life log.
本発明は、自装置の動作状態に関連する動作関連情報または自装置の現在位置に関連する位置関連情報の少なくともいずれかを取得する取得手段と、
前記動作関連情報および前記位置関連情報を記憶する記憶手段と、
ユーザの操作によって、前記取得手段に、前記動作関連情報または前記位置関連情報の少なくともいずれかを取得するよう指示する指示手段と、
前記指示手段が前記取得手段に指示した時刻を検出し、検出した時刻と、前記指示によって前記取得手段が取得した前記動作関連情報または前記位置関連情報の少なくともいずれかとを関連付けて、前記記憶手段に記憶させる制御手段と、を備える携帯端末装置である。
The present invention provides an acquisition means for acquiring at least one of operation related information related to the operation state of the own device or position related information related to the current position of the own device;
Storage means for storing the motion-related information and the position-related information;
Instruction means for instructing the acquisition means to acquire at least one of the motion-related information and the position-related information by a user operation;
The instruction means detects the time instructed to the acquisition means, and associates the detected time with at least one of the motion-related information or the position-related information acquired by the acquisition means according to the instruction, and stores it in the storage means And a control means for storing the portable terminal device.
また本発明は、画像を表示する表示手段と、
音声を出力する音声出力手段とをさらに備え、
前記動作関連情報は、起動しているアプリケーションソフトウェアに関連するアプリ情報と、表示手段に表示されている画像に関連する画像情報と、出力手段で出力されている音声に関連する音声情報と、を含むことを特徴とする。
The present invention also provides a display means for displaying an image,
Voice output means for outputting voice,
The operation related information includes application information related to the activated application software, image information related to the image displayed on the display means, and audio information related to the sound output by the output means. It is characterized by including.
また本発明は、他の装置と通信を行う通信手段をさらに備え、
前記位置関連情報は、自装置の位置を経緯度で示す経緯度情報と、他の装置との無線通信による接続状態に関連する接続情報と、を含むことを特徴とする。
The present invention further includes a communication means for communicating with another device,
The position related information includes longitude and latitude information indicating the position of the own device in longitude and latitude, and connection information related to a connection state by wireless communication with another device.
また本発明は、前記指示手段が操作された回数を検出する回数検出手段をさらに備え、
前記制御手段は、前記時刻と、前記回数検出手段によって検出された回数に応じたユーザの感情を表す感情情報とを関連付けて、前記記憶手段に記憶させることを特徴とする。
The present invention further includes a number of times detection means for detecting the number of times the instruction means is operated,
The control means associates the time with emotion information representing a user's emotion according to the number of times detected by the number of times detection means, and stores the information in the storage means.
また本発明は、前記記憶手段に記憶された前記動作関連情報または前記位置関連情報の少なくともいずれかに基づくログ情報を、関連付けられた時刻の順に出力するログ出力手段をさらに備えることを特徴とする。 The present invention further includes log output means for outputting log information based on at least one of the motion-related information and the position-related information stored in the storage means in order of associated times. .
本発明によれば、取得手段が、自装置の動作状態に関連する動作関連情報または自装置の現在位置に関連する位置関連情報の少なくともいずれかを取得し、記憶手段が、前記動作関連情報および前記位置関連情報を記憶する。 According to the present invention, the acquisition unit acquires at least one of the operation related information related to the operation state of the own device or the position related information related to the current position of the own device, and the storage unit stores the operation related information and The position related information is stored.
ユーザの操作によって、指示手段が前記取得手段に、前記動作関連情報または前記位置関連情報の少なくともいずれかを取得するよう指示すると、制御手段は、前記指示手段が前記取得手段に指示した時刻を検出し、検出した時刻と、前記指示によって前記取得手段が取得した前記動作関連情報または前記位置関連情報の少なくともいずれかとを関連付けて、前記記憶手段に記憶させる。 When the instruction unit instructs the acquisition unit to acquire at least one of the motion-related information and the position-related information by a user operation, the control unit detects the time point when the instruction unit instructs the acquisition unit. Then, the detected time is associated with at least one of the motion-related information and the position-related information acquired by the acquisition unit according to the instruction, and is stored in the storage unit.
ユーザの指示によって、動作関連情報または位置関連情報の少なくともいずれかを取得して記憶することができ、取得した時刻も関連付けて記憶しておくことができる。たとえば、動作関連情報または位置関連情報の少なくともいずれかであるライフログを取得した時刻の順に並べて出力したり、特定の日時、特定の時刻に携帯端末装置が、どこで、どのような動作を実行していたのかを出力するなど、ライフログの活用の場が広がり、記憶したライフログを十分に活用することができる。 At least one of the motion related information and the position related information can be acquired and stored according to a user instruction, and the acquired time can also be stored in association with each other. For example, the life log, which is at least one of operation-related information and position-related information, is arranged and output in the order of the acquired time, or the mobile terminal device executes what operation where and at a specific date and time. The place of utilization of the life log expands, such as outputting whether it was, and the stored life log can be fully utilized.
また本発明によれば、画像を表示する表示手段と、音声を出力する音声出力手段とをさらに備えており、前記動作関連情報は、起動しているアプリケーションソフトウェアに関連するアプリ情報と、表示手段に表示されている画像に関連する画像情報と、出力手段で出力されている音声に関連する音声情報とを含む。 According to the present invention, it further comprises display means for displaying an image and sound output means for outputting sound, wherein the operation related information includes application information related to activated application software, and display means. Image information related to the image displayed on the screen and sound information related to the sound output by the output means.
動作関連情報として、画像情報、音声情報を記憶しておくことができるので、これらの情報をライフログとして出力することができる。 Since image information and audio information can be stored as operation-related information, these information can be output as a life log.
また本発明によれば、他の装置と通信を行う通信手段をさらに備え、前記位置関連情報は、自装置の位置を経緯度で示す経緯度情報と、他の装置との無線通信による接続状態に関連する接続情報とを含む。 According to the present invention, the information processing apparatus further includes a communication unit that communicates with another device, the position related information includes longitude and latitude information indicating the position of the own device in longitude and latitude, and a connection state by wireless communication with the other device. Connection information related to.
位置関連情報として、経緯度情報と接続情報を記憶しておくことができ、経緯度情報のような直接的な位置情報のみならず、接続情報のような間接的な位置情報も記憶しておくことができる。 As position related information, longitude and latitude information and connection information can be stored, and not only direct position information such as longitude and latitude information but also indirect position information such as connection information is stored. be able to.
また本発明によれば、前記指示手段が操作された回数を検出する回数検出手段をさらに備え、前記制御手段は、前記時刻と、前記回数検出手段によって検出された回数に応じたユーザの感情を表す感情情報とを関連付けて、前記記憶手段に記憶させる。
これにより、ライフログを記憶させたときのユーザの感情までも記憶させることができる。
Further, according to the present invention, the apparatus further includes a number detection unit that detects the number of times the instruction unit is operated, and the control unit displays the time and the user's emotion according to the number of times detected by the number detection unit. The emotion information to be expressed is associated with and stored in the storage means.
Thereby, even a user's emotion when a life log is memorize | stored can be memorize | stored.
また本発明によれば、ログ出力手段が、前記記憶手段に記憶された前記動作関連情報または前記位置関連情報の少なくともいずれかに基づくログ情報を、関連付けられた時刻の順に出力する。これにより、ライフログをいわゆるタイムライン表示することができる。 According to the invention, the log output means outputs log information based on at least one of the motion-related information and the position-related information stored in the storage means in the order of the associated times. Thereby, the life log can be displayed in a so-called timeline.
図1は、本発明の実施形態である携帯機器20の構成を示す外観図であり、図2は、携帯機器20の構成を示すブロック図である。 FIG. 1 is an external view showing a configuration of a mobile device 20 according to an embodiment of the present invention, and FIG. 2 is a block diagram showing a configuration of the mobile device 20.
携帯機器20は、たとえばスマートフォン、タブレットPCなどの携帯端末装置によって構成される。以下では、携帯機器20がスマートフォンである場合を例にして説明する。 The mobile device 20 is configured by a mobile terminal device such as a smartphone or a tablet PC. Hereinafter, a case where the mobile device 20 is a smartphone will be described as an example.
携帯機器20は、制御部21、記憶部22、一時記憶部23、操作部24、表示部25、通信部26、スピーカ部27、振動部28、マイク部30、カメラ部31、ログ送信部33および図示しない計時部を含んで構成される。 The portable device 20 includes a control unit 21, a storage unit 22, a temporary storage unit 23, an operation unit 24, a display unit 25, a communication unit 26, a speaker unit 27, a vibration unit 28, a microphone unit 30, a camera unit 31, and a log transmission unit 33. And it is comprised including the time measuring part which is not shown in figure.
制御手段およびコンピュータである制御部21は、たとえばCPUによって構成され、記憶部22に記憶されるプログラムを実行することによって、操作部24、表示部25、通信部26、スピーカ部27、振動部28、ログ送信部32および図示しない計時部を制御する。 The control unit 21, which is a control unit and a computer, is configured by a CPU, for example, and by executing a program stored in the storage unit 22, the operation unit 24, the display unit 25, the communication unit 26, the speaker unit 27, and the vibration unit 28. The log transmission unit 32 and a timing unit (not shown) are controlled.
記憶手段である記憶部22は、不揮発性の大容量の記憶装置、たとえばSSDあるいはフラッシュメモリカードなどの半導体メモリ、またはHDDなどによって構成される。記憶部22は、制御部21によって実行されるプログラム、および制御部21がプログラムを実行するために必要な情報を記憶する。記憶部22に記憶される情報は、制御部21によって書き込みおよび読み出しが行われる。記憶部22は、ログ記憶部35を含む。 The storage unit 22 as storage means is configured by a nonvolatile large-capacity storage device, for example, a semiconductor memory such as an SSD or a flash memory card, or an HDD. The storage unit 22 stores a program executed by the control unit 21 and information necessary for the control unit 21 to execute the program. Information stored in the storage unit 22 is written and read by the control unit 21. The storage unit 22 includes a log storage unit 35.
一時記憶部23は、書き込み速度および読み出し速度が記憶部22よりも高速で揮発性の記憶装置、たとえばDRAMなどの半導体メモリによって構成され、制御部21がプログラムを実行するために必要な情報を一時的に記憶するワークメモリである。一時記憶部23に記憶される情報は、制御部21によって書き込みおよび読み出しが行われる。 The temporary storage unit 23 is configured by a volatile storage device having a writing speed and a reading speed higher than those of the storage unit 22, for example, a semiconductor memory such as a DRAM, and temporarily stores information necessary for the control unit 21 to execute a program. This is a work memory to be stored. Information stored in the temporary storage unit 23 is written and read by the control unit 21.
操作部24は、文字、数字および記号などの情報などを入力するための複数のキーによって構成される。操作部24は、操作されたキーに対応付けられている情報を制御部21に送る。操作部24は、メカニカルキーであってもよく、ソフトキーであってもよく、ソフトキーを実現するためのタッチパネルを備えることが好ましい。また、操作部24は、本発明の特徴であるライフログキーAを含む。詳細については後述するが、ユーザがライフログキーAを押すことで、その時点での携帯機器20の動作状態に関連する各種の情報である動作関連情報または携帯機器20の現在位置に関連する位置関連情報の少なくともいずれかをライフログ情報として記憶部22のログ記憶部35に、都度記憶していく。ライフログ情報は、ライフログキーAが押された時刻と動作関連情報および位置関連情報とが関連付けられて記憶される。本実施形態では、ライフログキーAは、図1に示すように、たとえば携帯機器20の筐体側面に設けられたサイドキーである。ライフログキーAは、ユーザが操作することによって、ライフログ情報を記憶部22のログ記憶部35に記憶するトリガー信号を発生するものであればよく、サイドキーのように専用のライフログキーAが設けられている場合は、ライフログキーAであるサイドキーが押下され、キー押下信号が出力されると、キー押下信号自体がトリガー信号となって制御部21に入力される。 The operation unit 24 includes a plurality of keys for inputting information such as letters, numbers, and symbols. The operation unit 24 sends information associated with the operated key to the control unit 21. The operation unit 24 may be a mechanical key or a soft key, and preferably includes a touch panel for realizing the soft key. The operation unit 24 includes a life log key A that is a feature of the present invention. Although details will be described later, when the user presses the life log key A, the operation related information which is various information related to the operation state of the mobile device 20 at that time or the position related to the current position of the mobile device 20 At least one of the related information is stored as life log information in the log storage unit 35 of the storage unit 22 each time. The life log information is stored in association with the time when the life log key A is pressed, the operation related information, and the position related information. In the present embodiment, the life log key A is a side key provided on the side surface of the casing of the mobile device 20, for example, as shown in FIG. The life log key A only needs to generate a trigger signal for storing life log information in the log storage unit 35 of the storage unit 22 when operated by the user. When the side key that is the life log key A is pressed and a key pressing signal is output, the key pressing signal itself is input to the control unit 21 as a trigger signal.
トリガー信号が制御部21に入力されると、制御部21は、動作関連情報として、起動していれば起動しているアプリケーション、表示していれば表示している画像データ、出力していれば出力している音声データなどトリガー信号が入力された時点における自機の動作に関連する各種の情報を取得して記憶部22のログ記憶部35に記憶する。また、トリガー信号が制御部21に入力されると、制御部21は、位置関連情報として、GPS受信部29が出力する経緯度、無線接続していれば接続している他の機器などトリガー信号が入力された時点における自機の位置に関連する各種の情報を取得して記憶部22のログ記憶部35に記憶する。このとき、制御部21は、トリガー信号が入力された時刻も取得して動作関連情報および位置関連情報に関連付けてライフログとして記憶部22のログ記憶部35に記憶する。 When the trigger signal is input to the control unit 21, the control unit 21 as the operation related information, the application that is activated if activated, the image data that is displayed if it is displayed, and the image data that is displayed if it is output. Various types of information related to the operation of the own device at the time when a trigger signal is input, such as output audio data, is acquired and stored in the log storage unit 35 of the storage unit 22. When the trigger signal is input to the control unit 21, the control unit 21 detects, as position related information, the longitude and latitude output by the GPS receiving unit 29, and other devices that are connected if wirelessly connected. Is acquired and stored in the log storage unit 35 of the storage unit 22. At this time, the control unit 21 also acquires the time when the trigger signal is input, and stores it in the log storage unit 35 of the storage unit 22 as a life log in association with the motion related information and the position related information.
サイドキー以外のライフログキーとしては、ライフログキーAとなるメカニカルキーと通信部とからなる小型のワイヤレスキーであってもよい。ライフログキーAが押されると、通信部からライフログキーAが押されたことを示すキー押下信号が発信され、通信部26がこれを受信すると、ライフログ情報を記憶するためのトリガー信号を発生して制御部21へと出力する。 The life log key other than the side key may be a small wireless key including a mechanical key serving as the life log key A and a communication unit. When the life log key A is pressed, a key press signal indicating that the life log key A is pressed is transmitted from the communication unit, and when the communication unit 26 receives this, a trigger signal for storing life log information is generated. Generated and output to the control unit 21.
また、ライフログキーAとしては、タッチパネルと表示部25との組合せによるソフトキーであってもよい。ライフログキーのキー画像を表示部25に表示し、キー画像に対応するタッチパネルの領域がタップされると、タッチパネルから出力される座標信号がトリガー信号として制御部21に入力される。 The life log key A may be a soft key that is a combination of the touch panel and the display unit 25. When a key image of a life log key is displayed on the display unit 25 and an area of the touch panel corresponding to the key image is tapped, a coordinate signal output from the touch panel is input to the control unit 21 as a trigger signal.
表示手段である表示部25は、たとえば液晶ディスプレイなどの表示装置によって構成される。表示部25は、制御部21が生成する画像データに基づいて画像を表示する。画像データの生成は、OS(Operating System)によるものや、アプリケーションによるものがあり、記憶部22に記憶された画像データに基づき、表示部25の仕様に応じて、表示部25で表示可能な画像データが生成される。 The display unit 25 which is a display unit is configured by a display device such as a liquid crystal display. The display unit 25 displays an image based on the image data generated by the control unit 21. Image data can be generated by an OS (Operating System) or by an application. An image that can be displayed on the display unit 25 based on the image data stored in the storage unit 22 and according to the specifications of the display unit 25. Data is generated.
通信部26は、無線データ通信によって基地局の通信設備を介して移動体通信網などのネットワークに接続され、ネットワークに接続される他の装置、たとえばコンテンツ配信サーバ、電子メールサーバ、SNSサーバ、掲示板サーバ、ログ収集サーバなどと各種情報の送受信を行う通信装置によって構成される。また、通信部26によって移動体通信網と接続し、他の電話装置との電話通信を行うことも可能である。 The communication unit 26 is connected to a network such as a mobile communication network via wireless base station communication equipment, and other devices connected to the network, such as a content distribution server, an e-mail server, an SNS server, a bulletin board It is composed of a communication device that transmits and receives various information to and from a server, log collection server, and the like. It is also possible to connect to a mobile communication network by the communication unit 26 and perform telephone communication with other telephone devices.
通信部26は、制御部21から受け取る情報を、ネットワークを介して、制御部21から指示される他の装置に送信し、ネットワークを介して他の装置から受け取る情報を制御部21に送る。移動体通信網との接続における通信方式は、第3世代携帯電話方式(略称:3G)であるが、インターネット、LAN(Local Area Network)、VPN(Virtual Private Network)などの各種ネットワークを介してデータ通信を行うために中距離、近距離無線通信も可能であり、たとえばWi−Fi(登録商標)、Bluetooth(登録商標)あるいはZigbee(登録商標)などの通信方式であってもよい。 The communication unit 26 transmits information received from the control unit 21 to another device instructed by the control unit 21 via the network, and transmits information received from the other device to the control unit 21 via the network. The communication system for connection with the mobile communication network is the third generation mobile phone system (abbreviation: 3G), but data is transmitted via various networks such as the Internet, LAN (Local Area Network), VPN (Virtual Private Network), etc. In order to perform communication, medium-distance and short-distance wireless communication is also possible. For example, a communication method such as Wi-Fi (registered trademark), Bluetooth (registered trademark), or Zigbee (registered trademark) may be used.
スピーカ部27は、たとえばスピーカを含む音声出力装置によって構成される。スピーカ部27は、制御部21が生成する音声データに基づいて、音声を出力する。音声データは、楽曲データ、合成音データなどの各種音声データを取り扱うことが可能である。また、電話通信時には、相手側電話装置から受信した音声データに基づく音声を出力する。振動部28は、たとえば振動子などの振動装置によって構成され、いわゆるバイブレーションによって音声とともにまたは音声の代わりにユーザに対して通知を行う。 The speaker part 27 is comprised by the audio | voice output apparatus containing a speaker, for example. The speaker unit 27 outputs sound based on the sound data generated by the control unit 21. The sound data can handle various sound data such as music data and synthesized sound data. During telephone communication, voice based on voice data received from the other party's telephone device is output. The vibration unit 28 is configured by, for example, a vibration device such as a vibrator, and notifies the user together with or instead of voice by so-called vibration.
GPS受信部29は、Global Positioning Systemのユーザ・セグメントに相当するGPS受信機で構成され、少なくとも緯度および経度の測位が可能であればよく、高度を含む3次元測位を行い、経緯度と高度とを取得することもできる。 The GPS receiving unit 29 is composed of a GPS receiver corresponding to a user segment of the Global Positioning System, and it is only necessary to be able to measure at least latitude and longitude, and performs three-dimensional positioning including altitude, You can also get
マイク部30は、たとえばマイクを含む音声入力装置によって構成される。マイク部30は、入力された音声を電気信号として制御部21に出力し、制御部21が音声データに変換する。変換された音声データは、記憶部22に記憶することで、ボイスレコーダ機能を実現することができる。また、電話通信時には、マイク部30から入力された音声は、音声データとして相手側電話装置へと送信することが可能である。 The microphone part 30 is comprised by the audio | voice input apparatus containing a microphone, for example. The microphone unit 30 outputs the input voice as an electrical signal to the control unit 21, and the control unit 21 converts it into voice data. The converted voice data is stored in the storage unit 22, thereby realizing a voice recorder function. Further, during telephone communication, the voice input from the microphone unit 30 can be transmitted as voice data to the other party's telephone device.
カメラ部31は、CCDカメラ、CMOSカメラなど被写体を撮影して画像データを生成するデジタルカメラ装置によって構成され、生成した画像データを記憶するビデオメモリ32を含む。カメラ部31は、静止画データおよび動画データのいずれの画像データも生成することができる。制御部21の指示により、ビデオメモリ32に記憶されている画像データを、記憶部22に記憶させることもできる。 The camera unit 31 is configured by a digital camera device that captures an image of a subject such as a CCD camera or a CMOS camera, and includes a video memory 32 that stores the generated image data. The camera unit 31 can generate both image data of still image data and moving image data. The image data stored in the video memory 32 can be stored in the storage unit 22 according to an instruction from the control unit 21.
ログ送信部33は、ログ記憶部35に記憶されるライフログ情報を読み出し、読み出したライフログ情報に基づいて、生成したログデータを通信部26によってログ収集サーバへ送信させる。 The log transmission unit 33 reads the life log information stored in the log storage unit 35 and causes the communication unit 26 to transmit the generated log data to the log collection server based on the read life log information.
図示しない計時手段である計時部は、時刻を計時する。制御部21は、計時部を参照することによって、現在の時刻を取得することができる。 A time measuring unit which is time measuring means (not shown) measures time. The control unit 21 can acquire the current time by referring to the time measuring unit.
図3は、携帯機器20を含む通信システムを示す模式図である。携帯機器20は、通信ネットワークNと無線通信または必要に応じて有線通信によりデータ通信可能に接続され、ログ収集サーバSは、通信ネットワークNと有線または無線通信によりデータ通信可能に接続される。通信ネットワークNは、移動体通信網やインターネットなどのデータ通信可能なネットワークであればよい。 FIG. 3 is a schematic diagram illustrating a communication system including the mobile device 20. The portable device 20 is connected to the communication network N so as to be able to perform data communication by wireless communication or wired communication as necessary, and the log collection server S is connected to the communication network N so as to be able to perform data communication by wired or wireless communication. The communication network N may be a network capable of data communication such as a mobile communication network or the Internet.
ライフログ情報に基づくログデータは、ユーザの操作により、または予め定める時刻、時間間隔などのスケジュールに応じて、ログ送信部33が読み出し、通信部26から通信ネットワークを介して携帯機器20と接続されたログ収集サーバSへと送信される。また、ログ収集サーバSに記憶されたログデータは、ユーザの操作により、または予め定める時刻、時間間隔などのスケジュールに応じて、携帯機器20からの要求に応じてログ収集サーバSから携帯機器20へと送信される。 The log data based on the life log information is read by the log transmission unit 33 by a user operation or according to a schedule such as a predetermined time and time interval, and is connected to the portable device 20 from the communication unit 26 via the communication network. Sent to the log collection server S. Further, the log data stored in the log collection server S is sent from the log collection server S to the portable device 20 in response to a request from the portable device 20 according to a user operation or according to a schedule such as a predetermined time and time interval. Sent to.
以下では、ユーザによってライフログキーAが押されたときに取得される動作関連情報および位置関連情報について説明する。 Hereinafter, the operation related information and the position related information acquired when the life log key A is pressed by the user will be described.
動作関連情報は、主にアプリケーションが起動している状態で、起動しているアプリケーションの動作に応じて表示されている画像情報などとして取得される。 The operation-related information is acquired as image information or the like that is displayed according to the operation of the activated application mainly in a state where the application is activated.
携帯機器20のシステム上で動作するアプリケーションの例としては、画像閲覧アプリ、画像撮影アプリ、ウェブ閲覧アプリ、VOD(Video on Demand)視聴アプリ、電子書籍アプリ、音楽再生アプリおよび電子メールアプリなどがある。 Examples of applications that operate on the system of the mobile device 20 include an image browsing application, an image capturing application, a web browsing application, a VOD (Video on Demand) viewing application, an electronic book application, a music playback application, and an email application. .
<画像閲覧アプリ>
画像閲覧アプリは、いわゆる画像ビューワであり、記憶部22に記憶されている画像データに基づく画像を表示部25に表示させる。画像閲覧アプリが表示させる画像は、静止画であっても動画であってもよい。静止画であれば、たとえば複数の画像をサムネイル表示などによって一覧表示したり、複数の画像を一定時間ごとに1枚ずつ切り替えながら表示するスライドショー表示することができる。ユーザがいずれか1つの静止画を選択すると、選択された1枚の静止画を表示部25に表示する。選択された画像に対しては、拡大処理、縮小処理、回転処理などの編集処理を施すことが可能である。
<Image browsing app>
The image browsing application is a so-called image viewer, and displays an image based on the image data stored in the storage unit 22 on the display unit 25. The image displayed by the image browsing application may be a still image or a moving image. For still images, for example, a list of a plurality of images can be displayed in a thumbnail display or a slide show can be displayed in which a plurality of images are switched one by one at regular intervals. When the user selects any one still image, the selected one still image is displayed on the display unit 25. Editing processing such as enlargement processing, reduction processing, and rotation processing can be performed on the selected image.
また、動画であれば、各動画像データの第1フレームを静止画データとして取り出し、記憶されている各動画の代表画像として一覧表示したり、動画のタイトルと再生時間などをリスト表示する。ユーザがいずれか1つの代表画像またはタイトルを選択すると選択された代表画像またはタイトルの動画が再生される。 In the case of a moving image, the first frame of each moving image data is taken out as still image data, displayed as a list as a representative image of each stored moving image, or displayed as a list of moving image titles and playback times. When the user selects any one representative image or title, a moving image of the selected representative image or title is reproduced.
このような画像閲覧アプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、起動しているアプリケーション、すなわち画像閲覧アプリの名称など当該アプリケーションが識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、表示部25に表示されている画像、すなわちユーザの選択によって表示されている静止画または動画の画像データのファイルネームなど当該画像データが識別可能な情報を動作関連情報として記憶してもよい。さらに詳細な情報として、トリガー信号が制御部21に入力された時点で、静止画に編集処理を施している場合は、たとえば変倍率や回転角度を動作関連情報として記憶してもよい。さらに詳細な情報として、トリガー信号が制御部21に入力された時点で、動画を再生している場合は、たとえば、トリガー信号が制御部21に入力された時点における動画の再生時間または再生されているフレーム番号を動作関連情報として記憶してもよい。 In such a state that the image browsing application is activated, when the life log key A is pressed and a trigger signal is input to the control unit 21, the application that is activated, that is, the name of the image browsing application, The identifiable information is stored as operation related information. At this time, when the trigger signal is input to the control unit 21, the image data such as the image displayed on the display unit 25, that is, the file name of the image data of the still image or moving image displayed by the user's selection is displayed. The identifiable information may be stored as operation related information. As more detailed information, when an edit process is performed on a still image at the time when a trigger signal is input to the control unit 21, for example, a scaling factor or a rotation angle may be stored as motion-related information. As more detailed information, when a moving image is played back when the trigger signal is input to the control unit 21, for example, the playback time of the moving image or the playback time when the trigger signal is input to the control unit 21 is reproduced. May be stored as motion-related information.
<画像撮影アプリ>
画像撮影アプリは、カメラによる画像の撮影を行うためのアプリケーションである。撮影する画像は、静止画であってもよく、動画であってもよい。画像撮影アプリは、ズーム倍率、シャッタースピード、撮影解像度などの撮影条件を設定することが可能である。
<Image shooting app>
The image capturing application is an application for capturing an image with a camera. The image to be taken may be a still image or a moving image. The image shooting application can set shooting conditions such as zoom magnification, shutter speed, and shooting resolution.
このような画像撮影アプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、起動しているアプリケーション、すなわち画像撮影アプリの名称など当該アプリケーションが識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、表示部25に表示されている画像、すなわちユーザの操作によって撮影された静止画または動画の画像データのファイルネームなど当該画像データが識別可能な情報を動作関連情報として記憶してもよい。さらに詳細な情報として、トリガー信号が制御部21に入力された時点で、設定しているズーム倍率などの撮影条件を動作関連情報として記憶してもよい。 In such a state that the image capturing application is activated, when the life log key A is pressed and a trigger signal is input to the control unit 21, the application that is activated, that is, the application such as the name of the image capturing application is displayed. The identifiable information is stored as operation related information. At this time, when the trigger signal is input to the control unit 21, the image data such as an image displayed on the display unit 25, that is, a file name of image data of a still image or a moving image captured by a user operation is identified. Possible information may be stored as motion related information. As more detailed information, the imaging conditions such as the set zoom magnification may be stored as operation-related information when the trigger signal is input to the control unit 21.
<ウェブ閲覧アプリ>
ウェブ閲覧アプリは、ウェブページを表示するためのウェブブラウザであり、データ通信によって移動体通信網またはインターネットを介してウェブサーバと接続し、ウェブページデータをダウンロードして表示部25に表示する。
<Web browsing application>
The web browsing application is a web browser for displaying a web page, is connected to a web server via a mobile communication network or the Internet by data communication, downloads web page data, and displays it on the display unit 25.
このようなウェブ閲覧アプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、起動しているアプリケーション、すなわちウェブ閲覧アプリの名称など当該アプリケーションが識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、ウェブブラウザによって表示部25に表示されているウェブページのURL(Uniform Resource Locator)など当該ウェブページが識別可能な情報を動作関連情報として記憶してもよい。 In such a state that the web browsing application is activated, when the life log key A is pressed and a trigger signal is input to the control unit 21, the application that is activated, that is, the name of the web browsing application, The identifiable information is stored as operation related information. At this time, when the trigger signal is input to the control unit 21, information that can identify the web page such as a URL (Uniform Resource Locator) of the web page displayed on the display unit 25 by the web browser is used as the operation related information. You may remember.
<VOD視聴アプリ>
VOD視聴アプリは、動画のストリーミング再生プレイヤーであり、データ通信によって移動体通信網またはインターネットを介してコンテンツ配信サーバと接続し、コンテンツデータをダウンロードしながら再生する。
<VOD viewing app>
The VOD viewing application is a video streaming playback player, which is connected to a content distribution server via a mobile communication network or the Internet by data communication, and plays while downloading content data.
VOD視聴アプリが起動すると、まずは、配信サービスへのログイン処理や認証処理を行い、再生可能な動画コンテンツのタイトルなどをコンテンツ配信サーバから取得し、タイトルリストなどを表示する。タイトルとともにコンテンツの内容を示す静止画を表示したり、動画の一部(再生時間が数秒程度)を再生するようにしてもよい。VOD視聴アプリは、ユーザが視聴したいコンテンツを選択すると、必要に応じて課金処理を行い、動画コンテンツのストリーミング再生を開始する。 When the VOD viewing application is activated, first, login processing to the distribution service and authentication processing are performed, a title of reproducible video content is acquired from the content distribution server, and a title list is displayed. You may make it display the still image which shows the content of a content with a title, or reproduces a part of moving image (reproduction time is about several seconds). When the user selects content that the user wants to view, the VOD viewing application performs billing processing as necessary and starts streaming playback of moving image content.
このようなVOD視聴アプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、起動しているアプリケーション、すなわちVOD視聴アプリの名称など当該アプリケーションが識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、プレイヤーによってストリーミング再生されている動画コンテンツのタイトル、コンテンツIDなど当該コンテンツが識別可能な情報を動作関連情報として記憶してもよい。さらに詳細な情報として、トリガー信号が制御部21に入力された時点における動画の再生時間または再生されているフレーム番号を動作関連情報として記憶してもよい。 In such a state that the VOD viewing application is activated, when the life log key A is pressed and a trigger signal is input to the control unit 21, the application that is activated, that is, the name of the VOD viewing application is displayed. The identifiable information is stored as operation related information. At this time, when the trigger signal is input to the control unit 21, information that can identify the content such as the title and content ID of the moving image content being streamed by the player may be stored as the operation related information. As more detailed information, the playback time of the moving image or the frame number being played back when the trigger signal is input to the control unit 21 may be stored as the motion related information.
<電子書籍アプリ>
電子書籍アプリは、電子書籍データを表示する電子書籍ビューワである。電子書籍データは、文章データと挿絵画像データとを含み、新聞、雑誌および書籍などを電子化したデータであり、紙媒体と同じように、電子書籍ビューワによって、ページ単位で文章および挿絵を表示することができる。
<E-book app>
The electronic book application is an electronic book viewer that displays electronic book data. The electronic book data includes text data and illustration image data, and is data obtained by digitizing newspapers, magazines, books, and the like, and displays text and illustrations in units of pages by an electronic book viewer in the same manner as a paper medium. be able to.
電子書籍アプリを起動すると、記憶部22に記憶されている電子書籍データに基づいて、書籍のタイトルが一覧表示される。書籍のタイトルとともに表紙画像などを表示することもできる。一覧表示された中からユーザが1つのタイトルを選択すると、選択された書籍のページが表示される。電子書籍アプリは、記憶部22に記憶されている電子書籍データ以外に、データ通信によって電子書籍配信サーバと接続し、課金処理などを経たのち、ダウンロードして電子書籍データを取得することもできる。 When the electronic book application is activated, a list of book titles is displayed based on the electronic book data stored in the storage unit 22. A cover image and the like can be displayed together with the title of the book. When the user selects one title from the list displayed, the page of the selected book is displayed. In addition to the electronic book data stored in the storage unit 22, the electronic book application can be connected to the electronic book distribution server by data communication, and after being charged, etc., can be downloaded to obtain electronic book data.
このような電子書籍アプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、起動しているアプリケーション、すなわち電子書籍アプリの名称など当該アプリケーションが識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、電子書籍ビューワで表示されている電子書籍のタイトルなど当該電子書籍が識別可能な情報を動作関連情報として記憶してもよい。さらに詳細な情報として、トリガー信号が制御部21に入力された時点に表示されているページ番号を動作関連情報として記憶してもよい。 In such a state that the electronic book application is activated, when the life log key A is pressed and a trigger signal is input to the control unit 21, the application that is activated, that is, the application such as the name of the electronic book application is displayed. The identifiable information is stored as operation related information. At this time, when the trigger signal is input to the control unit 21, information that can identify the electronic book such as the title of the electronic book displayed in the electronic book viewer may be stored as the operation related information. As more detailed information, the page number displayed when the trigger signal is input to the control unit 21 may be stored as operation-related information.
<音楽再生アプリ>
音楽再生アプリは、音楽データを再生してスピーカ部27から出力させる、いわゆる音楽プレイヤーである。音楽データは、複数種類のフォーマットに対応することが可能である。
<Music playback application>
The music playback application is a so-called music player that plays back music data and outputs it from the speaker unit 27. Music data can correspond to a plurality of formats.
音楽再生アプリを起動すると、記憶部22に記憶されている音楽データに基づいて、楽曲のタイトル、アルバムタイトル、アーティスト名などが一覧表示される。楽曲のタイトルなどとともにジャケット画像などを表示することもできる。一覧表示された中からユーザが1つのタイトルを選択すると、選択された楽曲の音楽データが再生されてスピーカ部27から出力する。音楽再生アプリは、記憶部22に記憶されている音楽データ以外に、データ通信によって音楽配信サーバと接続し、課金処理などを経たのち、ダウンロードして音楽データを取得することもできる。 When the music playback application is activated, a list of music titles, album titles, artist names, and the like is displayed based on the music data stored in the storage unit 22. A jacket image and the like can be displayed together with the title of the music. When the user selects one title from the list displayed, the music data of the selected music is reproduced and output from the speaker unit 27. In addition to the music data stored in the storage unit 22, the music playback application can be connected to a music distribution server by data communication, and after being charged, etc., can be downloaded to obtain music data.
このような音楽再生アプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、起動しているアプリケーション、すなわち音楽再生アプリの名称など当該アプリケーションが識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、音楽プレイヤーで再生されている楽曲のタイトルなど当該楽曲が識別可能な情報を動作関連情報として記憶してもよい。さらに詳細な情報として、トリガー信号が制御部21に入力された時点に再生されている再生時間を動作関連情報として記憶してもよい。 When the life log key A is pressed and a trigger signal is input to the control unit 21 in such a state that the music reproduction application is activated, the application that is activated, that is, the name of the music reproduction application is displayed. The identifiable information is stored as operation related information. At this time, when the trigger signal is input to the control unit 21, information that can identify the music, such as the title of the music being played by the music player, may be stored as the operation related information. As more detailed information, the reproduction time reproduced at the time when the trigger signal is input to the control unit 21 may be stored as the operation related information.
<電子メールアプリ>
電子メールアプリは、電子メールの送受信、作成、閲覧などするためのいわゆるメーラーである。
<E-mail application>
The e-mail application is a so-called mailer for sending / receiving, creating, browsing, and the like of e-mails.
電子メールアプリを起動すると、メニュー画面が表示され、電子メールの受信、電子メールの送信、電子メールの作成、電子メールの表示、電子メールの検索など各種機能を使用することができる。 When the e-mail application is activated, a menu screen is displayed, and various functions such as e-mail reception, e-mail transmission, e-mail creation, e-mail display, and e-mail search can be used.
このような電子メールアプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、起動しているアプリケーション、すなわち電子メールアプリの名称など当該アプリケーションが識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、メーラーで表示されている受信メールの送信元メールアドレス、送信者名称、タイトルおよびヘッダー情報や作成されている送信メールの宛先メールアドレス、宛先名称、タイトルなど当該電子メールが識別可能な情報を動作関連情報として記憶してもよい。さらに詳細な情報として、トリガー信号が制御部21に入力された時点で表示されているメール本文の文章や添付ファイルなどを動作関連情報として記憶してもよい。 When the life log key A is pressed and a trigger signal is input to the control unit 21 in a state where such an e-mail application is activated, the application that is activated, that is, the name of the e-mail application, The identifiable information is stored as operation related information. At this time, when the trigger signal is input to the control unit 21, the source mail address, sender name, title and header information of the received mail displayed by the mailer, the destination mail address of the created outgoing mail, Information that can identify the electronic mail such as a destination name and a title may be stored as operation related information. As more detailed information, the text of the mail text or the attached file displayed when the trigger signal is input to the control unit 21 may be stored as operation related information.
動作関連情報としては、上記のような携帯機器20自体の動作状態に関連する情報だけではなく、制御対象機器に関連する情報も動作関連情報として記憶してもよい。 As the operation related information, not only the information related to the operation state of the mobile device 20 itself as described above but also information related to the control target device may be stored as the operation related information.
たとえば、アプリケーションを携帯機器20にインストールすることで、他の機器を遠隔制御することができるリモートコントローラとして携帯機器20を機能させることが可能である。このような遠隔制御のためのアプリケーション(以下では、リモコンアプリという)を起動している場合、遠隔制御の制御対象となっている機器に関する情報、具体的な制御内容を動作関連情報として記憶する。 For example, by installing an application in the mobile device 20, the mobile device 20 can function as a remote controller that can remotely control other devices. When such an application for remote control (hereinafter referred to as a remote control application) is activated, information on a device that is a control target of remote control and specific control contents are stored as operation-related information.
テレビジョン受像機(略称 テレビ)を遠隔制御するリモコンアプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、遠隔制御の対象となっているテレビの名称やID情報など制御対象機器が識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、選局したチャネル、選局したチャネルで放送されている番組名など選局したチャネルに関する情報を動作関連情報として記憶してもよい。 When a remote control application for remotely controlling a television receiver (abbreviated as a television) is activated, when a lifelog key A is pressed and a trigger signal is input to the control unit 21, it is a target for remote control. Information that can be identified by the device to be controlled, such as the name of the television and ID information, is stored as operation-related information. At this time, when the trigger signal is input to the control unit 21, information regarding the selected channel, such as the selected channel and the name of a program broadcast on the selected channel, may be stored as operation-related information.
照明器具を遠隔制御するリモコンアプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、遠隔制御の対象となっている照明器具の名称やID情報など制御対象機器が識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、明るさ(照度)、発光色など照明の状態を示す情報を動作関連情報として記憶してもよい。 When the life log key A is pressed and the trigger signal is input to the control unit 21 in a state where the remote control application for remotely controlling the lighting fixture is activated, the name or ID of the lighting fixture that is the target of remote control. Information that can be identified by the control target device, such as information, is stored as operation-related information. At this time, when the trigger signal is input to the control unit 21, information indicating the state of illumination such as brightness (illuminance) and emission color may be stored as operation related information.
空気調整機を遠隔制御するリモコンアプリが起動している状態で、ライフログキーAが押されトリガー信号が携帯機器制御部21に入力された時点で、遠隔制御の対象となっている空気調整機の名称やID情報など制御対象機器が識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、暖房運転、冷房運転、ドライ運転などの運転種別や、設定温度、室温などの温度情報など空気調整機の運転設定情報を動作関連情報として記憶してもよい。 The air conditioner that is the object of remote control when the life log key A is pressed and the trigger signal is input to the mobile device control unit 21 in a state where the remote control app for remotely controlling the air conditioner is activated Information that can be identified by the device to be controlled, such as the name and ID information, is stored as operation-related information. At this time, when the trigger signal is input to the control unit 21, the operation type information such as the operation type such as the heating operation, the cooling operation, and the dry operation, and the temperature information such as the set temperature and the room temperature is displayed as the operation related information. May be stored as
ロボットを遠隔制御するリモコンアプリが起動している状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、遠隔制御の対象となっているロボットの名称やID情報など制御対象機器が識別可能な情報を動作関連情報として記憶する。このとき、トリガー信号が制御部21に入力された時点で、歩く、しゃがむ、前転などロボットの動作内容を動作関連情報として記憶してもよい。 When the life log key A is pressed and the trigger signal is input to the control unit 21 in a state where the remote control application for remotely controlling the robot is activated, the name, ID information, etc. of the robot that is the target of remote control Information that can be identified by the control target device is stored as operation-related information. At this time, when the trigger signal is input to the control unit 21, the operation content of the robot such as walking, squatting, and forward rotation may be stored as the motion related information.
位置関連情報は、携帯機器20の現在位置を表わす経緯度だけではなく、通信部26による無線通信で他の機器と接続しているような場合には、その接続状態を示す情報として取得される。 The location-related information is acquired as information indicating the connection state in the case where the communication device 26 is connected to other devices in addition to the longitude and latitude indicating the current location of the mobile device 20 as well as the wireless communication by the communication unit 26. .
現在位置を表わす経緯度は、GPS受信部29によって取得することができる。ライフログキーAが押されトリガー信号が制御部21に入力された時点で、GPS受信部29に経緯度を取得させ、取得した経緯度を位置関連情報として記憶する。 The longitude and latitude representing the current position can be acquired by the GPS receiver 29. When the life log key A is pressed and a trigger signal is input to the control unit 21, the GPS receiving unit 29 acquires the longitude and latitude, and the acquired longitude and latitude are stored as position related information.
また、他の機器と無線接続している場合、たとえば、テレビと無線接続している場合やPCと無線接続している場合などは、接続している機器を特定することができれば、少なくとも無線接続している機器と無線接続可能な位置に携帯機器20が存在したと考えられるので、他の機器との接続状態を示す情報も位置関連情報であるといえる。 In addition, when wirelessly connected to other devices, such as when wirelessly connected to a TV or wirelessly connected to a PC, at least wirelessly connected if the connected device can be specified. Since it is considered that the mobile device 20 exists at a position where it can be wirelessly connected to the connected device, it can be said that the information indicating the connection state with other devices is also position related information.
携帯機器20の通信部26によって通信可能な通信方式であれば、どのような無線通信によって他の機器と接続してもよく、上記のようなWi−Fi(登録商標)、Bluetooth(登録商標)あるいはZigbee(登録商標)などの通信方式であってもよい。他の機器が、通信部26と無線通信可能であれば、接続状態を取得して位置関連情報として記憶することができる。接続状態としては、無線通信により接続していたかどうかを示すだけでもよく、さらにUWB(Ultra Wide Band)通信のように、互いに接続している機器間の距離、携帯機器20を基準として接続している他の機器が在る方角など接続している他の機器の位置を示すこともできる。 As long as the communication method is communicable by the communication unit 26 of the mobile device 20, the wireless device may be connected to other devices by any wireless communication, such as Wi-Fi (registered trademark), Bluetooth (registered trademark) as described above. Alternatively, a communication method such as Zigbee (registered trademark) may be used. If another device can wirelessly communicate with the communication unit 26, the connection state can be acquired and stored as position related information. As the connection state, it may be only necessary to indicate whether or not the connection is established by wireless communication. Further, the connection between the devices connected to each other, such as UWB (Ultra Wide Band) communication, and the mobile device 20 is used as a reference. It is also possible to indicate the position of another connected device such as the direction in which the other device is present.
ライフログキーAが押されトリガー信号が制御部21に入力された時点で、通信部26が無線接続している他の機器を識別できるID情報などを抽出し、接続機器リストとして記憶する。 When the life log key A is pressed and a trigger signal is input to the control unit 21, ID information or the like that allows the communication unit 26 to identify other devices wirelessly connected is extracted and stored as a connected device list.
無線接続可能な他の機器について、予めその所在位置を登録しておけば、所在位置が登録されている機器と携帯機器20とが無線接続されている場合に、接続している機器の所在位置を携帯機器20の所在位置とみなし、所在位置を位置関連情報として記憶してもよい。たとえば、無線接続が可能な機器のうち、自宅に置いてあるテレビ、PC、ハードディスクレコーダ、冷蔵庫、体重計などについて、それぞれ識別可能なID情報に対して、所在地「自宅」を登録しておく。また、会社に置いてあるPCについて識別可能なID情報に対して、所在地「会社」を登録しておく。 For other devices that can be wirelessly connected, if the location is registered in advance, the location of the connected device can be obtained when the device where the location is registered and the mobile device 20 are wirelessly connected. May be regarded as the location of the mobile device 20, and the location may be stored as location related information. For example, among the devices that can be wirelessly connected, the location “home” is registered for each identifiable ID information for a television, a PC, a hard disk recorder, a refrigerator, a weight scale, and the like placed at home. In addition, the location “company” is registered for ID information that can be identified for a PC placed in the company.
ライフログキーAが押されトリガー信号が制御部21に入力された時点で、通信部26が無線接続している他の機器のID情報を抽出するとともに、抽出されたID情報に対して登録された所在位置を位置関連情報として記憶する。 When the life log key A is pressed and a trigger signal is input to the control unit 21, the communication unit 26 extracts ID information of other devices that are wirelessly connected, and is registered for the extracted ID information. The location is stored as position related information.
さらに詳細にテレビ、ハードディスクレコーダの所在位置を「自宅−リビング」、冷蔵庫の所在位置を「自宅−キッチン」、体重計の所在位置を「自宅−洗面所」などのように、「主所在位置−副所在位置」として主の所在位置の下位に副の所在地を登録しておき、より詳細な位置関連情報を記憶可能してもよい。 In more detail, “Home-living” is the location of the TV and hard disk recorder, “Home-kitchen” is the location of the refrigerator, “Home-toilet” is the location of the scale, etc. The sub location may be registered as a sub location and subordinate to the main location, and more detailed position related information may be stored.
上記のような動作関連情報および位置関連情報を記憶部22に記憶するときには、記憶しようとする動作関連情報および位置関連情報を取得した現在時刻を、取得した動作関連情報および位置関連情報に関連付けて記憶部22に記憶する。ライフログキーAが押されトリガー信号が制御部21に入力された時点で、動作関連情報および位置関連情報を取得するとともに、計時部を参照して現在時刻をライフログ取得時刻として動作関連情報および位置関連情報に関連付けて記憶部22に記憶する。 When storing the motion-related information and the position-related information as described above in the storage unit 22, the current time when the motion-related information and the position-related information to be stored are acquired is associated with the acquired motion-related information and the position-related information. Store in the storage unit 22. When the life log key A is pressed and a trigger signal is input to the control unit 21, the operation related information and the position related information are acquired, and the operation related information and the current time as the life log acquisition time with reference to the time measuring unit are obtained. The information is stored in the storage unit 22 in association with the position related information.
動作関連情報および位置関連情報に関連付けて記憶する現在時刻に加えて取得時間を記憶してもよい。ライフログキーAが押されてトリガー信号が制御部21に入力された時点で、現在時刻を取得するが、ライフログキーAが一度押された後、連続してライフログキーAが押されたような場合は、一連のライフログキーAの押下であるとして、ライフログキーAが連続して押された時間を取得時間として、現在時刻とともに動作関連情報および位置関連情報に関連付けて記憶部22に記憶する。連続してライフログキーAが押されたかどうかは、前回ライフログキーAが押されてから予め定める期間内に新たにライフログキーAが押されたかどうかによって判断する。予め定める期間は、たとえば0.1〜1秒間であり、前回ライフログキーAが押されてから0.1〜1秒間が経過するまでに新たにライフログキーAが押されたときは、前回と今回のライフログキーAの押下は連続したものと判断する。取得時間は、一連のライフログキーAの押下が為された時間であり、一連の押下において、最初にライフログキーAが押された時刻から最後にライフログキーAが押された時刻までの時間である。 The acquisition time may be stored in addition to the current time stored in association with the motion related information and the position related information. When the lifelog key A is pressed and a trigger signal is input to the control unit 21, the current time is acquired. After the lifelog key A is pressed once, the lifelog key A is continuously pressed. In such a case, it is assumed that the series of life log keys A is pressed, and the storage unit 22 is associated with the operation related information and the position related information together with the current time, with the time when the life log key A is continuously pressed as the acquisition time. To remember. Whether or not the life log key A is continuously pressed is determined by whether or not the life log key A is newly pressed within a predetermined period after the life log key A is pressed last time. The predetermined period is, for example, 0.1 to 1 second. When the life log key A is newly pressed until 0.1 to 1 second elapses after the previous life log key A is pressed, It is determined that pressing of the life log key A this time is continuous. The acquisition time is the time when a series of life log keys A is pressed, and from the time when the life log key A is first pressed to the time when the life log key A is last pressed in the series of presses. It's time.
取得時間を動作関連情報および位置関連情報に関連付けて記憶する場合に、動作関連情報および位置関連情報の取得時間における変化も記憶しておくことが好ましい。たとえば、動画を再生して閲覧しているときに、連続してライフログキーAが押されると、取得時間中に再生した期間を動作関連情報に加えて記憶する。ライフログキーAが1回だけ押されたときには、動画を再生しているような場合であっても、ライフログキーAが押されてトリガー信号が制御部21に入力された時点で、再生されている1フレームのフレーム番号などを動作関連情報として記憶するだけであるが、取得時間を記憶するときは、取得期間中に再生された全フレームのフレーム番号や再生した期間を動作関連情報の変化として記憶する。 When the acquisition time is stored in association with the motion-related information and the position-related information, it is preferable to store changes in the acquisition time of the motion-related information and the position-related information. For example, when the life log key A is continuously pressed during playback and browsing of a moving image, the playback period during the acquisition time is stored in addition to the motion related information. When the life log key A is pressed only once, even when a moving image is being played back, it is played back when the life log key A is pressed and a trigger signal is input to the control unit 21. However, when the acquisition time is stored, the frame number of all the frames reproduced during the acquisition period and the reproduction period are changed in the movement related information. Remember as.
ライフログキーAの操作について、上記では、1回押すとトリガー信号が発生してライフログを記憶し、連続してライフログキーAを押した場合は、一連のライフログキーAの押下として取得時間を記憶する。連続してライフログキーAが押されたときに、取得時間を記憶するのではなく、ユーザの感情または評価を表わす感情情報を記憶するようにしてもよい。連続してライフログキーAが押されたときに、押された回数とユーザの感情または評価とを予め関連付けておき、連続してライフログキーAが押された回数に基づいて、感情情報をライフログとして記憶する。 Regarding the operation of the life log key A, in the above, when it is pressed once, a trigger signal is generated to store the life log, and when the life log key A is continuously pressed, it is acquired as a series of life log key A presses. Remember time. When the life log key A is continuously pressed, the acquisition time may not be stored, but emotion information representing the user's emotion or evaluation may be stored. When the life log key A is continuously pressed, the number of times the life log key A is pressed is associated with the emotion or evaluation of the user in advance, and emotion information is obtained based on the number of times the life log key A is continuously pressed. Store as life log.
押された回数とユーザの感情または評価との関連付けは、たとえば、2回連続してライフログキーAが押されたときは、ユーザの感情または評価として、楽しい、嬉しい、良い、素晴らしいなど正の感情を表すものとし、3回以上連続してライフログキーAが押されたとき、または長押しされたときは、ユーザの感情または評価として、つまらない、悲しい、悪い、気に入らないなど負の感情を表すものとする。感情情報としては、正の感情を表すときは「良」を記憶し、負の感情を表すときは「否」を記憶する。 For example, when the life log key A is pressed twice in succession, the user's emotion or evaluation is positive, such as fun, joyful, good, wonderful, etc. When life log key A is pressed for 3 consecutive times or when it is pressed for a long time, negative emotions such as boring, sad, bad, or disliked as user's emotion or evaluation It shall represent. As emotion information, “good” is stored when expressing positive emotion, and “no” is stored when expressing negative emotion.
取得時間を記憶する場合と同様に、1回目にライフログキーAが押されたときに、現在時刻と取得した動作関連情報および位置関連情報などを記憶し、連続して2回目のライフログキーAが押されたときは感情情報として「良」を記憶する。さらに連続して3回目のライフログキーAが押されたときまたは長押しされたときは感情情報として「良」の代わりに「否」を記憶する。4回目以降は、連続してライフログキーAが押されても感情情報として「否」を記憶した状態を維持する。連続した2回目のライフログキーの押下が無かった場合は、動作関連情報および位置関連情報などを記憶するだけで、感情情報は記憶されない。 As in the case of storing the acquisition time, when the life log key A is pressed for the first time, the current time and the acquired motion related information and position related information are stored. When A is pressed, “good” is stored as emotion information. Further, when the life log key A is pressed for the third time continuously or when the life log key A is pressed for a long time, “No” is stored instead of “Good” as emotion information. After the fourth time, even if the life log key A is continuously pressed, the state where “NO” is stored as emotion information is maintained. If the second continuous life log key is not pressed, only motion related information and position related information are stored, and emotion information is not stored.
図4は、ログデータのデータ構成の一例を示す図である。ログデータは、ライフログキーAが押されたときに取得される動作関連情報および位置関連情報を含むデータであり、現在時刻または取得時間を示す「TIME」D1、所在位置を示す「Place」D2、感情情報を示す「ACT」D3、アプリケーションが識別可能な情報としてアプリケーション名称を示す「App」D4、アプリケーションの動作内容を示す「Contents」D5、他の機器との接続状態を示す「Connect」D6が互いに関連付けられて記憶部22に記憶される。 FIG. 4 is a diagram illustrating an example of a data configuration of log data. The log data is data including motion-related information and position-related information acquired when the life log key A is pressed, “TIME” D1 indicating the current time or acquisition time, and “Place” D2 indicating the location. “ACT” D3 indicating emotion information, “App” D4 indicating the application name as information that can be identified by the application, “Contents” D5 indicating the operation content of the application, and “Connect” D6 indicating the connection state with other devices Are associated with each other and stored in the storage unit 22.
「TIME」D1には、ライフログキーAが押されたときの時刻が記載され、本例では、年月日時分秒が記載される。「Place」D2には、ライフログキーAが押されたときの位置が記載され、本例では、経緯度または接続機器が記載される。「ACT」D3には、ライフログキーAが押されたときのユーザの感情を示す感情情報が記載され、本例では、1回押された場合(×1)は、単に動作関連情報および位置関連情報などを記憶するだけの「Check」を記載し、2回押された場合(×2)は、正の感情を表す「Good」を記載し、長押しされた場合(Long)は、負の感情を表す「BAD」を記載する。「App」D4には、アプリケーションの名称が記載される。アプリケーションが起動されていない待ち受け状態は、本例では(スタンバイ)と記載される。「Contents」D5には、アプリケーションの動作内容が記載され、たとえば、リモコンアプリなら選局したチャネルが記載され、ウェブ閲覧アプリなら表示していたサイトのURLが記載される。「Connect」D6には、接続していた他の機器の識別情報が記載され、たとえば機器の型番が記載される。 In “TIME” D1, the time when the life log key A is pressed is described. In this example, the year, month, day, hour, minute, and second are described. In “Place” D2, a position when the life log key A is pressed is described, and in this example, longitude and latitude or a connected device is described. In “ACT” D3, emotion information indicating the emotion of the user when the life log key A is pressed is described. In this example, when the life log key A is pressed once (× 1), the motion related information and the position are simply displayed. “Check” that only stores related information is described. When pressed twice (× 2), “Good” indicating positive emotion is described, and when long pressed (Long), negative “BAD” representing the emotion of the person is described. In “App” D4, the name of the application is described. The standby state where the application is not activated is described as (standby) in this example. “Contents” D5 describes the operation content of the application, for example, the channel selected for the remote control application and the URL of the site displayed for the web browsing application. In “Connect” D6, identification information of another connected device is described, and for example, the model number of the device is described.
ライフログには、必ずログ取得時点における現在時刻が記憶されているので、現在時刻に基づいて、記憶されている動作関連情報および位置関連情報を、時間の流れに沿って表示部25に表示させる。動作関連情報および位置関連情報の表示は、記憶されている情報をそのまま表示してもよく、記憶されている情報に応じて、文字情報であれば略称やキーワード、画像情報であればサムネイルなどを時刻とともに表示する。このような表示によって、ライフログをいわゆるタイムライン表示することができる。 Since the current time is always stored in the life log at the time of log acquisition, the stored operation-related information and position-related information are displayed on the display unit 25 along the flow of time based on the current time. . The operation-related information and the position-related information may be displayed as they are, and according to the stored information, abbreviations and keywords for character information, thumbnails for image information, etc. Display with time. By such display, the life log can be displayed in a so-called timeline.
図5は、ライフログの出力態様を示す模式図である。
図5(a)は、動作関連情報および位置関連情報を、時間の流れに沿ってタイムライン表示を行う態様を示し、図5(b)は、動作関連情報および位置関連情報を、月日ごとにまとめて表示するカレンダー表示の出力態様を示し、図5(c)は、動作関連情報および位置関連情報を、位置関連情報に基づいて地図上に表示するマップ表示の出力態様を示す。
FIG. 5 is a schematic diagram showing a life log output mode.
FIG. 5A shows a mode in which the motion-related information and the position-related information are displayed in a timeline along the flow of time. FIG. 5B shows the motion-related information and the position-related information for each month and day. FIG. 5C shows an output mode of a map display in which operation-related information and position-related information are displayed on a map based on the position-related information.
タイムライン表示では、表示部25のたとえば上下方向に沿って時間が流れるように、より過去の情報は表示部25の下方に表示される。1画面に収まらない場合は、上下にスクロールさせて表示することも可能である。 In the timeline display, past information is displayed below the display unit 25 so that time flows along the vertical direction of the display unit 25, for example. If it does not fit on one screen, it can be displayed by scrolling up and down.
タイムライン表示では、1つの時刻を1単位として、1つの時刻に関連付けられて記憶されている動作関連情報および位置関連情報を、1単位を表わす領域内に全て表示する。図5(a)に示す例では、1つの領域40に年月日時分で示す「時間」41、市町村番地で示す「場所」42、「アプリ名称」44を表示し、さらに撮影画像(サムネイル)45、VOD動画フレーム(サムネイル)46、所在位置47、制御対象機器名称48、感情情報49などが年月日時分で表わされる1つの時刻に対応する領域40内に表示される。 In the timeline display, with one time as one unit, all the motion related information and position related information stored in association with one time are displayed in an area representing one unit. In the example shown in FIG. 5A, “time” 41 indicated by year, month, day, hour, minute, “location” 42 indicated by city, town, and village address, and “application name” 44 are displayed in one area 40, and a captured image (thumbnail) 45, a VOD video frame (thumbnail) 46, a location 47, a control target device name 48, emotion information 49, and the like are displayed in an area 40 corresponding to one time represented by the year, month, day, hour and minute.
撮影画像のサムネイル45、VOD動画フレームのサムネイル46には、記憶部22に記憶されている画像データに対してのリンク付けがなされており、撮影画像のサムネイル45をタップなどによって選択すると、画像閲覧アプリが起動して、該当する撮影画像を表示する。また、VOD動画フレームのサムネイル46をタップなどによって選択すると、VOD視聴アプリが起動し、該当する動画を再生する。その他、所在位置47、制御対象機器名称48にもリンク付けしておき、所在位置47をタップなどによって選択したときには、地図アプリを起動して所在位置周辺の地図画像を表示したり、制御対象機器名称48を選択したときには、該当する制御対象機器を遠隔制御するためのリモコンアプリを起動する。 The thumbnail 45 of the captured image and the thumbnail 46 of the VOD video frame are linked to the image data stored in the storage unit 22. When the thumbnail 45 of the captured image is selected by tapping or the like, image browsing is performed. The app starts and displays the corresponding captured image. When the thumbnail 46 of the VOD video frame is selected by tapping or the like, the VOD viewing application is activated and the corresponding video is played. In addition, when the location position 47 and the control target device name 48 are linked to each other and the location location 47 is selected by tapping or the like, the map application is started to display a map image around the location location, or the control target device When the name 48 is selected, a remote control application for remotely controlling the corresponding control target device is activated.
タイムライン表示と同じ時刻に基づくライフログの他の表示態様として、図5(b)に示すカレンダー表示がある。1月分の日付けを表示部25に表示し、日付けを1単位として、日付けに関連付けられているライフログが記憶されている場合は、その日付けを示す矩形状の領域50にライフログが記憶されていることを示すアイコン51を表示する。動作関連情報として撮影画像などが記憶されているときは、撮影画像のサムネイル52を日付け領域50に表示する。 As another display mode of the life log based on the same time as the timeline display, there is a calendar display shown in FIG. When the date for January is displayed on the display unit 25 and the life log associated with the date is stored with the date as one unit, the life log is displayed in the rectangular area 50 indicating the date. An icon 51 indicating that is stored is displayed. When a photographed image or the like is stored as operation related information, a thumbnail 52 of the photographed image is displayed in the date area 50.
アイコン51やサムネイル52が表示されている日付け領域50をタップするか、アイコン51、サムネイル52をタップするなどして選択すると、タイムライン表示の該当する領域40が表示画面の中央部分に表示される。 When the date area 50 in which the icon 51 or the thumbnail 52 is displayed is tapped or selected by tapping the icon 51 or the thumbnail 52, the corresponding area 40 in the timeline display is displayed in the center portion of the display screen. The
また、位置関連情報が記憶されている場合、位置関連情報に基づいて地図上にライフログを表示する態様としてマップ表示がある。各都道府県を1単位として、位置関連情報に基づいて、ライフログが記憶されているときは、都道府県を示す領域60に、ライフログが記憶されていることを示すアイコン61を表示する。アイコン61が表示されている都道府県の領域60をタップするか、アイコン61をタップするなどして選択すると、タイムライン表示の該当する領域40が表示画面の中央部分に表示される。 Moreover, when position related information is stored, there is a map display as a mode of displaying a life log on a map based on the position related information. When a life log is stored based on position-related information with each prefecture as a unit, an icon 61 indicating that the life log is stored is displayed in the area 60 indicating the prefecture. When the region 60 of the prefecture where the icon 61 is displayed is tapped or selected by tapping the icon 61, the corresponding region 40 of the timeline display is displayed in the center portion of the display screen.
このように、ライフログキーAを押すだけの簡単な操作で、そのときの携帯機器20の動作状態や位置などのライフログを記録することができ、記録したライフログを表示させることで、後で振り返って思い出したり確認することができる。 In this way, the life log such as the operating state and position of the mobile device 20 at that time can be recorded with a simple operation by simply pressing the life log key A, and the recorded life log can be displayed later. You can look back and remember and check.
また、ライフログとして、動作関連情報および位置関連情報以外に、友人知人情報を携帯機器記憶部22に記憶してもよい。 Moreover, you may memorize | store friend acquaintance information in the portable apparatus memory | storage part 22 as a life log other than operation | movement relevant information and position relevant information.
友人知人情報は、たとえば、携帯機器20で他の携帯機器と電話通信する場合に、通信先の携帯機器に対して、予め友人、知人、家族、親戚など人に関連する情報がその携帯機器の所有者として関連付けられているときは、接続している携帯機器の情報を記憶するのではなく、関連付けられた所有者の名前などの所有者情報を記憶する。 As for friend acquaintance information, for example, when the mobile device 20 makes a telephone communication with another mobile device, information related to a person such as a friend, acquaintance, family, or relative is previously stored in the mobile device. When associated with the owner, information about the connected portable device is not stored, but owner information such as the name of the associated owner is stored.
電話通信またはショートメッセージの送受信、チャット通信など相手側の携帯機器と通信を行っている状態で、ライフログキーAが押されトリガー信号が制御部21に入力された時点で、通信している相手側の携帯機器を特定し、さらに特定した携帯機器に、たとえば電話帳ソフトウェアなどによって予め携帯機器に関連付けられている所有者情報を友人知人情報として記憶する。 When communicating with the other party's mobile device such as telephone communication, short message transmission / reception, chat communication, etc., when the lifelog key A is pressed and a trigger signal is input to the control unit 21, The mobile device on the side is specified, and owner information associated with the mobile device in advance is stored in the specified mobile device as friend acquaintance information, for example, by phone book software.
ライフログとして記憶した友人知人情報についても、図5に示したようなタイムライン表示、カレンダー表示、マップ表示などにおいて、動作関連情報および位置関連情報と同様に表示する。 The friend acquaintance information stored as the life log is also displayed in the same manner as the operation related information and the position related information in the timeline display, calendar display, map display and the like as shown in FIG.
またさらに、携帯機器20は、記憶部22に記録したライフログの動作関連情報、位置関連情報および友人知人情報を対象に検索処理を行うことができる。検索処理のための検索キーとしては、たとえば、日付け、位置、人名、アプリケーション名などを用いることができる。 Furthermore, the portable device 20 can perform a search process on the operation related information, position related information, and friend acquaintance information of the life log recorded in the storage unit 22. As the search key for the search process, for example, date, location, person name, application name, etc. can be used.
図6は、検索処理を行うときの操作画面の例および操作画面の遷移を示す図である。たとえば、検索処理用のアプリケーションを起動させると、検索メニュー画面70を表示部25に表示する。検索メニュー画面70は、日付けを検索キーとして検索する日付け検索を選択するための日付け検索ボタン71、位置を検索キーとして検索する位置検索を選択するための位置検索ボタン72、人名を検索キーとして検索する人名検索を選択するための人名検索ボタン73、アプリケーション名を検索キーとして検索するアプリ検索のためのアプリ検索ボタン74を含む。 FIG. 6 is a diagram illustrating an example of an operation screen and a transition of the operation screen when performing a search process. For example, when a search processing application is activated, the search menu screen 70 is displayed on the display unit 25. The search menu screen 70 includes a date search button 71 for selecting a date search for searching using the date as a search key, a position search button 72 for selecting a location search for searching using the position as a search key, and searching for a person's name. A person name search button 73 for selecting a person name search to be searched as a key and an application search button 74 for application search to search using an application name as a search key are included.
これらの検索ボタンの中から、タップなどによって1つの検索ボタンを選択すると、選択されたボタンに対応する検索処理を実行することができる。日付け検索ボタン71が選択されると、検索キーとなる日付けを入力することになるが、本実施形態では、前述のカレンダー表示を用いて日付けを入力する。カレンダー表示では、従来のカレンダー機能と同様に、表示される年月日を切り替えることができ、過去の年月日に遡って所望の日付けを表示することができる。ユーザは、表示を切り替えて、検索したい日付けを含むカレンダー表示画面75を表示させる。検索したい日付けの日付け領域50をタップするなどによって選択すると、選択された日付けを検索キーとして、制御部21が、記憶部22に記憶されたライフログから、検索キーである日付けに関連付けられた動作関連情報および位置関連情報などを抽出し、抽出した動作関連情報および位置関連情報などを検索結果表示画面76に表示する。検索結果表示画面76上部の検索キー表示領域77に、検索キーとした日付けを表示する。 When one search button is selected from these search buttons by tapping or the like, a search process corresponding to the selected button can be executed. When the date search button 71 is selected, a date as a search key is input. In this embodiment, the date is input using the calendar display described above. In the calendar display, similar to the conventional calendar function, the displayed date can be switched, and a desired date can be displayed retroactively to the past date. The user switches the display to display a calendar display screen 75 including the date to be searched. When the date area 50 of the date to be searched is selected by tapping or the like, the control unit 21 uses the selected date as a search key to change the date as a search key from the life log stored in the storage unit 22. The associated movement-related information and position-related information are extracted, and the extracted movement-related information and position-related information are displayed on the search result display screen 76. The search key display area 77 at the top of the search result display screen 76 displays the date as the search key.
検索ボタンの中から、位置検索ボタン72が選択されると、検索キーとなる位置を入力することになるが、本実施形態では、前述のマップ表示を用いて位置を入力する。マップ表示では、従来のマップ機能と同様に、表示される都道府県や地方などを切り替えることができ、所望の場所を表示することができる。ユーザは、表示を切り替えて、検索したい位置を含むマップ表示画面78を表示させる。検索したい位置を含む領域60をタップするなどによって選択すると、選択された位置を検索キーとして、制御部21が、記憶部22に記憶されたライフログから、検索キーである位置に関連付けられた動作関連情報および位置関連情報などを抽出し、抽出した動作関連情報および位置関連情報などを検索結果表示画面79に表示する。検索結果表示画面79上部の検索キー表示領域80に、検索キーとした位置を住所として表示する。 When the position search button 72 is selected from the search buttons, a position serving as a search key is input. In this embodiment, the position is input using the above-described map display. In the map display, similar to the conventional map function, the displayed prefectures and regions can be switched, and a desired place can be displayed. The user switches the display to display the map display screen 78 including the position to be searched. When the area 60 including the position to be searched is selected by tapping or the like, the control unit 21 uses the selected position as a search key and the operation associated with the position that is the search key from the life log stored in the storage unit 22 The related information and position related information are extracted, and the extracted operation related information and position related information are displayed on the search result display screen 79. The position used as the search key is displayed as an address in the search key display area 80 at the top of the search result display screen 79.
検索ボタンの中から、人名検索ボタン73が選択されると、検索キーとなる人名を入力することになるが、本実施形態では、電話帳表示を用いて人名を入力する。電話帳表示では、従来の電話帳機能と同様に、登録されている人名を五十音順などでソートして表示させ、表示を切り替えることによって所望の人名を表示することができる。ユーザは、表示を切り替えて、検索したい人名を含む電話帳表示画面81を表示させる。検索したい人名領域82をタップするなどによって選択すると、選択された人名を検索キーとして、制御部21が、記憶部22に記憶されたライフログから、検索キーである人名に関連付けられた動作関連情報および位置関連情報などを抽出し、抽出した動作関連情報および位置関連情報などを検索結果表示画面83に表示する。検索結果表示画面83上部の検索キー表示領域84に、検索キーとした人名を表示する。 When the person name search button 73 is selected from the search buttons, a person name serving as a search key is input. In this embodiment, a person name is input using a phone book display. In the phone book display, similar to the conventional phone book function, the registered person names are sorted and displayed in alphabetical order and the desired person names can be displayed by switching the display. The user switches the display to display the telephone directory display screen 81 including the name of the person who wants to search. When the user name area 82 to be searched is selected by tapping or the like, the control unit 21 uses the selected person name as a search key, and the control unit 21 searches the life log stored in the storage unit 22 for operation related information associated with the name of the search key. Then, the position related information and the like are extracted, and the extracted operation related information and position related information are displayed on the search result display screen 83. In the search key display area 84 at the top of the search result display screen 83, the name of the person as the search key is displayed.
検索ボタンの中から、アプリ検索ボタン74が選択されると、検索キーとなるアプリケーション名を入力することになるが、本実施形態では、アプリ一覧表示を用いてアプリケーション名を入力する。アプリ一覧表示では、携帯機器20にインストールされているアプリケーションを一覧表示し、一画面に収まらない場合は、スクロールさせて所望のアプリケーション名を表示することができる。ユーザは、表示を切り替えて、検索したいアプリケーション名を含む表示画面85を表示させる。検索したいアプリ名領域86をタップするなどによって選択すると、選択されたアプリケーション名を検索キーとして、制御部21が、記憶部22に記憶されたライフログから、検索キーであるアプリケーション名に関連付けられた動作関連情報および位置関連情報などを抽出し、抽出した動作関連情報および位置関連情報などを検索結果表示画面87に表示する。検索結果表示画面87上部の検索キー表示領域88に、検索キーとしたアプリケーション名を表示する。 When the application search button 74 is selected from the search buttons, an application name serving as a search key is input. In this embodiment, the application name is input using an application list display. In the application list display, a list of applications installed in the mobile device 20 can be displayed. If the application list does not fit on one screen, a desired application name can be displayed by scrolling. The user switches the display to display the display screen 85 including the application name to be searched. When the application name area 86 to be searched is selected by tapping or the like, the control unit 21 uses the selected application name as a search key and is associated with the application name that is the search key from the life log stored in the storage unit 22. The operation related information and the position related information are extracted, and the extracted operation related information and the position related information are displayed on the search result display screen 87. The search key display area 88 at the top of the search result display screen 87 displays the application name as the search key.
このように、記憶されたライフログについて、あらゆる検索キーを用いて検索し、所望の情報を後から表示させたり出力させることができる。検索キーの入力は、ソフトキーボードから入力してもよく、マイク部30から入力される音声を認識し、認識した言葉を検索キーとする音声検索も可能である。 In this manner, the stored life log can be searched using any search key, and desired information can be displayed or output later. The search key may be input from a soft keyboard, or the voice input from the microphone unit 30 is recognized, and the voice search using the recognized word as the search key is also possible.
図6では、検索によって記憶されたライフログから所定のライフログを探す例を示したが、これは、記憶されたライフログを呼び出す一例であって、検索以外に携帯機器20の現在位置情報に合わせて、アプリケーションが自動またはユーザの操作によって過去に同じ場所にいたときに記憶されたライフログを表示することもできる。また、アプリケーションが今日の日付に基づいて、昨年の今日記憶されたライフログをカレンダで出力することで、昨年の今日に何をしていたかを振り返ることができる。 FIG. 6 shows an example in which a predetermined life log is searched from the life log stored by the search, but this is an example of calling the stored life log, and in addition to the search, the current position information of the mobile device 20 is displayed. In addition, a life log stored when the application has been in the same place in the past by an automatic operation or a user operation can be displayed. You can also look back on what you did today last year by calendaring the lifelog stored today last year based on today's date.
20 携帯機器
21 制御部
22 記憶部
23 一時記憶部
24 操作部
25 表示部
26 通信部
27 スピーカ部
28 振動部
29 GPS受信部
30 マイク部
31 カメラ部
33 ログ送信部
35 ログ記憶部
A ライフログキー
DESCRIPTION OF SYMBOLS 20 Portable apparatus 21 Control part 22 Storage part 23 Temporary storage part 24 Operation part 25 Display part 26 Communication part 27 Speaker part 28 Vibration part 29 GPS receiving part 30 Microphone part 31 Camera part 33 Log transmission part 35 Log storage part A Life log key
Claims (5)
前記動作関連情報および前記位置関連情報を記憶する記憶手段と、
ユーザの操作によって、前記取得手段に、前記動作関連情報または前記位置関連情報の少なくともいずれかを取得するよう指示する指示手段と、
前記指示手段が前記取得手段に指示した時刻を検出し、検出した時刻と、前記指示によって前記取得手段が取得した前記動作関連情報または前記位置関連情報の少なくともいずれかとを関連付けて、前記記憶手段に記憶させる制御手段と、を備える携帯端末装置。 Acquisition means for acquiring at least one of operation related information related to the operation state of the own device or position related information related to the current position of the own device;
Storage means for storing the motion-related information and the position-related information;
Instruction means for instructing the acquisition means to acquire at least one of the motion-related information and the position-related information by a user operation;
The instruction means detects the time instructed to the acquisition means, and associates the detected time with at least one of the motion-related information or the position-related information acquired by the acquisition means according to the instruction, and stores it in the storage means And a control means for storing the portable terminal device.
音声を出力する音声出力手段とをさらに備え、
前記動作関連情報は、起動しているアプリケーションソフトウェアに関連するアプリ情報と、表示手段に表示されている画像に関連する画像情報と、出力手段で出力されている音声に関連する音声情報と、を含むことを特徴とする請求項1記載の携帯端末装置。 Display means for displaying an image;
Voice output means for outputting voice,
The operation related information includes application information related to the activated application software, image information related to the image displayed on the display means, and audio information related to the sound output by the output means. The mobile terminal device according to claim 1, comprising:
前記位置関連情報は、自装置の位置を経緯度で示す経緯度情報と、他の装置との無線通信による接続状態に関連する接続情報と、を含むことを特徴とする請求項1または2記載の携帯端末装置。 A communication means for communicating with another device;
3. The position related information includes longitude and latitude information indicating the position of the own device in longitude and latitude, and connection information related to a connection state by wireless communication with another device. Mobile terminal device.
前記制御手段は、前記時刻と、前記回数検出手段によって検出された回数に応じたユーザの感情を表す感情情報とを関連付けて、前記記憶手段に記憶させることを特徴とする請求項1〜3のいずれか1つに記載の携帯端末装置。 A number of times detecting means for detecting the number of times the instruction means is operated;
The said control means links | relates the said time and emotion information showing the user's emotion according to the frequency | count detected by the said frequency | count detection means, It memorize | stores in the said memory | storage means, The said storage means is characterized by the above-mentioned. The portable terminal device as described in any one.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012141474A JP5668025B2 (en) | 2012-06-22 | 2012-06-22 | Mobile terminal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012141474A JP5668025B2 (en) | 2012-06-22 | 2012-06-22 | Mobile terminal device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014007532A true JP2014007532A (en) | 2014-01-16 |
JP5668025B2 JP5668025B2 (en) | 2015-02-12 |
Family
ID=50104911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012141474A Expired - Fee Related JP5668025B2 (en) | 2012-06-22 | 2012-06-22 | Mobile terminal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5668025B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016217297A1 (en) | 2015-09-17 | 2017-05-04 | Toyota Jidosha Kabushiki Kaisha | Lifelog RECORDING SYSTEM |
JP2021510431A (en) * | 2018-01-09 | 2021-04-22 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | Methods and equipment for visualization of public welfare activities |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108124922B (en) | 2018-01-09 | 2021-11-26 | 中国医学科学院药用植物研究所 | Amomum tsao-ko essential oil and emulsion thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9020A (en) * | 1852-06-15 | Improved machine for peaking sheet-metal tubes | ||
JP2005032167A (en) * | 2003-07-11 | 2005-02-03 | Sony Corp | Apparatus, method, and system for information retrieval, client device, and server device |
JP2006109238A (en) * | 2004-10-07 | 2006-04-20 | Nec Corp | Mobile phone terminal and operation history display method |
JP2007318454A (en) * | 2006-05-25 | 2007-12-06 | Sharp Corp | Position information history display method and mobile terminal |
-
2012
- 2012-06-22 JP JP2012141474A patent/JP5668025B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9020A (en) * | 1852-06-15 | Improved machine for peaking sheet-metal tubes | ||
JP2005032167A (en) * | 2003-07-11 | 2005-02-03 | Sony Corp | Apparatus, method, and system for information retrieval, client device, and server device |
JP2006109238A (en) * | 2004-10-07 | 2006-04-20 | Nec Corp | Mobile phone terminal and operation history display method |
JP2007318454A (en) * | 2006-05-25 | 2007-12-06 | Sharp Corp | Position information history display method and mobile terminal |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016217297A1 (en) | 2015-09-17 | 2017-05-04 | Toyota Jidosha Kabushiki Kaisha | Lifelog RECORDING SYSTEM |
US10133917B2 (en) | 2015-09-17 | 2018-11-20 | Toyota Jidosha Kabushiki Kaisha | Lifelog recording system |
JP2021510431A (en) * | 2018-01-09 | 2021-04-22 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | Methods and equipment for visualization of public welfare activities |
JP7004825B2 (en) | 2018-01-09 | 2022-01-21 | アドバンスド ニュー テクノロジーズ カンパニー リミテッド | Methods and equipment for visualization of public welfare activities |
Also Published As
Publication number | Publication date |
---|---|
JP5668025B2 (en) | 2015-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6065019B2 (en) | REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM | |
JP5020135B2 (en) | Portable terminal device and computer program | |
CN102763404B (en) | Camera, information acquiring system and program | |
US8743144B2 (en) | Mobile terminal, server device, community generation system, display control method, and program | |
JP5176382B2 (en) | Online information provision method | |
JP6628115B2 (en) | Multimedia file management method, electronic device, and computer program. | |
JP2014195297A (en) | System and method for acquiring and sharing content associated with geographical information | |
US20090276700A1 (en) | Method, apparatus, and computer program product for determining user status indicators | |
KR20160056888A (en) | Browsing videos by searching multiple user comments and overlaying those into the content | |
KR20120028491A (en) | Device and method for managing image data | |
JPWO2008016083A1 (en) | Superposition information presentation device and superposition information presentation system | |
JP2009026129A (en) | Method for using behavior history information | |
JP5668025B2 (en) | Mobile terminal device | |
JP2007266902A (en) | Camera | |
JP2007034403A (en) | Image display device and image display program | |
JP6124677B2 (en) | Information providing apparatus, information providing system, information providing method, and program | |
KR102078858B1 (en) | Method of operating apparatus for providing webtoon and handheld terminal | |
JP2011155584A (en) | Imaging system, imaging method, and imaging program | |
JP2010068247A (en) | Device, method, program and system for outputting content | |
JP2008282127A (en) | Online information providing method | |
US20220283700A1 (en) | Information processing device, information processing method, and program | |
JP2007174503A (en) | Music image reproducer, and method for managing music image information | |
JP2008033454A (en) | Information processor, information processing method, information processing program, and portable terminal device | |
JP2008165373A (en) | Image processing method, image processor and image processing system | |
JP2012199811A (en) | Information terminal device, transmission method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131022 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5668025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |