JP2009088903A - Mobile communication device - Google Patents

Mobile communication device Download PDF

Info

Publication number
JP2009088903A
JP2009088903A JP2007255015A JP2007255015A JP2009088903A JP 2009088903 A JP2009088903 A JP 2009088903A JP 2007255015 A JP2007255015 A JP 2007255015A JP 2007255015 A JP2007255015 A JP 2007255015A JP 2009088903 A JP2009088903 A JP 2009088903A
Authority
JP
Japan
Prior art keywords
information
subject
area
mobile communication
communication device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007255015A
Other languages
Japanese (ja)
Other versions
JP5398970B2 (en
Inventor
Kenta Kinoshita
健太 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2007255015A priority Critical patent/JP5398970B2/en
Publication of JP2009088903A publication Critical patent/JP2009088903A/en
Application granted granted Critical
Publication of JP5398970B2 publication Critical patent/JP5398970B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile communication device being visually recognized easily by a user and being capable of providing a user interface in a shape to be easily operated. <P>SOLUTION: A sensor section 6 discriminates the directed direction of an imaging section 2, and measures distances up to each subject. A data communication section 3 acquires a map information based on a location and an area information related to the map information on the basis of a locational information gained by a locational-information gaining section 4. A control section 7 specifies the area information displayed while being related to each subject on the basis of the discriminated direction and the measured distances up to each subject and the acquired map information and the area information related to the map information. The control section 7 specifies a plurality of areas in stages centering around the specified place of a display section 8 at the same time. The control section 7 controls the area informations related to each subject in response to the areas so as to be displayed to the display section 8 in different forms. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、被写体を撮影すると共に被写体に関連する情報を提示する移動通信装置に関する。   The present invention relates to a mobile communication device that photographs a subject and presents information related to the subject.

現在、ＧＰＳや地図情報を利用したナビゲーションシステムが普及している。携帯移動端末においてはＧＰＳ内蔵のものが普及しており、ＧＰＳを利用した関連サービスが利用されている。位置情報を利用して端末利用者に興味のある情報を通知するサービスや、地図情報からインターネットへアクセスし、詳細な情報を検索するサービス、地図のリンクをクリックすることでメールアプリケーションや電話アプリケーションが連動するなどのサービスもある。   Currently, navigation systems using GPS and map information are in widespread use. Portable mobile terminals with a built-in GPS are widespread, and related services using GPS are used. A service that uses location information to notify terminal users of interest, a service that accesses the Internet from map information, searches for detailed information, and a mail application or telephone application by clicking a map link There are also services such as interlocking.

しかし、現実の世界で地図情報のみを直接利用することは困難なため、他のアプリケーション操作と地図情報サービスを連動する提案がなされている。特許文献１では、電子カメラにより撮影した画像データを閲覧する際に、画面上に写っている被写体の関連情報を提示する方法が提案されており、特許文献２や特許文献３では、屋外で移動中の利用者が情報を得たいと思う対象物を撮影すればその対象に対する情報をインターネット経由で入手する等の方法が提案されている。
特開２００３−１７４５７８号公報 特開２００２−１０８８７３号公報 特開２００２−１８５９５３号公報 However, since it is difficult to directly use only map information in the real world, proposals have been made to link other application operations with a map information service. Patent Document 1 proposes a method for presenting related information of a subject on a screen when browsing image data captured by an electronic camera. Patent Document 2 and Patent Document 3 move outdoors. A method has been proposed in which, for example, if a user wants to obtain information on an object, the information on the object is obtained via the Internet.
JP 2003-174578 A JP 2002-108873 A JP 2002-185953 A

しかしながら、従来の携帯移動端末では、カメラにより撮影した画像データに、関連情報を合成することで利便性を高めているが、被写体が多く存在する場合には、関連情報を表示しきれないという問題が発生する。図１０は、従来の携帯移動端末のカメラ映像画面の例である。被写体が多く存在し、カメラ映像内に被写体の関連情報を表示しようとすると、関連情報が重なって表示されるため非常に見づらくなり、端末を操作できない状態となる。すなわち、従来の携帯移動端末では、ユーザが視認し易く、操作をし易い形のユーザインターフェースをユーザに提供できないという問題が存在する。   However, conventional portable mobile terminals improve convenience by combining related information with image data captured by a camera. However, when there are many subjects, the related information cannot be displayed. Will occur. FIG. 10 is an example of a camera video screen of a conventional portable mobile terminal. If there are many subjects and related information about the subject is to be displayed in the camera video, the related information is displayed in an overlapping manner, which makes it very difficult to see and the terminal cannot be operated. That is, the conventional portable mobile terminal has a problem that it is difficult to provide the user with a user interface that is easy for the user to visually recognize and operate.

本発明は、このような問題点に鑑みてなされたものであり、本発明の目的は、被写体に関連付けて地域情報を表示する際に、ユーザにとって視認し易く、操作をし易い形のユーザインターフェースを提供できる移動通信装置を提供することにある。   The present invention has been made in view of such problems, and an object of the present invention is to provide a user interface that is easy for a user to visually recognize and operate when displaying regional information in association with a subject. Is to provide a mobile communication device capable of providing

上記目的を達成するため、本発明は、撮像手段を有する移動通信装置において、前記撮像手段により得られる被写体の画像データを表示する表示手段と、前記撮像手段により得られる各被写体までの距離を測定する測距センサと、前記移動通信装置の位置情報を取得する位置情報取得手段と、前記位置情報取得手段により取得した位置情報に基づいて、該位置に基づく地図情報および該地図情報に関連付いた地域情報を取得する詳細情報取得手段と、前記撮像手段の向いている方角を判別する方角判別手段と、前記判別した方角および前記測定した各被写体までの距離と、前記取得した地図情報および該地図情報に関連付いた地域情報に基づいて、各被写体に関連付けて表示する地域情報を特定するとともに、前記表示手段の所定の位置を中心に段階的に複数のエリアを特定して、該エリアに応じて各被写体に関連付けられた地域情報を異なる形式で前記表示手段に表示するように制御する制御手段とを備える。   In order to achieve the above object, according to the present invention, in a mobile communication device having an imaging unit, a display unit that displays image data of a subject obtained by the imaging unit and a distance to each subject obtained by the imaging unit are measured. A distance measuring sensor, position information acquisition means for acquiring position information of the mobile communication device, position information acquired by the position information acquisition means, and map information based on the position and associated with the map information Detailed information acquisition means for acquiring area information, direction determination means for determining the direction in which the imaging means is directed, the determined direction and the distance to each measured subject, the acquired map information, and the map Based on the regional information associated with the information, the regional information to be displayed in association with each subject is specified, and the predetermined position of the display means is To identify a plurality of areas in stages, and a control means for controlling to display on the display means in a different format area information associated with each object in accordance with the area.

前記複数のエリアは、前記所定の位置を中心として、所定の距離離れる毎に構築されたエリアであることが好ましい。前記異なる形式とは、前記表示手段の所定の位置に距離が近いエリアほど前記地域情報を大きく表示し、前記表示手段の所定の位置から距離が遠いエリアほど前記地域情報を小さく表示する形式であることが好ましく、また、前記異なる形式とは、被写体までの深さが浅いほど前記地域情報を大きく表示し、被写体までの深さが深いほど前記地域情報を小さく表示する形式であることが好ましい。   The plurality of areas are preferably areas constructed every time a predetermined distance is left with the predetermined position as a center. The different format is a format in which the area information is displayed larger as the area is closer to the predetermined position of the display means, and the area information is displayed smaller as the area is farther from the predetermined position of the display means. Preferably, the different format is a format in which the regional information is displayed larger as the depth to the subject is shallower and the regional information is displayed smaller as the depth to the subject is deeper.

前記制御手段は、同一エリアに複数の地域情報を表示する場合、所定の時間間隔で所定の順番で表示することが好ましい。前記地域情報には、ジャンル情報が含まれており、前記制御手段は、所定のジャンルに該当する地域情報を有する被写体のみ、地域情報を表示することが好ましい。また、前記地域情報とは、店舗の種別、ランドマーク、交通標識、交差点名、バス停名の情報であることが好ましい。   When the control means displays a plurality of pieces of area information in the same area, it is preferable to display the information in a predetermined order at predetermined time intervals. The area information includes genre information, and the control means preferably displays the area information only for subjects having area information corresponding to a predetermined genre. Moreover, it is preferable that the said area information is information on a store type, a landmark, a traffic sign, an intersection name, and a bus stop name.

本発明は、被写体に関連付けて地域情報を表示する際に、ユーザにとって視認し易く、操作をし易い形のユーザインターフェースを提供できる。   The present invention can provide a user interface that is easy for a user to visually recognize and operate when displaying regional information in association with a subject.

本発明の実施の形態について図面を参照して説明する。図１は、本発明の移動通信装置の一例を示すブロック図である。図１に示す移動通信装置１はカメラ機能を搭載しており、撮像部（撮像手段）２は、撮影範囲内にある被写体を撮影し、画像データを生成する。位置情報取得部（位置情報取得手段）４は、ＧＰＳ（グローバルポジショニングシステム）等により自装置の位置情報を取得し、データ通信部（詳細情報取得手段）３は、位置情報取得部４により取得した位置情報に基づいて、インターネットや無線等から該位置に基づく地図情報および該地図情報に関連付いた地域情報を取得する。記憶部５には、各種アプリケーションプログラムや後述するＵＩ（ユーザインターフェース）生成ルール等が保存されている。   Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an example of a mobile communication device of the present invention. The mobile communication device 1 shown in FIG. 1 has a camera function, and an imaging unit (imaging means) 2 captures a subject within the imaging range and generates image data. The position information acquisition unit (position information acquisition unit) 4 acquires the position information of the own device by GPS (global positioning system) or the like, and the data communication unit (detailed information acquisition unit) 3 acquires the position information acquisition unit 4. Based on the position information, map information based on the position and area information associated with the map information are acquired from the Internet or wireless. The storage unit 5 stores various application programs, UI (user interface) generation rules described later, and the like.

センサ部６は、撮像部２の向いている方角を判別する３軸ジャイロセンサ等のセンサ（方角判別手段）と、撮像部２により得られる各被写体までの距離を測定する超音波センサ等の距離センサ（測距センサ）を備える。３軸ジャイロセンサは、Ｘ，Ｙ，Ｚ軸の３軸を有しており、装置の傾きや向きが検出できる。装置の向きを判定することで撮像部２がどちらの方向を向いているのかが判定できる。   The sensor unit 6 includes a sensor such as a three-axis gyro sensor that determines the direction in which the imaging unit 2 is facing (direction determination unit) and a distance such as an ultrasonic sensor that measures the distance to each subject obtained by the imaging unit 2. A sensor (ranging sensor) is provided. The triaxial gyro sensor has three axes of X, Y, and Z axes, and can detect the tilt and orientation of the apparatus. By determining the orientation of the apparatus, it can be determined which direction the imaging unit 2 is facing.

制御部７は、記憶部５に保存されているアプリケーションプログラムやユーザ操作に従って装置を制御し、センサ部６で判別した方角および測定した各被写体までの距離と、データ通信部３で取得した地図情報および該地図情報に関連付いた地域情報とに基づいて、各被写体に関連付けて表示する地域情報を特定するとともに、表示部８の所定の位置を中心に段階的に複数のエリアを特定して、該エリアに応じて各被写体に関連付けられた地域情報を異なる形式で表示部８に表示するように制御する。表示部８は、撮像部２により得られる被写体の画像データや、後述する関連データＵＩ生成処理部７２の生成するＵＩを表示し、操作部９は、キーやタッチパネル等からなり、ユーザの操作入力を受け付ける。   The control unit 7 controls the apparatus in accordance with application programs stored in the storage unit 5 and user operations, and the direction determined by the sensor unit 6 and the measured distance to each subject, and the map information acquired by the data communication unit 3 And specifying area information to be displayed in association with each subject based on the area information associated with the map information, and specifying a plurality of areas step by step around a predetermined position of the display unit 8; Control is performed so that the area information associated with each subject is displayed on the display unit 8 in a different format according to the area. The display unit 8 displays image data of the subject obtained by the imaging unit 2 and a UI generated by a related data UI generation processing unit 72 described later. The operation unit 9 includes keys, a touch panel, and the like, and is operated by a user. Accept.

制御部７には、アプリケーション制御部７１、関連データＵＩ生成処理部７２、画像再生部７３、関連データ合成処理部７４が含まれる。アプリケーション制御部７１は、センサ部６の算出した値によって各種アプリケーションプログラムに関する制御を行う。関連データＵＩ生成処理部７２は、ＵＩ生成ルールに従ってＵＩを生成し、画像再生部７３は、撮像部が生成した画像データを再生する。関連データ合成処理部７４は、画像再生部７３が再生した画像の適切な位置に関連データＵＩ生成処理部７２が生成したＵＩを合成する。   The control unit 7 includes an application control unit 71, a related data UI generation processing unit 72, an image reproduction unit 73, and a related data synthesis processing unit 74. The application control unit 71 performs control related to various application programs according to values calculated by the sensor unit 6. The related data UI generation processing unit 72 generates a UI according to the UI generation rule, and the image reproduction unit 73 reproduces the image data generated by the imaging unit. The related data composition processing unit 74 synthesizes the UI generated by the related data UI generation processing unit 72 at an appropriate position of the image reproduced by the image reproduction unit 73.

図２は、表示部に表示した表示画像のエリアを所定の中心位置からの距離によって段階的にレベル１からレベル３に分割した状態を示している。所定の中心位置は、デフォルトでは表示部８の表示画面の中央であり、操作部９にタッチパネルを用いた場合には、タッチパネルで選択した位置を中心とすることができるものとする。また、撮像部２がＡＦ（オートフォーカス）機能を備えている場合は、ＡＦにより焦点を合わせた位置を中心としても良い。
ＵＩを生成するためのＵＩ生成情報には、エリアのレベルによって、生成するＵＩが区別されて定義されており、中心に近いレベル１であれば、ＵＩのフォント、表示ウィンドウは大きく、ＵＩの関連情報量は多くなるルールに従う。以上のＵＩ生成ルールに従って関連データＵＩ生成処理部７２はＵＩを生成する。 FIG. 2 shows a state where the area of the display image displayed on the display unit is divided stepwise from level 1 to level 3 according to the distance from a predetermined center position. The predetermined center position is, by default, the center of the display screen of the display unit 8. When a touch panel is used for the operation unit 9, the position selected by the touch panel can be set as the center. In addition, when the imaging unit 2 has an AF (autofocus) function, the position focused by AF may be set as the center.
The UI generation information for generating a UI is defined by distinguishing the UI to be generated according to the level of the area. If the level is 1 near the center, the UI font and display window are large, and the UI is related. Follow rules that increase the amount of information. The related data UI generation processing unit 72 generates a UI according to the above UI generation rules.

図３は、ＵＩ生成情報に記述されているＵＩ生成ルールを説明する図である。例えば、Ａ店に関するＵＩ生成情報は、被写体までの距離情報と、図２に示すエリアのレベルとによって、使用するＵＩ部品やフォント、ＵＩ部品に貼り付けるコメント等が区別されて定義されている。被写体までの深さが浅い（距離が近い）ほど、また、表示画面の所定の中心位置に距離が近いエリアほど、地域情報を大きくかつ詳細に表示し、被写体までの深さが深い（距離が遠い）ほど、また、表示画面の所定の中心位置から距離が遠いエリアほど、地域情報を小さくかつ簡易に表示することがわかる。なお、ＵＩ部品自体は装置内で保持しているため、ＵＩ生成に関するリソース（画像データ等）をデータ通信部３で取得する必要はない。この仕組みによって事前に広範囲の情報を蓄えておき、動的にＵＩを生成していくことが可能となる。   FIG. 3 is a diagram for explaining UI generation rules described in the UI generation information. For example, the UI generation information related to the store A is defined by distinguishing UI parts to be used, fonts, comments to be attached to the UI parts, and the like according to the distance information to the subject and the level of the area shown in FIG. As the depth to the subject is shallower (closer to the distance) and the area closer to the predetermined center position on the display screen, the region information is displayed in greater detail and in depth, and the depth to the subject is greater (the distance is shorter). It can be seen that the area information is smaller and more easily displayed as the distance from the center of the display screen increases. Note that since the UI component itself is held in the apparatus, it is not necessary for the data communication unit 3 to acquire resources (image data or the like) related to UI generation. With this mechanism, it is possible to store a wide range of information in advance and dynamically generate a UI.

図４，５，６，７，８は、制御部の動作を説明するフローチャートである。ここで、図４のメインフローチャートを基準として説明を行う。制御部７は、アプリケーションを起動すると、時間情報ｔをクリアし、カメラの状態ＣＳ（ｔ）をＮｏｒｍａｌに設定し、アプリケーション状態ＳｔａｔｅをＳｔａｒｔに設定する（ステップ１１０）。次に、カメラアプリケーションを起動し（ステップ１２０）。地域関連データ取得処理を行う（ステップ１３０）。   4, 5, 6, 7, and 8 are flowcharts for explaining the operation of the control unit. Here, the description will be made with reference to the main flowchart of FIG. When the application is activated, the control unit 7 clears the time information t, sets the camera state CS (t) to Normal, and sets the application state State to Start (step 110). Next, the camera application is activated (step 120). A region-related data acquisition process is performed (step 130).

図５は、地域関連データ取得処理の流れを示すフローチャートである。地域関連データ取得処理（ステップ１３０）では、ＧＰＳ等により自装置の位置情報Ｐ（ｔ）を取得し（ステップ１３１）、自装置の位置情報Ｐ（ｔ）に変化があったか否かを判定する（ステップ１３２）。位置情報Ｐ（ｔ）に変化があれば（ＮＯの場合）、データ通信部３を介してインターネット等から地図情報Ｍ（ｔ）の取得し（ステップ１３３）、関連するユーザ設定（例えば、ユーザが興味のあるジャンル等）の読み出し（ステップ１３４）、ユーザ設定に従って地域関連データＡ（ｔ）を取得する（ステップ１３５）。このとき取得する地域関連データＡ（ｔ）にはＵＩ生成情報が含まれている。   FIG. 5 is a flowchart showing the flow of the area-related data acquisition process. In the region-related data acquisition process (step 130), the position information P (t) of the own apparatus is acquired by GPS or the like (step 131), and it is determined whether or not the position information P (t) of the own apparatus has changed (step 130). Step 132). If there is a change in the position information P (t) (in the case of NO), the map information M (t) is acquired from the Internet or the like via the data communication unit 3 (step 133), and the related user setting (for example, the user Read out the genre of interest, etc. (step 134), and acquire the region-related data A (t) according to the user setting (step 135). The area-related data A (t) acquired at this time includes UI generation information.

次に、図４のメインフローチャートにおいて、自装置の位置情報Ｐ（ｔ）に変化があったか否かを判定する（ステップ１４０）。位置情報Ｐ（ｔ）に変化があれば（ＮＯの場合）、次に、カメラの状態ＣＳ（ｔ）に変化があったか否かを判定し（ステップ１５０）、カメラ状態ＣＳ（ｔ）に変化があれば（ＮＯの場合）、被写体判定処理を行う（ステップ１６０）。   Next, in the main flowchart of FIG. 4, it is determined whether or not the position information P (t) of the own apparatus has changed (step 140). If there is a change in the position information P (t) (in the case of NO), it is next determined whether or not the camera state CS (t) has changed (step 150), and the camera state CS (t) has changed. If there is (NO), subject determination processing is performed (step 160).

図６は、被写体判定処理の流れを示すフローチャートである。被写体判定処理（ステップ１６０）では、地域関連データ取得処理において取得した自装置の位置情報Ｐ（ｔ）の読み出しを行い（ステップ１６１）、さらに地図情報Ｍ（ｔ）の読み出しを行う（ステップ１６２）。次に、センサ部６の姿勢を判定するセンサを用いて自装置の向きを検出し（ステップ１６３）、センサ部６の距離センサを用いて各被写体Ｈ（ｉ）までの距離を求め（ステップ１６４）、自装置の向きや被写体までの距離から被写体Ｈ（ｉ）と地図情報Ｍ（ｔ）との対応付けを行う（ステップ１６５）。また、被写体に対するエリアレベルや距離を付加情報として対応付けを行い（ステップ１６６）、被写体の画面合成位置を決定する（ステップ１６７）。   FIG. 6 is a flowchart showing the flow of subject determination processing. In the subject determination process (step 160), the position information P (t) of the own apparatus acquired in the area-related data acquisition process is read (step 161), and further the map information M (t) is read (step 162). . Next, the orientation of the device itself is detected using a sensor for determining the attitude of the sensor unit 6 (step 163), and the distance to each subject H (i) is obtained using the distance sensor of the sensor unit 6 (step 164). ) The subject H (i) and the map information M (t) are associated with each other based on the orientation of the device and the distance to the subject (step 165). Further, the area level and distance to the subject are associated as additional information (step 166), and the screen synthesis position of the subject is determined (step 167).

次に、図４のメインフローチャートにおいてＵＩ生成処理を行う（ステップ１７０）。図７は、ＵＩ生成処理の流れを示すフローチャートである。ＵＩ生成処理（ステップ１７０）では、地域関連データ取得処理において取得した地域関連データＡ（ｔ）の読み出しを行い（ステップ１７１）、地域関連データＡ（ｔ）の中からＵＩ生成個数分のＵＩ生成情報を読み出し（ステップ１７２）、さらに、被写体とエリアレベルおよび距離との対応付け情報を読み出し（ステップ１７３）、ＵＩの生成を行う（ステップ１７４）。このとき、ＵＩ生成ルールに従ってＵＩを生成する。ＵＩ生成後、被写体と画面合成位置情報を読み出し（ステップ１７５）、現在のアプリケーションが表示している画面上に合成処理を行う（ステップ１７６）。以上の処理をＵＩ生成個数分だけ繰り返し行う。   Next, UI generation processing is performed in the main flowchart of FIG. 4 (step 170). FIG. 7 is a flowchart showing the flow of UI generation processing. In the UI generation process (step 170), the area-related data A (t) acquired in the area-related data acquisition process is read (step 171), and UI generation for the number of UI generations is made from the area-related data A (t). The information is read (step 172), and the association information between the subject, the area level, and the distance is read (step 173), and the UI is generated (step 174). At this time, a UI is generated according to the UI generation rule. After generating the UI, the subject and screen composition position information are read (step 175), and the composition processing is performed on the screen displayed by the current application (step 176). The above processing is repeated for the number of UI generations.

次に、図４のメインフローチャートにおいてＵＩ操作処理を行う（ステップ１８０）。図８は、ＵＩ操作処理の流れを示すフローチャートである。ＵＩ操作処理（ステップ１８０）では、操作部９によるユーザ入力の有無を判定し（ステップ１８１）、ユーザ入力があった場合は、終了キーが押されたか否かを判定する（ステップ１８２）。終了キーが押された場合には、アプリケーション状態Ｓｔａｔｅを終了にする（ステップ１８７）。終了キーが押されなかったた場合には、カメラのズーム等の操作が行われたか否かを判定し（ステップ１８３）、カメラのズーム等の操作が行われた場合にはカメラの状態ＣＳ（ｔ）をＺｏｏｍ１等にする（ステップ１８８）。カメラのズーム等の操作以外の操作が行われた場合には、ユーザ入力によりどのＵＩが操作されたかをＵＩ識別により判別し（ステップ１８４）、ＵＩの動作にともなった動作処理を行い（ステップ１８５）、ＵＩ動作処理に対応するアプリケーションを動作させる（ステップ１８６）。   Next, UI operation processing is performed in the main flowchart of FIG. 4 (step 180). FIG. 8 is a flowchart showing the flow of UI operation processing. In the UI operation process (step 180), it is determined whether or not there is a user input by the operation unit 9 (step 181). If there is a user input, it is determined whether or not the end key is pressed (step 182). If the end key is pressed, the application state State is ended (step 187). If the end key has not been pressed, it is determined whether or not an operation such as zooming of the camera has been performed (step 183). If an operation such as zooming of the camera has been performed, the camera state CS ( t) is set to Zoom1 or the like (step 188). When an operation other than an operation such as zooming of the camera is performed, which UI is operated by user input is determined by UI identification (step 184), and an operation process corresponding to the operation of the UI is performed (step 185). ), An application corresponding to the UI operation process is operated (step 186).

次に、図４のメインフローチャートにおいて、アプリケーション状態Ｓｔａｔｅが終了か否かを判定し（ステップ１９０）、アプリケーション状態Ｓｔａｔｅが終了になるまで、以上の処理を繰り返し行う（ステップ２００）。   Next, in the main flowchart of FIG. 4, it is determined whether or not the application state State is completed (step 190), and the above processing is repeated until the application state state is completed (step 200).

以下に実施例を挙げて説明する。図９は、地図画面と地図上の情報とをカメラ映像に貼り付けた状態を示す図である。例えば、地図情報上に薬屋や駅の入り口の地域情報がある場合に、カメラ映像の被写体中に該当するものがあれば、カメラ映像の被写体に地域情報を重ねて表示することができる。図１０は、既存のカメラ映像画面の例である。被写体が多く存在し、カメラ映像内に地域情報を表示しようとすると、地域情報が重なって非常に見づらく、装置を操作できる状態ではないことがわかる。図１１は、同じような状況で撮影したときの本発明のカメラ映像画面の例である。表示画面の中心に近い被写体に関連付けて表示する地域情報Ｋが大きく表示され、中心から外れている被写体に関連付けて表示する地域情報Ａ，Ｂ，Ｃ，Ｇ，Ｈ，Ｉが小さく表示されるため、ユーザは地域情報を視認しやすく、操作しやすい画面表示となることがわかる。   Hereinafter, an example will be described. FIG. 9 is a diagram illustrating a state in which the map screen and the information on the map are pasted on the camera video. For example, when there is area information at the entrance of a drugstore or a station on map information, if there is a subject in the camera image, the area information can be displayed superimposed on the object in the camera image. FIG. 10 is an example of an existing camera video screen. When there are many subjects and it is intended to display the area information in the camera image, the area information overlaps and it is very difficult to see, and it is understood that the apparatus is not in a state where it can be operated. FIG. 11 is an example of the camera video screen of the present invention when shooting in the same situation. The area information K displayed in association with the subject close to the center of the display screen is displayed large, and the area information A, B, C, G, H, I displayed in association with the object off the center is displayed small. It can be seen that the screen display is easy for the user to easily view and operate the area information.

図１２および図１３は、カメラを地図上の左方向に向けている状態のときにカメラをズームさせたときの図である。初めは被写体が、画面中心に近いレベル１の範囲に含まれないため、図１２に示すように、小さな地域情報しか表示されないが、カメラをズームさせることにより被写体がレベル１の範囲に入ってくると、図１３に示すように、レベル１の範囲に入った被写体の地域情報Ｅ，Ｆ，Ｎ，Ｏはより大きく詳しく表示されることとなる。
図１４および図１５は、カメラを地図上の左方向に向けている状態から店Ａにカメラの向きを移動させたときの図である。表示画面の中心にある被写体の地域情報がＥからＡに動的に変化している。
図１６および図１７は、カメラが被写体Ａに近づいているときの図である。被写体までの距離が近づくほど（深さが浅くなるほど）詳しい情報が表示されるように変化していることがわかる。 12 and 13 are diagrams when the camera is zoomed when the camera is directed leftward on the map. At first, since the subject is not included in the level 1 range close to the center of the screen, only small area information is displayed as shown in FIG. 12, but the subject enters the level 1 range by zooming the camera. Then, as shown in FIG. 13, the area information E, F, N, and O of the subject within the level 1 range is displayed in greater detail.
14 and 15 are diagrams when the camera is moved to the store A from a state where the camera is directed leftward on the map. The area information of the subject at the center of the display screen is dynamically changed from E to A.
16 and 17 are diagrams when the camera is approaching the subject A. FIG. It can be seen that the closer the distance to the subject is, the more detailed information is displayed.

図１８は、同一エリアに複数の地域情報を表示するときの図である。同一エリアに複数の地域情報を表示する場合、所定の時間間隔で所定の順番で表示する。図１８では、地域情報をＫ，Ｊ，Ｄの順番で表示している。複数の地域情報が重なっている場合、時間経過とともに重ね合わせる順番を入れ替ることで、ユーザに視認しやすく操作しやすい情報提示が可能となる。
図１９は、ユーザが「居酒屋」の地域情報を取得するためにユーザ設定でジャンルに制限をかけているときの状態を示す図である。図１９では、「居酒屋」の地域情報Ｊ，Ｄを所定の時間間隔で交互に表示している。表示画面の中心に複数の情報が重なっている場合には、ユーザが興味のある地域情報を優先して表示することでユーザにとって視認しやすい状態にすることができる。地域情報には、ジャンル情報が含まれており、制御部７は、所定のジャンルに該当する地域情報を有する被写体のみ、地域情報を表示することができる。地域情報とは、店舗の種別、ランドマーク、交通標識、交差点名、バス停名等の情報である。
図２０は、地域情報をリスト形式で並べ直して表示した図である。画面中心に近いレベル１の範囲に含まれ被写体の地域情報Ｄ，Ｊ，Ｋは大きく表示されるので、リスト形式にした場合もユーザは画面の中心にある被写体の地域情報をはっきりと視認することができる。 FIG. 18 is a diagram when a plurality of pieces of area information are displayed in the same area. When a plurality of pieces of area information are displayed in the same area, they are displayed in a predetermined order at predetermined time intervals. In FIG. 18, the area information is displayed in the order of K, J, and D. When a plurality of pieces of regional information are overlapped, it is possible to present information that is easy for the user to visually recognize and operate by changing the order of overlapping with the passage of time.
FIG. 19 is a diagram illustrating a state in which the user restricts the genre in the user setting in order to acquire the area information of “Izakaya”. In FIG. 19, the area information J and D of “Izakaya” are alternately displayed at predetermined time intervals. When a plurality of pieces of information are overlapped at the center of the display screen, it is possible to make it easy for the user to visually recognize the area information that the user is interested in. The genre information is included in the region information, and the control unit 7 can display the region information only for the subject having the region information corresponding to the predetermined genre. The area information is information such as store type, landmark, traffic sign, intersection name, and bus stop name.
FIG. 20 is a diagram in which the area information is rearranged and displayed in a list format. The area information D, J, and K of the subject included in the level 1 range close to the screen center is displayed in a large size, so that the user can clearly see the area information of the object at the center of the screen even when the list format is used. Can do.

上述のように、本発明は、エリアレベルと被写体までの深さ（距離）により地域情報を生成することで、カメラ画像を通して地域情報を利用する際にユーザにとって視認しやすく使いやすい情報提示が可能となる。   As described above, the present invention generates regional information based on the area level and the depth (distance) to the subject, so that it is possible to present information that is easy for the user to visually recognize and use when using regional information through a camera image. It becomes.

本発明の移動通信装置の一例を示すブロック図である。It is a block diagram which shows an example of the mobile communication apparatus of this invention. 表示画像のエリアを所定の中心位置からの距離によって段階的にレベル１からレベル３に分割した状態を示す図である。It is a figure which shows the state which divided | segmented the area of the display image into the level 1 from the level 1 stepwise according to the distance from a predetermined | prescribed center position. ＵＩ生成情報に記述されているＵＩ生成ルールを説明する図である。It is a figure explaining UI production | generation rule described in UI production | generation information. 制御部の動作を説明するメインフローチャートである。It is a main flowchart explaining operation | movement of a control part. 地域関連データ取得処理の流れを示すフローチャートである。It is a flowchart which shows the flow of an area related data acquisition process. 被写体判定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a subject determination process. ＵＩ生成処理の流れを示すフローチャートである。It is a flowchart which shows the flow of UI production | generation processing. ＵＩ操作処理の流れを示すフローチャートである。It is a flowchart which shows the flow of UI operation processing. 地図画面と地図上の情報とをカメラ映像に貼り付けた状態を示す図である。It is a figure which shows the state which affixed the map screen and the information on a map on the camera image | video. 既存のカメラ映像画面の例を示す図である。It is a figure which shows the example of the existing camera video screen. 本発明のカメラ映像画面の例を示す図である。It is a figure which shows the example of the camera image screen of this invention. カメラを地図上の左方向に向けているときの図である。It is a figure when the camera is pointed in the left direction on a map. カメラを地図上の左方向に向けている状態のときにカメラをズームさせたときの図である。It is a figure when zooming a camera in the state which has turned the camera to the left direction on a map. カメラを地図上の左方向に向けているときの図である。It is a figure when the camera is pointed in the left direction on a map. カメラを地図上の左方向に向けている状態から店Ａにカメラの向きを移動させたときの図である。It is a figure when the direction of a camera is moved to the shop A from the state which has faced the camera on the left direction on a map. カメラが被写体Ａに近づいているときの図である。FIG. 6 is a diagram when the camera is approaching subject A. カメラが被写体Ａに近づいているときの図である。FIG. 6 is a diagram when the camera is approaching subject A. 同一エリアに複数の地域情報を表示するときの図である。It is a figure when displaying a plurality of area information in the same area. ユーザが「居酒屋」の地域情報を取得するためにユーザ設定でジャンルに制限をかけているときの状態を示す図である。It is a figure which shows a state when the user is restrict | limiting the genre by a user setting in order to acquire the area information of "Izakaya". 地域情報をリスト形式で並べ直して表示した図である。It is the figure which rearranged and displayed area information in the list form.

符号の説明Explanation of symbols

１ 移動通信装置
２ 撮像部
３ データ通信部
４ 位置情報取得部
５ 記憶部
６ センサ部
７ 制御部
８ 表示部
９ 操作部
７１ アプリケーション制御部
７２ 関連データＵＩ生成処理部
７３ 画像生成部
７４ 関連データ合成処理部 DESCRIPTION OF SYMBOLS 1 Mobile communication apparatus 2 Imaging part 3 Data communication part 4 Position information acquisition part 5 Storage part 6 Sensor part 7 Control part 8 Display part 9 Operation part 71 Application control part 72 Related data UI production | generation process part 73 Image generation part 74 Related data composition Processing part

Claims (7)

撮像手段を有する移動通信装置において、
前記撮像手段により得られる被写体の画像データを表示する表示手段と、
前記撮像手段により得られる各被写体までの距離を測定する測距センサと、
前記移動通信装置の位置情報を取得する位置情報取得手段と、
前記位置情報取得手段により取得した位置情報に基づいて、該位置に基づく地図情報および該地図情報に関連付いた地域情報を取得する詳細情報取得手段と、
前記撮像手段の向いている方角を判別する方角判別手段と、
前記判別した方角および前記測定した各被写体までの距離と、前記取得した地図情報および該地図情報に関連付いた地域情報に基づいて、各被写体に関連付けて表示する地域情報を特定するとともに、前記表示手段の所定の位置を中心に段階的に複数のエリアを特定して、該エリアに応じて各被写体に関連付けられた地域情報を異なる形式で前記表示手段に表示するように制御する制御手段と、
を備える移動通信装置。 In a mobile communication device having an imaging means,
Display means for displaying subject image data obtained by the imaging means;
A distance measuring sensor for measuring the distance to each subject obtained by the imaging means;
Position information acquisition means for acquiring position information of the mobile communication device;
Detailed information acquisition means for acquiring map information based on the position and area information associated with the map information based on the position information acquired by the position information acquisition means;
Direction discriminating means for discriminating the direction in which the imaging means is facing;
Based on the determined direction, the measured distance to each subject, and the acquired map information and the regional information associated with the map information, the regional information to be displayed in association with each subject is specified, and the display Control means for specifying a plurality of areas in a stepwise manner around a predetermined position of the means, and controlling the area information associated with each subject to be displayed on the display means in a different format according to the areas;
A mobile communication device comprising: 前記複数のエリアは、前記所定の位置を中心として、所定の距離離れる毎に構築されたエリアであることを特徴とする請求項１に記載の移動通信装置。   The mobile communication device according to claim 1, wherein the plurality of areas are areas constructed every time a predetermined distance is left with the predetermined position as a center. 前記異なる形式とは、前記表示手段の所定の位置に距離が近いエリアほど前記地域情報を大きく表示し、前記表示手段の所定の位置から距離が遠いエリアほど前記地域情報を小さく表示する形式であることを特徴とする請求項１または２に記載の移動通信装置。   The different format is a format in which the area information is displayed larger as the area is closer to the predetermined position of the display means, and the area information is displayed smaller as the area is farther from the predetermined position of the display means. The mobile communication device according to claim 1, wherein the mobile communication device is a mobile communication device. 前記異なる形式とは、被写体までの深さが浅いほど前記地域情報を大きく表示し、被写体までの深さが深いほど前記地域情報を小さく表示する形式であることを特徴とする請求項１から３のいずれか１項に記載の移動通信装置。   The different format is a format in which the area information is displayed larger as the depth to the subject is shallower and the area information is displayed smaller as the depth to the subject is deeper. The mobile communication device according to any one of the above. 前記制御手段は、同一エリアに複数の地域情報を表示する場合、所定の時間間隔で所定の順番で表示することを特徴とする請求項１から４のいずれか１項に記載の移動通信装置。   5. The mobile communication device according to claim 1, wherein the control unit displays a plurality of pieces of area information in the same area in a predetermined order at predetermined time intervals. 前記地域情報には、ジャンル情報が含まれており、前記制御手段は、所定のジャンルに該当する地域情報を有する被写体のみ、地域情報を表示することを特徴とする請求項１から５のいずれか１項に記載の移動通信装置。   6. The genre information is included in the area information, and the control means displays the area information only for subjects having area information corresponding to a predetermined genre. 2. The mobile communication device according to item 1. 前記地域情報とは、店舗の種別、ランドマーク、交通標識、交差点名、バス停名の情報であることを特徴とする請求項１から６のいずれか１項に記載の移動通信装置。   The mobile communication device according to any one of claims 1 to 6, wherein the regional information is information on a store type, a landmark, a traffic sign, an intersection name, and a bus stop name.
JP2007255015A 2007-09-28 2007-09-28 Mobile communication device and control method Active JP5398970B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007255015A JP5398970B2 (en) 2007-09-28 2007-09-28 Mobile communication device and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007255015A JP5398970B2 (en) 2007-09-28 2007-09-28 Mobile communication device and control method

Publications (2)

Publication Number Publication Date
JP2009088903A true JP2009088903A (en) 2009-04-23
JP5398970B2 JP5398970B2 (en) 2014-01-29

Family

ID=40661750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007255015A Active JP5398970B2 (en) 2007-09-28 2007-09-28 Mobile communication device and control method

Country Status (1)

Country Link
JP (1) JP5398970B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082650A (en) * 2009-10-05 2011-04-21 Kddi Corp Advertisement display system, device and method linked with terminal position and attitude
JP2011166589A (en) * 2010-02-12 2011-08-25 Aplix Corp Portable terminal and information presentation method
JP2013518337A (en) * 2010-02-05 2013-05-20 インテル・コーポレーション Method for providing information on object contained in visual field of terminal device, terminal device and computer-readable recording medium
JP2013527947A (en) * 2010-03-19 2013-07-04 ディジマーク コーポレイション Intuitive computing method and system
JP2013149034A (en) * 2012-01-18 2013-08-01 Canon Inc Image display apparatus, image display method, and program
KR101429250B1 (en) * 2010-08-20 2014-09-25 주식회사 팬택 Terminal device and method for providing step object information
JP2015534660A (en) * 2012-08-10 2015-12-03 ヒア グローバル ビー．ヴイ． Augmented reality view layout method and apparatus
US9234744B2 (en) 2009-10-28 2016-01-12 Digimarc Corporation Sensor-based mobile search, related methods and systems
US9256806B2 (en) 2010-03-19 2016-02-09 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
JP2016507833A (en) * 2013-01-22 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー Mixed reality filtering
US9888105B2 (en) 2009-10-28 2018-02-06 Digimarc Corporation Intuitive computing methods and systems
US11049094B2 (en) 2014-02-11 2021-06-29 Digimarc Corporation Methods and arrangements for device to device communication

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149193A (en) * 1998-11-09 2000-05-30 Nippon Telegr & Teleph Corp <Ntt> Travel supporting device and travel supporting method
JP2003174578A (en) * 2001-12-07 2003-06-20 Nikon Corp Electronic camera, image display device and image display method
JP2004343288A (en) * 2003-05-14 2004-12-02 Hitachi Ltd Portable terminal, information distribution device, communication system, and information presentation method to user by using mobile terminal
JP2006295827A (en) * 2005-04-14 2006-10-26 Sony Ericsson Mobilecommunications Japan Inc Mobile terminal instrument
JP2007243551A (en) * 2006-03-08 2007-09-20 Seiko Epson Corp Image processing unit and imaging apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149193A (en) * 1998-11-09 2000-05-30 Nippon Telegr & Teleph Corp <Ntt> Travel supporting device and travel supporting method
JP2003174578A (en) * 2001-12-07 2003-06-20 Nikon Corp Electronic camera, image display device and image display method
JP2004343288A (en) * 2003-05-14 2004-12-02 Hitachi Ltd Portable terminal, information distribution device, communication system, and information presentation method to user by using mobile terminal
JP2006295827A (en) * 2005-04-14 2006-10-26 Sony Ericsson Mobilecommunications Japan Inc Mobile terminal instrument
JP2007243551A (en) * 2006-03-08 2007-09-20 Seiko Epson Corp Image processing unit and imaging apparatus

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082650A (en) * 2009-10-05 2011-04-21 Kddi Corp Advertisement display system, device and method linked with terminal position and attitude
US9888105B2 (en) 2009-10-28 2018-02-06 Digimarc Corporation Intuitive computing methods and systems
US9916519B2 (en) 2009-10-28 2018-03-13 Digimarc Corporation Intuitive computing methods and systems
US9234744B2 (en) 2009-10-28 2016-01-12 Digimarc Corporation Sensor-based mobile search, related methods and systems
JP2013518337A (en) * 2010-02-05 2013-05-20 インテル・コーポレーション Method for providing information on object contained in visual field of terminal device, terminal device and computer-readable recording medium
US8947458B2 (en) 2010-02-05 2015-02-03 Intel Corporation Method for providing information on object within view of terminal device, terminal device for same and computer-readable recording medium
JP2011166589A (en) * 2010-02-12 2011-08-25 Aplix Corp Portable terminal and information presentation method
JP2013527947A (en) * 2010-03-19 2013-07-04 ディジマーク コーポレイション Intuitive computing method and system
US9256806B2 (en) 2010-03-19 2016-02-09 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
KR101832693B1 (en) * 2010-03-19 2018-02-28 디지맥 코포레이션 Intuitive computing methods and systems
KR101429250B1 (en) * 2010-08-20 2014-09-25 주식회사 팬택 Terminal device and method for providing step object information
JP2013149034A (en) * 2012-01-18 2013-08-01 Canon Inc Image display apparatus, image display method, and program
US9870642B2 (en) 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
KR101750634B1 (en) * 2012-08-10 2017-06-23 히어 그로벌 비. 브이. Method and apparatus for layout for augmented reality view
JP2015534660A (en) * 2012-08-10 2015-12-03 ヒア グローバル ビー．ヴイ． Augmented reality view layout method and apparatus
JP2016507833A (en) * 2013-01-22 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー Mixed reality filtering
US11049094B2 (en) 2014-02-11 2021-06-29 Digimarc Corporation Methods and arrangements for device to device communication

Also Published As

Publication number Publication date
JP5398970B2 (en) 2014-01-29

Similar Documents

Publication Publication Date Title
JP5398970B2 (en) Mobile communication device and control method
KR102653793B1 (en) Video clip object tracking
JP5871976B2 (en) Mobile imaging device as navigator
CN102216959B (en) For the technology of manipulating panoramas
KR102021050B1 (en) Method for providing navigation information, machine-readable storage medium, mobile terminal and server
CN104350736B (en) The augmented reality of neighbouring position information is arranged
TWI410906B (en) Method for guiding route using augmented reality and mobile terminal using the same
KR101606727B1 (en) Mobile terminal and operation method thereof
KR101691985B1 (en) Personal information communicator
KR101639312B1 (en) Method, apparatus, program and storage medium for positioning and navigating
TW201502476A (en) Navigation application with several navigation modes
JPWO2010073616A1 (en) Information display device and information display method
US20170115749A1 (en) Systems And Methods For Presenting Map And Other Information Based On Pointing Direction
KR20160024002A (en) Method for providing visual sound image and electronic device implementing the same
TWI749532B (en) Positioning method and positioning device, electronic equipment and computer readable storage medium
CN110089117B (en) Processing and formatting video for interactive presentation
AU2024100009B4 (en) User interfaces for viewing and refining the current location of an electronic device
KR20160065673A (en) Method and system for controlling device and for the same
KR20140057087A (en) System and method for providing image related to image displayed on device
US8866953B2 (en) Mobile device and method for controlling the same
JP6145563B2 (en) Information display device
TWI400467B (en) Electronic device with object guidance function and its object guidance method
WO2023202404A1 (en) Augmented reality display method, apparatus, device, and storage medium
CN101900560B (en) Electronic device having leading function and object leading method thereof
Mang Towards improving instruction presentation for indoor navigation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120806

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131023

R150 Certificate of patent or registration of utility model

Ref document number: 5398970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150