JP2018106671A - Image information processing apparatus and image information processing method - Google Patents
Image information processing apparatus and image information processing method Download PDFInfo
- Publication number
- JP2018106671A JP2018106671A JP2017158470A JP2017158470A JP2018106671A JP 2018106671 A JP2018106671 A JP 2018106671A JP 2017158470 A JP2017158470 A JP 2017158470A JP 2017158470 A JP2017158470 A JP 2017158470A JP 2018106671 A JP2018106671 A JP 2018106671A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- data
- information processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
- G01C1/02—Theodolites
- G01C1/04—Theodolites combined with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
この発明は、例えば、カメラによって被写体を撮影することによって形成された画像データなどを容易に利用できるようにする装置、方法に関する。 The present invention relates to an apparatus and a method for making it easy to use, for example, image data formed by photographing a subject with a camera.
デジタルカメラなどの撮像装置によって被写体を撮像して得られた画像データに対して、当該撮像装置に搭載されたＧＰＳ（Global Positioning System）機能によって撮像時に取得した現在位置（撮像位置）を付加しておき、これを利用することが行われている。例えば、後に記す特許文献１には、撮影された写真が、その撮影位置に応じて配置された地図を容易に表示することが可能な情報処理装置等に関する発明が開示されている。
The current position (imaging position) acquired at the time of imaging by the GPS (Global Positioning System) function mounted on the imaging apparatus is added to the image data obtained by imaging the subject with an imaging apparatus such as a digital camera. In other words, this is being used. For example,
上述した特許文献１に記載の発明は、地図と写真とを当該写真の撮像位置である緯度・経度を用いて関連付けて利用する場合には有効である。しかしながら、撮影して得た写真をユーザが指定した座標位置と関連付けて利用することができない。
The invention described in
以上のことに鑑み、この発明は、適切な写真などの画像データをユーザが指定した座標位置に迅速に関連付けて利用できるようにすることを目的とする。 In view of the above, an object of the present invention is to enable image data such as an appropriate photograph to be quickly associated with a coordinate position designated by a user and used.
上記課題を解決するため、請求項１に記載の発明の画像情報処理装置は、
指示体により指示された座標位置を検出するセンサ部から、前記座標位置を示す第１の座標データを取得する第１の取得手段と、
所定の付加情報が付加された第１の画像データを取得する第２の取得手段と、
前記第１の取得手段を通じて取得した前記第１の座標データに対応する表示装置部の表示画面上の位置を示す位置データと、前記第２の取得手段を通じて取得した前記第１の画像データとを関連付ける第１の関連付け手段と
を備えることを特徴とする。
In order to solve the above-mentioned problem, an image information processing apparatus according to
First acquisition means for acquiring first coordinate data indicating the coordinate position from a sensor unit that detects the coordinate position indicated by the indicator;
Second acquisition means for acquiring first image data to which predetermined additional information is added;
Position data indicating a position on the display screen of the display device unit corresponding to the first coordinate data acquired through the first acquisition unit, and the first image data acquired through the second acquisition unit. And first associating means for associating.
請求項１に記載の画像情報処理装置によれば、センサ部は、指示体により指示された座標位置を検出することができるものである。第1の取得手段は、当該センサ部から検出された座標位置を示す第１の座標データを取得する。第２の取得手段は、所定の付加情報が付加された第１の画像データを取得する。すなわち、所定の付加情報が付加された第１の画像データは、指示体により指示された位置への関連付け対象の画像データであると認識され、関連付けに用いることが可能な画像データとして認証されたものとなる。 According to the image information processing apparatus of the first aspect, the sensor unit can detect the coordinate position instructed by the indicator. The first acquisition unit acquires first coordinate data indicating the coordinate position detected from the sensor unit. The second acquisition means acquires first image data to which predetermined additional information is added. That is, the first image data to which the predetermined additional information is added is recognized as image data to be associated with the position designated by the indicator, and is authenticated as image data that can be used for association. It will be a thing.
第１の関連付け手段は、第１の取得手段を通じて取得した第１の座標データに対応する表示装置部の表示画面上の位置を示す位置データと、第２の取得手段を通じて取得した第１の画像データとを関連付けて、利用可能にする。例えば、関連付けた位置データと第２の画像データとを表示装置部に提供し、当該位置データにより特定される表示画面上の位置に、第１の画像データに応じた画像を表示するといったことが可能になる。 The first associating means includes position data indicating a position on the display screen of the display unit corresponding to the first coordinate data obtained through the first obtaining means, and a first image obtained through the second obtaining means. Associate with data and make it available. For example, the associated position data and the second image data are provided to the display device unit, and an image corresponding to the first image data is displayed at a position on the display screen specified by the position data. It becomes possible.
この発明によれば、指示体により指示された位置に関連付けられる画像データを取得して表示可能にできる。これにより、ユーザが指定した座標位置に画像を迅速に取得して利用できるようにすることができる。 According to the present invention, it is possible to acquire and display image data associated with the position designated by the indicator. Thereby, an image can be quickly acquired and used at the coordinate position designated by the user.
以下、図を参照しながら、この発明の装置、方法の実施の形態について説明する。以下おいては、情報処理装置部と表示装置部と入力装置部とが一体に構成されたタブレット型情報端末にこの発明を適用した場合を例にして説明する。 Embodiments of the apparatus and method of the present invention will be described below with reference to the drawings. Hereinafter, a case where the present invention is applied to a tablet information terminal in which an information processing device unit, a display device unit, and an input device unit are integrated will be described as an example.
［第１の実施の形態］
以下に説明する第１の実施の形態のタブレット型情報端末は、ユーザの指や電子ペンによって指示され、入力装置部が検出した指示位置に対応する表示装置部の表示画面（例えば、アプリケーションのウィンドウ画面等）上の座標位置に、画像を関連付けるようにする。この場合、関連付け対象の画像は、関連付け対象の画像であることを示す情報として所定の付加情報（関連付け画像特定情報）が付加されている画像データを取得し、この取得した画像データに応じた画像を関連付けする。
[First Embodiment]
The tablet-type information terminal according to the first embodiment described below is indicated by a display screen (for example, an application window) of a display device corresponding to an indicated position that is indicated by a user's finger or an electronic pen and detected by an input device. The image is associated with the coordinate position on the screen. In this case, the image to be associated is acquired image data to which predetermined additional information (association image specifying information) is added as information indicating that the image is to be associated, and an image corresponding to the acquired image data Associate.
これにより、関連付け対象とされた写真などの適切な画像を迅速に取得して、これを電子ペンにより指示された表示画面上の座標位置に関連付けして利用することができるものである。すなわち、以下に説明する第１の実施の形態のタブレット型情報端末は、関連付け用の特別な画像のみを取得し、この画像と電子ペンによる指示位置に応じた座標データとを関連付けて、利用することができるものである。 As a result, an appropriate image such as a photograph to be associated can be quickly acquired and associated with the coordinate position on the display screen instructed by the electronic pen. That is, the tablet-type information terminal according to the first embodiment described below acquires only a special image for association, and associates and uses this image and coordinate data corresponding to the position indicated by the electronic pen. It is something that can be done.
さらに、電子ペンから入力装置部などへ送信される信号にも認証用の第１の付加情報を付加しておく。この第１の付加情報と、写真などの画像データに付加される所定の付加情報（関連付け画像特定情報）である第２の付加情報とに基づいて、関連付け対象の画像データであって、電子ペンに関連付けられる画像データとして認証が取れた画像データを取得するようにすることもできる。そして、この取得した画像と電子ペンによる指示位置に応じた座標データとを関連付けて、利用することができる。 Further, the first additional information for authentication is also added to a signal transmitted from the electronic pen to the input device unit or the like. On the basis of the first additional information and second additional information that is predetermined additional information (association image specifying information) added to image data such as a photo, It is also possible to acquire authenticated image data as image data associated with the. Then, the acquired image can be used in association with the coordinate data corresponding to the position indicated by the electronic pen.
以下においては、電子ペンから入力装置部などへ送信される信号に付加される第１の付加情報と、関連付け対象となる写真などの画像データに付加される所定の付加情報（関連付け画像特定情報）である第２の付加情報との両方を用いる場合を中心に説明する。すなわち、関連付け対象の画像データであって、電子ペンに関連付けられる画像データとして認証が取れた画像データを取得し、この取得した画像と電子ペンによる指示位置に応じた座標データとを関連付けて利用する場合を中心に説明する。 In the following, first additional information added to a signal transmitted from the electronic pen to the input device unit and the like, and predetermined additional information added to image data such as a photograph to be associated (association image specifying information) A case where both the second additional information and the second additional information are used will be mainly described. In other words, image data that is subject to association and that has been authenticated as image data associated with the electronic pen is acquired, and the acquired image is used in association with coordinate data corresponding to the indicated position by the electronic pen. The case will be mainly described.
図１は、第１の実施の形態のタブレット型情報端末１及び電子ペン２の外観の一例を示す図である。タブレット型情報端末１は、その前面から、表示装置部２００の例えばＬＣＤ（Liquid Crystal Display）などの比較的に大きな表示画面２２０が露呈する構成を有する。表示画面２２０の表面又は裏面には、表示画面２２０の全面に対応するように設けられたセンサ部（座標センサ）３２０を有する入力装置部３００が搭載されている。
FIG. 1 is a diagram illustrating an example of the external appearance of a
このため、入力装置部３００は、表示装置部２００の表示画面２２０上のどの位置を位置指示器である電子ペン２によって指し示した場合にも、その指示位置が検出できる。そして、検出したセンサ部３２０上の指示位置は、表示画面２２０上の位置に対応付けられるようになっている。また、タブレット型情報端末１の筐体内部には、表示装置部２００や入力装置部３００が接続され、種々の情報処理を行う情報処理装置部１００が搭載されている。
Therefore, the
このように、タブレット型情報端末１においては、入力装置部３００が入力デバイスとなり、表示装置部２００が表示デバイス（出力デバイス）となっている。また、タブレット型情報端末１に対しては、電源ボタン１１８Ａを操作することにより、電源のオン／オフをすることができるようになっている。
Thus, in the tablet
そして、タブレット型情報端末１において、表示画面２２０上で、電子ペン２により位置指示操作がされたとする。この場合、電子ペン２から位置指示信号が、入力装置部３００のセンサ部３２０に対して送信される。そして、表示画面２２０の全面に対応して設けられたセンサ部３２０からの検出出力に基づいて、入力装置部３００が備えるＣＰＵ（Central Processing Unit）などのコントローラが、センサ部３２０上の指示位置であって、表示画面２２０上での指示位置を特定する。
In the
また、後述もするが、この実施の形態において、電子ペン２は、自機の識別ＩＤ（ペンＩＤ）などの付加情報（第１の付加情報）を含む位置指示信号をセンサ部３２０に送信する。入力装置部３００が備えるコントローラは、センサ部３２０を通じて受信する電子ペン２からの位置指示信号から第１の付加情報を抽出することができる。入力装置部３００のコントローラは、特定した指示位置を示す座標データや抽出した第１の付加情報を、情報処理装置部１００に供給する。情報処理装置部１００は、入力装置部３００からの座標データや第１の付加情報を用いて処理を行うことができる。
As will be described later, in this embodiment, the
なお、第１の付加情報は、電子ペン２から入力装置部３００に送信される位置指示信号に含めるのではなく、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの近距離無線通信によって、情報処理装置部１００に送信することもできる。この場合には、電子ペン２側に近距離無線通信のための送信部を設け、情報処理装置部１００側に近距離無線通信のための受信部を設ける必要がある。
Note that the first additional information is not included in the position indication signal transmitted from the
情報処理装置部１００は、入力装置部３００を通じて受け付けたユーザからの指示入力に応じて種々の処理を行う。情報処理装置部１００は、例えば、ユーザからの指示に応じて、表示画面２２０に設計図などのドキュメントを表示する。そして、情報処理装置部１００は、写真などの画像データを取得して、表示した当該ドキュメント上のユーザにより指示された位置に、取得した写真などの画像データに応じた画像を貼りつけるようにして表示するなどのことができるようにされる。
The information
電子ペン２は、入力装置部３００のセンサ部３２０上の位置を指示する信号であって、自機の識別ＩＤであるペンＩＤを含む位置指示信号を送信し、当該センサ部３２０上の座標位置を指示する。当該位置指示信号には、ペンＩＤが含まれているので、これを入力装置部３００において抽出し、情報処理装置部１００に通知し、これを情報処理装置部１００において利用できるようにしている。この実施の形態においては、電子ペン２から送信される位置指示信号に含まれるペンＩＤが第１の付加情報として用いられる。
The
また、この実施の形態の電子ペン２は、カメラユニット２２を備えると共に、ケーブル２４を通じてタブレット型情報端末１に対して有線接続されている。電子ペン２は、自機に搭載されたカメラユニット２２を通じて被写体を撮像することにより得た画像データを、ケーブル２４を通じてタブレット型情報端末１に送信できる。この場合、電子ペン２は、画像データだけでなく、画像データに対して自機の識別情報であるペンＩＤを付加して、タブレット型情報端末１に送信する。なお、電子ペン２からの画像データに付加されたペンＩＤが所定の付加情報（関連付け画像特定情報）である第２の付加情報として用いられる。
The
これにより、タブレット型情報端末１において、電子ペン２からの位置指示信号に含まれるペンＩＤ（第１の付加情報）と、電子ペン２で撮像された画像データに付加されているペンＩＤ（第２の付加情報）とに基づいて、両者が関連付けられる。この例の場合、第１の付加情報と第２の付加情報とは共に電子ペン２のペンＩＤである。このため、電子ペン２のペンＩＤが付加された画像データは、関連付け対象の画像データであって、電子ペン２と関連付けられる認証が取れた画像データということになる。
Thereby, in the tablet-
図２は、この実施の形態のタブレット型情報端末１の構成例を説明するためのブロック図である。タブレット型情報端末１は、情報処理装置部１００に対して、Ｉ／Ｏ（input/output）ポート１３０を介して表示装置部２００が接続され、Ｉ／Ｏポート１４０を介して入力装置部３００が接続されて構成されている。
FIG. 2 is a block diagram for explaining a configuration example of the
情報処理装置部１００は、タブレット型情報端末１の全体を制御するものであり、以下に説明するように、種々の機能部を備える。送受信アンテナ１０１Ａと無線通信部１０１とは、ネットワークへの接続機能を実現する。ネットワークは、主にインターネットであるが、情報処理装置部１００からインターネットまでを接続する携帯電話網や公衆電話網などの種々のネットワークを含む。
The information
制御部１０２は、図示しないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備える。制御部１０２は、種々のプログラムを実行し、情報処理装置部１００の各部と情報処理装置部１００に対して接続された表示装置部２００及び入力装置部３００を制御する。
Although not shown, the
メモリ部１０３は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメメモリなどの不揮発性メモリを備える。このメモリ部１０３には、例えば、設定データやアプリケーションプログラムなどのタブレット型情報端末１の電源が落とされても保持しておく必要のある情報が記憶保持される。
The
写真フォルダ１０４は、主に電子ペン２のカメラユニット２２を通じて被写体を撮像することにより得られた画像データであって、ペンＩＤが付加された画像データを記憶保持する。なお、以下においては、カメラユニット２２を通じて被写体を撮像することにより得られた画像データを写真データと記載する。この写真データが、第１の画像データであり、当該写真データに付加されたペンＩＤなどの付加情報が第２の付加情報である。
The
また、図面等ＤＢ（Data Base）１０５は、タブレット型情報端末１で利用する種々の図面の画像データを記憶保持する。なお、以下においては、タブレット型情報端末１で利用する図面の画像データを図面データと記載する。この図面データが、後述もするように、写真データに応じた写真の関連付け対象となる第２の画像データである。
A drawing DB (Data Base) 105 stores and holds image data of various drawings used in the
図３は、図面等ＤＢ１０５に格納される格納データである図面ファイルの例を説明するための図である。また、図４は、写真フォルダ１０４に格納される格納データである写真ファイルの例を説明するための図である。まず、図３を用いて、図面等ＤＢ１０５の格納データについて説明する。この実施の形態のタブレット型情報端末１の図面等ＤＢ１０５には、当該タブレット型情報端末１を用いて点検を行う施設の設計図面を形成する図面データが記憶保持される。設計図面は、後述もするが、点検を行う施設の点検箇所を特定する場合に用いることができる施設の全体図（図３（Ａ））と、それぞれの点検箇所の複数のエリア設計図（図３（Ｂ））とからなる。
FIG. 3 is a diagram for explaining an example of a drawing file that is stored data stored in the
図面等ＤＢ１０５の格納データである図面ファイルは、図３（Ａ）、（Ｂ）に示すように、設計図面を形成する図面データに対して、施設ＩＤ及び施設名称、種別、フロアー、エリアＩＤ、枝番といったメタデータが付加されたものである。なお、図３（Ｂ）に示すエリア設計図には、詳しくは後述するが基地局ＩＤが付されている。
As shown in FIGS. 3 (A) and 3 (B), the drawing file which is the storage data of the
この実施の形態において、施設ＩＤは、３桁の数字である。施設名称は、施設の具体的な名称であり、図３（Ａ）、（Ｂ）において施設名称は、「□□化学プラント」となっている。種別は、当該設計図面がどのような図面なのかを示すものであり、例えば、全体図、エリア設計図の別が示される。 In this embodiment, the facility ID is a three-digit number. The facility name is a specific name of the facility, and in FIGS. 3A and 3B, the facility name is “□□ chemical plant”. The type indicates what kind of drawing the design drawing is, and indicates, for example, an overall view or an area design drawing.
フロアー（階）は、その設計図面が対応する場所が何階なのかを示す情報である。エリアＩＤは、その設計図面が対応する場所（エリア）を一意に特定可能な情報である。基地局ＩＤは、各点検対象エリアに設置されている基地局からのビーコン信号を受信し、このビーコン信号に含まれる基地局ＩＤに基づいて、点検対象エリアを自動的に特定すると共に、対応するエリア設計図を特定する場合に用いられる情報である。 The floor (floor) is information indicating the floor number corresponding to the design drawing. The area ID is information that can uniquely identify a place (area) corresponding to the design drawing. The base station ID receives a beacon signal from a base station installed in each inspection target area, automatically specifies the inspection target area based on the base station ID included in the beacon signal, and corresponds to the base station ID. This is information used when an area design drawing is specified.
枝番は、エリアＩＤによって特定される場所（エリア）に対応する設計図面が複数ある場合にそれらを区別するための番号である。例えば、エリアＩＤが「Ａ０１」により示される場所（エリア）に、複数枚のエリア設計図面などが存在する場合に。枝番は、「０１」、「０２」、「０３」、…のように示される。したがって、「エリアＩＤ」と「枝番」によって、各エリアのエリア設計図が一意に特定できる。 The branch number is a number for distinguishing between a plurality of design drawings corresponding to a place (area) specified by the area ID. For example, when there are a plurality of area design drawings or the like in a place (area) indicated by an area ID “A01”. Branch numbers are indicated as “01”, “02”, “03”,. Therefore, the area design drawing of each area can be uniquely specified by “area ID” and “branch number”.
なお、この実施の形態では、各点検対象エリアに設置されている基地局からのビーコン信号を受信して、点検対象エリアとエリア設計図とを特定するために基地局ＩＤを利用するものとして説明する。しかし、これに限るものではない。例えば、点検対象エリアの入口付近に掲示されているＱＲコード（登録商標）やバーコードなどを、タブレット型情報端末１の図示しない撮像部を通じて読み取って、点検対象エリアを特定してもよい。この場合には、図３（Ｂ）に示した基地局ＩＤが、ＱＲコード（登録商標）やバーコードに対応する情報となる。
In this embodiment, it is assumed that a base station ID is used to receive a beacon signal from a base station installed in each inspection target area and specify the inspection target area and the area design drawing. To do. However, it is not limited to this. For example, the inspection target area may be identified by reading a QR code (registered trademark) or a barcode posted near the entrance of the inspection target area through an imaging unit (not shown) of the
この他にも、赤外線信号の送信器を点検対象エリアごとに設置し、タブレット型情報端末１に赤外線通信機能を設けておく。これにより、赤外通信により点検対象エリアを特定する情報を送受するようにして、点検対象エリアとエリア設計図とを特定するように構成することもできる。また、屋内であっても、ＧＰＳ機能により現在位置が正確に測位可能な場合には、当該ＧＰＳ機能により測位される現在位置と全体図とに基づいて、点検対象エリアを特定し、その点検対象エリアのエリア設計図を特定するように構成することもできる。
In addition, an infrared signal transmitter is installed for each area to be inspected, and the
そして、図面等ＤＢ１０５に格納される図面ファイルのうちの全体図の図面ファイルは、図３（Ａ）に示すように、施設ＩＤ及び名称が「００１：□□化学プラント」で、種別が「０１：全体図」というメタデータが付されたものである。全体図の図面ファイルについてのその他の情報であるフロアー、エリアＩＤ、枝番は、空欄になっている。
Of the drawing files stored in the drawing etc.
また、図面等ＤＢ１０５に格納される図面ファイルのうちの全体図以外のエリア設計図などの図面データは、図３（Ｂ）に示すように、施設ＩＤ及び名称は、全体図の場合と同様である。そして、種別は例えば「０２：エリア設計図」で、基地局ＩＤは「ａａａ…」で、フロアーは例えば「０１：１階」で、エリアＩＤが例えば「Ａ０１：コントロールルーム」で、枝番が例えば「０１：正面」のように、各図面に対応した情報が付加される。
In addition, the drawing data such as the area design drawing other than the whole drawing in the drawing file stored in the drawing etc.
このように、図面等ＤＢ１０５には、点検する施設についての種々の図面毎に、各図面を形成する図面データに対してメタデータが付加されることにより、図面ファイルとして記憶保持されている。なお、図面等ＤＢ１０５には、点検対象の施設のすべての図面についての図面ファイルを格納しておくようにしてもよいし、インターネット上のサーバ装置に点検対象の施設のすべての図面についての図面ファイルを格納しておき、必要となる図面の図面ファイルだけをダウンロードして保持しておくようにすることもできる。
In this manner, the drawing etc.
次に、図４を用いて、写真フォルダ１０４の格納データである写真ファイルについて説明する。この実施の形態のタブレット型情報端末１の写真フォルダ１０４には、例えば、外部の撮像装置を通じて被写体を撮像することにより得られ写真データを有する写真ファイルが記憶保持される。したがって、タブレット型情報端末１に有線接続された電子ペン２のカメラユニット２２を通じて被写体を撮像することにより得られた写真データを有する写真ファイルなどが、写真フォルダ１０４に格納される。写真フォルダ１０４に格納される写真ファイルは、図４に示すように、写真データに対して、写真ＩＤ、付加情報、手書きメモデータなどが付加されて構成される。
Next, referring to FIG. 4, a photo file that is stored data in the
写真ＩＤは、当該写真データを一意に特定するための識別情報であり、この実施の形態では、タブレット型情報端末１が当該写真データを取得したときに、タブレット型情報端末１において付与される情報である。付加情報は、撮影時に撮像装置において付加された情報であり、例えば、撮像日時、撮影場所、ペンＩＤなどの装置ＩＤ、その他の情報などからなる。
The photograph ID is identification information for uniquely identifying the photograph data, and in this embodiment, information provided in the
撮像日時は、撮像時において撮像装置の時計回路から取得される年月日及び時刻を示す情報である。撮像場所は、撮像時において撮像装置のＧＰＳ部から取得される緯度・経度である。ペンＩＤは、電子ペン２のカメラユニット２２により撮像された画像データの場合に、付加されている情報であり、電子ペン２を一意に特定可能な電子ペンの識別情報である。なお、電子ペン２のカメラユニット２２により撮像された画像データに付加される付加情報は、この実施の形態では、説明を簡単にするためペンＩＤのみが付加されるものとして説明する。
The imaging date and time is information indicating the date and time acquired from the clock circuit of the imaging device at the time of imaging. The imaging location is the latitude / longitude acquired from the GPS unit of the imaging device at the time of imaging. The pen ID is information added in the case of image data captured by the
すなわち、撮像日時、撮像場所、ペンＩＤなどのすべての情報が必ず写真データに対して付加されるものではなく、デジタルカメラで撮像された写真データにはペンＩＤではなく、カメラＩＤといった機器ＩＤが付加されえる。また、時計回路やＧＰＳ機能を備えない撮像装置の場合には、これらの情報は付加されない。もちろん、撮像日時、撮影場所、ペンＩＤなどの装置ＩＤの他にも、例えば、Ｅｘｉｆ（Exchangeable image file format）規格に準拠した種々の付加情報を付加することもできる。 That is, not all information such as imaging date / time, imaging location, and pen ID is always added to the photo data, and the photo data captured by the digital camera has a device ID such as a camera ID instead of a pen ID. Can be added. In addition, in the case of an imaging device that does not have a clock circuit or a GPS function, these pieces of information are not added. Of course, in addition to the device ID such as the shooting date and time, the shooting location, and the pen ID, for example, various additional information based on the Exif (Exchangeable image file format) standard can be added.
また、写真データに対しては、タブレット型情報端末１のユーザによって入力された手書きメモ（筆跡データ）も付加することができるようになっている。このように、写真フォルダ１０４に記憶保持される写真ファイルは、写真データに対して、写真ＩＤと付加情報からなるメタデータが付加されて構成されたものであり、必要に応じて手書きメモデータを付加することもできるようになっている。
Also, handwritten memos (handwriting data) input by the user of the
そして、上述もしたが、写真フォルダ１０４に記憶保持されている写真ファイルの写真データが、第１の画像データであり、図面等ＤＢ１０５に記憶保持されている図面ファイルの図面データが第２の画像データである。また、後述もするが、電子ペン２からの位置指示信号に含まれるペンＩＤが第１の付加情報であり、写真フォルダ１０４に記憶保持されている写真ファイルの写真データに付加されている付加情報が第２の付加情報であり、特にペンＩＤが第２の付加情報として重要である。
As described above, the photo data of the photo file stored and held in the
次に、情報処理装置部１００の各処理部について説明する。写真取得部１０６は、後述する入力装置部３００のセンサ部３２０に対して位置指示を行った電子ペン２と関連付けられる写真データを写真フォルダ１０４から取得する処理を行う。第１関連付け部１０７は、電子ペン２によって位置指示された入力装置部３００のセンサ部３２０上の座標位置に対応する表示装置部２００の表示画面２２０上の座標位置（座標データ）と、写真取得部１０６によって取得された写真データとを関連付ける処理を行う。
Next, each processing unit of the information
上述したように、入力装置部３００のセンサ部３２０と表示装置部２００の表示画面２２０とは、重畳配置されており、センサ部３２０の検出エリアと表示画面２２０の表示エリアとは一致している。このため、センサ部３２０上の指示位置は、一意に表示画面２２０上の位置に対応しており、センサ部３２０上の指示位置に対応する表示画面２２０上の位置は、一意に特定することができるようになっている。
As described above, the
写真関連付け部１０８は、第１関連付け部１０７によって関連付けられた座標位置と写真データとを用い、当該座標位置に対する表示装置部２００の表示画面２２０上の位置に、当該写真データに応じた画像を関連付けて（貼り付けて）表示する処理を行う。撮像制御部１０９は、有線接続された電子ペン２のカメラユニット２２を制御する処理を行う。
The
ファインダ制御部１１０は、有線接続された電子ペン２のカメラユニットを通じて被写体を撮像する場合に、電子ペン２のカメラユニット２２が捉えている被写体の映像（動画像）を、表示装置部２００の表示画面に表示エリアを設けて表示する処理を行う。電子ペン２は、一般的な万年筆やボールペンとほぼ同じ大きさ、形状のものであり、電子ペン２には、いわゆるファインダとして機能する表示部を設けることができないためである。
When the
図面取得部１１１は、タブレット型情報端末１のユーザからの指示に応じて、あるいは、タブレット型情報端末１の所在位置に応じて、点検すべき施設の全体図や点検場所のエリア設計図などを形成する図面データを、図面等ＤＢ１０５から取得する処理を行う。図面表示処理部１１２は、図面取得部１１１によって取得した図面データに応じた図面を表示装置部２００の表示画面２２０に表示したり、ユーザからの指示に応じて、表示した図面を、拡大／縮小したり、表示部分をずらしたり（移動したり）するなどの処理を行う。
The
座標変換部１１３は、電子ペン２によって位置指示された入力装置部３００のセンサ部３２０上の座標位置を、表示装置部２００の表示画面に表示された図面上の座標位置に変換する処理を行う。第２関連付け部１１４は、第２の画像データである図面データと、座標変換部１１３により変換された当該図面上の座標位置と、第１の画像データである写真データとを関連付ける処理を行う。
The coordinate
ここで、図面データは、図面表示処理部１１２によって表示装置部２００の表示画面に表示された設計図面を形成するものである。図面上の座標位置は、座標変換部１１３によって変換された電子ペン２の指示位置に対応する表示画面に表示された図面上の座標位置である。第１の画像データである写真データは、写真取得部１０６によって取得されたものである。これにより、目的とする図面上の目的とする座標位置に、写真データに応じた画像を関連付ける（貼り付ける）ことができるようにされる。
Here, the drawing data forms a design drawing displayed on the display screen of the
写真表示処理部１１５は、写真取得部１０６によって取得された写真データに応じた画像（写真）を表示装置部２００の表示画面２２０に表示する処理を行う。そして、編集処理部１１６は、写真表示処理部１１５により表示装置部２００の表示画面２２０に表示された画像の拡大／縮小、移動などの編集処理を行う。モード切替部１１７は、電子ペン２による入力装置部３００のセンサ部３２０への指示操作が、撮影した写真などの関連付け位置を指示する操作になる写真関連付けモード、写真の編集モード、通常の処理モードなど、各処理モードの切り替え制御を行う。
The photo
操作部１１８は、電源ボタン１１８Ａや幾つかのファンクションキーを備えた部分である。外部Ｉ／Ｆ（Ｉ／ＦはInterfaceの略称）１１９は、外部機器の接続を受け付け、当該外部機器との間でデータの送受信を可能にする。近距離無線通信部１２０及び近距離無線通信アンテナ１２０Ａは、例えば、Ｗｉ−Ｆｉ（登録商標）規格の無線ＬＡＮ（Local Area Network）により近距離通信を可能にする部分である。
The
Ｉ／Ｏポート１３０、１４０は、Ｉ２Ｃ（Inter-Integrated Circuit）やＵＳＢ（Universal Serial Bus）などの所定の通信方式に合致した入出力ポートである。Ｉ／Ｏポート１３０は、情報処理装置部１００と表示装置部２００との間のデータの送受を可能にし、Ｉ／Ｏポート１４０は、情報処理装置部１００と入力装置部３００との間のデータの送受を可能にする。
The I /
表示装置部２００は、コントローラ２１０と、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどの薄型の表示画面（表示素子）とからなる。コントローラ２１０は、ＣＰＵ、不揮発性メモリを備えたマイクロプロセッサである。
The
入力装置部３００は、コントローラ３１０とセンサ部３２０とからなる。コントローラ３１０は、ＣＰＵ、不揮発性メモリを備えたマイクロプロセッサである。センサ部３２０は、Ｘ軸方向（横方向）に配置された導電線群と、Ｙ軸方向（縦方向）に配置された導電線群とが積層されて構成された部分である。入力装置部３００は、電子ペン２からの位置指示信号をセンサ部３２０で受信し、センサ部３２０上のどの位置において位置指示信号を受信したかを、コントローラ３１０を用いて検出する。また、コントローラ３１０は、センサ部３２０を通じて受信した電子ペン２からの位置指示信号に含まれるペンＩＤなどの付加情報や筆圧を示す情報などを抽出する。
The
そして、入力装置部３００のコントローラ３１０は、検出した指示位置に対応する座標データや抽出した付加情報や筆圧情報を情報処理装置部１００に供給する。また、入力装置部３００の構成としては、電磁誘導方式や静電容量方式などが存在し、電子ペン２も入力装置部３００が採用する方式に対応するものとなる。
Then, the
図５は、この実施の形態の電子ペン２の構成例を説明するためのブロック図である。図５に示すように、電子ペン２は、電子ペン機能部２１と、カメラユニット２２と、Ｉ／Ｆ（Interface）２３とからなる。電子ペン機能部２１は、ペンＩＤを記憶したメモリ２１Ｍを備え、ペン先がタブレット型情報端末１のセンサ部上に接触するようにされると、筆圧を検出し、当該筆圧とペンＩＤを含む位置指示信号を形成して送信する。
FIG. 5 is a block diagram for explaining a configuration example of the
電子ペン２のカメラユニット２２は、ＣＣＤやＣＭＯＳイメージセンサなどの撮像素子、フレームメモリ、対物レンズ、コントローラなどを備える。そして、カメラユニット２２は、被写体の画像を取り込むようにし、これを動画像データとしてタブレット型情報端末１に供給したり、タブレット型情報端末１からの制御に応じて、被写体の画像を静止画像データとして取り込んで、これをタブレット型情報端末１に供給したりする。なお、被写体を撮像することにより得た静止画像データ（写真データ）には、メモリ２１Ｍに記憶保持されているペンＩＤが付加される。
The
Ｉ／Ｆ２３は、タブレット型情報端末１との間でのデータの送受信を可能にする。Ｉ／Ｆ２３は、カメラユニット２２からの写真データをタブレット型情報端末１に送信するだけでなく、タブレット型情報端末１からの制御信号を受信してカメラユニット２２のコントローラに供給し、タブレット型情報端末１を通じてカメラユニット２２を制御することができるようにしている。
The I /
図６は、この実施の形態のタブレット型情報端末１と電子ペン２との接続関係を説明するための図である。図６に示すように、情報処理装置部１００に対しては、Ｉ／Ｏポート１４０を通じて入力装置部３００が接続されている。このため、入力装置部３００のセンサ部３２０上に電子ペン２を接触させるようにすると、電子ペン２から位置指示信号がセンサ部３２０で受信され、コントローラ３１０を通じて指示位置を示す座標データ（Ｘ，Ｙ）が検出されると共に、筆圧ＰＳ、ペンＩＤが抽出され、これらが情報処理装置部１００に供給されるようになっている。
FIG. 6 is a diagram for explaining a connection relationship between the
また、電子ペン２のＩ／Ｆ２３と情報処理装置部１００の外部Ｉ／Ｆ１１９とがケーブル２４によって接続されている。このため、電子ペン２のカメラユニット２２を通じて撮影された画像の写真データや付加情報としてのペンＩＤなどが、ケーブル２４を通じて情報処理装置部１００に供給される。また、情報処理装置部１００から電子ペン２に対する撮像を指示する制御信号などが、ケーブル２４を通じてカメラユニット２２に供給されるようになっている。
Further, the I /
このように、タブレット型情報端末１と電子ペン２とは、入力装置部３００を通じて座標の指示入力が行われる座標指示系統によって接続される。また、タブレット型情報端末１と電子ペン２とは、外部Ｉ／Ｆ１１９とＩ／Ｆ２３とをケーブル２４を通じて接続した系統であって、主に写真データの入力が行われる写真入力系統によって接続される。タブレット型情報端末１と電子ペン２とは、これら２系統によって接続可能にされ、それぞれの系統で異なる情報の送受ができるようになっている。
As described above, the tablet-
図１〜図６を用いて説明したこの実施の形態のタブレット型情報端末１と電子ペン２とを用いることにより、所定の施設の点検作業を適切に行うことができるようにされる。点検作業にあたっては、タブレット型情報端末１において、点検処理（点検作業用アプリケーション）を実行する。以下においては、この実施の形態のタブレット型情報端末１において行われる点検処理について、具体的に説明する。
By using the tablet-
図７〜図１０は、タブレット型情報端末１の情報処理装置部１００で実行される処理を説明するためのフローチャートである。また、図１１〜図１４は、点検処理が実行された場合に、情報処理装置部１００により表示装置部２００の表示画面に表示される画像の表示例について説明するための図である。
7 to 10 are flowcharts for explaining processing executed by the information
タブレット型情報端末１の操作部１１８の電源ボタン１１８Ａが操作されて、タブレット型情報端末１に電源が投入されると、図７〜図１０に示す処理が、情報処理装置部１００の制御部１０２において実行される。まず、制御部１０２は、自機において実行可能な処理（アプリケーション）に対応した複数のアイコンが表示された初期画面を表示装置部２００の表示画面に表示する処理を行う（ステップＳ１０１）。次に、制御部１０２は、入力装置部３００や操作部１１８を通じて、アイコンの選択入力などの操作入力を受け付ける（ステップＳ１０２）。
When the power button 118A of the
そして、制御部１０２は、ステップＳ１０２において、処理の終了を指示する操作入力を受け付けたか否かを判別する（ステップＳ１０３）。制御部１０２は、ステップＳ１０３の判別処理において、例えば、電源ボタン１１８Ａを操作するなどの所定の終了操作が行われたと判別した時には、タブレット型情報端末１の電源を落とすようにする所定の終了処理を実行し（ステップＳ１０４）、この図７〜図１０に示す処理を終了する。
Then, in step S102, the
ステップＳ１０３の判別処理において、所定の終了操作は行われていないと判別した時には、点検処理を実行するためのアイコンが選択されたか否かを判別する（ステップＳ１０５）。ステップＳ１０５の判別処理において、点検処理を実行するためのアイコンは選択されていないと判別したときには、ユーザによって選択されたアイコンに対応する処理を実行し（ステップＳ１０６）、当該処理が終了したら、ステップＳ１０１からの処理を繰り返すようにする。 In the determination process of step S103, when it is determined that the predetermined end operation has not been performed, it is determined whether or not an icon for executing the inspection process has been selected (step S105). In the determination process of step S105, when it is determined that the icon for executing the inspection process is not selected, a process corresponding to the icon selected by the user is executed (step S106). The processing from S101 is repeated.
そして、ステップＳ１０５の判別処理において、点検処理を実行するためのアイコンが選択されたと判別したとする。この場合、まず、制御部１０２は、メモリ部１０３に予め登録されている、当該タブレット型情報端末１を用いて点検作業が行える施設の一覧リストである点検施設選択画面を表示装置部２００の表示画面に表示する（ステップＳ１０７）。
Then, in the determination process in step S105, it is determined that an icon for executing the inspection process is selected. In this case, first, the
図１１（Ａ）は、ステップＳ１０７で表示される点検施設選択画面の例を説明するための図である。図１１（Ａ）に示した点検施設選択画面では、タブレット型情報端末１を用いて点検作業が行える施設の施設ＩＤと施設名称の一覧が表示される。当該一覧の表示では、選択カーソルＣＳが、最上位の施設ＩＤと名称の表示欄に位置付けられ、点検を行う施設の選択が可能にされる。
FIG. 11A is a diagram for explaining an example of the inspection facility selection screen displayed in step S107. In the inspection facility selection screen shown in FIG. 11A, a list of facility IDs and facility names of facilities that can be inspected using the tablet-
すなわち、目的とする施設の施設ＩＤと施設名称の表示欄に電子ペン２のペン先を接触させるようにすることにより、当該指示位置に応じた座標データが入力装置部３００から情報処理装置部１００に供給される。これにより、制御部１０２は、入力装置部３００から座標データに基づいて、選択カーソルＣＳを、電子ペン２により指示された位置の施設ＩＤと施設名称の表示欄に位置付けることができる。このように、ユーザは、選択カーソルＣＳを、目的とする施設ＩＤと施設名称の表示欄に位置付けることができる。
That is, by bringing the pen tip of the
そして、点検施設選択画面の下端側には「戻る」ボタンＢ１と「ＯＫ」ボタンＢ２とが表示され、そのそれぞれに対して電子ペン２により操作入力を行うことができる。制御部１０２は、入力装置部３００を通じて、選択カーソルＣＳの移動操作や「戻る」ボタンＢ１や「ＯＫ」ボタンＢ２に対する操作入力を受け付ける。ステップＳ１０８では、「戻る」ボタンＢ１か「ＯＫ」ボタンＢ２が操作されるまで操作入力が求められる。
A “return” button B1 and an “OK” button B2 are displayed on the lower end side of the inspection facility selection screen, and an operation input can be performed with the
そして、制御部１０２は、ステップＳ１０８において、「戻る」ボタンが操作されたか否かを判別する（ステップＳ１０９）。ステップＳ１０９の判別処理において、「戻る」ボタンＢ１が操作されたと判別した時には、制御部１０２は、ステップＳ１０１からの処理を繰り返すようにする。これにより、ユーザは、再度、目的とする処理を選択して、実行するように操作を行うことができるようにされる。
Then, in step S108, the
ステップＳ１０９の判別処理において、「戻る」ボタンＢ１は操作されていないと判別された時には、「ＯＫ」ボタンＢ２が操作されたと判別し、制御部１０２は、選択カーソルＣＳが位置付けられている施設ＩＤと施設名称によって特定される施設を、点検対象の施設として特定する。この実施の形態においては、図１１（Ａ）に示したように、最上段の施設ＩＤが「００１」で、施設名称が「□□化学プラント」の表示欄に選択カーソルＣＳが位置付けられて、「ＯＫ」ボタンＢ２が操作されて選択されたとする。
When it is determined that the “return” button B1 is not operated in the determination process of step S109, it is determined that the “OK” button B2 is operated, and the
この場合、制御部１０２は、施設ＩＤが「００１」の「□□化学プラント」の全体図を、表示装置部２００の表示画面２２０に表示する処理を行う（ステップＳ１１０）。ステップＳ１１０において制御部１０２は、まず、図面取得部１１１を制御し、選択された施設ＩＤが「００１」の「□□化学プラント」の全体図の図面データを、図面等ＤＢ１０５から取得する。次に、制御部１０２は、図面表示処理部１１２を制御し、図面取得部１１１が取得した図面データに応じた全体図を、表示装置部２００の表示画面２２０に表示する。
In this case, the
図１１（Ｂ）は、ステップＳ１１０で表示される、点検する施設（点検対象施設）として選択された施設ＩＤが「００１」で、名称が「□□化学プラント」である施設の全体図の表示例を説明するための図である。図１１（Ｂ）に示した施設の全体図は、各階の見取り図として示した場合の例である。 FIG. 11B is a table of an overall view of the facility displayed in step S110, with the facility ID selected as the facility to be inspected (the facility to be inspected) having “001” and the name “□□ chemical plant”. It is a figure for demonstrating an example. The general view of the facility shown in FIG. 11B is an example in the case of being shown as a floor plan of each floor.
図１１（Ｂ）に示すように、施設ＩＤが「００１」で、名称が「□□化学プラント」である施設は、３階建ての建物であり、１階は６つのエリアが、２階は７つのエリアが、３階は６つのエリアがあることが示されている。制御部１０２は、表示装置部２００の表示画面２２０に表示された全体図や操作ボタンの表示及び入力装置部３００を通じて、点検対象エリアの選択入力などの操作入力を受け付けるようにする（ステップＳ１１１）。
As shown in FIG. 11B, the facility with the facility ID “001” and the name “□□ chemical plant” is a three-story building, with six areas on the first floor and two on the second floor. Seven areas are shown with six areas on the third floor. The
この実施の形態のタブレット型情報端末１においては、点検対象エリアの選択は、２つの方法のいずれかを用いて行うことができるようにされている。第１の方法は、図１１（Ｂ）に示した点検対象施設の全体図において、点検しようとするエリアの表示位置に電子ペン２のペン先を接触させるようにして、点検対象エリアを選択する方法である。第２の方法は、点検対象となるエリアに予め設置されている送信機（基地局）から送信される所定のビーコン信号を受信し、このビーコン信号に含まれる基地局ＩＤに基づいて、点検対象エリアを選択する方法である。
In the tablet
第２の方法を実行する場合には、図１１（Ｂ）に示した「サーチ」ボタンＢ３を電子ペン２で選択する操作を行うことになる。また、図１１（Ｂ）に示した点検対象施設の全体図の表示画面においても、「戻る」ボタンＢ１と「ＯＫ」ボタンＢ２とが表示され、電子ペン２を通じて操作可能になっている。ステップＳ１１１の操作入力受付処理では、「戻る」ボタンＢ１が操作されるか、「サーチ」ボタンＢ３が操作されるか、電子ペン２を用いて点検対象エリアを選択した後に「ＯＫ」ボタンＢ２が操作されるまで、操作入力が求められる。
When executing the second method, an operation of selecting the “search” button B3 shown in FIG. In addition, the “return” button B1 and the “OK” button B2 are also displayed on the display screen of the overall view of the inspection target facility shown in FIG. 11B and can be operated through the
ステップＳ１１１において、例えば、電子ペン２を用いて、エリアＩＤが「Ａ０１」である１階のエリアを点検対象エリアとして指定したとする。この場合、図１１（Ｂ）において斜線を付して示したように、当該エリアが例えば反転表示されてタブレット型情報端末１のユーザに通知される。この場合、他のエリアを選択し直せば、新たに選択されたエリアが反転され、エリアＩＤが「Ａ０１」のエリアの表示は通常の表示に戻される。そして、「ＯＫ」ボタンが電子ペン２により選択された場合に、電子ペン２により選択されたエリアが、点検対象エリアとして特定される。
In step S111, for example, it is assumed that the area on the first floor having the area ID “A01” is designated as the inspection target area using the
また、ステップＳ１１１において、「サーチ」ボタンＢ３が操作された場合には、後述するように、ビーコンを用いた点検エリアの検出処理が行われることになる。また、ステップＳ１１１においては、「戻る」ボタンＢ１の操作も可能である。このため、ステップＳ１１１の操作入力受付処理の後において、制御部１０２は、図８の処理に進み、入力装置部３００からの座標データに基づいて、ステップＳ１１１で受け付けた操作入力は、「サーチ」ボタンＢ３に対する操作入力か否かを判別する（ステップＳ１１２）。
In addition, when the “search” button B3 is operated in step S111, an inspection area detection process using a beacon is performed as described later. In step S111, the “return” button B1 can also be operated. For this reason, after the operation input reception process of step S111, the
ステップＳ１１２の判別処理において、「サーチ」ボタンＢ３に対する操作入力を受け付けたと判別したときには、制御部１０２は、近距離無線通信部１２０を制御して、ビーコン信号を用いた点検対象エリアの検出処理を実行する（ステップＳ１１３）。点検の対象となる各エリアには、そのエリア内においては所定値以上の受信強度で受信が可能なようにビーコン信号を送信する基地局が予め設置されている。このため、ステップＳ１１３において、制御部１０２は、近距離無線通信アンテナ１２０Ａ及び近距離無線通信部１２０を通じて、点検の対象となるエリアに予め設置されている基地局からのビーコン信号を受信するようにする。
When it is determined in the determination process of step S112 that an operation input for the “search” button B3 has been received, the
制御部１０２は、受信強度が一定値以上のビーコン信号が受信できた場合に、そのビーコン信号に含まれる基地局ＩＤを抽出する。この抽出した基地局ＩＤに基づいて、制御部１０２は、自機のメモリ部１０３に予め格納されている基地局ＩＤと点検対象エリアとの対応付け表を参照し、点検対象エリアを特定する。例えば、エリアＩＤが「Ａ０１」である１階のエリアが点検対象エリアとして特定された場合には、図１１（Ｂ）において斜線を付して示したように、当該エリアが例えば反転表示されてタブレット型情報端末１のユーザに通知される。
When receiving a beacon signal having a reception intensity equal to or greater than a certain value, the
なお、この実施の形態では、第２の方法として、基地局からのビーコン信号を用いて点検対象エリアを特定する場合を説明したが、これに限るものではない。ステップＳ１１３の処理においては、上述もしたように、ＱＲコード（登録商標）やバーコードなどを用いたり、赤外線通信を用いたり、ＧＰＳ機能を利用するなど、種々の方法により点検対象エリアを特定することが可能である。 In this embodiment, the case where the inspection target area is specified using the beacon signal from the base station has been described as the second method. However, the present invention is not limited to this. In the process of step S113, as described above, the inspection target area is specified by various methods such as using a QR code (registered trademark) or a bar code, using infrared communication, or using a GPS function. It is possible.
また、ステップＳ１１２の判別処理において、「サーチ」ボタンＢ３に対する操作入力は受け付けていないと判別したときには、制御部１０２は、「戻る」ボタンＢ１が操作されたか否かを判別する（ステップＳ１１４）。ステップＳ１１４の判別処理において、「戻る」ボタンが操作されたと判別したときは、制御部１０２は、図７のステップＳ１０７からの処理を繰り返すようにする。これにより、タブレット型情報端末１のユーザは、点検対象とする施設の選択からもう一度やり直すことができるようにされる。
If it is determined in the determination process in step S112 that no operation input for the “search” button B3 is accepted, the
ステップＳ１１４の判別処理において、「戻る」ボタンＢ１は操作されていないと判別したときには、電子ペン２により点検対象エリアが選択され、「ＯＫ」」ボタンＢ３が操作されて確定された場合である。また、ステップＳ１１３の処理の後においては、上述もしたように、ビーコン信号を利用して点検対象エリアが特定されている。このため、ステップＳ１１４において、「戻る」ボタンは操作されていないと判別した場合と、ステップＳ１１３の処理の後においては、制御部１０２は、モード切替部１１７を制御して、自機を写真関連付けモードに遷移させる（ステップＳ１１５）。これにより、操作ボタンなどへの指示操作以外の電子ペン２による指示操作は、写真の関連付け位置の指示であると判別することができる。
In the determination process of step S114, when it is determined that the “return” button B1 is not operated, the inspection target area is selected by the
そして、制御部１０２は、図面取得部１１１と図面表示処理部１１２とを制御し、図面選択処理を実行する（ステップＳ１１６）。ステップＳ１１６において、制御部１０２は、まず、図面取得部１１１を制御し、図面等ＤＢ１０５から、点検対象エリアとされたエリアのエリア設計図等の図面データを取得する。この実施の形態では、図１１（Ｂ）に示したように、１階の下側の角のエリアＩＤが「Ａ０１」のエリアが点検対象エリアとして選択されたものとして説明する。
And the
次に、制御部１０２は、図面表示処理部１１２を制御して、図面取得部１１１を通じて取得した図面データに応じた図面を、表示装置部２００の表示画面２２０に表示する。図１２（Ａ）は、ステップＳ１１６で表示装置部２００の表示画面２２０に表示される図面表示画面の例を説明するための図である。図１２（Ａ）に示した図面表示画面では、中央部分に取得された図面データに応じた図面が表示され、上端部に、「Ａ０１」という点検対象エリアを示すエリア区分と、「配管図」という図面種別が表示されている。
Next, the
この例において、表示画面２２０に表示された図面は、点検対象エリア「Ａ０１」の配管図である。当該配管図は、三角形が二つ合わされた形状のゲート弁、カタカナの「ト」が横になった形状のストレーナ、平行な２本の線で表されたフランジ、丸型に斜線が付された圧力計などが接続されて構成されていることが示されている。そして、表示図面の右上端部にある圧力計やゲート弁などが点検の対象になっているものとする。
In this example, the drawing displayed on the
さらに、当該素面表示画面において、図面種別の表示の右側には「２／１０」との頁番号の表示がされている。当該頁番号の表示は、当該点検対象エリアには、関係するエリア設計図等が１０図（１０頁）あり、そのうちの２図目（２頁目）の図面が現在表示されていることを示している。 Further, on the surface display screen, a page number “2/10” is displayed on the right side of the display of the drawing type. The page number display indicates that there are 10 related area design drawings (10 pages) in the area to be inspected, and that the 2nd (2nd page) drawing is currently displayed. ing.
なお、「２／１０」などの頁番号の表示において、分子部分の数字は、図３に示した図面データの枝番に対応する。そして、図１２（Ａ）に示したように、左上端部には左改頁ボタンＬＰが、右上端部には右改頁ボタンＲＰが表示されている。このため、ステップＳ１１６において、左改頁ボタンＬＰ、右改頁ボタンＲＰに対して電子ペン２で操作を行うことによって、表示する図面を変更することができる。改頁ボタンＬＰ、ＲＰが操作され、図面が変更されると、頁番号の表示も変更される。
In the display of page numbers such as “2/10”, the number of the molecular portion corresponds to the branch number of the drawing data shown in FIG. As shown in FIG. 12A, a left page break button LP is displayed at the upper left corner, and a right page break button RP is displayed at the upper right corner. Therefore, in step S116, the drawing to be displayed can be changed by operating the left page break button LP and the right page break button RP with the
さらに、図１２（Ａ）に示すように、図面表示画面の右下端部には、ファインダ領域２２１が設けられると共に、シャッターボタン２２２が表示される。ファインダ領域２２１には、電子ペン２のカメラユニット２２を通じて捉えられた被写体の画像が表示されることになる。また、シャッターボタン２２２が操作された場合には、タブレット型情報端末１から電子ペン２のカメラユニット２２を制御して、被写体の静止画像を撮影することができるようにされる。また、当該図面表示画面の左下端部には、「戻る」ボタンＢ１が設けられている。
Further, as shown in FIG. 12A, a
ステップＳ１１６の図面選択処理により、取得した図面データにより形成される図面を表示装置部２００の表示画面２２０に表示した後、制御部１０２は、入力装置部３００を通じて、ユーザからの操作入力を受け付ける（ステップＳ１１７）。そして、制御部１０２は、ステップＳ１１７において受け付けた操作入力は、「戻る」ボタンＢ１か否かを願別する（ステップＳ１１８）。
After the drawing formed by the drawing data acquired in step S116 is displayed on the
ステップＳ１１８の判別処理において、「戻る」ボタンが操作されたと判別した時には、制御部１０２は、モード切替部１１７を制御し、写真関連付けモードから通常の処理モードに遷移させ（ステップＳ１１９）、図７のステップＳ１１０の処理から繰り返すようにする。これにより、タブレット型情報端末１のユーザは、再度、点検対象エリアの選択処理から行うことができるようにされる。なお、通常の処理モードは、電子ペン２による入力装置部３００に対する操作入力が、特別な意味を持たず、ボタンやアイコンの選択、筆跡の入力などを行うことができるモードである。
When it is determined in the determination process in step S118 that the “return” button has been operated, the
また、ステップＳ１１８の判別処理において、「戻る」ボタンＢ１は操作されていないと判別されたとする。この場合、制御部１０２は、入力装置部３００からの座標データに基づいて、表示画面２２０に表示されたシャッターボタン２２２が操作されたか否かを判別する（ステップＳ１２０）。ステップＳ１２０の判別処理において、シャッターボタン２２２は操作されていないと判別した時には、制御部１０２は、ステップＳ１１６からの処理を繰り返す。これにより、タブレット型情報端末１のユーザは、再度、表示画面２２０に表示する図面の選択からの処理を行うことができるようにされる。
Also, in the determination process in step S118, it is determined that the “return” button B1 is not operated. In this case, the
ステップＳ１２０の判別処理において、シャッターボタン２２２が操作されたと判別したときには、電子ペン２のカメラユニット２２を通じた写真の撮影と、写真データと付加情報の記録処理を行う（ステップＳ１２１）。具体的に、ステップＳ１２１において、制御部１０２は、ファインダ制御部１１０と外部Ｉ／Ｆ１１９とを制御して、電子ペン２のカメラユニット２２を通じて撮像するようにしている被写体の動画像を、表示画面２２０に設けたファインダ領域２２１に表示する。
If it is determined in step S120 that the
図１２（Ｂ）は、表示画面２２０に表示した図面の右上端部に存在している圧力計に対応し、点検対象エリア（Ａ０１）に実際に設置されている圧力計のカメラユニット２２が捉えている画像がファインダ領域２２１に表示されている場合の表示例である。図１２（Ｂ）に示すように、表示装置部２００の表示画面に設けられたファインダ領域２２１に電子ペン２のカメラユニット２２を通じて取り込んでいる動画像を表示することにより、当該ファインダ領域２２１に表示された動画像を確認しながら、目的とする点検対象の静止画像を撮影することができる。
FIG. 12B corresponds to the pressure gauge present at the upper right end of the drawing displayed on the
そして、この実施の形態にタブレット型情報端末１では、シャッターボタン２２２が操作されてから所定時間後に、制御部１０２は、撮像制御部１０９を制御し、外部Ｉ／Ｆ１１９を通じて電子ペン２のカメラユニット２２に対して撮像指示を送信する。撮像指示を受信したカメラユニット２２は、その時に対物レンズを通じて取り込むようにしている被写体の画像を撮像してフレームメモリに記録することにより、被写体を撮像して写真データを得る。そして、カメラユニット２２は、撮影することにより得た写真データに、付加情報としてペンＩＤを付加して、これをＩ／Ｆ２３とケーブル２４を通じてタブレット型情報端末１に供給する。
In the tablet
このように、ここの実施の形態のタブレット型情報端末１は、ソフトウェアキーとしてのシャッターボタン２２２が操作された場合に、電子ペン２のカメラユニット２２が捉えている被写体の動画像を、ファインダ領域２２１に表示して観視可能にする。そして、シャッターボタン２２２を操作してから所定時間後に電子ペン２のカメラユニット２２が捉えている被写体の静止画像を撮影できるようにしている。
As described above, the
この場合、制御部１０２の制御の下、撮像制御部１０９は、外部Ｉ／Ｆ１１９を通じて、電子ペン２のカメラユニット２２からの写真データと付加情報としてのペンＩＤを取得する。そして、撮像制御部１０９は、取得した写真データ及びペンＩＤとからなる図４に示した写真ファイルを形成し、これを写真フォルダ１０４に記録する。なお、この段階では、手書きメモデータは空欄のままとされる。
In this case, under the control of the
なお、この例では、シャッターボタン２２２が操作されたらファインダ領域２２１の動画像の表示を行い、シャッターボタン２２２の操作から所定時間後に被写体を撮像して写真データを得るものとして説明した。しかし、これに限るものではない。例えば、ステップＳ１１５の写真関連付けモードへの遷移後に、電子ペン２のカメラユニット２２を通じて捉えている被写体の動画像をファインダ領域２２１に表示するようにする。そして、シャッターボタン２２２が操作されたら被写体を撮像して写真データを得るようにしてもよい。また、最初にシャッターボタン２２２が操作されたらファインダ領域２２１の動画像の表示を行い、次にシャッターボタン２２２が操作されたら被写体を撮像して写真データを得るようにすることもできる。
In this example, it has been described that a moving image is displayed in the
ステップＳ１２１の処理の後、制御部１０２は、ユーザからの操作入力を受け付けるようにする（ステップＳ１２２）。そして、制御部１０２は、入力装置部３００からの座標データに基づいて、「戻る」ボタンＢ１が操作されたか否かを判別する（ステップＳ１２３）。ステップＳ１２３の判別処理において、「戻る」ボタンが操作されたと判別したときには、制御部１０２はステップＳ１１６からの処理を繰り返すようにする。これにより、ユーザは、再度、表示画面に表示する図面の選択処理から行うことができるようにされる。
After the process of step S121, the
ステップＳ１２３の判別処理において、「戻る」ボタンは操作されていないと判別した時には、制御部１０２は、図９の処理に進み、表示図面の調整操作がされたか否かを判別する（ステップＳ１２４）。このステップＳ１２４の処理は、入力装置部３００からの座標データに基づいて、図１２（Ｂ）に示した、縮小ボタンＣ１、拡大ボタンＣ２、上移動ボタンＣＵ、右移動ボタンＣＲ、下移動ボタンＣＤ、左移動ボタンＣＬが操作されたか否かを判別するものである。
When it is determined in the determination process in step S123 that the “return” button has not been operated, the
すなわち、図１２（Ｂ）に示した表示例においては、左下端部に「戻る」ボタンが表示されると共に、表示図面の編集用ボタンとして、縮小ボタンＣ１、拡大ボタンＣ２、上移動ボタンＣＵ、右移動ボタンＣＲ、下移動ボタンＣＤ、左移動ボタンＣＬが表示される。そして、これらに対する操作も可能にされる。 That is, in the display example shown in FIG. 12B, a “return” button is displayed at the lower left corner, and a reduction button C1, an enlargement button C2, an up button CU, A right movement button CR, a lower movement button CD, and a left movement button CL are displayed. And operations for these can also be made possible.
ステップＳ１２４の判別処理において、表示図面の調整操作がされたと判別したときには、制御部１０２は、図面表示処理部１１２を制御して、ユーザからの操作入力に応じて、表示図面の調整処理を実行する（ステップＳ１２５）。具体的には、表示図面の縮小／拡大、表示図面の移動などの処理が行われる。このように、表示図面の調整を行うことにより、当該表示図面の目的とする位置に撮影した写真を関連付けしやすくすることができる。
When it is determined in the determination process of step S124 that the display drawing adjustment operation has been performed, the
ステップＳ１２５の処理の後においては、図８のステップＳ１２２からの処理が繰り返される。これにより、「戻る」ボタンＢ１を選択したり、表示画像の調整処理を継続して行ったりすることができる。 After the process of step S125, the process from step S122 of FIG. 8 is repeated. As a result, the “return” button B1 can be selected or the display image adjustment process can be continued.
ステップＳ１２４の判別処理において、表示図面の調整操作はされていないと判別したときには、制御部１０２は、写真を関連付ける（貼り付ける）ための座標指示を受け付けたか否かを判別する（ステップＳ１２６）。この実施の形態のタブレット型情報端末１においては、図８に示した処理のステップＳ１１５において、写真関連付けモードに遷移するようされている。このため、制御部１０２は、電子ペン２による表示された操作ボタンに対する指示操作以外の指示操作は、写真の関連付け位置を指示する座標指示と判別する。
When it is determined in the determination process in step S124 that the display drawing adjustment operation has not been performed, the
ステップＳ１２６の判別処理において、写真の関連付け位置を指示する座標指示は受け付けていないと判別したときには、有効な操作入力は受け付けていないので、図８のステップＳ１２２からの処理が繰り返される。これにより、「戻る」ボタンＢ１を選択したり、表示画像の調整処理を継続して行ったりすることができる。 If it is determined in step S126 that the coordinate instruction for indicating the association position of the photograph is not accepted, a valid operation input is not accepted, and the process from step S122 in FIG. 8 is repeated. As a result, the “return” button B1 can be selected or the display image adjustment process can be continued.
図１３（Ａ）は、電子ペン２に関連付けられる写真データに応じた写真の関連付け位置を特定する処理について説明するための図であり、ステップＳ１２７以降の処理を具体的に説明するための図である。ステップＳ１２２〜ステップＳ１２５の処理が繰り返されることにより、例えば、図１３（Ａ）に示すように、拡大されて、表示範囲が移動されることにより、表示画面２２０に表示される範囲が変更された図面が表示されている状態にあるとする。
FIG. 13A is a diagram for explaining processing for specifying the association position of a photo according to the photo data associated with the
すなわち、表示画面２２０に表示された図面（配管図）の右上にある圧力計の近傍に、実際の圧力計の写真を関連付けするために、図１３（Ａ）に示すように、当該図面を拡大し、圧力計部分を中心に表示画面２２０に表示したとする。この時に、図１３（Ａ）に示すように、表示画面２２０上の目的とする位置Ｐに、電子ペン２のペン先を接触させる操作が行われたとする。
That is, in order to associate a photograph of an actual pressure gauge with the vicinity of the pressure gauge in the upper right of the drawing (piping diagram) displayed on the
この場合、ステップＳ１２６の判別処理においては、写真の関連付け位置を指示する座標指示を受け付けたと判別される。この場合、制御部１０２は、入力装置部３００から提供された座標データと付加情報としてのペンＩＤを取得する（ステップＳ１２７）。このように、電子ペン２から入力装置部３００を通じて座標データと共に取得されたペンＩＤが第１の付加情報として機能することになる。
In this case, in the determination process of step S126, it is determined that a coordinate instruction indicating the association position of the photograph has been received. In this case, the
そして、制御部１０２は、写真取得部１０６を制御して、電子ペン２に関連付けられる写真データを写真フォルダ１０４から取得する（ステップＳ１２８）。ステップＳ１２８において、写真取得部１０６は、ステップＳ１２７で取得したペンＩＤ（第１の付加情報）と、写真フォルダに格納されている写真データに付加されているペンＩＤ（第２の付加情報）に基づいて、電子ペン２に関連付けられる写真データを取得する。すなわち、電子ペン２から取得したペンＩＤと同じペンＩＤが付付加されている写真データを取得する。
Then, the
これにより、写真フォルダ１０４に、例えばデジタルカメラにより撮影することにより得られた写真データなどが格納されていたとしても、電子ペン２のカメラユニット２２を通じて撮像して得た写真データだけを取得することができる。すなわち、電子ペン２に関連しない写真データが取得されることがない。
Thereby, even if the
この後、制御部１０２は、第１関連付け部１０７を制御して、ステップＳ１２７で取得した電子ペン２により指示された座標位置を示す座標データと、ステップＳ１２８で取得した写真データとを関連付ける（ステップＳ１２９）。これにより、当該座標データが示す表示画面２２０上の位置に、当該写真データに応じた画像を表示するようにできる。
Thereafter, the
このため、制御部１０２は、写真関連付け部１０８を制御し、ステップＳ１２９において、関連付けられた座標データが示す表示画面２２０上の位置に、ステップＳ１２９において関連付けられた写真データに応じたサムネイル画像を表示する（ステップＳ１３０）。これより、図１３（Ａ）に示すように、電子ペン２によい指示された表示画面２２０上の位置Ｐに、ステップＳ１２８で取得した写真データに応じたサムネイル画像Ｓｎを関連付ける（貼り付ける）ことができる。
For this reason, the
なお、電子ペン２のカメラユニット２２を通じて撮像され、付加情報として電子ペン２のペンＩＤが付加された複数の写真の写真データが写真フォルダ１０４に格納されている場合もある。このような場合には、ステップＳ１２８において、電子ペン２に対して関連付けられる複数の写真の写真データが取得される。この場合には、ステップＳ１２９、ステップＳ１３０の処理が、若干異なる。
Note that there may be cases where the
図１３（Ｂ）は、電子ペン２に関連付けられる写真データが複数存在する場合の処理を説明するための図である。ステップＳ１２８において、電子ペン２に関連付けられる複数の写真の写真データが取得されたとする。この場合、制御部１０２の制御の下、第１関連付け部１０７は、電子ペン２による指示位置Ｐに対応する座標データと、取得された複数の画像データのそれぞれとを関連付ける（ステップＳ１２９）。
FIG. 13B is a diagram for explaining processing when there are a plurality of pieces of photo data associated with the
そして、制御部１０２の制御の下、写真関連付け部１０８が、取得された複数の写真データに応じた写真のサムネイル画像を表示画面２２０に表示する処理を行う（ステップＳ１３０）。具体的に、ステップＳ１３０において、写真関連付け部１０８は、図１３（Ｂ）に示すように、ユーザによる電子ペン２の指示位置Ｐを基準位置とする。そして、写真関連付け部１０８は、当該指示位置Ｐに対応する座標データに対応付けられた複数の写真データのそれぞれに応じた写真のサムネイル画像Ｓｎ１、Ｓｎ２、Ｓｎ３、…を表示する（ステップＳ１２９）。図１３（Ｂ）においては、複数の写真のサムネイル画像が少しずつずらされながら重なり合う部分を有するようにして表示された場合を示している。
Then, under the control of the
そして、制御部１０２の制御の下、写真関連付け部１０８が機能し、表示された複数のサムネイル画像を利用して、関連付けるべき写真データを選択する処理が行われる（ステップＳ１３１）。ステップＳ１３１においては、目的とするサムネイル画像の表示エリア上に電子ペン２の先端を接触させるようにする操作が受け付けられる。この場合、写真関連付け部１０８は、その指示された位置を表示エリアとするサムネイル画像を、その全体が観視可能となるように、全てのサムネイル画像の一番手前側に表示するように処理する。
Then, under the control of the
これにより、ユーザは、サムネイル画像の全体を見て、目的とする写真か否かを判別できる。目的とする写真でなかった場合には、別のサムネイル画像の表示エリア上に電子ペン２の先端を接触させるようにして、そのサムネイル画像の全体を表示させる。このような処理を繰り返すことにより、ユーザは、各サムネイルの全体を確認して目的とする写真を探すことができる。
As a result, the user can determine whether or not the target picture is the target by looking at the entire thumbnail image. If it is not the target picture, the entire thumbnail image is displayed by bringing the tip of the
目的とする写真が見つかったら、例えば、ユーザはそのサムネイル画像の表示エリア上を、電子ペン２を用いてダブルタップ操作をする。当該ダブルタップ操作を受け付けた場合、写真関連付け部１０８は、ダブルタップされたサムネイル画像に対応する写真データを、関連付けに用いる写真データとして選択する。そして、写真関連付け部１０８は、図１３（Ａ）に示した態様で、当該写真データに応じた一枚の写真のサムネイル画像を、電子ペン２による最初の指示位置Ｐを基準にした位置に表示する。
When the target photograph is found, for example, the user performs a double tap operation on the display area of the thumbnail image using the
このような、写真データを選択する一連の処理が、ステップＳ１３１において実行される。なお、ステップＳ１２８において取得された写真データが１つしかない場合には、ステップＳ１３１においては、その写真データが、関連付けられる写真データとして選択される。 Such a series of processes for selecting photograph data is executed in step S131. If there is only one piece of photo data acquired in step S128, the photo data is selected as associated photo data in step S131.
ステップＳ１３１の処理の後においては、制御部１０２の制御の下、モード切替部１１７が機能し、写真編集モードに遷移する（ステップＳ１３２）。これにより、電子ペン２による入力装置部３００のセンサ部３２０に対する操作入力は、写真に対する編集操作や手書きメモの入力操作とみなされる。そして、制御部１０２は、写真表示処理部１１５を制御して、ステップＳ１３１で選択された写真データに応じた写真を表示画面２２０に表示させ、当該写真に対する編集操作や手書きメモの入力操作を受け付けるようにされる（ステップＳ１３３）。
After the processing in step S131, the
なお、説明を簡単にするため、図９には示していないが、図１３（Ａ）に示したように、電子ペン２により指示した位置を変更したい場合もある。このような場合には、図１３（Ａ）の表示画面２２０の左下端部に設けられている「取消」ボタンＢ４を操作することにより、指示位置Ｐの指示を取り消して、再度、指示位置を指示し、「ＯＫ」ボタンＢ５を操作することにより指示位置を確定する。といった指示位置Ｐの変更操作もできるようにされる。
In order to simplify the description, although not shown in FIG. 9, there is a case where the position designated by the
図１４（Ａ）は、ステップＳ１３３において、表示画面２２０に表示される写真の編集画面の例を説明するための図である。表示画面２２０の中央部分に、ステップＳ１３１で選択された写真データに応じた写真Ｇ１が表示されると共に、「閉じる」ボタンＢ６が表示される。そして、この例の場合には、電子ペン２を用いてセンサ部３２０に対してホバリング操作を行うことにより、編集処理部１１６が機能し、写真Ｇ１の縮小／拡大を行うことができる。
FIG. 14A is a view for explaining an example of a photo editing screen displayed on the
具体的には、写真Ｇ１が表示されている表示画面２２０上のエリアに対応する入力装置部３００のセンサ部３２０の検出エリア上で、電子ペン２のペン先を近づけたり、遠ざけたりする、いわゆるホバリング操作を行う。これにより、編集処理部１１６が機能し、表示画面２２０に表示された写真Ｇ１の縮小／拡大を行うことができる。すなわち、入力装置部３００は、センサ部３２０に対する電子ペン２の距離を検出し、これを制御部１０２に通知する。制御部１０２は当該距離に基づいて、編集処理部１１６を制御し、写真Ｇ１の縮小／拡大を行うことができる。例えば、センサ部３２０に対して電子ペン２を近づければ写真Ｇ１は縮小され、遠ざければ写真Ｇ１は拡大される。
Specifically, the pen tip of the
また、制御部１０２の制御の下、編集処理部１１６は、入力装置部３００のセンサ部３２０上の手書きメモの付加エリアＡｒに対する電子ペン２による筆記操作を受け付けて、手書きメモを入力することができるようにされる。これにより、例えば、図１４（Ａ）に示したように、手書きメモの付加エリアＡｒに「圧力正常値。調整不要」などのように、必要に応じた手書きメモを入力することができるようになっている。
Further, under the control of the
そして、図１０の処理に進み、「閉じる」ボタンが操作されたか否かを判別し（ステップＳ１３４）、「閉じる」ボタンは操作されていないと判別したときには、図９のステップＳ１３３からの処理が繰り替えされる。これにより、写真編集処理と手書きメモ入力処理を継続して行うことができるようにされる。 Then, the process proceeds to the process of FIG. 10 to determine whether or not the “close” button has been operated (step S134). When it is determined that the “close” button has not been operated, the process from step S133 of FIG. Repeated. As a result, the photo editing process and the handwritten memo input process can be continuously performed.
ステップＳ１３４の判別処理において、「閉じる」ボタンが操作されたと判別したときには、表示された写真Ｇ１に対する写真編集処理や手書きメモ入力処理は終了したと判別できる。この場合、制御部１０２は、座標変換部１１３を制御し、表示画面２２０上の電子ペン２による指示位置Ｐを、表示図面上の位置に変換する処理を行う（ステップＳ１３５）。
If it is determined in the determination process in step S134 that the “close” button has been operated, it can be determined that the photo editing process or the handwritten memo input process for the displayed photograph G1 has been completed. In this case, the
図１４（Ｂ）は、表示図面上の指示位置を説明するための図であり、図１５は、表示画面２２０上の指示位置を表示図面上の位置に変換する処理を説明するための図である。図１３（Ａ）、（Ｂ）に示した例において、点検対象エリアの選択された図面（この例では、エリア設計図面である配管図）は、拡大され、表示画面２２０への表示対象エリアを移動するようにして、目的とする図面部分を表示画面２２０に表示した状態にある。
FIG. 14B is a diagram for explaining the designated position on the display drawing, and FIG. 15 is a diagram for explaining processing for converting the designated position on the
この状態で、写真の関連付け（貼り付け）位置Ｐを指示しているため、表示図面上の指示位置は、図１４（Ｂ）に示すように、表示図面の全体を表示画面２２０に表示した場合には、図面右上の圧力計の近傍の位置となる。このため、座標変換部１１３は、図１３に示したうように指示された表示画面２２０上の指示位置Ｐを、図１５に示すように、例えば左上端部を原点Ｏ（０，０）とする表示図面に対応する座標系上の指示位置ＺＰとして特定する。そして、図１５に示した表示図面に対応する座標系において、指示位置ＺＰの座標データ（Ｘ１，Ｙ１）を特定する。これにより、図１３に示したように指示される表示画面上の指示位置Ｐは，図１４（Ｂ）や図１５に示したように、表示図面上における指示位置ＺＰに変換される。
In this state, since the photo association (paste) position P is designated, the designated position on the display drawing is the case where the entire display drawing is displayed on the
この後、制御部１０２は、第２関連付け部１１４を制御し、表示図面と、表示図面上の指示位置ＺＰ（Ｘ１，Ｙ１）と、選択された写真データとの３つを関連付ける（ステップＳ１３６）。具体的に、第２関連付け部１１４は、表示図面と、表示図面上の指示位置ＺＰ（Ｘ１，Ｙ１）と、選択された写真データとの３つを関連付けた関連付けデータを形成する。図１６は、第２関連付け部１１４が形成する関連付けデータの例を説明するための図である。
Thereafter, the
第２関連付け部１１４は、図１６に示すように、施設ＩＤ、種別、フロアー、エリアＩＤ、枝番を、関連付けデータの該当欄に入力する。これらの情報は、図３（Ｂ）を用いて説明したように、表示図面の図面データに付加されているメタデータであり、表示図面を形成する図面データの図面ファイルから取得できる。さらに、第２関連付け部１１４は、選択された写真データに付加されている写真ＩＤを、写真ＩＤ欄に入力し、変換した表示図面上の指示位置ＺＰ（Ｘ１，Ｙ１）を、対応する関連付け位置欄に入力する。これにより、表示図面と、表示図面上の指示位置ＺＰ（Ｘ１，Ｙ１）と、選択された写真データとの３つが関連付けられる。
As illustrated in FIG. 16, the
また、この例においては、図１４（Ａ）を用いて説明したように、写真Ｇ１に対して入力するようにされた手書きメモデータは、図４を用いて説明した当該写真データが格納されている写真ファイルの手書きメモデータ欄に格納される。この手書きメモデータの写真ファイルへの更新処理は、例えば、第２関連付け部１１４が行うようにしている。もちろん、編集処理部１１６などの他の処理部が別途行うようにしてもよい。このようにして形成された関連付けデータは、たとえばメモリ部１０３の所定の領域に記憶保持され、必要に応じて読み出して繰り返し利用することができるようにされる。
In this example, as described with reference to FIG. 14A, the handwritten memo data input to the photo G1 stores the photo data described with reference to FIG. Stored in the handwritten memo data field of the photo file. The update process of the handwritten memo data to the photo file is performed by the
この後、制御部１０２は、図８に示したステップＳ１１５からの処理を繰り返すようにする。これにより、１つの表示図面に対して、異なる写真データを、異なる指示位置に付加することもできるようにされる。このため、図１６に示すように、関連付けデータにおいては、１つの表示図面に対して、複数の写真データの写真ＩＤと、複数の異なる関連付け位置とを対応付けることができるようになっている。
Thereafter, the
そして、図１６に示す関連付けデータを利用することにより、例えば、図１４（Ｂ）に示したように、目的とする図面上の指示位置ＺＰに、関連付けられる写真のサムネイル画像ＭＫを表示して、ユーザに提供できる。もちろん、図１４（Ｂ）に示した表示において、サムネイル画像ＭＫを電子ペンで指示することにより、図１４（Ａ）に示した態様で、写真だけを表示して、提供することもできる。また、図１４（Ｂ）に示した表示において、表示を拡大したり、移動したりすることにより、図１３（Ａ）に示した態様で、表示図面と写真のサムネイル画像との両方を拡大して表示し、提供することができる。 Then, by using the association data shown in FIG. 16, for example, as shown in FIG. 14B, the thumbnail image MK of the associated photo is displayed at the designated position ZP on the target drawing, Can be provided to users. Of course, in the display shown in FIG. 14B, it is also possible to display and provide only a photograph in the form shown in FIG. 14A by instructing the thumbnail image MK with the electronic pen. Further, in the display shown in FIG. 14B, by expanding or moving the display, both the display drawing and the thumbnail image of the photograph are enlarged in the form shown in FIG. 13A. Can be displayed and provided.
［第１の実施の形態の効果］
上述した第１の実施の形態のタブレット型情報端末１及び電子ペン２によれば、電子ペン２に関連付けられる写真データを取得することができる。そして、取得した写真データと、電子ペン２により指示された表示画面２２０上の指示位置とを関連付けることができる。これにより、電子ペン２に関連付けられる写真データを、表示画面上の指示位置に関連付けて表示することができる。
[Effect of the first embodiment]
According to the tablet
また、表示画面２２０に図面が表示されている場合には、電子ペン２による指示位置を表示図面上の指示位置に変換し、当該表示図面と、電子ペン２に関連付けられる写真データと、表示図面上の指示位置とを関連付けることができる。これにより、表示図面上の指示位置に、関連付けられる写真を貼り付けて表示することができる。
Further, when a drawing is displayed on the
このように、電子ペン２に関連付けられる写真データを、表示画面上の指示位置に関連付けたり、表示図面上の指示位置に関連付けたりすることが容易にできる。このため、例えば、点検作業において撮影した写真だけを、点検作業に用いた図面上に関連付けて管理できるなど、写真と図面とを関連付けて管理することが容易に行える。
In this way, it is possible to easily associate the photo data associated with the
［第１の実施の形態の変形例等］
上述した第１の実施の形態では、電子ペン２のペンＩＤを用いた認証を行うことにより、関連付け対象の写真データであって、電子ペン２に関連付けられる写真データを取得し、電子ペン２による指示位置に応じた表示画面上の位置に当該写真データに応じた画像を関連付けした。しかし、これに限るものではない。
[Modification of First Embodiment]
In the first embodiment described above, by performing authentication using the pen ID of the
入力装置部３００のセンサ部３２０が、静電容量方式のセンサである場合には、ユーザの指によって位置指示が可能である。この場合、ユーザの指からはペンＩＤ等は送信されない。また、ペンＩＤを持たない電子ペンやペンＩＤを位置指示信号には含めない電子ペンもある。このような場合には、関連付け画像特定情報が付加された写真データに応じた画像を、ユーザの指などの指示体により指示されたセンサ部の指示位置に対応する表示画面上の位置に関連付けするようにできる。
When the
なお、この明細書において、指示体との文言は、ユーザの指や位置指示信号としてペンＩＤなどの付加情報を送信しない電子ペンとの両方を含むものとして用いている。また、位置指示器との文言は、ペンＩＤなどの付加情報を含む位置指示信号の送出が可能な主に電子ペンを意味している。 In this specification, the term “indicator” is used to include both a user's finger and an electronic pen that does not transmit additional information such as a pen ID as a position instruction signal. The term “position indicator” mainly means an electronic pen capable of sending a position indication signal including additional information such as a pen ID.
このように、ペンＩＤを用いない場合にも、基本的には、図７〜図１０のフローチャートを用いて説明した処理を行うことができるが、図９に示したステップＳ１２８の処理が異なることになる。すなわち、ペンＩＤによって電子ペンとの関連付けを行わない場合には、図９のステップＳ１２８の処理において、所定の関連付け画像特定情報が付加された写真データを、例えば写真フォルダ１０４から取得するようにすればよい。この場合の、関連付け画像特定情報は、例えば、ユーザＩＤや点検コードなどの点検を行う者しか知り得ない情報を用いるのか好ましい。
As described above, even when the pen ID is not used, basically, the processing described with reference to the flowcharts of FIGS. 7 to 10 can be performed, but the processing of step S128 shown in FIG. 9 is different. become. In other words, when the association with the electronic pen is not performed by the pen ID, the photograph data to which the predetermined associated image specifying information is added is acquired from the
そして、写真データには、例えば、写真フォルダ１０４に格納された時点において、ユーザが関連付け画像特定情報を付加するようにする。また、ユーザは、メモリ部１０３の所定の記憶領域に関連付け画像特定情報を登録しておくようにする。そして、上述したように、図９のステップＳ１２８の処理において、制御部１０２は、写真取得部１０６を制御して、メモリ部１０３に登録された関連付け画像特定情報と同じ情報が付加された写真データを、写真フォルダ１０４から取得するようにすればよい。
Then, for example, the user adds associated image specifying information to the photo data at the time when the photo data is stored in the
これにより、関連付け対象とされた写真などの適切な画像を迅速に取得して、これをユーザの指やペンＩＤを持たない電子ペンにより指示された表示画面上の座標位置に関連付けして利用可能となる。すなわち、ユーザの指やペンＩＤを持たない電子ペンを用いても、関連付け用の特別な画像のみを取得し、この画像とユーザの指やペンＩＤを持たない電子ペンによる指示位置に応じた座標データとを関連付けて、利用することができる。 This makes it possible to quickly acquire an appropriate image such as a photograph to be associated and associate it with the coordinate position on the display screen indicated by the user's finger or an electronic pen that does not have a pen ID. It becomes. That is, even if an electronic pen without a user's finger or pen ID is used, only a special image for association is acquired, and coordinates corresponding to the position indicated by the electronic pen without the user's finger or pen ID are obtained. It can be used in association with data.
また、上述した第１の実施の形態では、電子ペン２のカメラユニット２２を通じて撮像することにより得た写真データに対して第２の付加情報としてペンＩＤを付加して出力するようにした。また、電子ペン２の電子ペン機能部２１の機能によって生成して送信する位置指示信号にも第１の付加情報としてペンＩＤを付加して出力するようにした。しかし、これに限るものではない。
In the first embodiment described above, the pen ID is added as the second additional information to the photographic data obtained by taking an image through the
第１の付加情報としてのペンＩＤは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格の無線通信を用いて送信するようにしてもよい。図１７は、位置指示信号とは別に例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格の無線通信によりペンＩＤを送信する電子ペン２Ａの構成例を説明するための図である。また、図１８は、無線通信により送信されるペンＩＤを受信する機能を備えたタブレット型情報端末と電子ペンとの接続関係を説明するための図である。 The pen ID as the first additional information may be transmitted using, for example, Bluetooth (registered trademark) wireless communication. FIG. 17 is a diagram for explaining a configuration example of the electronic pen 2A that transmits a pen ID by wireless communication of, for example, Bluetooth (registered trademark) standard separately from the position instruction signal. FIG. 18 is a diagram for explaining a connection relation between a tablet information terminal having a function of receiving a pen ID transmitted by wireless communication and an electronic pen.
図１７において、図５に示した電子ペン２と同様に構成される部分には同じ参照符号を付し、その部分についての詳細な説明については重複するので省略する。また、図１８において、図６に示したタブレット型情報端末１の部分と同様に構成される部分には同じ参照符号を付し、その部分についての詳細な説明については重複するので省略する。
17, parts that are configured in the same manner as the
図１７に示した電子ペン２Ａの電子ペン機能部２１は、位置指示信号を形成して送信するが、自機のペンＩＤを含まない位置指示信号を形成して送信するものである。そして、この例の電子ペン２Ａは、ペンＩＤメモリ２５と、例えば、ｂｌｕｅｔｏｏｔｈ（登録商標）規格の送信回路２６と送信アンテナ２７を備え、自機のペンＩＤは、送信回路２６及び送信アンテナ２７を通じて送信する。なお、カメラユニット２２を通じて撮像することにより得られた写真データには、ペンＩＤメモリ２５のペンＩＤが付加され、Ｉ／Ｆ２３を通じて送信される構成は、図５に示した電子ペン２の場合と同様である。
The electronic
これに対応し、図１８に示すように、タブレット型情報端末１側には、ｂｌｕｅｔｏｏｔｈ（登録商標）規格の受信回路１５０及び受信アンテナ１５０Ａを設ける。これにより、電子ペン２Ａ〜無線送信される第１の付加情報としてのペンＩＤをこれら受信アンテナ１５０Ａ及び受信回路１５０を通じて受信し、これを情報処理装置部１００において、適切な写真データの取得や認証に用いることができる。このように、第１の付加情報としてのペンＩＤは、位置指示信号とは別の無線通信経路を通じて送信することができる。
Corresponding to this, as shown in FIG. 18, a Bluetooth (registered trademark)
また、上述した第１の実施の形態においては、電子ペン２は操作ボタンを備えないものであった。しかし、これに限るものではない。図１９は、電子ペンの変形例を説明するための図である。例えば、図１９の電子ペン２Ｂに示すように、シャッターボタン２８、サイドスイッチ２９、３０などの操作ボタンを電子ペンに対して設けるようにしてもよい。電子ペン２Ｂに示したように電子ペン側にシャッターボタン２８を設けることにより、写真を撮影する操作を電子ペン２Ｂに設けられたシャッターボタンにより行うことができ、操作性をよくすることができる。
In the first embodiment described above, the
図２０は、電子ペン２Ｂのサイドスイッチ２９、３０の利用方法の例を説明するための図である。サイドスイッチ２９、３０は、これが押下操作された場合には、操作されたサイドスイッチに応じて、電子ペン２Ｂから送信される位置指示信号の例えば周波数が変えられることにより、入力装置部３００側においてどのサイドスイッチが操作されたかを認識することができる。
FIG. 20 is a diagram for explaining an example of how to use the side switches 29 and 30 of the
このため、図２０（Ａ）において、サイドスイッチ２９を塗りつぶして示したように、サイドスイッチ２９が操作された状態で、電子ペン２Ｂをセンサ部３２０上に接触させるようにして移動させたとする。この場合には、表示画像に対するドラッグ操作であると情報処理装置部１００側で判別し、表示図面の全体の移動を行うようにすることができる。
Therefore, in FIG. 20A, it is assumed that the
また、図２０（Ｂ）において、サイドスイッチ３０を塗りつぶして示したように、サイドスイッチ３０が操作された状態で、電子ペン２Ｂをセンサ部３２０上に接触させたとする。この場合には、写真の関連付け位置の指示操作であると、情報処理装置部１００側で判別し、指示位置Ｐを基準にして、選択された写真データに応じたサムネイル画像を関連付ける（貼り付ける）ことができる。
In FIG. 20B, it is assumed that the
このように、電子ペンにシャッターボタン２８やサイドスイッチ２９、３０を設けることによって、写真撮影、表示画像のドラッグ移動、写真の関連付け位置の指定などを、より簡単な操作で行うことができるようにされる。
In this way, by providing the electronic pen with the
また、上述した第１の実施の形態では、電子ペン２の先端をセンサ部３２０上に接触させるようにして選択した写真データに応じた写真の関連付け位置を指示するようにした。この場合に、例えば、ホバリング操作によって、写真の関連付け位置を確認できるようにすることもできる。図２１は、ホバリング操作による写真の関連付け位置を確認について説明するための図である。
Further, in the first embodiment described above, the photo association position corresponding to the selected photo data is indicated by bringing the tip of the
図２１に示すように、写真関連付けモード時において、電子ペン２の先端をセンサ部３２０に対して接触させることなく、所定距離以上近づけたとする。この場合に、電子ペン２がセンサ部３２０に対して、所定距離以上近づいている間において、電子ペン２からの位置指示信号を受信しているセンサ部３２０上の位置を基準にして、選択された写真データに応じたサムネイル画像ＶＭを表示画面２２０に表示する。
As shown in FIG. 21, it is assumed that the tip of the
このようにして、選択した写真データを関連付けする表示画面２２０上の位置を確認する。そして、関連付け位置がよくないと思う場合には、電子ペン２の位置を変えることにより、サムネイル画像ＶＭの表示位置を順次に変えるようにして、適切な表示位置を探すようにすることができる。適切な表示位置が特定できた場合に、センサ部３２０上の対応する位置に電子ペン２を接触させることで、その指示位置を写真データの関連付け位置として特定することができる。
In this way, the position on the
また、タブレット型情報端末１は、電子ペン２のカメラユニット２２以外からも写真データと付加情報を取得することができる。図２２は、写真データ及び付加情報の取得先及び取得経路について説明するための図である。図２２に示すように、デジタルカメラやカメラ機能が搭載されたスマートホンやドローンなどと呼ばれる無人飛行体などと、外部Ｉ／Ｆ１１９を通じて有線接続し、これらから写真データと付加情報を取得したり、これらを制御したりすることができる。
In addition, the
また、デジタルカメラやカメラ機能が搭載されたスマートホンやドローンなどと、近距離無線通信アンテナ１２０Ａ及び近距離無線通信部１２０を通じて無線接続し、これらから写真データと付加情報を取得したり、これらを制御したりすることができる。さらに、インターネット上に設けられているデータセンターやサーバ群から構成されるいわゆるクラウドに蓄積されている写真データや付加情報を、送受信アンテナ１０１Ａ及び無線通信部１０１を通じて取得することもできるようにされる。
In addition, a digital camera or a smartphone equipped with a camera function or a drone is wirelessly connected through the short-range
なお、デジタルカメラ、スマートホン、ドローンなどの外部機器から写真データや付加情報を取得する場合、当該付加情報には電子ペン２との関連付けのために必要なペンＩＤは含まれていない。このため、デジタルカメラ、スマートホン、ドローンなどの外部機器から写真データや付加情報を取得する場合には、後から付加情報に電子ペン２のペンＩＤを付加することができる。
In addition, when acquiring photograph data and additional information from external devices, such as a digital camera, a smart phone, and a drone, the additional information does not include a pen ID necessary for association with the
また、ペンＩＤを付加するのではなく、ペンＩＤとユーザＩＤとを対応付けて、情報処理装置部１００のメモリ部１０３に格納し、同様に、デジタルカメラ、スマートホン、ドローンなどの外部機器の機器ＩＤとユーザＩＤとを対応付けて、情報処理装置部１００のメモリ部１０３に格納しておく。そして、電子ペン２からのペンＩＤにより特定されるユーザＩＤと、外部機器からの機器ＩＤにより特定されるユーザＩＤとが同じ場合に、電子ペン２と当該機器ＩＤが付加されていた写真データとを関連付けるようにしてもよい。ユーザＩＤは、ユーザ氏名、数字列、英数字などが組み合わせたものなど、ユーザを特定可能な種々のものを用いることができる。
Further, instead of adding the pen ID, the pen ID and the user ID are associated with each other and stored in the
また、デジタルカメラ、スマートホン、ドローンなどの外部機器には、現在日時を提供する時計回路や現在位置を測位するＧＰＳ部が搭載されている。このため、電子ペン２にも時計回路やＧＰＳ部を搭載し、現在時刻や現在位置を電子ペン２から入力装置部３００を通じて情報処理装置部１００に提供できるようにする。そして、電子ペン２からの現在時刻及び現在位置と、デジタルカメラ、スマートホン、ドローンなどの外部機器から写真データに付加されている現在時刻及び現在位置とが、一定の範囲内にあり、電子ペン２と外部機器とが、同一時間帯に同一エリアで使用されていると判別できる場合に、電子ペン２と外部機器からの写真データとを関連付けるようにしてもよい。
Also, external devices such as digital cameras, smart phones, and drones are equipped with a clock circuit that provides the current date and time and a GPS unit that measures the current position. Therefore, the
また、現在時刻と現在位置との両方を用いるのではなく、いずれか一方だけを用いて、電子ペン２と写真データとの関連付けを行うようにしてもよい。このように、電子ペン２と写真データとの関連付けは、ペンＩＤ、機器ＩＤ、現在時刻、現在位置など種々の情報を用いて行うことができる。また、直接に関連付ける情報でなくとも、上述したペンＩＤと機器ＩＤのように、同じ情報に紐付ける情報を、関連付け情報として用いるようにしてもよい。
Further, instead of using both the current time and the current position, only one of them may be used to associate the
また、上述した第１の実施の形態では、タブレット型情報端末１と電子ペン２とは有線により接続するものとして説明したが、これに限るものではない。無線により接続するようにしてももちろんよい。例えば、Ｗｉ−Ｆｉ（登録商標）規格の無線ＬＡＮ接続、Ｂｌｕｅｔｏｏｈ（登録商標）規格の無線通信、ＮＦＣ（Near field radio communication）などと呼ばれる種々の近距離無線通信、これらを改良、発展させた無線方式により、タブレット型情報端末１と電子ペン２とを無線接続することが可能である。
Further, in the first embodiment described above, the
また、上述した第１の実施の形態では、点検対象エリアを選択した後に、情報処理装置部１００は、自機を写真関連付けモードに遷移させ、操作ボタンに対する操作以外の電子ペン２による指示操作を、写真データに応じた写真の関連付け位置の指示操作と見做すようにした。しかしこれに限るものではない。
Further, in the first embodiment described above, after selecting the inspection target area, the information
例えば、シャッターボタンが操作された場合に、写真関連付けモードに遷移させてもよい。また、電子ペン２のセンサ部３２０対する傾きを検出できるようにして、電子ペン２の傾きが所定角度以上、あるいは、所定角度以下の時に、写真関連付けモードに遷移させてもよい。また、電子ペン２と写真データとの関連付けができた場合に、写真関連付けモードに遷移させてもよいし、図１８（Ｂ）を用いて説明したように、所定のサイドスイッチが押下操作された場合に、写真関連付けモードに遷移させてもよい。また、電子ペン２に加えられた筆圧が、所定値以上あるいは所定値以下のときに、写真関連付けモードに遷移させてもよい。
For example, when the shutter button is operated, the mode may be changed to the photo association mode. Alternatively, the tilt of the
このように、電子ペン２によるセンサ部３２０上の指示位置が、写真データに応じた写真の関連付け位置の指示か、それ以外の指示かを情報処理装置部１００が認識可能にするためには、所定の事象が発生した場合に、写真関連付けモードに遷移させるようにすればよい。もちろん、サイドスイッチを用いる場合には、写真関連付けモードに遷移させるのではなく、そのときだけ、写真データに応じた写真の関連付け位置の指示操作がされたと判別するようにすればよい。
As described above, in order to enable the information
また、上述した第１の実施の形態では、点検対象エリアの種々の設計図面を表示画面２２０に表示し、これに写真データを関連付ける場合を説明したが、これに限るものではない。例えば、被写体の全体写真に、当該被写体の各部分の写真を関連付けするようにしたり、電子データとして取り込むようにした手書き画像に写真を関連付けするようにしたりすることができる。すなわち、写真の関連付け対象となる画像は、設計図面の他、種々の画像を用いることが可能である。
Further, in the first embodiment described above, the case has been described in which various design drawings of the inspection target area are displayed on the
また、上述した第１の実施の形態では、点検対象エリアの目的とする設計図面を表示画面２２０に表示し、これに点検対象部分の写真データを関連付ける場合について説明した。しかしながら、点検対象が化学プラントのような複雑な場所である場合、写真を取るべき点検箇所（点検部位）が即座に特定できない場合があると考えられる。特に点検に不慣れなユーザ（担当者）が点検を行う場合には点検箇所の特定に時間がかかる場合がある。
Further, in the first embodiment described above, the case has been described in which the design drawing intended for the inspection target area is displayed on the
そこで、点検部位の画像を予め撮影してその部位の画像データを得て、これを点検対象エリアのエリア設計図等と対応付けて記憶保持しておく。そして、ユーザが目的とする点検エリアに到着し、点検に用いる設計図面を選択した後に、点検部位が即座に特定できない場合に、点検部位サーチ機能を用いるようにする。タブレット型情報端末１の点検部位サーチ機能は、以下の（１）〜（３）の３つのステップからなる。
Therefore, an image of the inspection part is taken in advance to obtain image data of the part, and this is stored and held in association with the area design drawing of the inspection target area. Then, after the user arrives at a target inspection area and selects a design drawing to be used for inspection, the inspection region search function is used when the inspection region cannot be immediately identified. The inspection site search function of the
（１）点検エリアの画像を電子ペン２のカメラユニット２２を通じて撮像するようにして取り込む。（２）取り込んだカメラ画像と、選択された設計図等に対応付けられている点検部位の画像データによる画像（点検部位画像）との画像マッチングを行う。（３）この画像マッチングにより点検部位画像と一致する部位（箇所）を点検部位として特定し、これをユーザに通知する。以下、この点検部位サーチ機能について具体的に説明する。
(1) An image of the inspection area is captured so as to be captured through the
図２３は、タブレット型情報端末１が備える点検部位サーチ機能を説明するための図である。図２３（Ａ）は、予め撮影されて記憶保持されている点検部位の画像データにより形成される点検部位画像ＴＺを示す図である。上述もしたように、点検部位の画像データは、エリア設計図等と対応付けられて、図面等ＤＢ１０５に記憶保持されているものとする。
FIG. 23 is a diagram for explaining an inspection site search function provided in the
そして、点検対象エリアに到着したユーザによって、例えば、タブレット型情報端末１の表示画面２２０に表示されるメニューから点検部位サーチ機能に対応する項目が選択されることにより、点検部位サーチ機能が実行するようにされたとする。この場合、タブレット型情報端末１の制御部１０２は、電子ペン２に制御信号を供給し、電子ペン２のカメラユニット２２を起動させる。
The user who arrives at the inspection target area executes the inspection region search function by selecting an item corresponding to the inspection region search function from a menu displayed on the
更に、制御部１０２は、音声メッセージや表示メッセージにより、ユーザに対して点検エリアの撮影を指示する。これに応じて、ユーザは電子ペン２のカメラユニット２２の撮像レンズを点検エリアに向けて撮影を行うようにする。これにより、カメラユニット２２を通じて点検エリアが撮像され、カメラ画像（撮像画像）がタブレット型情報端末１に送信されて、表示装置部２００の表示画面２２０に表示される。
Further, the
図２３（Ｂ）は、タブレット型情報端末１の表示画面２２０に表示されたカメラ画像ＣＺの例を示す図である。タブレット型情報端末１の制御部１０２は、カメラ画像ＣＺ（図２３（Ｂ））と、点検部位画像ＴＺ（図２３（Ａ））とのパターンマッチングを行って、カメラ画像ＣＺ中の点検部位を特定する処理を行う。簡単には、制御部１０２は、カメラ画像ＣＺ中の各オブジェクトの輪郭を特定し、点検部位画像ＴＺ中のオブジェクトの輪郭と類似の高い部分を検出する。
FIG. 23B is a diagram illustrating an example of the camera image CZ displayed on the
図２３（Ｂ）に示すカメラ画像ＣＺの例の場合、カメラ画像ＣＺの右側に点検部位画像ＴＺと類似の高い部位が検出され、その部位を囲むように点線が表示されると共に、矢印ＹＭも表示されて、点検部位ＣＰがユーザに通知される。このように、点検部位サーチ機能は、点検部位画像ＴＺをマーカーとして利用し、このマーカーと一致する部位を点検箇所として通知する機能である。換言すれば、点検部位サーチ機能は、いわゆるＡＲ（Augmented Reality）マーカーとしての機能を実現するものである。これにより、点検に不慣れなユーザが点検を実行する場合にも、点検箇所を間違えることなく迅速に特定し、適切に点検を行うことができる。 In the example of the camera image CZ shown in FIG. 23B, a high part similar to the inspection part image TZ is detected on the right side of the camera image CZ, a dotted line is displayed so as to surround the part, and an arrow YM is also displayed. The inspection site CP is displayed to the user by being displayed. Thus, the inspection part search function is a function that uses the inspection part image TZ as a marker and notifies a part that matches the marker as an inspection part. In other words, the inspection site search function realizes a function as a so-called AR (Augmented Reality) marker. Thereby, even when a user unaccustomed to the inspection performs the inspection, it is possible to quickly specify the inspection portion without making a mistake and perform the inspection appropriately.
また、実際の点検の場面では、例えば、亀裂や変色部位などの問題箇所が発見された場合、その問題箇所の寸法を適切に把握したいとする要求がある。もちろん、問題箇所を撮影した写真の画像データに対して付加できる上述した手書きメモで、問題箇所の寸法等の情報を残すことも可能である。しかし、問題箇所を撮影した写真の画像から問題箇所の寸法等について一見して把握できるようにしておくとより便利である。 Further, in the actual inspection scene, for example, when a problem part such as a crack or a discolored part is found, there is a demand for appropriately grasping the dimension of the problem part. Of course, the above-mentioned handwritten memo that can be added to the image data of a photograph taken of the problem part can leave information such as the dimension of the problem part. However, it is more convenient to make it possible to grasp at a glance the dimensions of the problem part from the image of the photograph taken of the problem part.
ところが、単に問題箇所を撮影しても撮影画像からは問題箇所等の大きさ、具体的には、亀裂の長さや変色部位の大きさを正確に把握できない。撮影時におけるカメラユニット２２から被写体（問題箇所等）までの距離などの撮影時の状態が分からないため、問題箇所等の実際の大きさが撮影画像からは把握できないのである。そこで、この実施の形態のタブレット型情報端末１と電子ペン２とからなる装置では、撮像した写真の画像自体に目盛りを自動で付加したり、実際に定規を当てて寸法を測り、撮像した画像上に手書きメモを付加したりすることもできるようにする。
However, even if the problem part is simply photographed, the size of the problem part or the like, specifically, the length of the crack or the size of the discolored part cannot be accurately grasped from the photographed image. Since the state at the time of shooting such as the distance from the
図２４は、自動的に目盛りを付した撮影画像（図２４（Ａ））と、目的被写体に定規を当てて被写体の大きさを把握し、手書きメモを記入した撮影画像（図２４（Ｂ））を説明するための図である。まず、図２４（Ａ）を参照しながら、自動的に目盛りを付した撮影画像を得る場合について説明する。図２４（Ａ）に示すように、点検箇所の例えば壁面に生じている亀裂ＫＲと当該亀裂ＫＲの周囲に生じている変色箇所ＨＢとを撮影する場合を考える。 FIG. 24 shows a photographed image automatically scaled (FIG. 24A) and a photographed image (FIG. 24B) in which the size of the subject is grasped by applying a ruler to the target subject and a handwritten memo is written. FIG. First, with reference to FIG. 24A, a case where a photographed image automatically scaled is obtained will be described. As shown in FIG. 24A, a case is considered in which a crack KR generated on, for example, a wall surface of an inspection location and a discoloration location HB generated around the crack KR are photographed.
この場合に、タブレット型情報端末１の使用者は、電子ペン２のカメラユニット２２を通じて撮影を行うに際して、例えば、表示画面２２０に表示されている目盛り付与ボタンを指示するなどの撮影画像に目盛りを付加するための所定の操作を行う。この場合、ファインダ制御部１１０が機能して、カメラユニット２２を通じて取り込まれた画像中に存在する被写体を認識し、当該被写体の大きさに応じた目盛りを当該画像中に合成する。
In this case, when the user of the
被写体の大きさいを算出する方法は種々の方法があるが、その一例について説明する。簡単には、カメラユニット２２の焦点距離ｆ、撮影された画像の水平画素数Ｗ、撮影された画像中の被写体の水平方向の占有画素数Ｎ、被写体までの距離Ｒが分かれば、被写体の水平方向の大きさＬ（ｍｍ）は、「（３６Ｒ／ｆ）（Ｎ／Ｗ）」で求めることができる。この場合、撮像素子サイズのフォーマットが、３５ｍｍフィルムサイズ相当の（水平方向３６ｍｍ×垂直方向２４ｍｍ）であるものとしている。
There are various methods for calculating the size of the subject, and an example will be described. Briefly, if the focal length f of the
したがって、上述の式では、（３６Ｒ／ｆ）で水平方向の倍率を求め、これに（Ｎ／Ｗ）で写真全体における被写体の横方向に占める割合を掛けることにより、被写体の水平方向の長さを（大きさ）求めている。なお、物体の垂直方向の長さ（大きさ）は、定数「３６」に替えて定数「２４」を用い、撮影された画像の垂直画素数と、撮影された画像中の被写体の垂直方向の占有画素数を用いれば、同様に計算できる。また、撮像素子サイズのフォーマットが変われば、それに応じて計算式の定数部分の値が変わる。 Therefore, in the above formula, the horizontal magnification of the subject is obtained by calculating the horizontal magnification by (36R / f) and multiplying this by the proportion of the subject in the horizontal direction in the entire photo by (N / W). Seeking (size). Note that the vertical length (size) of the object uses the constant “24” instead of the constant “36”, and the number of vertical pixels of the captured image and the vertical direction of the subject in the captured image. If the number of occupied pixels is used, the same calculation can be performed. If the format of the image sensor size changes, the value of the constant part of the calculation formula changes accordingly.
この場合、焦点距離ｆは事前に分かっている情報であり、水平画素数Ｗと占有画素数Ｎとは、タブレット型情報端末１側で撮影画像に基づいて把握可能な情報である。しかし、カメラユニット２２から被写体までの距離Ｒは、通常分かっていない。このため、被写体までの距離Ｒは、撮影時にユーザがタブレット型情報端末１に入力するか、あるいは、被写体までの距離Ｒをタブレット型情報端末１側で算出する。
In this case, the focal length f is information known in advance, and the number of horizontal pixels W and the number of occupied pixels N are information that can be grasped on the
被写体までの距離Ｒの算出方法も種々の方法がある。その一例について説明する。この実施の形態の利用態様では多くの場合、１ｍ以内の近距離から点検箇所を撮影する場合が多い。このため、焦点距離やフォーカス調整時の制御量などの取得可能な情報と、被写体までの距離との対応テーブルを作成しても、それほどデータ量が大きくなることもない。そこで、焦点距離やフォーカス調整時の制御量などの取得可能な情報と、被写体までの距離との対応テーブルを用意しておき、これに基づいて被写体までの距離を求めるようにすることができる。 There are various methods for calculating the distance R to the subject. One example will be described. In many cases, in this embodiment, the inspection location is photographed from a short distance of 1 m or less. For this reason, even if a correspondence table between information that can be acquired, such as a focal length and a control amount at the time of focus adjustment, and a distance to a subject is created, the amount of data does not increase so much. Therefore, a correspondence table between information that can be acquired, such as the focal length and the control amount at the time of focus adjustment, and the distance to the subject is prepared, and the distance to the subject can be obtained based on this.
また、タブレット型情報端末１や電子ペン２が、いわゆる深度センサを搭載することにより、被写体までの距離を計測することもできる。また、カメラユニット２２が、後述する３Ｄカメラの構成とされた場合にも、被写体までの距離を計測できる。このような場合には、深度センサや３Ｄカメラにより計測するようにした被写体までの距離を用いることができる。
Moreover, the tablet-
このようにして、被写体の大きさ、この例の場合には、亀裂ＫＲと変色箇所ＨＢの大きさが分かれば、ファインダ制御部１１０は、当該被写体の大きさに合致する目盛りを、カメラユニット２２を通じて取り込まれた画像に対して重畳する。これにより、図２４（Ａ）に示した態様で、自動的に目盛りを付した被写体の画像を撮影することができる。図２４（Ａ）に示した例の場合には、縦には１ｃｍ刻みの１０ｃｍの目盛りＳＣ１が、横にも１ｃｍ刻みの１０ｃｍの目盛りＳＣ２が表示されている。これにより、長さは約８ｃｍの亀裂が生じ、その周囲に直径が約８ｃｍの円形の変色箇所が存在することが、当該画像から一目瞭然に把握可能となる。
In this way, if the size of the subject, in this example, the size of the crack KR and the discoloration portion HB is known, the
なお、亀裂や変色箇所が目立たない場合には、電子ペン２により、亀裂の上をなぞったり、変色箇所の周囲をなぞったりして、そのなぞった線上の位置を特定して、画像上の亀裂や変色箇所である被写体の位置や形状をタブレット型情報端末１が把握する。この把握した被写体の位置や形状に基づいて、撮影された画像の水平画素数Ｗや、撮影された画像の垂直画素数を把握するようにし、上述した計算に利用することができる。
If the crack or discoloration is not conspicuous, the
次に、図２４（Ｂ）を参照しながら、目的被写体に定規を当てて被写体の大きさを把握し、手書きメモを記入した撮影画像を得るようにする場合について説明する。図２４（Ｂ）においても、図２４（Ａ）を用いて説明した場合と同様に、点検箇所の例えば壁面に生じている亀裂ＫＲと当該亀裂ＫＲの周囲の変色箇所ＨＢとを撮影する場合を考える。 Next, with reference to FIG. 24B, a case will be described in which a ruler is applied to a target subject to grasp the size of the subject and a photographed image in which a handwritten memo is written is obtained. In FIG. 24 (B), as in the case described with reference to FIG. 24 (A), a case where a crack KR generated on, for example, a wall surface of the inspection location and a discoloration location HB around the crack KR are photographed. Think.
この例の場合には、図２４（Ｂ）に示すように、亀裂ＫＲに沿って実際に定規ＲＬを当てて、亀裂ＫＲや変色箇所ＨＢの大きさを実測する。そして、当該部分を撮像し、撮像した画像をタブレット型情報端末１の表示画面２２０に表示し、電子ペン２を用いて当該撮像画像上に手書きメモを入力する。図２４（Ｂ）の場合には、「亀裂長８ｃｍ」という手書きメモＨＭ１と、「亀裂の周囲に直径約８ｃｍの変色箇所」という手書きメモＨＭ２が入力された状態を示している。
In the case of this example, as shown in FIG. 24B, a ruler RL is actually applied along the crack KR to actually measure the size of the crack KR and the discolored portion HB. And the said part is imaged, the imaged image is displayed on the
この例の場合、点検箇所の撮像画像に対して、手書きメモＨＭ１、ＨＭ２を重畳するようにして一体の画像データとし記憶保持してもよい。また、撮像画像にとは別に、手書きメモＨＭ１、ＨＭ２を当該撮像画像上の重畳位置を示す座標データとともに記憶保持するようにしてもよい。後者の場合には、当該撮像画像の再生時において、当該手書きメモＨＭ１、ＨＭ２を当該撮像画像に重畳して表示することになる。 In the case of this example, the handwritten memos HM1 and HM2 may be superimposed on the captured image of the inspection location and stored and held as integral image data. In addition to the captured image, the handwritten memos HM1 and HM2 may be stored and held together with coordinate data indicating the superimposed position on the captured image. In the latter case, when the captured image is reproduced, the handwritten memos HM1 and HM2 are displayed superimposed on the captured image.
これにより、点検箇所の画像と共に、その点検箇所に存在する亀裂や変色箇所などについての問題の所在をユーザ（点検者）の手書きメモにより明確に示すことができる。また、亀裂や変色箇所などの問題箇所の大きさ、その他の重要な情報についても、ユーザの手書きメモによって明確に把握することができる。 Thereby, the location of the problem about a crack, a discoloration location, etc. which exist in the inspection location with the image of the inspection location can be clearly indicated by the handwritten memo of the user (inspector). In addition, the size of problem parts such as cracks and discoloration parts and other important information can be clearly grasped by the user's handwritten memo.
なお、定規ＲＬを問題箇所に当てた状態で、当該問題箇所の画像を撮影するようにしてももちろんよい。また、手書きメモの内容も問題箇所の大きさに関するものだけでなく、今後の処置方法や緊急性の有無などの必要となる種々の情報を手書きにより付加することができる。 Of course, the image of the problem part may be taken in a state where the ruler RL is applied to the problem part. In addition, the contents of the handwritten memo can be added not only with respect to the size of the problem part, but also with various information necessary for the future treatment method and the presence or absence of urgency.
また、撮影画像と手書きメモとを別々に記憶保持する場合には、手書きメモデータにも、これが入力されたときに用いられた電子ペン２のペンＩＤを付加しておくようにする。このようにすれば、上述したように撮影画像にも電子ペン２のペンＩＤが付加されているので、撮影画像と、これに重畳させる手書きメモデータとの対応付けをしやすくすることができる。また、撮影画像の場合と同様に、手書き画像データについても、これが利用可能なユーザをペンＩＤやユーザＩＤなどの個別情報により制限することもできる。
When the captured image and the handwritten memo are stored and held separately, the pen ID of the
［第２の実施の形態］
上述した第１の実施の形態では、２次元の画像データ（エリア設計図）の指示した位置に、電子ペン２のカメラユニット２２を通じて取得し、ペンＩＤが付加されている画像データ（写真）を関連付けるようにした。すなわち、関連付けられる画像データはいずれも２次元の画像データであった。しかし、これに限るものではない。３次元データを関連付けの対象とすることもできる。
[Second Embodiment]
In the first embodiment described above, image data (photographs) acquired through the
この第２の実施の形態では、第１の実施例として、３Ｄオブジェクトデータを予め用意しておき、これに電子ペン２のカメラユニット２２を通じて撮影することにより得た２次元の画像データを関連付けることができるようにする。３Ｄオブジェクトデータは、３Ｄオブジェクト（３次元物体）を表示するためのデータであり、テクスチャ画像データやポリゴンデータなどからなる３次元データである。
In the second embodiment, as a first example, 3D object data is prepared in advance, and two-dimensional image data obtained by photographing through the
また、この第２の実施の形態では、第２の実施例として、３Ｄ（３次元）空間画像データと、３Ｄ（３次元）カメラを用いて撮影することにより取り込むようにした３Ｄオブジェクトデータとを関連付けることができるようにする。３Ｄ空間画像データは、例えば屋内の状態などの３次元空間画像を表示するためのデータであり、３Ｄオブジェクトデータと同様にテクスチャ画像データやポリゴンデータなどからなる３次元データである。 In the second embodiment, as a second example, 3D (three-dimensional) space image data and 3D object data captured by photographing using a 3D (three-dimensional) camera are used. To be able to associate. The 3D space image data is data for displaying a 3D space image such as an indoor state, for example, and is 3D data composed of texture image data, polygon data, and the like, similar to 3D object data.
このように、以下に説明する第２の実施の形態の場合には、処理対象となるデータが、３Ｄオブジェクトデータや３Ｄ空間画像データである点が、上述した第１の実施の形態の場合とは異なっている。しかし、３Ｄオブジェクトデータや３Ｄ空間画像データを処理する情報処理装置としては、上述した第１の実施の形態のタブレット型情報端末１を用いることができる。このため、以下に説明する第２の実施の形態においても、図１〜図６を用いて説明した第１の実施の形態のタブレット型情報端末１と電子ペン２とを用いるものとし、必要に応じて図１、図２等の図面についても参照しながら説明する。
Thus, in the case of the second embodiment described below, the point that the data to be processed is 3D object data or 3D spatial image data is the same as in the case of the first embodiment described above. Is different. However, as the information processing apparatus that processes 3D object data and 3D spatial image data, the
まず、第１の実施例として、予め用意される３Ｄオブジェクトデータと２次元の画像データ（写真）とを関連付ける場合について説明する。まず、市場に種々提供されている３Ｄソフトウェアを用いて、目的とする３Ｄオブジェクトを表示するための３Ｄオブジェクトデータを作成し、これをタブレット型情報端末１の図面等ＤＢ１０５の所定の記憶領域に記憶保持しておく。
First, as a first embodiment, a case in which 3D object data prepared in advance and two-dimensional image data (photograph) are associated will be described. First, 3D object data for displaying a target 3D object is created by using 3D software provided in the market, and this is stored in a predetermined storage area of the
この場合、３Ｄソフトウェアを用いた３Ｄオブジェクトデータの作成は、タブレット型情報端末１で行ってもよいし、他のパーソナルコンピュータなどで行って、作成したものをタブレット型情報端末１の図面等ＤＢ１０５に記憶するようにしてもよい。なお、３Ｄソフトウェアは、モデリング機能やレンダリンク機能を備え、３Ｄオブジェクト（３次元モデル）を作成して、これを描画（表示）することができるものである。図２５は、第２の実施の形態において、図面等ＤＢ１０５の所定の格納エリアに格納される３Ｄオブジェクトデータファイルの例を説明するための図である。
In this case, the creation of 3D object data using the 3D software may be performed by the
図２５（Ａ）に示すように、この例の３Ｄオブジェクトデータファイルは、３Ｄオブジェクトを表示するための３Ｄオブジェクトデータに対して、立体画像ＩＤ、枝番、備考といったメタデータが付加されたものである。この例において、立体画像ＩＤは５桁の数字であり、枝番は２桁の数字である。これら立体画像ＩＤと枝番とによって、３Ｄオブジェクトデータを一意に特定することができる。立体画像ＩＤは、例えば、円柱、角柱、円錐、角錐、…といった代表的な３Ｄオブジェクト（立体画像）に対応している。枝番は、立体画像ＩＤによって特定される３Ｄオブジェクトについてバリエーションがある場合に、バリエーションを特定する情報となる。 As shown in FIG. 25A, the 3D object data file in this example is obtained by adding metadata such as a stereoscopic image ID, a branch number, and remarks to 3D object data for displaying a 3D object. is there. In this example, the stereoscopic image ID is a 5-digit number, and the branch number is a 2-digit number. The 3D object data can be uniquely specified by the stereoscopic image ID and the branch number. The stereoscopic image ID corresponds to a typical 3D object (stereoscopic image) such as a cylinder, a prism, a cone, a pyramid,. The branch number is information for specifying a variation when there is a variation for the 3D object specified by the stereoscopic image ID.
すなわち、円柱にも底面や上面の面積の大小、高さの高低など種々のバリエーションがあるため、そのバリエーションに応じた３Ｄオブジェクトを表示するための複数の３Ｄオブジェクトデータを図面等ＤＢ１０５に蓄積し、立体画像ＩＤと枝番とによって、その１つ１つを特定できるようにしている。例えば、予め決められた基本的な円柱は、立体画像ＩＤが「１０００１」で枝番が「０１」であり、それよりも上面、底面が小さな円柱は、立体画像ＩＤが「１０００１」で枝番が「０２」などというように、３Ｄオブジェクトデータのそれぞれが一意に特定可能になっている。
That is, since the cylinder has various variations such as the size of the bottom and top surfaces and the height, the plurality of 3D object data for displaying the 3D object corresponding to the variation is stored in the
なお、図面等ＤＢ１０５に記憶保持される３Ｄオブジェクトデータファイルにおいて、立体画像ＩＤには、当該立体画像ＩＤによって特定される３Ｄオブジェクトデータによって表示される３Ｄオブジェクト（立体画像）の名称も対応付けられている。さらに、備考として、当該３Ｄオブジェクトデータに関連する種々のテキスト情報も付加できるようになっている。
In the 3D object data file stored and held in the
そして、図２５（Ａ）に示した３Ｄオブジェクトデータファイルは、立体画像ＩＤが「１０００１」で、当該３Ｄオブジェクトデータファイルに格納されている３Ｄオブジェクトデータは「円柱」を表示するためのものであり、その枝番は「０１」であることが示されている。また、備考には「基本的な３次元図形」である旨のテキスト情報が付加されている。そして、この例では、図２５（Ａ）に示した３Ｄオブジェクトデータファイルに格納されている３Ｄオブジェクトデータにより、例えば図２５（Ｂ）に示すように、円柱である３ＤオブジェクトＧＸを表示することができるようになっている。 The 3D object data file shown in FIG. 25A has a stereoscopic image ID “10001”, and the 3D object data stored in the 3D object data file is for displaying “cylinder”. The branch number is “01”. In addition, text information indicating “basic three-dimensional figure” is added to the remarks. In this example, the 3D object GX that is a cylinder can be displayed as shown in, for example, FIG. 25B by using the 3D object data stored in the 3D object data file shown in FIG. It can be done.
なお、上述もしたように、３Ｄソフトウェアが用いられて、種々の３Ｄオブジェクト（立体図形）を表示するための複数の３Ｄオブジェクトデータが事前に形成される。そして、形成した３Ｄオブジェクトデータに対して、立体画像ＩＤ、枝番、備考といった必要となる情報が付与されて、図２５（Ａ）に示した態様で図面等ＤＢ１０５の所定の記憶領域に記憶保持される。このようにして、図面等ＤＢ１０５に記憶保持されている３Ｄオブジェクトデータファイルは、タブレット型情報端末１のユーザが利用できるようになっている。
As described above, a plurality of 3D object data for displaying various 3D objects (solid figures) is formed in advance using 3D software. Then, necessary information such as a stereoscopic image ID, branch number, and remarks is added to the formed 3D object data, and stored in a predetermined storage area of the
また、この例においても、図４を用いて説明したように、写真フォルダ１０４には、電子ペン２のカメラユニット２２を通じて撮影することにより得た写真データ（２次元の画像データ）が記憶保持されている。図２６は、写真フォルダ１０４に格納されている写真ファイルの具体例を説明するための図である。この例においては、図２６に示すように、写真フォルダ１０４には、ある点検エリアで撮影した例えば圧力計の写真ＰＸを表示する写真データが記憶保持されているものとする。
Also in this example, as described with reference to FIG. 4, the
そして、用途は特に限定されないが、例えば、撮影することにより得た複数の写真データを整理するなどのために、各写真データを目的とする３Ｄオブジェクトデータと関係付けるようにしたい場合が生じたとする。この場合に、この例のタブレット型情報端末１では、点検エリアの設計図面データに対して写真データを関連付けた第１の実施の形態の場合と同様に、目的とする３Ｄオブジェクトデータに対して、目的とする写真データを関連付けることができるようにしている。
The usage is not particularly limited. For example, there is a case where it is desired to associate each piece of photo data with the target 3D object data in order to organize a plurality of pieces of photo data obtained by shooting. . In this case, in the tablet
図２７は、３Ｄオブジェクトデータと写真データとの関連付けについて説明するための図である。タブレット型情報端末１のユーザは、表示装置部２００の表示画面に２２０に表示されるメニューから例えば「テクスチャーマッピング」などいった３Ｄオブジェクトデータと写真データの関連付けを行うための項目を選択する。これにより、タブレット型情報端末１の制御部１０２は、３Ｄオブジェクトデータと写真データの関連付けを行う処理を実行する。
FIG. 27 is a diagram for explaining the association between 3D object data and photo data. The user of the
この場合、制御部１０２は、図面等ＤＢ１０５の３Ｄオブジェクトデータファイルに基づき、代表的な３Ｄオブジェクトの一覧リストを表示画面２２０に表示して、ユーザにより選択可能する。この一覧リストからユーザは関連付けに用いる３Ｄオブジェクトを選択する。ここでは、立体識別ＩＤが「１０００１」の円柱が選択されたとする。そして、制御部１０２が各部を制御することにより、ユーザによって選択された３Ｄオブジェクトデータに対して、ユーザにより指示された写真データを関連付ける処理が実行される。
In this case, the
この例の場合、まず、図面取得部１１１が機能し、図面等ＤＢ１０５から立体画像ＩＤが「１０００１」である３Ｄオブジェクトデータファイルを抽出する。次に、図面表示処理部１１２が機能し、抽出された立体画像ＩＤが「１０００１」の３Ｄオブジェクトデータファイルのうち、枝番が「０１」の３Ｄオブジェクトデータファイルの３Ｄオブジェクトデータに応じた３Ｄオブジェクを表示画面２２０に表示する。
In this example, first, the
当該３Ｄオブジェクトの表示画面においては、例えば、図２７に示すように、表示画面２２０の上端部には、改頁ボタンＬＰ、ＲＰが表示されると共に、立体画像ＩＤと、立体画像（３Ｄオブジェクト）名称と、「１／１０」などといった頁番号が表示される。なお、当該３Ｄオブジェクトの最初の頁には左改頁ボタンＬＰは表示されず、最後の頁には右改頁ボタンは表示されない。有効でない操作を行わせないためである。そして、改頁ボタンＬＰ、ＲＰ上を電子ペン２で指示することにより改頁が行われ、関連付けの対象とする３Ｄオブジェクトの選択ができる。また、頁番号により、その立体画像ＩＤの３Ｄオブジェクトデータファイルの総数はいくついあり、現在の表示頁は何頁かが把握できる。
On the display screen of the 3D object, for example, as shown in FIG. 27, the page break buttons LP and RP are displayed at the upper end of the
そして、ユーザは、改頁ボタンＬＰ、ＲＰを使用して目的とする３Ｄオブジェクトを表示画面２２０上に表示させると、次に、写真データに応じた２次元画像を張り付行け位置の例えば左上端部ＰＬを電子ペン２で指示する。この場合、制御部１０２は、入力装置部３３０のセンサ部３２０から指示位置を示す座標データと電子ペン２のペンＩＤを取得する。そして、写真取得部１０６が機能し、制御部１０２が取得したペンＩＤと同じペンＩＤを付加情報として有する写真データファイルを写真フォルダ１０４から読み出す。
Then, when the user uses the page break buttons LP and RP to display the target 3D object on the
この後、第１関連付け部１０７が、指示位置を示す座標データ（センサ部上の座標位置を示すもの）と写真データとを対応付ける。次に、写真関連付け部１０８が機能して、図２７に示したように、指示された座標位置（左上端部ＰＬ）を基準にして、当該座標位置を示す座標データに対応付けられている写真ファイルの写真データに応じた写真ＰＸを表示する。この写真表示処理部１１５の写真表示処理は、選択された３Ｄオブジェクトである円柱の表面に沿って、抽出され写真データによる写真を貼り付けて表示するものであり、いわゆるテクスチャーマッピングの手法が用いられる。これにより、図２７に示すように、選択された３Ｄオブジェクトである円柱ＧＸの表面（この例の場合は側面）に沿うようにして、読み出された写真データに応じた圧力計の写真ＰＸが貼り付けられる。
Thereafter, the first associating
そして、貼り付けた写真ＰＸ上に電子ペン２を接触させて、ドラッグ操作を行えば、３ＤオブジェクトＧＸ上において、写真ＰＸの貼付位置を移動させることができる。したがって、３ＤオブジェクトＧＸの上面から側面にかけて写真ＰＸを貼り付けるようにするなどのこともできる。また、貼り付けた写真ＰＸの４辺のうちのいずれかの辺上に電子ペン２を接触させて、ドラッグ操作を行えば、その辺を移動させ、写真ＰＸの幅や高さを変更することができる。また、貼り付けた写真ＰＸの４つの頂点のうちのいずれかの頂点に電子ペン２を接触させてドラッグ操作を行えば、その頂点を移動させ写真ＰＸを変形させることができる。
If the
このようにして、３Ｄオブジェクトに対して写真が貼り付けられると、第２関連付け部１１４が機能する。第２関連付け部１１４は、立体画像ＩＤと枝番と備考とからなる３Ｄオブジェクトに関するメタデータと、写真ＩＤと貼付場所を示す座標データとからなる写真に関するメタデータとからなる関連付けデータを生成する。ここで、写真の貼付場所は、写真の最終的に確定した４つの頂点のそれぞれの位置を示す座標データであるが、センサ部３２０上の位置ではなく、貼り付け対象の３Ｄオブジェクト上の位置を示すデータに変換される。
Thus, when a photograph is pasted on a 3D object, the
この場合の変換は、例えば、３Ｄオブジェクトが円柱であれば図２７の原点Ｏを基準にした位置に変換される。どこが基準（原点Ｏ）になるかは、３Ｄオブジェクト毎に決められている。そして、第２関連付け部１１４は、生成した関連付けデータを、例えば、メモリ部１０３の所定の記憶領域に記録して、必要に応じて繰り返し利用することができるようにする。この場合の関連付けデータは、図１６を用いて説明した第１の実施の形態の関連付けデータに対応するものである。
For example, if the 3D object is a cylinder, the conversion in this case is converted to a position based on the origin O in FIG. The reference (origin O) is determined for each 3D object. Then, the
なお、電子ペン２により撮影され、電子ペン２の電子ペンＩＤが付加された写真データファイルが複数存在する場合には、第１の実施の形態の場合と同様に、まず複数の写真データによる写真のそれぞれのサムネイル画像を表示する。そして、そのサムネイル画像の中から関連付けに用いる写真データを選択するようにできる。
When there are a plurality of photograph data files that are taken with the
また、選択した写真データが違う場合には、ボタンＢ４上に電子ペン２を接触させることにより、写真データの選択をやり直すことができる。また、目的とする３Ｄオブジェクトの目的とする位置に目的とする写真を貼り付けることが出来た場合には、ＯＫボタンＢ５に電子ペン２を接触させることにより関連付け処理を終了し、上述したように関連付けデータを生成し、これをメモリ部１０３の所定の記憶領域に記録することができる。
If the selected photograph data is different, the photograph data can be selected again by bringing the
このように、この第２の実施の形態の第１の実施例の場合には、３Ｄオブジェクトに対して、写真を貼り付けるようにする操作を行うことによって、３Ｄオブジェクトデータと写真データとの関連付けを行うことができる。しかも、写真データには、電子ペン２のペンＩＤが付加されているので、電子ペン２のカメラユニット２２を通じて撮像することにより得た写真データを自動的に関連付けの対象とすることができる。
As described above, in the case of the first example of the second embodiment, the operation of pasting the photo on the 3D object is performed to associate the 3D object data with the photo data. It can be performed. Moreover, since the pen ID of the
次に、この第２の実施の形態の第２の実施例である、予め用意される３Ｄ空間画像データと３Ｄカメラで撮影することにより取り込むようにした３Ｄオブジェクトデータとを関連付ける場合について説明する。まず、例えば、３Ｄソフトウェアを用いて、目的とする３Ｄ空間画像を表示するための３Ｄ空間画像データを作成し、これをタブレット型情報端末１の図面等ＤＢ１０５の所定の記憶領域に記憶保持しておく。３Ｄ空間画像データの作成はタブレット型情報端末１で行うこともできるし、他のパーソナルコンピュータなどで行って、作成したものをタブレット型情報端末１の図面等ＤＢ１０５に記憶するようにしてもよい。
Next, a case of associating 3D spatial image data prepared in advance with 3D object data captured by shooting with a 3D camera, which is a second example of the second embodiment, will be described. First, for example, using 3D software, 3D space image data for displaying a target 3D space image is created and stored in a predetermined storage area of the
図２８は、この例において、図面等ＤＢ１０５に格納される３Ｄ空間画像データファイルの例を説明するための図である。図２８（Ａ）に示すように、この例の３Ｄ空間画像データファイルは、３Ｄ空間画像を表示するための３Ｄ空間画像データに対して、３Ｄ空間ＩＤ、備考といったメタデータが付加されたものである。この例において、３Ｄ空間ＩＤは５桁の数字であり、３Ｄ空間画像データを一意に特定することができるものである。また、３Ｄ空間ＩＤに対応して、当該３Ｄ空間ＩＤによって特定される３Ｄ空間画像データによって表示される３Ｄ空間画像（立体画像）の名称も対応付けられている。さらに、備考には、当該３Ｄ空間画像データに関連する種々のテキスト情報が格納される。
FIG. 28 is a diagram for explaining an example of a 3D spatial image data file stored in the
そして、図２８（Ａ）に示した３Ｄ空間画像データファイルは、３Ｄ空間ＩＤが「００００１」で、当該３Ｄ空間画像データファイルに格納されている３Ｄ空間画像データは「室内Ａ」の３Ｄ空間画像を表示するためのものであることが示されている。また、備考には「室内の３次元空間画像パターン」である旨のテキスト情報が付加されている。そして、図２８（Ａ）に示した３Ｄ空間画像データファイルに格納されている３Ｄ空間画像データにより、例えば図２８（Ｂ）に示すように、テーブルＴＢが置かれた室内の３次元空間画像を表示することができる。 The 3D space image data file shown in FIG. 28A has the 3D space ID “00001”, and the 3D space image data stored in the 3D space image data file is the 3D space image “room A”. It is shown that it is for displaying. In addition, text information indicating “indoor three-dimensional space image pattern” is added to the remarks. Then, using the 3D space image data stored in the 3D space image data file shown in FIG. 28A, for example, as shown in FIG. 28B, the indoor 3D space image in which the table TB is placed is converted. Can be displayed.
なお、上述もしたように、３Ｄソフトウェアが用いられて、種々の３Ｄ空間画像を表示するための複数の３Ｄ空間画像データが事前に形成される。そして、形成した３Ｄ空間画像データに対して、３Ｄ空間ＩＤ、備考といった必要となる情報が付与されて、図２８（Ａ）に示した態様で図面等ＤＢ１０５に記憶保持される。このようにして、図面等ＤＢ１０５に記憶保持されている３Ｄ空間画像データファイルは、タブレット型情報端末１のユーザが利用することができるようになっている。
As described above, 3D software is used to generate a plurality of 3D space image data for displaying various 3D space images in advance. Then, necessary information such as a 3D space ID and remarks is given to the formed 3D space image data, and is stored and held in the drawing etc.
そして、この例において、タブレット型情報端末１には、３Ｄカメラユニット２２Ｃを搭載した電子ペン２Ｃが接続されている。３Ｄカメラを用いて目的とする被写体（対象物）を撮影する場合には、３Ｄカメラから被写体までの距離が分かる。このため、タブレット型情報端末１では、電子ペン２Ｃの３Ｄカメラユニット２２Ｃを通じて撮影した画像に基づいて、被写体（対象物）を３Ｄオブジェクトとして表示する３Ｄオブジェクトデータを生成し、これを写真フォルダ１０４に記憶保持する。
In this example, the tablet
図２９は、この例の電子ペン２Ｃの外観を説明するための図である。図２９に示すように、電子ペン２Ｃが備える３Ｄカメラユニット２２Ｃは、撮像レンズを２つ備えたものである。そして、図示しないが、２つの撮像レンズのそれぞれに対応する２つの撮像素子を備え、２つのそれぞれの撮像レンズを通じて被写体を撮像することができるものである。
FIG. 29 is a view for explaining the appearance of the electronic pen 2C of this example. As shown in FIG. 29, the
したがって、３Ｄカメラユニット２２Ｃは、ヒトの左右のそれぞれの目で見ているそれぞれの画像を撮影するのと同様の画像が撮影できる。そして、２つの撮像レンズ間の距離は既知である。この２つの撮像レンズ間を結ぶ直線を基線とする。そして、この基線の両端（撮像レンズの中心）のそれぞれから目的とする被写体の注目点までの直線と、当該基線とのなす角の角度も分かる。このため、三角測量法により、当該被写体の注目点までの距離が分かる。
Therefore, the
これを利用し、タブレット型情報端末１においては、電子ペン２Ｃの３Ｄカメラユニット２２Ｃからの写真データから被写体の複数の注目点までの距離を算出し、これに基づき被写体（対象物）の３Ｄオブジェクトデータを生成することができる。このため、タブレット型情報端末１においては、例えば制御部１０２が機能し、３Ｄカメラユニット２２Ｃを通じて撮像した２つの写真データのほかに、被写体の３Ｄオブジェクトデータも生成して、写真フォルダ１０４に記憶保持するようにしている。
Using this, in the
図３０は、写真フォルダ１０４に格納されている被写体の３Ｄオブジェクトデータファイルの具体例を説明するための図である。図３０に示すように、この例の被写体の３Ｄオブジェクトデータファイルは、上述したように、３Ｄカメラユニット２２Ｃを通じて撮影された写真出たに基づいて生成された被写体の３Ｄオブジェクトデータに対して、被写体ＩＤと付加情報とが付加されて形成されたものである。
FIG. 30 is a diagram for explaining a specific example of the 3D object data file of the subject stored in the
被写体ＩＤは、被写体の３Ｄオブジェクトデータを一意に特定できるものであり、付加情報は、上述した写真データファイルの場合と同様に、撮影日時、撮影場所、ペンＩＤ、その他の情報からなるものである。また、被写体の３Ｄオブジェクトデータファイルには、上述した写真データファイルの場合と同様に、必要に応じてユーザが電子ペン２Ｃを用いてタブレット型情報端末１を通じて入力するようにした手書きメモも付加することができるようにされている。
The subject ID can uniquely identify the 3D object data of the subject, and the additional information includes the shooting date / time, shooting location, pen ID, and other information as in the case of the above-described photo data file. . In addition, as in the case of the above-described photographic data file, a handwritten memo that a user inputs through the
図３０（Ａ）に示した被写体の３Ｄオブジェクトデータファイルに格納されている被写体の３Ｄオブジェクトデータにより、例えば図３０（Ｂ）に示すように、撮影された被写体の３Ｄオブジェクトを表示することができる。図３０（Ｂ）は、円柱形状の例えばストール（腰掛け）Ｊ１の３Ｄオブジェクトの画像である。 The 3D object data of the subject stored in the 3D object data file of the subject shown in FIG. 30A can display the 3D object of the photographed subject, for example, as shown in FIG. . FIG. 30B is an image of a 3D object having a cylindrical shape, for example, a stall (stool) J1.
そして、例えば想定される室内への家具のレイアウトを確認するために、図面等ＤＢ１０５に用意されている３Ｄ空間画像データと、写真フォルダ１０４に記憶保持されている被写体の３Ｄオブジェクトデータとを関係付けるようにしたい場合が生じたとする。このような場合に、この例のタブレット型情報端末１では、点検エリアの図面データに対して写真データを関連付けたように、目的とする３Ｄ空間画像データに対して、目的とする被写体の３Ｄオブジェクトデータを関連付けることができる。
Then, for example, in order to check the assumed furniture layout in the room, the 3D space image data prepared in the
図３１は、３Ｄ空間画像データと被写体の３Ｄオブジェクトデータとの関連付けについて説明するための図である。タブレット型情報端末１のユーザは、表示装置部２００の表示画面に２２０に表示されるメニューから例えば「３Ｄ空間内レイアウト確認」などいった３Ｄ空間画像データと被写体の３Ｄオブジェクトデータの関連付けを行うための項目を選択する。これにより、タブレット型情報端末１の制御部１０２の制御の下、３Ｄ空間画像データと被写体の３Ｄオブジェクトデータとの関連付けを行う処理が実行される。
FIG. 31 is a diagram for explaining the association between 3D space image data and 3D object data of a subject. The user of the
この場合、制御部１０２は、図面等ＤＢ１０５に記憶保持されている３Ｄ空間画像データファイルに基づき、３Ｄ空間画像の一覧リストを形成し、これを表示画面２２０に表示する。タブレット型情報端末１のユーザは、表示画面２２０に表示された一覧リストから目的とする３Ｄ空間画像を選択する。ここでは、３Ｄ空間ＩＤが「００００１」の「室内Ａ」の３Ｄ空間画像データが選択されたとする。そして、制御部１０２が各部を制御し、３Ｄ空間画像データに対して被写体の３Ｄオブジェクトデータを関連付ける処理が行われる。
In this case, the
まず、図面取得部１１１が機能し、図面等ＤＢ１０５から３Ｄ空間ＩＤが「００００１」である３Ｄ空間画像データファイルを抽出する。次に、図面表示処理部１１２が機能し、抽出された３Ｄ空間ＩＤが「００００１」の３Ｄ空間画像データファイルの３Ｄ空間画像データに応じた３Ｄ空間画像を表示画面２２０に表示する。この場合、例えば図３１に示すように、表示画面２２０の上端部には、改頁ボタンＬＰ、ＲＰが表示されると共に、３Ｄ空間ＩＤと、３Ｄ空間画像の名称と、「２／１０」などといった頁番号が表示される。なお、当該３Ｄ空間画像の最初の頁には左改頁ボタンＬＰは表示されず、最後の頁には右改頁ボタンは表示されない。有効でない操作を行わせないためである。また、頁番号により、３Ｄ空間画像データファイルの総数はいくついあり、現在の表示頁は何頁かが把握できる。
First, the
そして、ユーザは、選択した３Ｄ空間画像が目的とするものでなかった場合には、改頁ボタンＬＰ、ＲＰを使用して改頁を行い、目的とする３Ｄ空間画像を表示画面２２０に表示させるようにできる。このようにして、目的とする３Ｄ空間画像を表示画面２２０上に表示させると、次に、被写体の３Ｄオブジェクトを表示させる（配置する）位置Ｐｔを表示画面２２０に電子ペン２Ｃを接触させるようにして指示する。この場合、制御部１０２は、入力装置部３３０のセンサ部３２０から指示位置を示す座標データと電子ペン２ＣのペンＩＤを取得する。そして、写真取得部１０６が機能し、制御部１０２が取得したペンＩＤと同じペンＩＤを付加情報として有する被写体の３Ｄオブジェクトデータファイルを写真フォルダ１０４から読み出す。
When the selected 3D space image is not the target, the user performs a page break using the page break buttons LP and RP, and displays the target 3D space image on the
この後、第１関連付け部１０７は、指示された座標位置を示す座標データと読み出した被写体の３Ｄオブジェクトデータファイルとを関連付ける。次に、写真関連付け部１０８が機能して、指示された座標位置Ｐｔを基準にして、当該座標位置を示す座標データに対応付けられている被写体の３Ｄオブジェクトデータファイルの３Ｄオブジェクトデータに応じた３ＤオブジェクトＪ１を表示する。これにより、図３１に示すように、選択された３Ｄ空間画像内に、抽出された被写体の３Ｄオブジェクトデータに応じた３Ｄオブジェクト（この例では円柱のストール）が、指示された位置に配置される（貼り付けられる）。そして、配置した３ＤオブジェクトＪ１上に電子ペン２Ｃを接触させて、ドラッグ操作を行えば、３Ｄオブジェクト（円柱のストール）の配置位置を移動させることができる。
Thereafter, the first associating
このようにして、３Ｄ空間画像に対して被写体の３Ｄオブジェクトが配置されると、第２関連付け部１１４が機能し、２Ｄ空間ＩＤと備考とからなる３Ｄ空間画像に関するメタデータと、被写体ＩＤと貼付場所を示す座標データとからなる被写体の３Ｄオブジェクトに関するメタデータとからなる関連付けデータを生成し、これを例えば、メモリ部１０３の所定の記憶領域に記録して、必要に応じて繰り返し利用することができるようにされる。
In this way, when the 3D object of the subject is arranged with respect to the 3D space image, the second associating
ここで、被写体の３Ｄオブジェクトの貼付場所は、最終的に確定した被写体の３Ｄオブジェクトの貼付位置を特定可能な座標データということになるが、センサ部３２０上の位置ではなく、配置対象の３Ｄ空間画像上の位置を示すデータに変換される。この場合の変換は、例えば、３Ｄ空間画像が図３１に示したものであれば、図３２の原点Ｏを基準にした位置に変換される。そして、第２関連付け部１１４は、生成した関連付けデータを、例えば、メモリ部１０３の所定の記憶領域に記録して、必要に応じて繰り返し利用することができるようにする。この場合の関連付けデータは、図１６を用いて説明した第１の実施の形態の関連付けデータに対応するものである。
Here, the pasting location of the 3D object of the subject is coordinate data that can specify the pasting position of the finally determined 3D object of the subject, but it is not the position on the
なお、電子ペン２Ｃの３Ｄカメラユニット２２Ｃを通じて撮影されることにより得た画像データに基づいて生成された被写体の３Ｄオブジェクトの３Ｄオブジェクトデータファイルが複数存在する場合もある。この場合には、第１の実施の形態の場合と同様に、まず複数の被写体の３Ｄオブジェクトのサムネイル画像を表示し、そのサムネイル画像の中から関連付けに用いる被写体の３Ｄオブジェクトを選択するようにできる。
There may be a plurality of 3D object data files of a 3D object of a subject generated based on image data obtained by shooting through the
また、図３１に示すように、被写体の３ＤオブジェクトＪ１を配置した後に、電子ペン２Ｃにより他の貼付位置Ｐｔ２を指示することにより、当該貼付位置に他の被写体の３Ｄオブジェクト（図３１では直方体のストール）Ｊ２を追加して配置することもできる。 In addition, as shown in FIG. 31, after placing the 3D object J1 of the subject, the other pen position Pt2 is instructed by the electronic pen 2C, so that the 3D object of the other subject (in FIG. 31, a rectangular parallelepiped is displayed). Stall) J2 can be added and arranged.
また、選択した被写体の３Ｄオブジェクトデータが違う場合には、ボタンＢ４上に電子ペン２Ｃを接触させることにより、被写体の３Ｄオブジェクトデータの選択をやり直すことができる。また、目的とする３Ｄ空間画像の目的とする位置に目的とする被写体の３Ｄオブジェクトを配置することが出来た場合には、ＯＫボタンＢ５に電子ペン２Ｃを接触させることにより関連付け処理を終了させる。この場合に、制御部１０２は、上述したように生成される関連付けデータをメモリ部１０３の所定の記憶領域に記録することができる。
If the 3D object data of the selected subject is different, the 3D object data of the subject can be selected again by bringing the electronic pen 2C into contact with the button B4. When the 3D object of the target subject can be placed at the target position of the target 3D space image, the association process is terminated by bringing the electronic pen 2C into contact with the OK button B5. In this case, the
さらに、３Ｄ空間画像内に配置する被写体の３Ｄオブジェクトの拡大、縮小を行うことも可能である。この場合には、第２関連付け部１１４が生成する関連付けデータに、被写体の３Ｄオブジェクトの縮拡率を示す情報も付加されることになる。また、被写体の３Ｄオブジェクトについて、これを配置する３Ｄ空間画像の大きさに応じて、自動的に適切な大きさに変換することも可能である。
Further, it is possible to enlarge or reduce the 3D object of the subject arranged in the 3D space image. In this case, information indicating the reduction / enlargement ratio of the 3D object of the subject is also added to the association data generated by the
このように、この第２の実施の形態の第２の実施例の場合には、３Ｄ空間画像に対して、被写体の３Ｄオブジェクトを配置するようにする操作を行うことによって、３Ｄ空間画像出たと被写体の３Ｄオブジェクトデータとの関連付けを行うことができる。しかも、被写体の３Ｄオブジェクトデータには、電子ペン２ＣのペンＩＤが付加されているので、電子ペン２Ｃの３Ｄカメラユニット２２Ｃを通じて撮像することにより得た被写体の３Ｄオブジェクトデータを自動的に関連付けの対象とすることができる。
As described above, in the case of the second example of the second embodiment, it is assumed that a 3D space image is obtained by performing an operation to arrange the 3D object of the subject on the 3D space image. Association with the 3D object data of the subject can be performed. Moreover, since the pen ID of the electronic pen 2C is added to the 3D object data of the subject, the 3D object data of the subject obtained by taking an image through the
［第２の実施の形態の効果］
上述した第２の実施の形態の第１の実施例のタブレット型情報端末１及び電子ペン２によれば、電子ペン２に関連付けられる写真データを取得することができる。そして、取得した写真データに応じた写真（画像）を、３Ｄオブジェクトデータにより表示画面２２０に表示される３Ｄオブジェクトの目的とする位置に貼り付けるようにして表示することができる。もちろん、貼り付け対象の写真データと、表示された３Ｄオブジェクト上の指示位置とを関連付けて管理することもできる。
[Effect of the second embodiment]
According to the tablet
上述した第２の実施の形態の第２の実施例のタブレット型情報端末１及び電子ペン２Ｃによれば、電子ペン２Ｃに関連付けられる被写体の３Ｄオブジェクトデータを取得することができる。そして、取得した３Ｄオブジェクトデータに応じた３Ｄオブジェクトを、３Ｄ空間画像データにより表示画面２２０に表示される３Ｄ空間画像の目的とする位置に貼り付けるようにして表示することができる。もちろん、貼り付け対象の被写体の３Ｄオブジェクトデータと、表示された３Ｄ空間画像上の指示位置とを関連付けて管理することもできる。
According to the
［第２の実施の形態の変形例等］
なお、この例においては、３Ｄ空間画像データが、３Ｄソフトウェアを用いて事前に作成しておくものとして説明したが、これに限るものではない。例えば、実際にモデルルームが存在する等、３Ｄ空間画像として表現すべき実空間が存在する場合には、当該実空間を３Ｄカメラを用いて撮影し、撮影することにより写真データに基づいて、３Ｄ空間画像データを生成するようにしてもよい。当該３Ｄ空間画像データの生成は、制御部１０２が行ったり、制御部１０２の制御の下に機能する生成部を別途設けるようにしたりしてもよい。
[Modifications of Second Embodiment, etc.]
In this example, 3D spatial image data has been described as being created in advance using 3D software. However, the present invention is not limited to this. For example, when there is a real space that should be expressed as a 3D space image, such as when a model room actually exists, the real space is captured using a 3D camera, and the 3D camera 3D is captured based on the photograph data. Spatial image data may be generated. The generation of the 3D space image data may be performed by the
また、第２の実施の形態の場合にも、第１の実施の形態の場合と同様に、入力装置部３００のセンサ部３２０が、静電容量方式のセンサである場合には、ユーザの指によって位置指示が可能である。また、ペンＩＤを示す情報を送出しない電子ペンを用いて位置指示を行うようにすることもできる。
Also in the case of the second embodiment, as in the case of the first embodiment, when the
また、第２の実施の形態の場合にも、写真の貼り付け対象とする３Ｄオブジェクトデータ、３Ｄ空間画像データ、３Ｄ空間画像に対応付ける被写体の３Ｄオブジェクトデータなどは、外部から供給を受けるようにすることができる。また、これらに付加される付加情報やメタデータについてもこれらの３次元データとともに提供を受けることができる。この場合、タブレット型情報端末１に対して優先接続される外部機器から提供を受けることもできるし、近距離無線通信を介して提供を受けることもできる。もちろん、インターネット上に存在するサーバ、すなわちいわゆるクラウドから３次元データやこれに付随する情報の提供を受けるようにすることもできる。
Also in the case of the second embodiment, 3D object data, 3D space image data, 3D object data of a subject to be associated with a 3D space image, and the like to be pasted are received from the outside. be able to. Further, additional information and metadata added to these can be provided together with these three-dimensional data. In this case, provision can be received from an external device preferentially connected to the tablet-
また、第２の実施の形態の第２の実施例の場合には、第１の実施の形態のエリア設計図の選択と同様に、タブレット型情報端末１を所持するユーザが目的とする場所に到達した場合に、その場所の３Ｄ空間画像データを抽出する。そして、抽出した３Ｄ空間画像データに応じた３Ｄ空間画像を表示画面に自動的に表示するように構成することもできる。
Further, in the case of the second example of the second embodiment, as in the selection of the area design drawing of the first embodiment, the user who owns the
この場合、上述した第１の実施の形態の場合と同様に、基地局からのビーコン信号を用いて到達した場所を特定することができる。もちろん、上述した第１の実施の形態でも説明したように、目的とする場所に設置された赤外線通信装置との間での赤外線通信を用いたり、タブレット型情報端末１に搭載されたＧＰＳ機能により検出された現在位置を用いて現在位置を特定したりするなどの方法で、目的とする場所に到達したか否かを判別するようにできる。
In this case, the location reached using the beacon signal from the base station can be specified as in the case of the first embodiment described above. Of course, as described in the first embodiment described above, infrared communication with an infrared communication device installed at a target location is used, or the GPS function mounted on the
［その他］
なお、上述した実施の形態においては、情報処理装置部１００、表示装置部２００、入力装置部３００が一体になったタブレット型情報端末１にこの発明を適用した場合を例にして説明したが、これに限るものではない。例えば、それぞれが別体となる、パーソナルコンピュータ本体（情報処理装置部に相当）と、モニタ装置（表示装置部に相当）と、電子ペンによる指示入力を受け付けるデジタイザ（入力装置部に相当）とからなる画像情報処理システムのこの発明を適用することができる。
[Others]
In the above-described embodiment, the case where the present invention is applied to the
上述した実施の形態のタブレット型情報端末１の場合には、入力装置部３００のセンサ部３２０が、表示装置部２００の表示画面２２０の全面に対応するように設けられていた。このため、センサ部３２０上の指示位置は、表示装置部２００の表示画面２２０上の対応する位置を直接に指示するものとなっていた。しかし、表示画面２２０がセンサ部３２０の一部に配置される場合には、パーソナルコンピュータ本体において、デジタイザのセンサ領域上の指示位置を、モニタ装置の表示画面上の指示位置（座標データ）に変換し、この変換後の座標データと、関連付け対象の画像データとを関連付ければよい。したがって、デジタイザのセンサ領域上の指示位置と関連付け対象の画像データとを関連付けておき、これらをパーソナルコンピュータなどの情報処理装置に供給して、当該センサ領域上の指示位置を表示画面上の指示位置に変換して利用することもできる。
In the case of the
また、上述した実施の形態では、電子ペン２、２Ｃ等のカメラユニット２２、２２Ｃで撮像した写真データは、撮像の都度、タブレット型情報端末１に送信するようにしたが、これに限るものではない。電子ペン２、２Ｃに画像記憶用のフラッシュメモリなどの不揮発性メモリを搭載しておくことにより、複数の写真の写真データを記憶保持できるようにしておく。この場合にも、各写真データに対して、電子ペンＩＤなど付加情報（第２の付加情報）が対応付けられるようにされる。
In the above-described embodiment, the photograph data captured by the
そして、電子ペン２、２Ｃの不揮発性メモリに蓄積された複数の写真データを、タブレット型情報端末１に送信して、これを利用可能にすることもできる。この場合、複数の写真データの中から目的とする写真データを特定する方法は、図１３（Ｂ）を用いて説明した方法を用いることができる。
Then, a plurality of photo data stored in the non-volatile memory of the
また、タブレット型情報端末１が撮像部（カメラ機能）を備える場合には、タブレット型情報端末１の撮像部を通じて撮像することにより得た写真データを、関連付け対象として利用することができる。この場合、タブレット型情報端末１の撮像部を通じて撮像することにより得た写真データに対しても、ペンＩＤなどの付加情報（第２の付加情報）を付加しておく。これにより、タブレット型情報端末１の撮像部を通じて撮像することにより得た写真データについても、電子ペン２のカメラユニットや外部のデジタルカメラやスマートホンなどにより撮像することにより得た写真データと同様に扱うことができる。
When the
なお、上述した実施の形態の説明からも分かるように、特許請求の範囲に記載した画像情報処理装置（以下、単に画像情報処理装置と記載する。）の第１の取得手段、第２の取得手段、第１の関連付け手段の各機能は、実施の形態のタブレット型情報端末１の情報処理装置部（以下、単に情報処理装置部と記載する。）１００のＩ／Ｏ１４０、写真取得部１０６、第１関連付け部１０７が実現している。
As can be understood from the description of the above-described embodiment, the first acquisition unit and the second acquisition unit of the image information processing apparatus described in the claims (hereinafter simply referred to as an image information processing apparatus). Each function of the means and the first association means is the I /
また、画像情報処理装置の付加情報抽出手段の機能は、情報処理装置部１００のＩ／Ｏポート１４０、あるいは、受信アンテナ１５０Ａ及び受信回路１５０が実現している。また、画像情報処理装置の関連付け手段の機能は、情報処理装置部１００の写真関連付け部１０８が実現し、画像情報処理装置の撮像制御手段の機能は、情報処理装置部１００の撮像制御部１０９が実現している。
Further, the function of the additional information extracting unit of the image information processing apparatus is realized by the I /
また、画像情報処理装置の第１の表示処理手段の機能は、情報処理装置部１００のファインダ制御部１１０が実現し、画像情報処理装置の受付手段の機能は、入力装置部３００が実現している。また、画像情報処理装置の第３の取得手段の機能は、情報処理装置部１００の図面取得部１１１が実現し、画像情報処理装置の第２の表示処理手段の機能は、情報処理装置部１００の図面表示処理部１１２が実現している。
The function of the first display processing unit of the image information processing apparatus is realized by the
また、画像情報処理装置の座標変換手段の機能は、情報処理装置部１００の座標変換部１１３が実現し、画像情報処理装置の第２の関連付け手段の機能は、情報処理装置部１００の第２関連付け部１１４が実現している。また、画像情報処理装置の近距離無線通信手段の機能は、情報処理装置部１００の近距離無線通信アンテナ１２０Ａ及び近距離無線通信部１２０が実現し、画像情報処理装置の第３の表示処理手段の機能は、情報処理装置部１００の写真表示処理部１１５が実現している。
Further, the function of the coordinate conversion unit of the image information processing apparatus is realized by the coordinate
また、画像情報処理装置の編集処理手段の機能は、情報処理装置部１００の編集処理部１１６が実現し、画像情報処理装置のモード切替手段の機能は、情報処理装置部１００のモード切替部１１７が実現している。
The function of the editing processing unit of the image information processing apparatus is realized by the
また、上述した実施の形態において、図７〜図１０のフローチャートを用いて説明した方法が、この発明による画像情報処理方法の一実施の形態が適用されたものである。また、図２に示した、情報処理装置部１００の写真取得部１０６、第１関連付け部１０７、写真関連付け部１０８、撮像制御部１０９、ファインダ制御部１１０、図面取得部１１１、図面表示処理部１１２、座標変換部１１３、第２関連付け部１１４、写真表示処理部１１５、編集処理部１１６、モード切替部１１７の各機能は、制御部１０２で実行されるプログラムにより、制御部１０２の機能として実現することもできる。
Further, in the above-described embodiment, the method described with reference to the flowcharts of FIGS. 7 to 10 is the one to which the embodiment of the image information processing method according to the present invention is applied. In addition, the
１…タブレット型情報端末、１００…情報処理装置部、１０１Ａ…送受信アンテナ、１０１…無線通信部、１０２…制御部、１０３…メモリ部、１０４…写真フォルダ、１０５…図面等ＤＢ、１０６…写真取得部、１０７…第１関連付け部、１０８…写真関連付け部、１０９…撮像制御部、１１０…ファインダ制御部、１１１…図面取得部、１１２…図面表示処理部、１１３…座標変換部、１１４…第２関連付け部、１１５…写真表示処理部、１１６…編集処理部、１１７…モード切替部、１１８…操作部、１１８Ａ…電源ボタン、１１９…外部Ｉ／Ｆ、１２０…近距離無線通信部、１２０Ａ…近距離無線通信アンテナ、１３０…Ｉ／Ｏポート、１４０…Ｉ／Ｏポート、１５０…受信回路、１５０Ａ…受信アンテナ、２００…表示装置部、２１０…コントローラ、２２０…表示画面、３００…入力装置部、３１０…コントローラ、３２０…センサ部、２、２Ａ、２Ｂ、２Ｃ…電子ペン、２１…電子ペン機能部、２１Ｍ…メモリ、２２…カメラユニット、２２Ｃ…３Ｄカメラユニット、２３…Ｉ／Ｆ、２４…ケーブル、２５…ペンＩＤメモリ、２６…送信回路、２７…送信アンテナ、２８…シャッターボタン、２９、３０…サイドスイッチ
DESCRIPTION OF
Claims (27)
所定の付加情報が付加された第１の画像データを取得する第２の取得手段と、
前記第１の取得手段を通じて取得した前記第１の座標データに対応する表示装置部の表示画面上の位置を示す位置データと、前記第２の取得手段を通じて取得した前記第１の画像データとを関連付ける第１の関連付け手段と
を備えることを特徴とする画像情報処理装置。 First acquisition means for acquiring first coordinate data indicating the coordinate position from a sensor unit that detects the coordinate position indicated by the indicator;
Second acquisition means for acquiring first image data to which predetermined additional information is added;
Position data indicating a position on the display screen of the display device unit corresponding to the first coordinate data acquired through the first acquisition unit, and the first image data acquired through the second acquisition unit. An image information processing apparatus comprising: first associating means for associating.
前記第２の取得手段は、当該情報処理装置の外部の撮像部を通じて撮像することにより得られた画像データであって、前記所定の付加情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1,
The second acquisition unit is image data obtained by imaging through an imaging unit outside the information processing apparatus, and image data to which the predetermined additional information is added is used as the first image data. An image information processing apparatus characterized by being acquired.
前記第２の取得手段は、前記指示体に内蔵された撮像部を通じて撮像することにより得られた画像データであって、前記所定の付加情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1,
The second acquisition means is image data obtained by imaging through an imaging unit built in the indicator, and image data to which the predetermined additional information is added is used as the first image data. An image information processing apparatus characterized by being acquired.
前記第２の取得手段は、ネットワーク上に保持されている画像データであって、前記所定の付加情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1,
The second acquisition means acquires image data, which is image data held on a network and to which the predetermined additional information is added, as the first image data. apparatus.
前記第２の取得手段が取得する前記第１の画像データは、３次元オブジェクトデータであることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1,
The image information processing apparatus, wherein the first image data acquired by the second acquisition means is three-dimensional object data.
前記指示体である位置指示器から送信される信号により通知される第１の付加情報を取得する付加情報取得手段を備え、
前記第２の取得手段は、前記付加情報取得手段を通じて取得した前記第１の付加情報と、第１の画像データに付加されている前記所定の付加情報である第２の付加情報とに基づいて認証が取られることにより、前記位置指示器に関連付けられる前記第１の画像データを取得するものである
ことを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1,
Additional information acquisition means for acquiring first additional information notified by a signal transmitted from a position indicator that is the indicator;
The second acquisition means is based on the first additional information acquired through the additional information acquisition means and the second additional information that is the predetermined additional information added to the first image data. The image information processing apparatus is characterized in that the first image data associated with the position indicator is acquired by authentication.
前記付加情報取得手段は、前記位置指示器からの信号を受信して、指示された座標位置を検出すると共に、前記信号に含まれる前記第１の付加情報を抽出するセンサ部から、前記第１の付加情報を取得することを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 6,
The additional information acquisition means receives a signal from the position indicator, detects the designated coordinate position, and extracts the first additional information included in the signal from the sensor unit. An image information processing apparatus characterized by acquiring additional information.
前記付加情報取得手段は、前記位置指示器から近距離無線通信により送信された信号を受信し、この受信した信号から前記第１の付加情報を取得することを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 6,
The image processing apparatus according to claim 1, wherein the additional information acquisition unit receives a signal transmitted from the position indicator by short-range wireless communication, and acquires the first additional information from the received signal.
前記第２の取得手段は、当該情報処理装置の外部の撮像部を通じて撮像することにより得られた画像データであって、前記位置指示器からの前記第１の付加情報との間で、関連付けを可能にする前記第２の付加情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 6,
The second acquisition means is image data obtained by imaging through an imaging unit external to the information processing apparatus, and associates with the first additional information from the position indicator. An image information processing apparatus, wherein the image data to which the second additional information to be enabled is added is acquired as the first image data.
前記第２の取得手段は、前記位置指示器に内蔵された撮像部を通じて撮像することにより得られた画像データであって、前記位置指示器からの前記第１の付加情報との間で、関連付けを可能にする前記第２の付加情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 6,
The second acquisition means is image data obtained by imaging through an imaging unit incorporated in the position indicator, and is associated with the first additional information from the position indicator. An image information processing apparatus, wherein the image data to which the second additional information is added is acquired as the first image data.
前記第２の取得手段は、ネットワーク上に保持されている画像データであって、前記位置指示器からの前記第１の付加情報との間で、関連付けを可能にする前記第２の付加情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 6,
The second acquisition means is image data held on a network, and the second additional information enabling association with the first additional information from the position indicator is An image information processing apparatus, wherein the added image data is acquired as the first image data.
前記第２の取得手段が取得する前記第１の画像データは、３次元オブジェクトデータであることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 6,
The image information processing apparatus, wherein the first image data acquired by the second acquisition means is three-dimensional object data.
前記関連付け手段によって関連付けられた前記位置データと前記第１の画像データとを表示装置部に供給し、前記位置データに対応する前記表示装置部の表示画面上の位置に、前記第１の画像データに応じた画像を張り付けるようにする関連付け手段を備えることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1 or 6,
The position data and the first image data associated by the association unit are supplied to a display device unit, and the first image data is displayed at a position on the display screen of the display device unit corresponding to the position data. An image information processing apparatus comprising an associating means for pasting an image according to the image.
ユーザからの操作入力に応じて、前記撮像部を制御する撮像制御手段を備えることを特徴とする画像情報処理装置。 An image information processing apparatus according to claim 2, claim 3, claim 9 or claim 10,
An image information processing apparatus comprising: an imaging control unit that controls the imaging unit in response to an operation input from a user.
前記撮像部からの被写体の画像を形成する画像データの提供を受けて、前記画像データに応じた画像を表示装置部の表示画面の所定の表示領域に表示する第１の表示処理手段と、
ユーザからの操作入力に応じて、前記撮像部を制御する撮像制御手段と
を備えることを特徴とする画像情報処理装置。 An image information processing apparatus according to claim 2, claim 3, claim 9 or claim 10,
First display processing means for receiving image data forming an image of a subject from the imaging unit and displaying an image corresponding to the image data in a predetermined display area of a display screen of a display device unit;
An image information processing apparatus comprising: an imaging control unit that controls the imaging unit in response to an operation input from a user.
ユーザからの指示入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた前記指示入力に応じて、表示装置部の表示画面に表示する主画像を形成する第２の画像データを取得する第３の取得手段と、
前記第３の取得手段により取得された前記第２の画像データに応じた前記主画像を、前記表示装置部の前記表示画面に表示するようにする第２の表示処理手段と、
前記第１の取得手段を通じて取得した前記座標データに対応する前記表示装置部の前記表示画面上の位置を、前記表示画面に表示されている前記主画像上の位置を示す第２の座標データに変換する座標変換手段と、
前記表示画面に表示された前記主画像を形成する前記第２の画像データと、前記座標変換手段により変換された前記第２の座標データと、前記第２の取得手段を通じて取得した前記第１の画像データとを関連付ける第２の関連付け手段と
を備えることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1 or 6,
A receiving means for receiving an instruction input from a user;
Third acquisition means for acquiring second image data forming a main image to be displayed on the display screen of the display device unit in response to the instruction input received through the reception means;
Second display processing means for displaying the main image corresponding to the second image data acquired by the third acquisition means on the display screen of the display device section;
The position on the display screen of the display unit corresponding to the coordinate data acquired through the first acquisition means is set as second coordinate data indicating the position on the main image displayed on the display screen. Coordinate conversion means for converting;
The second image data forming the main image displayed on the display screen, the second coordinate data converted by the coordinate conversion means, and the first acquisition acquired through the second acquisition means. An image information processing apparatus comprising: second association means for associating with image data.
前記第３の取得手段が取得する前記主画像を形成する前記第２の画像データは、３次元オブジェクトを形成する３次元オブジェクトデータであることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 16,
The image information processing apparatus, wherein the second image data forming the main image acquired by the third acquisition unit is three-dimensional object data forming a three-dimensional object.
前記第２の取得手段が取得する前記第１の画像データは、３次元オブジェクトを形成する３次元オブジェクトデータであり、
前記第３の取得手段が取得する前記主画像を形成する前記第２の画像データは、３次元空間画像を形成する３次元空間画像データであることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 16,
The first image data acquired by the second acquisition means is three-dimensional object data forming a three-dimensional object,
The image information processing apparatus, wherein the second image data forming the main image acquired by the third acquisition unit is three-dimensional space image data forming a three-dimensional space image.
近距離無線通信により近隣の基地局からの信号を受信する近距離無線通信手段と、
前記近距離無線通信手段を通じて受信した情報に基づいて、表示装置部の表示画面に表示する主画像を形成する第２の画像データを取得する第３の取得手段と、
前記第３の取得手段により取得された前記第２の画像データに応じた前記主画像を、前記表示装置部の前記表示画面に表示するようにする第２の表示処理手段と、
前記第１の取得手段を通じて取得した前記座標データに対応する前記表示装置部の前記表示画面上の位置を、前記表示画面に表示されている前記主画像上の位置を示す第２の座標データに変換する座標変換手段と、
前記表示画面に表示された前記主画像を形成する前記第２の画像データと、前記座標変換手段により変換された前記第２の座標データと、前記第２の取得手段を通じて取得した前記第１の画像データとを関連付ける第２の関連付け手段と
を備えることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1 or 6,
Short-range wireless communication means for receiving signals from neighboring base stations by short-range wireless communication;
Third acquisition means for acquiring second image data forming a main image to be displayed on the display screen of the display device section based on information received through the short-range wireless communication means;
Second display processing means for displaying the main image corresponding to the second image data acquired by the third acquisition means on the display screen of the display device section;
The position on the display screen of the display unit corresponding to the coordinate data acquired through the first acquisition means is set as second coordinate data indicating the position on the main image displayed on the display screen. Coordinate conversion means for converting;
The second image data forming the main image displayed on the display screen, the second coordinate data converted by the coordinate conversion means, and the first acquisition acquired through the second acquisition means. An image information processing apparatus comprising: second association means for associating with image data.
前記第２の取得手段が取得する前記第１の画像データは、３次元オブジェクトを形成する３次元オブジェクトデータであり、
前記第３の取得手段が取得する前記主画像を形成する前記第２の画像データは、３次元空間画像を形成する３次元空間画像データであることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 19,
The first image data acquired by the second acquisition means is three-dimensional object data forming a three-dimensional object,
The image information processing apparatus, wherein the second image data forming the main image acquired by the third acquisition unit is three-dimensional space image data forming a three-dimensional space image.
前記第２の取得手段により取得された前記第１の画像データに応じた画像を、表示装置部の表示画面に表示する第３の表示処理手段と、
前記センサ部を通じて検出される前記指示体の前記センサ部に対する距離に応じて、前記表示装置部の前記表示画面に表示された前記画像の縮小／拡大を行う編集処理手段と
を備えることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1 or 6,
Third display processing means for displaying an image according to the first image data acquired by the second acquisition means on a display screen of a display device unit;
Editing processing means for reducing / enlarging the image displayed on the display screen of the display device unit according to a distance of the indicator detected through the sensor unit with respect to the sensor unit. Image information processing apparatus.
ユーザからの操作入力を受け付ける受付手段と、
前記受付手段を通じて所定の操作を受け付けた場合に、前記第１の取得手段を通じて取得する前記第１の座標データを、前記第２の取得手段を通じて取得した前記第１の画像データによる画像の関連付け位置として利用する関連付けモードに切り替えるモード切替手段を備えることを特徴とする画像情報処理装置。 The image information processing apparatus according to claim 1 or 6,
A receiving means for receiving an operation input from a user;
When a predetermined operation is received through the receiving unit, the first coordinate data acquired through the first acquiring unit is used as the image association position by the first image data acquired through the second acquiring unit. An image information processing apparatus comprising mode switching means for switching to an association mode used as
表示装置部と前記センサ部とを一体に備えてなる画像情報処理装置。 The image information processing apparatus according to claim 1 or 6,
An image information processing apparatus comprising a display unit and the sensor unit integrally.
第２の取得手段が、所定の付加情報が付加された第１の画像データを取得する第２の取得工程と、
第１の関連付け手段が、前記第１の取得工程において取得した前記第１の座標データに対応する表示装置部の表示画面上の位置を示す位置データと、前記第２の取得工程において取得した前記第１の画像データとを関連付ける第１の関連付け工程と
を有することを特徴とする画像情報処理方法。 A first acquisition step in which a first acquisition unit acquires first coordinate data indicating the coordinate position from a sensor unit that detects the coordinate position instructed by the indicator;
A second acquisition step in which the second acquisition means acquires the first image data to which the predetermined additional information is added;
The first association means includes position data indicating the position on the display screen of the display device unit corresponding to the first coordinate data acquired in the first acquisition step, and the acquired in the second acquisition step. An image information processing method comprising: a first associating step associating with first image data.
付加情報取得手段が、前記指示体である位置指示器から送信される信号により通知される第１の付加情報を取得する付加情報取得工程を備え、
前記第２の取得工程においては、前記付加情報取得工程において取得した前記第１の付加情報と、第１の画像データに付加されている前記所定の付加情報である第２の付加情報とに基づいて認証が取られることにより、前記第２の取得手段が、前記位置指示器に関連付けられる前記第１の画像データを取得する
ことを特徴とする画像情報処理方法。 An image information processing method according to claim 24,
The additional information acquisition means includes an additional information acquisition step of acquiring first additional information notified by a signal transmitted from the position indicator as the indicator,
In the second acquisition step, based on the first additional information acquired in the additional information acquisition step and second additional information that is the predetermined additional information added to the first image data. When the authentication is obtained, the second acquisition means acquires the first image data associated with the position indicator.
受付手段を通じてユーザからの指示入力を受け付ける受付工程と、
特定手段が、前記受付工程において受け付けた前記指示入力に応じて、表示装置部の表示画面に表示する主画像を形成する第２の画像データを特定する特定工程と、
表示処理手段が、前記特定工程において特定した前記第２の画像データに応じた前記主画像を、前記表示装置部の前記表示画面に表示するようにする表示処理工程と、
座標変換手段が、前記第１の取得工程において取得した前記第１の座標データに対応する前記表示装置部の前記表示画面上の位置を、前記表示画面に表示されている前記主画像上の位置を示す第２の座標データに変換する座標変換工程と、
第２の関連付け手段が、前記表示画面に表示された前記主画像を形成する前記第２の画像データと、前記座標変換手段により変換された前記第２の座標データと、前記第２の取得手段を通じて取得した前記第１の画像データとを関連付ける第２の関連付け工程と
を有することを特徴とする画像情報処理方法。 An image information processing method according to claim 24 or claim 25,
An accepting step of accepting an instruction input from the user through the accepting means;
A specifying step of specifying second image data forming a main image to be displayed on a display screen of a display device unit in accordance with the instruction input received in the receiving step;
A display processing step for causing the display processing means to display the main image corresponding to the second image data specified in the specifying step on the display screen of the display device unit;
A position on the display screen of the display unit corresponding to the first coordinate data acquired by the coordinate conversion means in the first acquisition step is a position on the main image displayed on the display screen. A coordinate conversion step for converting into second coordinate data indicating
The second association means includes the second image data forming the main image displayed on the display screen, the second coordinate data converted by the coordinate conversion means, and the second acquisition means. And a second associating step for associating the first image data acquired through the second image processing method.
近距離無線通信部が、近距離無線通信により近隣の基地局からの信号を受信する近距離無線通信工程と、
特定手段が、前記近距離無線通信工程において受信した信号に基づいて、表示装置部の表示画面に表示する主画像を形成する第２の画像データを特定する特定工程と、
表示処理手段が、前記特定工程において特定された前記第２の画像データに応じた前記主画像を、前記表示装置部の前記表示画面に表示するようにする表示処理工程と、
座標変換手段が、前記第１の取得工程において取得した前記第１の座標データに対応する前記表示装置部の前記表示画面上の位置を、前記表示画面に表示されている前記主画像上の位置を示す第２の座標データに変換する座標変換工程と、
第２の関連付け手段が、前記表示画面に表示された前記主画像を形成する前記第２の画像データと、前記座標変換工程において変換された前記第２の座標データと、前記第２の取得工程において取得した前記第１の画像データとを関連付ける第２の関連付け工程と
を有することを特徴とする画像情報処理方法。
An image information processing method according to claim 22 or claim 23,
A short-range wireless communication process in which the short-range wireless communication unit receives a signal from a neighboring base station by short-range wireless communication;
A specifying step of specifying a second image data forming a main image to be displayed on the display screen of the display unit based on the signal received in the short-range wireless communication step;
A display processing step for causing the display processing means to display the main image corresponding to the second image data specified in the specifying step on the display screen of the display device unit;
A position on the display screen of the display unit corresponding to the first coordinate data acquired by the coordinate conversion means in the first acquisition step is a position on the main image displayed on the display screen. A coordinate conversion step for converting into second coordinate data indicating
The second association means includes the second image data forming the main image displayed on the display screen, the second coordinate data converted in the coordinate conversion step, and the second acquisition step. And a second associating step for associating the first image data acquired in step 1 with the image information processing method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/842,138 US11048345B2 (en) | 2016-12-27 | 2017-12-14 | Image processing device and image processing method |
| CN201711431672.8A CN108303062B (en) | 2016-12-27 | 2017-12-26 | Image information processing apparatus and image information processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016252249 | 2016-12-27 | ||
| JP2016252249 | 2016-12-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018106671A true JP2018106671A (en) | 2018-07-05 |
| JP7012485B2 JP7012485B2 (en) | 2022-01-28 |
Family
ID=62787283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017158470A Active JP7012485B2 (en) | 2016-12-27 | 2017-08-21 | Image information processing device and image information processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7012485B2 (en) |
| CN (1) | CN108303062B (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020101892A (en) * | 2018-12-20 | 2020-07-02 | シャープ株式会社 | Information processing apparatus |
| CN116975335A (en) * | 2023-09-25 | 2023-10-31 | 瀚博半导体(上海)有限公司 | Sequential copy method, device, medium and electronic equipment for image distortion operation |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002365071A (en) * | 2001-06-12 | 2002-12-18 | Fujitsu Ten Ltd | Map information distribution method |
| JP2011028621A (en) * | 2009-07-28 | 2011-02-10 | Seiko Epson Corp | Information terminal apparatus |
| JP2016091355A (en) * | 2014-11-06 | 2016-05-23 | セイコーエプソン株式会社 | Display device, projector, and display control method |
| JP2016192236A (en) * | 2011-09-28 | 2016-11-10 | アマゾン テクノロジーズ インコーポレイテッド | Magnetic stylus |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01320521A (en) * | 1988-06-22 | 1989-12-26 | Wacom Co Ltd | Electronic blackboard device and its writing tool or the like |
| EP0451281A4 (en) * | 1989-09-14 | 1993-03-24 | Fujitsu Limited | Data base system for each of the functions and data processing system for each of the functions |
| GB9105107D0 (en) * | 1991-03-11 | 1991-04-24 | Field Aircraft Services Heathr | Imaging apparatus and method of tracking a moving object |
| AUPQ439299A0 (en) * | 1999-12-01 | 1999-12-23 | Silverbrook Research Pty Ltd | Interface system |
| US20060167648A1 (en) * | 2003-08-13 | 2006-07-27 | Hitoshi Ohtani | 3-Dimensional measurement device and electronic storage medium |
| US7649527B2 (en) * | 2003-09-08 | 2010-01-19 | Samsung Electronics Co., Ltd. | Image display system with light pen |
| EP1669890A4 (en) * | 2003-09-26 | 2007-04-04 | Nikon Corp | Electronic image accumulation method, electronic image accumulation device, and electronic image accumulation system |
| WO2010070870A1 (en) * | 2008-12-18 | 2010-06-24 | 日本電気株式会社 | Information acquiring apparatus, information acquiring method and program |
| WO2010098050A1 (en) * | 2009-02-25 | 2010-09-02 | 日本電気株式会社 | Interface for electronic device, electronic device, and operation method, operation program, and operation system for electronic device |
| JP5325060B2 (en) * | 2009-09-18 | 2013-10-23 | 株式会社バンダイナムコゲームス | Program, information storage medium and image control system |
| JP2011253310A (en) * | 2010-06-01 | 2011-12-15 | Panasonic Corp | Information data management device, information data management method and program |
| JP5617375B2 (en) * | 2010-06-22 | 2014-11-05 | ソニー株式会社 | Image display device, display control method, and program |
| JP5656111B2 (en) * | 2010-11-10 | 2015-01-21 | コニカミノルタ株式会社 | Image composition apparatus and image composition program |
| CN102073454A (en) * | 2011-01-13 | 2011-05-25 | 宇龙计算机通信科技(深圳)有限公司 | Mobile terminal and input control method for touch panel |
| JP5599741B2 (en) * | 2011-02-21 | 2014-10-01 | シャープ株式会社 | Electronic device, content display method, and content display program |
| ES2816323T3 (en) * | 2011-06-17 | 2021-04-05 | Rakuten Inc | Information processing device, information processing method, information processing program, and recording medium on which the information processing program is recorded |
| JP5137150B1 (en) * | 2012-02-23 | 2013-02-06 | 株式会社ワコム | Handwritten information input device and portable electronic device provided with handwritten information input device |
| JP6120521B2 (en) * | 2012-10-19 | 2017-04-26 | 株式会社トプコン | 3D surveying device and 3D surveying system |
| JP5362092B1 (en) * | 2012-10-31 | 2013-12-11 | 株式会社東芝 | Electronic apparatus and drawing method |
| WO2014208169A1 (en) * | 2013-06-26 | 2014-12-31 | ソニー株式会社 | Information processing device, control method, program, and recording medium |
| JP6249486B2 (en) * | 2013-08-19 | 2017-12-20 | 株式会社ワコム | Drawing device |
| JP2015041126A (en) * | 2013-08-20 | 2015-03-02 | 株式会社ソニー・コンピュータエンタテインメント | Information processing device and information processing method |
| CN203909745U (en) * | 2014-05-14 | 2014-10-29 | 深圳市昊德富科技有限公司 | Liquid crystal screen device allowing touch display all-in-one machine to have handwriting input function |
| CN106210530A (en) * | 2016-07-29 | 2016-12-07 | 广东欧珀移动通信有限公司 | Image generating method, device, system and electronic equipment |
-
2017
- 2017-08-21 JP JP2017158470A patent/JP7012485B2/en active Active
- 2017-12-26 CN CN201711431672.8A patent/CN108303062B/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002365071A (en) * | 2001-06-12 | 2002-12-18 | Fujitsu Ten Ltd | Map information distribution method |
| JP2011028621A (en) * | 2009-07-28 | 2011-02-10 | Seiko Epson Corp | Information terminal apparatus |
| JP2016192236A (en) * | 2011-09-28 | 2016-11-10 | アマゾン テクノロジーズ インコーポレイテッド | Magnetic stylus |
| JP2016091355A (en) * | 2014-11-06 | 2016-05-23 | セイコーエプソン株式会社 | Display device, projector, and display control method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020101892A (en) * | 2018-12-20 | 2020-07-02 | シャープ株式会社 | Information processing apparatus |
| JP7141327B2 (en) | 2018-12-20 | 2022-09-22 | シャープ株式会社 | Information processing equipment |
| CN116975335A (en) * | 2023-09-25 | 2023-10-31 | 瀚博半导体(上海)有限公司 | Sequential copy method, device, medium and electronic equipment for image distortion operation |
| CN116975335B (en) * | 2023-09-25 | 2023-12-26 | 瀚博半导体(上海)有限公司 | Sequential copy method, device, medium and electronic equipment for image distortion operation |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7012485B2 (en) | 2022-01-28 |
| CN108303062A (en) | 2018-07-20 |
| CN108303062B (en) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11048345B2 (en) | Image processing device and image processing method | |
| US10136057B2 (en) | Image management system, image management method, and computer program product | |
| US9836886B2 (en) | Client terminal and server to determine an overhead view image | |
| KR101977703B1 (en) | Method for controlling photographing in terminal and terminal thereof | |
| KR102627612B1 (en) | Method for displaying nerby information using augmented reality and electonic device therof | |
| CN105320695B (en) | Picture processing method and device | |
| JP2014112302A (en) | Prescribed area management system, communication method, and program | |
| CN104735348B (en) | Double-camera photographing method and system | |
| CN102420936B (en) | Apparatus and method for providing road view | |
| CN106911885B (en) | Electronic equipment and photo shooting method | |
| JP2008225862A (en) | System for picking-up construction photograph with electric blackboard and automatically preparing construction management ledger and program for use in the same | |
| KR101703013B1 (en) | 3d scanner and 3d scanning method | |
| CN107925740A (en) | Image management system, image management method and program | |
| KR20150134960A (en) | Method and apparatus for recommending photo composition | |
| WO2015159775A1 (en) | Image processing apparatus, communication system, communication method, and image-capturing device | |
| JP7012485B2 (en) | Image information processing device and image information processing method | |
| JP2018036760A (en) | Image management system, image management method, and program | |
| JP6115113B2 (en) | Predetermined area management system, predetermined area management method, and program | |
| JP2016194784A (en) | Image management system, communication terminal, communication system, image management method, and program | |
| JP2016194783A (en) | Image management system, communication terminal, communication system, image management method, and program | |
| CN106909280B (en) | Electronic equipment and photo shooting method | |
| US20150206282A1 (en) | Image processing device, image processing method, and image processing program | |
| CN104346051A (en) | Display method, image acqusition method and electronic equipment | |
| JP6689492B2 (en) | Terminal device, data processing system and program | |
| JP2017162014A (en) | Communication terminal, image communication system, display method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200721 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7012485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |