JP2019212225A - Terminal device and terminal device control method - Google Patents
Terminal device and terminal device control method Download PDFInfo
- Publication number
- JP2019212225A JP2019212225A JP2018110476A JP2018110476A JP2019212225A JP 2019212225 A JP2019212225 A JP 2019212225A JP 2018110476 A JP2018110476 A JP 2018110476A JP 2018110476 A JP2018110476 A JP 2018110476A JP 2019212225 A JP2019212225 A JP 2019212225A
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- captured image
- unit
- position information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 239000002131 composite material Substances 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本開示は、端末装置に関し、例えば道路に配置される不可視物の設備情報の表示に関する。 The present disclosure relates to a terminal device, for example, a display of facility information of an invisible object placed on a road.
近年、実空間に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに提示される情報は、テキストや、アイコン、アニメーション等の様々な形態の仮想オブジェクトとして可視化される（特許文献１参照）。 In recent years, a technique called augmented reality (AR) in which additional information is superimposed on a real space and presented to a user has attracted attention. Information presented to the user in AR technology is visualized as various forms of virtual objects such as text, icons, and animation (see Patent Document 1).
また、仮想オブジェクトは、例えば、道路下の不可視物である地下埋設物を直観的に確認する方式としても利用されている（特許文献２，３）。 The virtual object is also used as a method for intuitively confirming an underground object that is an invisible object under a road, for example (Patent Documents 2 and 3).
一方で、仮想オブジェクトを現実空間の画像と重畳表示する場合において、その位置合わせの精度が低ければ、適切な情報をユーザに提示することができない。 On the other hand, when a virtual object is displayed superimposed on an image in the real space, appropriate information cannot be presented to the user if the alignment accuracy is low.
本開示は、上記の問題点を解決するためになされたものであり、簡易な方式で仮想オブジェクトを適切な位置に配置して精度の高い情報をユーザに提示することが可能な端末装置および端末装置の制御方法を提供することを目的とする。 The present disclosure has been made in order to solve the above-described problems, and a terminal device and a terminal capable of presenting highly accurate information to a user by arranging a virtual object at an appropriate position by a simple method An object is to provide a method for controlling an apparatus.
ある局面に従う端末装置であって、撮像部と、撮像部で撮影された撮影画像を表示することが可能な表示部と、端末装置の位置情報を取得する位置情報取得部と、位置情報取得部で取得した位置情報に基づいて３次元点群データを撮影画像に重畳して表示する第１合成部と、３次元点群データと撮影画像とに基づいて端末装置の方位を設定する方位設定部と、位置情報取得部で取得した位置情報および方位設定部で設定された方位に基づいて不可視物の設備情報である仮想オブジェクトを撮影画像に重畳して表示する第２合成部とを備える。 A terminal device according to a certain aspect, an imaging unit, a display unit capable of displaying a captured image captured by the imaging unit, a position information acquisition unit that acquires position information of the terminal device, and a position information acquisition unit A first compositing unit that superimposes and displays the three-dimensional point cloud data on the captured image based on the position information acquired in step 1, and an orientation setting unit that sets the orientation of the terminal device based on the three-dimensional point group data and the captured image And a second compositing unit that superimposes and displays a virtual object, which is equipment information of an invisible object, on the captured image based on the position information acquired by the position information acquisition unit and the direction set by the direction setting unit.
好ましくは、位置情報取得部は、２次元マップに対する指示に従って端末装置の緯度、経度および高さ情報を含む位置情報を取得する。 Preferably, the position information acquisition unit acquires position information including latitude, longitude, and height information of the terminal device in accordance with an instruction for the two-dimensional map.
好ましくは、高さ情報を調整する調整手段をさらに備える。
好ましくは、方位設定部は、ユーザの操作指示に従って端末装置の方位を設定する。
Preferably, an adjustment means for adjusting the height information is further provided.
Preferably, the azimuth setting unit sets the azimuth of the terminal device in accordance with a user operation instruction.
ある局面に従う端末装置の制御方法であって、撮影画像を撮像するステップと、撮像部で撮影された撮影画像を表示するステップと、端末装置の位置情報を取得するステップと、取得した位置情報に基づいて３次元点群データを撮影画像に重畳して第１合成画像を表示するステップと、３次元点群データと撮影画像とに基づいて端末装置の方位を設定するステップと、取得した位置情報および設定した方位に基づいて不可視物の設備情報である仮想オブジェクトを撮影画像に重畳して第２合成画像を表示するステップとを備える。 A method for controlling a terminal device according to an aspect, the step of capturing a captured image, the step of displaying a captured image captured by an imaging unit, the step of acquiring position information of the terminal device, and the acquired position information A step of displaying the first composite image by superimposing the three-dimensional point cloud data on the photographed image based on the step, a step of setting the orientation of the terminal device based on the three-dimensional point cloud data and the photographed image, and the acquired position information And a step of displaying a second composite image by superimposing a virtual object, which is equipment information of an invisible object, on the captured image based on the set orientation.
本開示の端末装置および端末装置の制御方法は、簡易な方式で仮想オブジェクトを適切な位置に配置して精度の高い情報をユーザに提示することが可能である。 The terminal device and the control method of the terminal device according to the present disclosure can present a highly accurate information to a user by arranging a virtual object at an appropriate position by a simple method.
実施形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。 Embodiments will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals, and description thereof will not be repeated.
図１は、実施形態に従う端末装置１００の外観構成を説明する図である。
図１を参照して、端末装置１００は、ディスプレイ４が表面に設けられている。ディスプレイ４の表面にはユーザの操作手段としてタッチパネルが設けられている。
FIG. 1 is a diagram illustrating an external configuration of a terminal device 100 according to the embodiment.
Referring to FIG. 1, terminal device 100 has display 4 provided on the surface thereof. A touch panel is provided on the surface of the display 4 as user operation means.
端末装置１００は、ディスプレイ４の背面にカメラ１４が設けられている。
ディスプレイ４は、カメラ１４により撮影した実空間の撮影画像を表示することが可能である。
The terminal device 100 is provided with a camera 14 on the back surface of the display 4.
The display 4 can display a photographed image of the real space photographed by the camera 14.
図２は、実施形態に従う端末装置１００のハードウェアの構成を説明する機能ブロック図である。 FIG. 2 is a functional block diagram illustrating a hardware configuration of the terminal device 100 according to the embodiment.
図２を参照して、端末装置１００は、ＣＰＵ（Central Processing Unit）２と、ディスプレイ（表示部）４と、ＧＮＳＳ（Global Navigation Satellite System）６と、通信Ｉ／Ｆ８と、メモリ１０と、方位センサ１２と、カメラ１４と、操作部１６と、内部バス５とを含む。各部は内部バス５と接続され、互いにデータの授受が可能なように構成されている。 Referring to FIG. 2, a terminal device 100 includes a CPU (Central Processing Unit) 2, a display (display unit) 4, a GNSS (Global Navigation Satellite System) 6, a communication I / F 8, a memory 10, and an orientation. The sensor 12, the camera 14, the operation unit 16, and the internal bus 5 are included. Each unit is connected to the internal bus 5 and configured to be able to exchange data with each other.
ＣＰＵ２は、端末装置１００全体を制御する。
ＣＰＵ２は、メモリ１０に格納されているプログラムを実行することにより種々の機能ブロックを実現する。
The CPU 2 controls the entire terminal device 100.
The CPU 2 implements various functional blocks by executing programs stored in the memory 10.
ディスプレイ４は、カメラ１４により撮影した撮影画像や他の情報等を表示する。
ＧＮＳＳ６は、ＧＰＳ衛星から発せられるＧＰＳ信号を受信し、緯度、経度、高度等に関する位置情報をＣＰＵ２に出力する。
The display 4 displays a photographed image taken by the camera 14 and other information.
The GNSS 6 receives a GPS signal emitted from a GPS satellite, and outputs position information regarding latitude, longitude, altitude, and the like to the CPU 2.
通信Ｉ／Ｆ８は、外部の装置（例えばサーバ）との間で通信ネットワークを介して情報の授受を実行する。 The communication I / F 8 exchanges information with an external device (for example, a server) via a communication network.
メモリ１０は、コンピュータに内蔵されるＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ハードディスクなどの記憶装置である。 The memory 10 is a storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), or a hard disk built in the computer.
方位センサ１２は、端末装置１００の方位を計測するセンサである。例えば、方位センサとして地磁気センサあるいは加速度センサを用いることが可能である。 The direction sensor 12 is a sensor that measures the direction of the terminal device 100. For example, a geomagnetic sensor or an acceleration sensor can be used as the direction sensor.
操作部１６は、たとえばディスプレイ４の表面に載置されたタッチパネルである。なお、キーボードやマウス等で構成されても良い。 The operation unit 16 is, for example, a touch panel placed on the surface of the display 4. In addition, you may comprise with a keyboard, a mouse | mouth, etc.
図３は、実施形態に従う端末装置１００の機能ブロックを説明する図である。
図３を参照して、端末装置１００は、ＣＰＵ２および他のハードウェアと協働して種々の機能ブロックを実現する。
FIG. 3 is a diagram illustrating functional blocks of the terminal device 100 according to the embodiment.
Referring to FIG. 3, terminal device 100 realizes various functional blocks in cooperation with CPU 2 and other hardware.
具体的には、端末装置１００は、位置情報取得部２２と、設備情報取得部２３と、仮想オブジェクト合成部２５と、方位設定部２６と、点群データ合成部２７と、撮影画像取得部２８とを含む。 Specifically, the terminal device 100 includes a position information acquisition unit 22, a facility information acquisition unit 23, a virtual object synthesis unit 25, an orientation setting unit 26, a point cloud data synthesis unit 27, and a captured image acquisition unit 28. Including.
位置情報取得部２２は、端末装置１００の位置情報（緯度、経度、高度）を取得する。
設備情報取得部２３は、不可視物の設備情報を取得する。例えば、設備情報は、位置情報と関連付けられた道路上に設置予定のポール情報を含む。当該情報は、メモリ１０に予め格納されている情報であり、仮想オブジェクトとしてディスプレイ４に表示するためのデータである。
The position information acquisition unit 22 acquires position information (latitude, longitude, altitude) of the terminal device 100.
The equipment information acquisition unit 23 acquires equipment information of invisible objects. For example, the facility information includes pole information scheduled to be installed on a road associated with the position information. The information is information stored in advance in the memory 10 and is data to be displayed on the display 4 as a virtual object.
仮想オブジェクト合成部２５は、撮影画像に対して設備情報の仮想オブジェクトを合成する。具体的には、設備情報取得部２３で取得した設備情報に対して位置情報および方位情報に基づいて設備情報の仮想オブジェクトを撮影画像に対して合成する。 The virtual object synthesis unit 25 synthesizes the virtual object of the facility information with the captured image. Specifically, a virtual object of facility information is synthesized with a captured image based on position information and orientation information with respect to the facility information acquired by the facility information acquisition unit 23.
方位設定部２６は、端末装置１００の方位を設定する。
点群データ合成部２７は、撮影画像に対して点群データを合成する。具体的には、位置情報および方位情報に基づいて点群データを撮影画像に対して合成する。点群データは、メモリ１０に予め格納されている情報である。点群データは、レーザスキャナ等を用いて端末装置１００の周辺対象物に対して予め計測された３次元データである。
The azimuth setting unit 26 sets the azimuth of the terminal device 100.
The point cloud data synthesizer 27 synthesizes the point cloud data with the captured image. Specifically, the point cloud data is synthesized with the captured image based on the position information and the direction information. The point cloud data is information stored in advance in the memory 10. The point cloud data is three-dimensional data measured in advance for a peripheral object of the terminal device 100 using a laser scanner or the like.
撮影画像取得部２８は、カメラ１４を用いて撮影画像を取得する。
図４は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２００を説明する図である。
The captured image acquisition unit 28 acquires a captured image using the camera 14.
FIG. 4 is a diagram illustrating a screen 200 displayed on the display 4 of the terminal device 100 according to the embodiment.
図４を参照して、一例として、画面２００には、２次元マップ画像が表示されている場合が示されている。 Referring to FIG. 4, as an example, a case where a two-dimensional map image is displayed on screen 200 is shown.
ユーザは、所定の操作指示（方向指示、拡大指示、縮小指示）を実行することにより画面２００の２次元マップ画像の地図情報を変更することが可能である。 The user can change the map information of the two-dimensional map image on the screen 200 by executing a predetermined operation instruction (direction instruction, enlargement instruction, reduction instruction).
ユーザは、地図情報を変更して所持している端末装置１００の位置（ユーザ位置）が「＋」記号２０２の位置と重なるように調整する。 The user changes the map information and adjusts so that the position of the terminal device 100 possessed (user position) overlaps the position of the “+” symbol 202.
ユーザは、位置調整した後、画面２００に設けられた「位置取得」ボタン２０４を操作する。位置情報取得部２２は、画面２００に設けられた「位置取得」ボタン２０４の選択指示に従って、当該２次元マップ画像に対する端末装置１００の位置情報（緯度、経度、高度）を取得する。なお、高度に関しては、２次元マップ画像の緯度および経度で特定される地点に対して地表面の高度データが関連付けられているものとする。なお、高度として、地表面の高度データに限られず地表面の高度データに対して所定値（例えば１ｍ）を加算した値を高度データとして関連付けておいても良い。 After the position adjustment, the user operates a “position acquisition” button 204 provided on the screen 200. The position information acquisition unit 22 acquires position information (latitude, longitude, altitude) of the terminal device 100 with respect to the two-dimensional map image in accordance with a selection instruction of a “position acquisition” button 204 provided on the screen 200. Regarding the altitude, it is assumed that altitude data on the ground surface is associated with a point specified by the latitude and longitude of the two-dimensional map image. The altitude is not limited to the altitude data on the ground surface, and a value obtained by adding a predetermined value (for example, 1 m) to the altitude data on the ground surface may be associated as altitude data.
また、画面２００に設けられた「３Ｄビューへ」２０６ボタンを操作した場合には、ディスプレイ４に２次元マップ画像を表示するのではなく、３次元のマップ画像の表示に切り替えることが可能である。 In addition, when the “To 3D View” 206 button provided on the screen 200 is operated, it is possible to switch to display of a three-dimensional map image instead of displaying a two-dimensional map image on the display 4. .
図５は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２１０を説明する図である。 FIG. 5 is a diagram illustrating a screen 210 displayed on the display 4 of the terminal device 100 according to the embodiment.
図５を参照して、一例として、画面２１０には、カメラ１４で撮影した撮影画像が表示されている。当該撮影画像は、画面２００の「＋」記号２０２の位置に対応する場所においてカメラ１４で撮影した画像である。 With reference to FIG. 5, as an example, a screen 210 displays a captured image captured by the camera 14. The captured image is an image captured by the camera 14 at a location corresponding to the position of the “+” symbol 202 on the screen 200.
画面２１０には、「地図を見る」ボタン２１２と、「点群データ表示」ボタン２１４とが設けられている。 The screen 210 is provided with a “view map” button 212 and a “point cloud data display” button 214.
ユーザが、画面２１０に設けられた「地図を見る」ボタン２１２を操作した場合には、図４で説明した画面２００に切り替わり、２次元マップ画像を表示することが可能である。そして、図４で説明したようにユーザは、地図情報を変更して所持している端末装置１００の位置（ユーザ位置）が「＋」記号２０２の位置と重なるように再調整することが可能である。 When the user operates the “view map” button 212 provided on the screen 210, the screen can be switched to the screen 200 described with reference to FIG. 4 and a two-dimensional map image can be displayed. As described with reference to FIG. 4, the user can readjust the map information so that the position (user position) of the terminal device 100 possessed overlaps the position of the “+” symbol 202. is there.
また、ユーザが、画面２１０に設けられた「点群データ表示」ボタン２１４を操作した場合には、点群データが合成表示される。一方、再度、画面２１０に設けられた「点群データ表示」ボタン２１４を操作した場合には、点群データの合成表示が解除される。すなわち、撮影画像のみが表示される。 Further, when the user operates a “point cloud data display” button 214 provided on the screen 210, the point cloud data is synthesized and displayed. On the other hand, when the “point cloud data display” button 214 provided on the screen 210 is operated again, the combined display of the point cloud data is canceled. That is, only the captured image is displayed.
図６は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２２０を説明する図である。 FIG. 6 is a diagram illustrating a screen 220 displayed on the display 4 of the terminal device 100 according to the embodiment.
図６を参照して、一例として、画面２２０には、カメラ１４で撮影した撮影画像に対して点群データが合成表示されている。 With reference to FIG. 6, as an example, on the screen 220, point cloud data is synthesized and displayed on the captured image captured by the camera 14.
具体的には、点群データ合成部２７は、位置情報取得部２２で取得した位置情報および方位センサ１２で取得された方位情報に基づいて点群データを撮影画像に対して合成表示する。 Specifically, the point cloud data combining unit 27 combines and displays the point cloud data with respect to the captured image based on the position information acquired by the position information acquiring unit 22 and the direction information acquired by the direction sensor 12.
また、画面２２０には、「センサーロック」ボタン２１８および「オブジェクトデータ表示」ボタン２１６が設けられている。 The screen 220 is also provided with a “sensor lock” button 218 and an “object data display” button 216.
ここで、ユーザが「センサーロック」ボタン２１８を操作した場合には、当該方位の値が固定（設定）される。 Here, when the user operates the “sensor lock” button 218, the value of the direction is fixed (set).
ユーザは、点群データと撮影画像とのマッチングが取れる方位で「センサーロック」ボタン２１８を操作する。これにより、方位設定部２６は、操作指示されたマッチングが取れた方位を固定（設定）する。 The user operates the “sensor lock” button 218 in an orientation in which the point cloud data and the captured image can be matched. As a result, the azimuth setting unit 26 fixes (sets) the azimuth in which matching is instructed by the operation.
当該操作により、方位センサ１２の値の揺れによる点群データの表示の揺れを抑制することが可能である。 By this operation, it is possible to suppress the fluctuation of the display of the point cloud data due to the fluctuation of the value of the direction sensor 12.
また、「センサーロック」ボタン２１８を再び操作した場合には、方位センサ１２の値の固定が解除される。したがって、ユーザが別の位置に移動して再び方位を固定したい場合には、「センサーロック」ボタン２１８を再び操作して方位の固定を解除することが可能である。 In addition, when the “sensor lock” button 218 is operated again, the value of the direction sensor 12 is released. Therefore, when the user moves to another position and wants to fix the direction again, the “sensor lock” button 218 can be operated again to release the direction.
そして、ユーザは、「オブジェクトデータ表示」ボタン２１６を操作する。ユーザが「オブジェクトデータ表示」ボタン２１６を操作した場合には、仮想オブジェクト画像が合成表示される。仮想オブジェクト画像を合成表示する際において設定された方位情報が参照される。 Then, the user operates an “object data display” button 216. When the user operates the “display object data” button 216, a virtual object image is synthesized and displayed. The orientation information set when the virtual object image is synthesized and displayed is referred to.
図７は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２３０を説明する図である。 FIG. 7 is a diagram illustrating a screen 230 displayed on the display 4 of the terminal device 100 according to the embodiment.
図７を参照して、一例として画面２３０には、撮影画像に対して点群データとともに仮想オブジェクトが合成されて表示されている場合が示されている。 Referring to FIG. 7, as an example, screen 230 shows a case where a virtual object is combined with point cloud data and displayed on a captured image.
具体的には、仮想オブジェクト合成部２５は、位置情報取得部２２で取得した位置情報および方位設定部２６で設定された方位情報に基づいて仮想オブジェクトを撮影画像に対して合成表示する。 Specifically, the virtual object composition unit 25 synthesizes and displays a virtual object on the captured image based on the position information acquired by the position information acquisition unit 22 and the direction information set by the direction setting unit 26.
ここでは、仮想オブジェクトとして、道路上に設置予定のポールが表示されている場合が示されている。 Here, a case where a pole to be installed on a road is displayed as a virtual object is shown.
当該表示により、撮影画像に対して点群データとともに、仮想オブジェクトが表示される。 With this display, a virtual object is displayed on the captured image along with the point cloud data.
図８は、実施形態に従う端末装置１００のディスプレイ４に表示された画面２４０を説明する図である。 FIG. 8 is a diagram illustrating a screen 240 displayed on the display 4 of the terminal device 100 according to the embodiment.
図８を参照して、一例として、画面２４０には、撮影画像に対して仮想オブジェクトが合成されて表示されている場合が示されている。 Referring to FIG. 8, as an example, a screen 240 shows a case where a virtual object is synthesized with a captured image and displayed.
ここで、ユーザは、画面２３０に設けられた「点群データ表示」ボタン２１４を再操作した場合が示されている。当該操作に従い、撮影画像に対する点群データの合成表示が解除される。 Here, a case where the user re-operates a “point cloud data display” button 214 provided on the screen 230 is shown. In accordance with the operation, the combined display of the point cloud data for the captured image is canceled.
したがって、撮影画像に対して仮想オブジェクトのみが合成表示された状態となる。
当該表示により、撮影画像に対する仮想オブジェクトのみを適切な位置に配置した状態をユーザは容易に確認することが可能である。
Therefore, only the virtual object is synthesized and displayed on the captured image.
With this display, the user can easily confirm the state in which only the virtual object with respect to the captured image is arranged at an appropriate position.
一般的に方位センサは、地磁気あるいは加速度等を検知して方位を検出する。しかしながら、外乱の影響により地磁気や加速度の検知結果に基づく方位情報にばらつきが生じる。 Generally, the direction sensor detects the direction by detecting geomagnetism or acceleration. However, the azimuth information based on the detection results of geomagnetism and acceleration occurs due to the influence of disturbance.
実施形態に従う方式は、撮影画像と点群データとを合成表示させて、マッチングが取れる位置で方位情報を固定することにより精度の高い方位情報を取得する。そして、取得した方位情報に基づいて仮想オブジェクトを合成表示することにより仮想オブジェクトを適切な位置に配置することが可能である。これにより、ユーザに対して精度の高い情報を提示することが可能である。 The method according to the embodiment acquires highly accurate azimuth information by combining and displaying a captured image and point cloud data and fixing the azimuth information at a position where matching can be obtained. Then, the virtual object can be arranged at an appropriate position by combining and displaying the virtual object based on the acquired orientation information. Thereby, it is possible to present highly accurate information to the user.
また、点群データは、端末装置１００の周辺対象物に対して計測された３次元データである。したがって、撮影画像とのマッチングを容易に取ることが可能である。 The point cloud data is three-dimensional data measured with respect to the peripheral object of the terminal device 100. Therefore, it is possible to easily match the captured image.
したがって、ユーザは、「センサーロック」ボタン２１８を選択することにより簡易な方式で精度の高い方位情報を設定することが可能である。 Therefore, the user can set highly accurate azimuth information by a simple method by selecting the “sensor lock” button 218.
図９は、実施形態に従う端末装置１００の処理を説明するフロー図である。
図９を参照して、端末装置１００は、位置情報を取得する（ステップＳ２）。具体的には、位置情報取得部２２は、ユーザの操作指示に従って端末装置１００の位置情報を取得する。ユーザは、図４で説明したように画面２００において、端末装置１００の位置（ユーザ位置）が「＋」記号２０２の位置と重なるように調整する。そして、ユーザが「位置取得」ボタン２０４を操作することにより位置情報が取得される。なお、本例においては、ユーザが、２次元マップ画像から直接位置を調整して位置情報を取得する方式について説明したが、特に当該方式に限られずＧＮＳＳ６を利用して位置情報を自動的に取得することも可能である。
FIG. 9 is a flowchart for explaining processing of the terminal device 100 according to the embodiment.
With reference to FIG. 9, the terminal device 100 acquires position information (step S2). Specifically, the position information acquisition unit 22 acquires position information of the terminal device 100 in accordance with a user operation instruction. As described with reference to FIG. 4, the user adjusts the position of the terminal device 100 (user position) on the screen 200 so as to overlap the position of the “+” symbol 202. Then, the position information is acquired when the user operates the “position acquisition” button 204. In this example, the method in which the user directly acquires the position information by adjusting the position from the two-dimensional map image has been described. However, the present invention is not limited to this method, and the position information is automatically acquired using the GNSS 6. It is also possible to do.
次に、端末装置１００は撮影画像を取得する（ステップＳ４）。端末装置１００は、撮影画像取得部２８は、カメラ１４により撮影画像を取得する。 Next, the terminal device 100 acquires a captured image (step S4). In the terminal device 100, the captured image acquisition unit 28 acquires a captured image by the camera 14.
次に、端末装置１００は、点群データを撮影画像に対して合成表示する（ステップＳ８）。具体的には、点群データ合成部２７は、メモリに予め格納されている点群データを位置情報および方位情報に基づいて撮影画像に対して合成表示する。 Next, the terminal device 100 combines and displays the point cloud data with respect to the captured image (step S8). Specifically, the point cloud data combining unit 27 combines and displays the point cloud data stored in advance in the memory with respect to the captured image based on the position information and the orientation information.
次に、端末装置１００は、方位を設定する（ステップＳ１０）。具体的には、方位設定部２６は、ユーザの操作指示に従って端末装置１００の方位を設定する。ユーザは、図６で説明したように画面２２０において、撮影画像と点群データとのマッチングが取れる方位に調整する。そして、ユーザが「センサーロック」ボタン２１８を操作することにより方位が固定される。 Next, the terminal device 100 sets an azimuth (step S10). Specifically, the azimuth setting unit 26 sets the azimuth of the terminal device 100 in accordance with a user operation instruction. As described with reference to FIG. 6, the user adjusts the orientation on the screen 220 so that the captured image can be matched with the point cloud data. Then, when the user operates the “sensor lock” button 218, the direction is fixed.
次に、端末装置１００は、仮想オブジェクトを取得する（ステップＳ１２）。具体的には、設備情報取得部２３は、位置情報に基づいて不可視物の設備情報を取得する。 Next, the terminal device 100 acquires a virtual object (step S12). Specifically, the facility information acquisition unit 23 acquires facility information of an invisible object based on the position information.
次に、端末装置１００は、取得した仮想オブジェクトを撮影画像に対して合成表示する（ステップＳ１４）。具体的には、仮想オブジェクト合成部２５は、撮影画像に対して設備情報の仮想オブジェクトを合成する。すなわち、仮想オブジェクト合成部２５は、設備情報取得部２３で取得した設備情報に対して位置情報および方位情報に基づいて設備情報の仮想オブジェクトを撮影画像に対して合成する。 Next, the terminal device 100 displays the acquired virtual object in combination with the captured image (step S14). Specifically, the virtual object combining unit 25 combines a virtual object of facility information with a captured image. That is, the virtual object composition unit 25 synthesizes the virtual object of the facility information with the captured image based on the position information and the direction information with respect to the facility information acquired by the facility information acquisition unit 23.
そして、処理を終了する（エンド）。
当該処理により、簡易な方式で方位情報を設定することが可能であり、設定した方位情報に基づいて仮想オブジェクトを合成表示することにより仮想オブジェクトを適切な位置に配置することが可能である。これにより、ユーザに対して精度の高い情報を提示することが可能である。
Then, the process ends (END).
By this processing, it is possible to set the azimuth information by a simple method, and it is possible to arrange the virtual object at an appropriate position by combining and displaying the virtual object based on the set azimuth information. Thereby, it is possible to present highly accurate information to the user.
（変形例）
図１０は、実施形態の変形例に従う端末装置１００のディスプレイ４に表示された画面２５０を説明する図である。
(Modification)
FIG. 10 is a diagram illustrating a screen 250 displayed on the display 4 of the terminal device 100 according to the modification of the embodiment.
図１０を参照して、一例として、画面２５０には、撮影画像に対して仮想オブジェクトが合成されて表示されている場合が示されている。 Referring to FIG. 10, as an example, screen 250 shows a case where a virtual object is combined with a captured image and displayed.
また、画面２５０には、高度の値を調整可能な入力ボックス２５２と、入力ボックス２５２に入力された高度の値に再設定するための高度再設定ボタン２５４とが設けられている。 Further, the screen 250 is provided with an input box 252 that can adjust the altitude value, and an altitude reset button 254 for resetting the altitude value input in the input box 252.
ユーザは、入力ボックス２５２に任意の高度の値を入力可能であるものとする。
ユーザは、高度再設定ボタン２５４を操作することにより当該高度の値に基づいて仮想オブジェクトの配置を微調整することが可能である。
It is assumed that the user can input an arbitrary altitude value in the input box 252.
By operating the altitude reset button 254, the user can finely adjust the placement of the virtual object based on the altitude value.
ユーザの身長や利用の仕方により端末装置１００の高度は変化する。
したがって、高度を固定値に設定するのではなく、調整可能とすることにより、仮想オブジェクトを適切な位置に配置することが可能である。これにより、ユーザに対して精度の高い情報を提示することが可能である。
The altitude of the terminal device 100 changes depending on the height of the user and how it is used.
Therefore, it is possible to arrange the virtual object at an appropriate position by adjusting the altitude instead of setting it to a fixed value. Thereby, it is possible to present highly accurate information to the user.
また、本例においては、２次元マップ画像の緯度および経度で特定される地点に対して地表面の高度データが予め関連付けられている場合について説明したが、点群データは、高度データを有する。したがって、複数の点群データを用いて地表面の高度データを算出するようにしても良い。 In this example, the case where the altitude data on the ground surface is associated in advance with the point specified by the latitude and longitude of the two-dimensional map image has been described, but the point cloud data has altitude data. Therefore, altitude data on the ground surface may be calculated using a plurality of point cloud data.
また、上記において、方位設定部２６は、ユーザが点群データと、撮影画像とを比較してマッチングが取れる位置で「センサーロック」ボタン２１８を操作することにより方位を設定する方式について説明した。しかしながら、当該方式によらず自動で方位を設定するようにしても良い。具体的には、点群データと、撮影画像とを画像処理により比較してマッチングが取れる位置の方位を設定するようにしても良い。 In the above description, the direction setting unit 26 has described the method in which the user sets the direction by operating the “sensor lock” button 218 at a position where matching can be obtained by comparing the point cloud data and the captured image. However, the direction may be automatically set regardless of the method. Specifically, the orientation of the position where matching can be obtained by comparing the point cloud data and the captured image by image processing may be set.
（変形例２）
図１１は、実施形態の変形例２に従う端末装置１００のディスプレイ４に表示された画面２６０を説明する図である。
(Modification 2)
FIG. 11 is a diagram illustrating a screen 260 displayed on the display 4 of the terminal device 100 according to the second modification of the embodiment.
図１１を参照して、一例として、画面２６０には、設定画面２７４が表示されている場合が示されている。 Referring to FIG. 11, as an example, screen 260 shows a case where setting screen 274 is displayed.
設定画面２７４は、設定ボタン２７０の操作に従って表示される。
ここで、設定画面２７４は、ｆｏｖ（Field of View）値と、カメラの透過度、オブジェクトの透過度の３つのパラメータの調整が可能である。
The setting screen 274 is displayed according to the operation of the setting button 270.
Here, the setting screen 274 can adjust three parameters: a fov (Field of View) value, camera transparency, and object transparency.
ｆｏｖ値を調整することによりカメラの画角を調整することが可能である。本例においては、５１．２°の画角に設定されている場合が示されている。カメラのレンズの種類に応じて撮影画像に対する画角が異なるため当該画角を調整することにより撮影画像と仮想オブジェクトとの位置ずれを調整することが可能である。 It is possible to adjust the angle of view of the camera by adjusting the fov value. In this example, a case where the angle of view is set to 51.2 ° is shown. Since the angle of view with respect to the captured image differs depending on the type of lens of the camera, it is possible to adjust the positional deviation between the captured image and the virtual object by adjusting the angle of view.
また、カメラあるいはオブジェクトの透過度を調整することにより輝度値を変化させることが可能である。これにより撮影画像あるいは仮想オブジェクトの輝度値を調整して仮想オブジェクトと撮影画像との間のコントラストを変化させることが可能である。すなわち、仮想オブジェクトあるいは撮影画像を強調表示してユーザの視認性を良くすることが可能である。 In addition, the luminance value can be changed by adjusting the transparency of the camera or object. Thereby, it is possible to change the contrast between the virtual object and the captured image by adjusting the luminance value of the captured image or the virtual object. That is, it is possible to enhance the visibility of the user by highlighting the virtual object or the captured image.
また、画面２６０には、方位補正ボタン２７２が設けられている。方位情報を調整するボタンである。ユーザは、端末装置１００を固定している場合であっても方位補正ボタン２７２を操作することにより方位センサ１２の値に対してオフセット値を加減算して微調整することが可能である。端末装置１００を動かさずに微調整することが可能であり、ユーザの利便性が向上する。 In addition, an orientation correction button 272 is provided on the screen 260. It is a button for adjusting the direction information. Even when the terminal device 100 is fixed, the user can finely adjust the value of the direction sensor 12 by adding or subtracting the offset value by operating the direction correction button 272. Fine adjustments can be made without moving the terminal device 100, and user convenience is improved.
なお、本例においては、不可視物の設備情報として、位置情報と関連付けられた道路上に設置予定のポール情報を例として説明した。一方、当該構成に限られずガス配管等の地下埋設物を仮想オブジェクトとして表示するようにすることも可能である。 In the present example, the pole information scheduled to be installed on the road associated with the position information has been described as an example of the invisible object facility information. On the other hand, it is possible to display an underground object such as a gas pipe as a virtual object without being limited to the configuration.
また、本例においては、端末装置１００のメモリ１０に２次元マップ画像の情報が格納されている場合について説明したが、特にこれに限られず通信Ｉ／Ｆ８を介してアクセス可能なサーバに２次元マップ画像が格納されており、当該情報を用いて上記の処理を実行するようにしても良い。 Further, in this example, the case where the information of the two-dimensional map image is stored in the memory 10 of the terminal device 100 has been described. However, the present invention is not limited to this, and a two-dimensional server is accessible via the communication I / F 8. A map image is stored, and the above processing may be executed using the information.
また、設備情報および点群データについても端末装置１００のメモリ１０に格納されている場合について説明したが、特にこれに限られず通信Ｉ／Ｆ８を介してアクセス可能なサーバに設備情報および点群データが格納されており、当該情報を用いて上記の処理を実行するようにしても良い。 Moreover, although the case where the facility information and the point cloud data are also stored in the memory 10 of the terminal device 100 has been described, the facility information and the point cloud data are not limited to this and are accessible to a server accessible via the communication I / F 8. May be stored, and the above processing may be executed using the information.
また、本実施形態におけるプログラムとして、パーソナルコンピュータで実行可能なアプリケーションを提供してもよい。このとき、本実施の形態に係るプログラムは、パーソナルコンピュータ上で実行される各種アプリケーションの一部の機能として組み込まれてもよい。 An application that can be executed by a personal computer may be provided as the program in the present embodiment. At this time, the program according to the present embodiment may be incorporated as a partial function of various applications executed on the personal computer.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present disclosure is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
２ ＣＰＵ、４ ディスプレイ、６ ＧＮＳＳ、８ 通信Ｉ／Ｆ、１０ メモリ、１２ 方位センサ、１４ カメラ、１６ 操作部、２２ 位置情報取得部、２３ 設備情報取得部、２５ 仮想オブジェクト合成部、２６ 方位設定部、２７ 点群データ合成部、２８ 撮影画像取得部、１００ 端末装置。 2 CPU, 4 display, 6 GNSS, 8 communication I / F, 10 memory, 12 direction sensor, 14 camera, 16 operation unit, 22 position information acquisition unit, 23 equipment information acquisition unit, 25 virtual object composition unit, 26 direction setting Unit, 27 point cloud data composition unit, 28 photographed image acquisition unit, 100 terminal device.
Claims (5)
撮像部と、
前記撮像部で撮影された撮影画像を表示することが可能な表示部と、
前記端末装置の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得した位置情報に基づいて３次元点群データを前記撮影画像に重畳して表示する第１合成部と、
前記３次元点群データと前記撮影画像とに基づいて前記端末装置の方位を設定する方位設定部と、
前記位置情報取得部で取得した位置情報および前記方位設定部で設定された方位に基づいて不可視物の設備情報である仮想オブジェクトを前記撮影画像に重畳して表示する第２合成部とを備える、端末装置。 A terminal device,
An imaging unit;
A display unit capable of displaying a captured image captured by the imaging unit;
A location information acquisition unit for acquiring location information of the terminal device;
A first synthesizing unit that superimposes and displays three-dimensional point cloud data on the captured image based on the position information acquired by the position information acquiring unit;
An azimuth setting unit for setting the azimuth of the terminal device based on the three-dimensional point cloud data and the captured image;
A second compositing unit that superimposes and displays a virtual object, which is equipment information of an invisible object, on the captured image based on the position information acquired by the position information acquisition unit and the direction set by the direction setting unit, Terminal device.
撮影画像を撮像するステップと、
前記撮像部で撮影された撮影画像を表示するステップと、
前記端末装置の位置情報を取得するステップと、
取得した位置情報に基づいて３次元点群データを前記撮影画像に重畳して第１合成画像を表示するステップと、
前記３次元点群データと前記撮影画像とに基づいて前記端末装置の方位を設定するステップと、
取得した位置情報および設定した方位に基づいて不可視物の設備情報である仮想オブジェクトを前記撮影画像に重畳して第２合成画像を表示するステップとを備える、端末装置の制御方法。 A terminal device control method,
Taking a captured image; and
Displaying a captured image captured by the imaging unit;
Obtaining the position information of the terminal device;
Displaying a first composite image by superimposing three-dimensional point cloud data on the captured image based on the acquired position information;
Setting the orientation of the terminal device based on the three-dimensional point cloud data and the captured image;
And a step of displaying a second composite image by superimposing a virtual object, which is equipment information of an invisible object, on the captured image based on the acquired position information and the set orientation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018110476A JP6849634B2 (en) | 2018-06-08 | 2018-06-08 | Terminal device and control method of terminal device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018110476A JP6849634B2 (en) | 2018-06-08 | 2018-06-08 | Terminal device and control method of terminal device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019212225A true JP2019212225A (en) | 2019-12-12 |
| JP6849634B2 JP6849634B2 (en) | 2021-03-24 |
Family
ID=68846768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018110476A Active JP6849634B2 (en) | 2018-06-08 | 2018-06-08 | Terminal device and control method of terminal device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6849634B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018169824A (en) * | 2017-03-30 | 2018-11-01 | 株式会社パスコ | Road facilities management support device and road facilities management support program |
| CN111767490A (en) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | Method, device, equipment and storage medium for displaying image |
| JP2021157717A (en) * | 2020-03-30 | 2021-10-07 | 東邦瓦斯株式会社 | Augmented reality display device |
| JP6967816B1 (en) * | 2021-05-07 | 2021-11-17 | シンメトリー・ディメンションズ・インク | Information processing device and information processing method |
| WO2022091197A1 (en) * | 2020-10-27 | 2022-05-05 | 日本電信電話株式会社 | Display device, display method, and program |
| WO2022196511A1 (en) * | 2021-03-16 | 2022-09-22 | パイオニア株式会社 | Information processing device, information processing method, and program |
| WO2023145403A1 (en) * | 2022-01-26 | 2023-08-03 | パナソニックホールディングス株式会社 | Traffic flow measurement system and traffic flow measurement method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008099915A1 (en) * | 2007-02-16 | 2008-08-21 | Mitsubishi Electric Corporation | Road/feature measuring device, feature identifying device, road/feature measuring method, road/feature measuring program, measuring device, measuring method, measuring program, measured position data, measuring terminal, measuring server device, drawing device, drawing method, drawing program, and drawing data |
| JP2015114823A (en) * | 2013-12-11 | 2015-06-22 | 三菱電機株式会社 | Portable terminal device |
| JP2017073139A (en) * | 2016-10-25 | 2017-04-13 | 三菱電機株式会社 | Terminal device, program for terminal device, and displacement state visualization method for invisible object |
| WO2017163384A1 (en) * | 2016-03-24 | 2017-09-28 | 三菱電機株式会社 | Data processing device, data processing method, and data processing program |
| JP2018169824A (en) * | 2017-03-30 | 2018-11-01 | 株式会社パスコ | Road facilities management support device and road facilities management support program |
| JP2019021034A (en) * | 2017-07-18 | 2019-02-07 | パイオニア株式会社 | Display system |
| JP2019095876A (en) * | 2017-11-20 | 2019-06-20 | 三菱電機株式会社 | Three-dimensional point group display device, three-dimensional point group display system, method for displaying three-dimensional point group, three-dimensional point group display program, and recording medium |
| JP2020507862A (en) * | 2017-02-15 | 2020-03-12 | ファロ テクノロジーズ インコーポレーテッド | System and method for generating virtual reality data from a three-dimensional point cloud |
-
2018
- 2018-06-08 JP JP2018110476A patent/JP6849634B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008099915A1 (en) * | 2007-02-16 | 2008-08-21 | Mitsubishi Electric Corporation | Road/feature measuring device, feature identifying device, road/feature measuring method, road/feature measuring program, measuring device, measuring method, measuring program, measured position data, measuring terminal, measuring server device, drawing device, drawing method, drawing program, and drawing data |
| JP2015114823A (en) * | 2013-12-11 | 2015-06-22 | 三菱電機株式会社 | Portable terminal device |
| WO2017163384A1 (en) * | 2016-03-24 | 2017-09-28 | 三菱電機株式会社 | Data processing device, data processing method, and data processing program |
| JP2017073139A (en) * | 2016-10-25 | 2017-04-13 | 三菱電機株式会社 | Terminal device, program for terminal device, and displacement state visualization method for invisible object |
| JP2020507862A (en) * | 2017-02-15 | 2020-03-12 | ファロ テクノロジーズ インコーポレーテッド | System and method for generating virtual reality data from a three-dimensional point cloud |
| JP2018169824A (en) * | 2017-03-30 | 2018-11-01 | 株式会社パスコ | Road facilities management support device and road facilities management support program |
| JP2019021034A (en) * | 2017-07-18 | 2019-02-07 | パイオニア株式会社 | Display system |
| JP2019095876A (en) * | 2017-11-20 | 2019-06-20 | 三菱電機株式会社 | Three-dimensional point group display device, three-dimensional point group display system, method for displaying three-dimensional point group, three-dimensional point group display program, and recording medium |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018169824A (en) * | 2017-03-30 | 2018-11-01 | 株式会社パスコ | Road facilities management support device and road facilities management support program |
| JP2021157717A (en) * | 2020-03-30 | 2021-10-07 | 東邦瓦斯株式会社 | Augmented reality display device |
| JP7277410B2 (en) | 2020-03-30 | 2023-05-18 | 東邦ガスネットワーク株式会社 | augmented reality display |
| CN111767490A (en) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | Method, device, equipment and storage medium for displaying image |
| CN111767490B (en) * | 2020-06-30 | 2024-04-23 | 北京百度网讯科技有限公司 | Method, apparatus, device and storage medium for displaying image |
| WO2022091197A1 (en) * | 2020-10-27 | 2022-05-05 | 日本電信電話株式会社 | Display device, display method, and program |
| JP7492160B2 (en) | 2020-10-27 | 2024-05-29 | 日本電信電話株式会社 | Display device, display method, and program |
| WO2022196511A1 (en) * | 2021-03-16 | 2022-09-22 | パイオニア株式会社 | Information processing device, information processing method, and program |
| JP6967816B1 (en) * | 2021-05-07 | 2021-11-17 | シンメトリー・ディメンションズ・インク | Information processing device and information processing method |
| JP2022172833A (en) * | 2021-05-07 | 2022-11-17 | シンメトリー・ディメンションズ・インク | Information processing device and information processing method |
| WO2023145403A1 (en) * | 2022-01-26 | 2023-08-03 | パナソニックホールディングス株式会社 | Traffic flow measurement system and traffic flow measurement method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6849634B2 (en) | 2021-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6849634B2 (en) | Terminal device and control method of terminal device | |
| US9805515B2 (en) | System and method for augmented reality | |
| US10593014B2 (en) | Image processing apparatus, image processing system, image capturing system, image processing method | |
| EP3149698B1 (en) | Method and system for image georegistration | |
| KR101285360B1 (en) | Point of interest displaying apparatus and method for using augmented reality | |
| US20180286098A1 (en) | Annotation Transfer for Panoramic Image | |
| EP3712839A1 (en) | Image capturing device, image capturing system, image processing method, and carrier means | |
| US10855916B2 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
| KR100941749B1 (en) | Augmented reality apparatus and virtual image composition method | |
| US11272153B2 (en) | Information processing apparatus, method for controlling the same, and recording medium | |
| US20210217210A1 (en) | Augmented reality system and method of displaying an augmented reality image | |
| US20190289206A1 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
| JP2016048455A (en) | Image processor, image processing method, and program | |
| KR20110070210A (en) | Mobile terminal and method for providing augmented reality service using position-detecting sensor and direction-detecting sensor | |
| JP2017212510A (en) | Image management device, program, image management system, and information terminal | |
| KR20070087317A (en) | Digital apparatus capable of displaying imaginary object on real image and method thereof | |
| JP2016139199A (en) | Image processing device, image processing method, and program | |
| KR101877901B1 (en) | Method and appratus for providing vr image | |
| JP2011257865A (en) | Object display device, and object display method | |
| JP2011022662A (en) | Portable telephone terminal and information processing system | |
| JP2005134242A (en) | Navigation system, navigation apparatus, navigation method, and navigation program | |
| JP2010063076A (en) | Image processing apparatus and image processing apparatus program | |
| JP5634925B2 (en) | Maintenance information display device, maintenance information display method, and program | |
| JP4135934B2 (en) | Electronics | |
| JP2023062983A (en) | Virtual iron tower display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6849634 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |