JP6849256B1 - 3D model construction system and 3D model construction method - Google Patents
3D model construction system and 3D model construction method Download PDFInfo
- Publication number
- JP6849256B1 JP6849256B1 JP2020082477A JP2020082477A JP6849256B1 JP 6849256 B1 JP6849256 B1 JP 6849256B1 JP 2020082477 A JP2020082477 A JP 2020082477A JP 2020082477 A JP2020082477 A JP 2020082477A JP 6849256 B1 JP6849256 B1 JP 6849256B1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional model
- shooting
- evaluation
- data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012854 evaluation process Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 22
- 238000007726 management method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000011157 data evaluation Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Studio Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】従来よりも３次元モデルの構築を精度良く、かつ容易に広範囲に行う。【解決手段】３次元モデル構築システムであって、複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集手段と、前記収集手段にて収集された撮影データを用いて３次元モデルを生成する生成手段と、前記生成手段による前記３次元モデルの生成の際に用いられた撮影データに応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与手段とを有し、前記生成手段は、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の３次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される３次元モデルと前記既存の３次元モデルとの差分に応じて、前記新たな撮影データを用いた前記既存の３次元モデルの更新を行う。【選択図】図１PROBLEM TO BE SOLVED: To construct a three-dimensional model more accurately and easily in a wide range than before. SOLUTION: In a three-dimensional model construction system, a collecting means for collecting shooting data including incidental information related to shooting, which is shot by a shooting device provided for each of a plurality of moving objects, and the collecting means. Corresponds to the generation means that generates a three-dimensional model using the collected shooting data and the moving body that shot the shooting data according to the shooting data used when the generation means generated the three-dimensional model. The generation means has an giving means for giving a reward to the attached user, and the generating means uses the incidental information included in the new shooting data to obtain the existing three-dimensional model corresponding to the new shooting data. The existing 3D model using the new shooting data according to the difference between the 3D model generated from the new shooting data in the shooting area and the existing 3D model in the shooting area. Update. [Selection diagram] Fig. 1
Description
本願発明は、現実世界における撮影データに基づく３次元モデル構築システム、および３次元モデル構築方法に関する。 The present invention relates to a three-dimensional model construction system based on shooting data in the real world, and a three-dimensional model construction method.
近年、バーチャルリアリティ（以下、ＶＲ）などの技術を用いて現実世界をデジタル空間に反映する試みが盛んに行われている。例えば、ドローンなどに搭載されたカメラで撮像した複数枚の画像から３次元復元により３次元点群を生成する技術が知られている。特許文献１では、移動体にて収集した画像データを用いて生成された３次元点群データを収集し、収集した３次元点群データを既存の地図情報への寄与度に応じて利用するか否かを決定することが記載されている。
In recent years, attempts have been actively made to reflect the real world in digital space using technologies such as virtual reality (hereinafter referred to as VR). For example, there is known a technique for generating a three-dimensional point cloud by three-dimensional restoration from a plurality of images captured by a camera mounted on a drone or the like. In
一方、現実世界の物体は、複雑な形状をしていることも多く、これを忠実に反映した３次元モデルを作成するためには、様々な位置から様々な角度で対象物を撮影する必要がある。しかし、例えばドローンを用いて撮影した画像だけでは、凹凸の部分など画像に映っていない箇所が発生しやすく、精度良く３次元モデルを復元することはできなかった。 On the other hand, objects in the real world often have complicated shapes, and in order to create a three-dimensional model that faithfully reflects this, it is necessary to photograph the object from various positions and at various angles. is there. However, for example, only an image taken with a drone tends to generate parts that are not reflected in the image, such as uneven parts, and it is not possible to accurately restore the three-dimensional model.
本願発明は、上記課題を鑑み、従来よりも３次元モデルの構築を精度良く、かつ容易に広範囲に行うことを可能とすることを目的とする。 In view of the above problems, an object of the present invention is to make it possible to construct a three-dimensional model more accurately and easily over a wide range than before.
上記課題を解決するために本願発明は以下の構成を有する。すなわち、
３次元モデル構築システムであって、
複数の移動体それぞれと、ユーザとを対応付けて管理する管理手段と、
前記複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集手段と、
前記収集手段にて収集された撮影データを用いて３次元モデルを生成する生成手段と、
前記収集手段にて収集した新たな撮影データを用いて生成された３次元モデルを１または複数の評価基準に基づく評価値により評価する評価手段と、
前記生成手段により撮影データを用いて生成された前記３次元モデルの評価値に応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与手段と
を有し、
前記生成手段は、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の３次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される３次元モデルのうちの前記評価手段による評価にて一定の評価値を与えられた３次元モデルを用いて前記既存の３次元モデルの更新を行う。
In order to solve the above problems, the present invention has the following configuration. That is,
It is a 3D model construction system
A management means for managing each of a plurality of mobile objects in association with a user,
A collecting means for collecting shooting data including incidental information related to shooting, which was shot by a shooting device provided for each of the plurality of moving objects.
A generation means for generating a three-dimensional model using the shooting data collected by the collection means, and a generation means.
An evaluation means for evaluating a three-dimensional model generated by using the new imaging data collected by the collection means based on an evaluation value based on one or a plurality of evaluation criteria, and an evaluation means.
Depending on the evaluation value of the three-dimensional model generated using more imaging data to said generating means, chromatic and providing means for providing a reward to a user associated with the mobile photographed the imaging data And
The generation means uses the incidental information included in the new shooting data to specify the shooting area of the existing three-dimensional model corresponding to the new shooting data, and is generated from the new shooting data in the shooting area. The existing three-dimensional model is updated by using the three-dimensional model given a certain evaluation value by the evaluation by the evaluation means among the three-dimensional models.
本願発明によれば、従来よりも３次元モデルの構築を精度良く、かつ容易に広範囲に行うことが可能となる。 According to the present invention, it is possible to construct a three-dimensional model more accurately and easily in a wider range than in the past.
以下、本願発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本願発明を説明するための一実施形態であり、本願発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本願発明の課題を解決するために必須の構成であるとは限らない。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。 Hereinafter, embodiments for carrying out the present invention will be described with reference to drawings and the like. It should be noted that the embodiments described below are embodiments for explaining the present invention, and are not intended to be interpreted in a limited manner, and are described in each embodiment. Not all configurations are essential configurations for solving the problems of the present invention. Further, in each drawing, the same component is given the same reference number to indicate the correspondence relationship.
＜第１の実施形態＞
以下、本願発明の第１の実施形態について説明を行う。
<First Embodiment>
Hereinafter, the first embodiment of the present invention will be described.
［システム構成］
図１は、本実施形態に係る３次元モデル構築システムの全体構成の例を示す概要図である。本実施形態に係る３次元モデル構築システムは、３次元モデル生成サーバ１、携帯端末２、および表示装置３を含んで構成される。各装置は、ネットワーク４を介して通信可能に接続される。ネットワーク４の通信規格や有線／無線は特に限定するものではなく、複数の通信規格が組み合わせて実現されてもよい。また、図１においては、各装置はそれぞれ１つずつが示されているが、複数の装置が含まれてよい。特に撮影装置として機能する携帯端末２は、１または複数の利用者（ユーザ）に携帯されており、複数の携帯端末２が含まれてよい。以下の説明において、携帯端末２について個別に説明を要する場合には添え字ｎ（≧２）を付して説明するが、包括的に説明する場合には添え字を省略する。
[System configuration]
FIG. 1 is a schematic diagram showing an example of the overall configuration of the three-dimensional model construction system according to the present embodiment. The three-dimensional model construction system according to the present embodiment includes a three-dimensional
３次元モデル生成サーバ１は、本実施形態に係る携帯端末２にて撮影された撮影画像を含む撮影データを用いて３次元モデルを生成する。また、３次元モデル生成サーバ１は、携帯端末２およびこれを所有するユーザを対応付けて管理する。さらに、３次元モデル生成サーバ１は、携帯端末２にて撮影された撮影画像を含む撮影データを用いて生成された３次元モデルの評価を行い、その評価結果に応じて携帯端末２（すなわち、ユーザ）に対してインセンティブを付与する。３次元モデルの評価およびインセンティブの付与についての詳細は後述する。３次元モデル生成サーバ１は、負荷分散の目的などに応じて、複数が備えられてよいし、一部の機能を別のサーバとして構成してもよい。携帯端末２は、例えば、モバイルＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの情報処理装置や、スマートフォンやタブレット端末などの携帯端末であってよい。
The three-dimensional
表示装置３は、３次元モデル生成サーバ１にて生成された３次元モデルを表示する表示装置である。表示装置３は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの情報処理装置、スマートフォンやタブレット端末などの携帯端末、もしくはＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってよい。なお、携帯端末２と表示装置３とが一体となった構成であってもよい。
The
［機能構成］
図２は、本実施形態に係る各装置の機能構成の例を示す図である。
[Functional configuration]
FIG. 2 is a diagram showing an example of a functional configuration of each device according to the present embodiment.
（３次元モデル生成サーバ）
図２（ａ）に示すように、本実施形態に係る３次元モデル生成サーバ１は、データ収集部１０１、３次元モデル生成部１０２、３次元モデル管理部１０３、データ評価部１０４、ユーザ管理部１０５、インセンティブ付与部１０６、通信制御部１０７、および表示制御部１０８を含んで構成される。
(3D model generation server)
As shown in FIG. 2A, the three-dimensional
データ収集部１０１は、本実施形態に係る複数の携帯端末２−１〜２−ｎそれぞれから３次元モデルを生成する際に用いる撮影データを収集する。収集するタイミングは、例えば、携帯端末２から送信されてきたタイミングにて受信することで取得してよい。３次元モデル生成部１０２は、携帯端末２から収集した撮影データを用いて、３次元モデルを生成する。例えば、３次元モデル生成部１０２は、撮影データに含まれる撮影画像から点群データを生成し、その点群データから３次元モデルを生成する。
The
３次元モデル管理部１０３は、３次元モデル生成部１０２にて生成された３次元モデルを管理する。ここでの管理は、更新されたタイミングやバージョンごとに管理してよく、また、一定の更新が行われた場合には過去の３次元モデルは削除するような構成であってもよい。データ評価部１０４は、収集した撮影データを用いて生成された３次元モデルの評価を行う。評価方法については後述する。
The 3D
ユーザ管理部１０５は、携帯端末２とその携帯端末２を所有するユーザとを対応付けて管理する。また、ユーザ管理部１０５は、携帯端末２から提供された撮影データを対応付けて管理する。インセンティブ付与部１０６は、データ評価部１０４による評価結果に基づき、撮影データを提供したユーザに対するインセンティブを付与する。
The
通信制御部１０７は、外部装置との通信を行うための部位であり、有線／無線や通信規格などは特に限定するものではない。表示制御部１０８は、３次元モデル生成部１０２にて生成された３次元モデルの表示を制御する。ここでの表示制御は、表示装置３からの要求に応じて、３次元モデルを含む表示データを表示装置３に提供することを含む。
The
（携帯端末）
図２（ｂ）に示すように、本実施形態に係る携帯端末２は、撮像部２０１、センサ群２０２、記憶部２０３、制御部２０４、および通信部２０５を含んで構成される。撮像部２０１は、携帯端末２の周辺の画像を取得するための撮像部であり、不図示のレンズや撮像素子などを備える。センサ群２０２は、自端末の状態などの情報（例えば、位置情報や向きなど）を検出するための検出部であり、磁気センサ、加速度センサ、ジャイロセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどが含まれる。本実施形態では、撮像部２０１にて画像が撮影された際の情報として、センサ群２０２にて検出された各種情報が対応付けて保持されてよい。
(Mobile terminal)
As shown in FIG. 2B, the
記憶部２０３は、撮像部２０１を介して撮像された撮影画像を記憶する記憶部であり、例えば、フラッシュメモリなどの不揮発性の記憶領域により構成される。記憶部２０３は、撮影画像と、撮影時の情報（撮影時にセンサ群２０２にて検出された情報や、撮影日時、撮影設定など）とを対応付けて撮影データとして記憶する。制御部２０４は、携帯端末２の全体の制御を司る部位であり、例えば、処理部としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や専用回路などにより構成される。通信部２０５は、外部装置との通信を行うための部位であり、有線／無線や通信規格などは特に限定するものではない。
The
制御部２０４は、ユーザの操作に基づいて撮像部２０１を起動させ、周辺の撮影を行わせる。撮影設定や撮影対象はユーザの操作に基づくものとする。制御部２０４は、撮像部２０１にて撮影された撮影画像に対して、所定の画像処理を行う構成であってもよい。例えば、制御部２０４は、撮影画像に対してフィルタリングなどの画像処理を行うような構成であってもよい。また、撮像部２０１が動画を撮影可能な構成である場合には、制御部２０４は、撮影動画の中から所定のフレームを抽出して送信用の撮影画像とするような処理を行ってもよい。フレームを抽出して撮影画像として送信する際には、撮影動画を取得時の情報（撮影設定や撮影日時など）に基づき当該フレームに対応する情報を決定した上で撮影データに含めてもよい。または、撮影動画を撮影データに含めて送信してもよい。複数の携帯端末２−１〜２−ｎの構成は同一である必要はなく、異なる機能を備えた携帯端末２が用いられてよい。なお、携帯端末２において、本実施形態に係る機能を実現する各部位は、携帯端末２にインストールされたアプリケーションにより実現されてよい。
The
（表示装置）
図２（ｃ）に示すように、本実施形態に係る表示装置３は、３次元モデル表示部３０１、操作受付部３０２、および通信制御部３０３を含んで構成される。３次元モデル表示部３０１は、３次元モデル生成サーバ１から提供された表示データを表示装置３のディスプレイ（不図示）に表示する。３次元モデルの表示は、プロジェクタなどの投影により表示されてもよいし、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）として表示されてもよい。操作受付部３０２は、表示装置３の操作部（不図示）を介してユーザからの操作を受け付ける。ここでの操作は、ディスプレイ上に表示している３次元モデルの表示の切り替えなどの操作が挙げられる。通信制御部３０３は、外部装置との通信を行うための部位であり、有線／無線や通信規格などは特に限定するものではない。なお、表示装置３において、本実施形態に係る機能を実現する各部位は、表示装置３にインストールされたアプリケーションにより実現されてよい。
(Display device)
As shown in FIG. 2C, the
［処理シーケンス］
図３は、本実施形態に係る装置間の連携を示す処理シーケンスを示す。各工程は、例えば、処理主体となる各装置のＣＰＵが記憶装置に記憶されたプログラムを読み出して実行することにより実現されてよい。また、複数の携帯端末２−１〜２−ｎはそれぞれが処理を行うものとするが、図３では包括的に説明を行う。
[Processing sequence]
FIG. 3 shows a processing sequence showing cooperation between the devices according to the present embodiment. Each step may be realized, for example, by the CPU of each device, which is the main body of processing, reading and executing the program stored in the storage device. Further, although it is assumed that each of the plurality of mobile terminals 2-1 to 2-n performs the processing, FIG. 3 will be comprehensively described.
Ｓ３０１にて、携帯端末２は、３次元モデル生成サーバ１に対してユーザ登録の要求を行う。ユーザ登録は、３次元モデル生成サーバ１にアクセスし、３次元モデル生成サーバ１が提供する登録画面（不図示）に各種情報を入力することで行われてよい。入力された情報には、携帯端末２やユーザを一意に識別するための情報が含まれてよい。
In S301, the
Ｓ３０２にて、３次元モデル生成サーバ１は、携帯端末２からの要求に応じて、ユーザ登録処理を行う。ユーザ登録処理では、ユーザと携帯端末２とを対応付けて管理するように、後述するユーザ管理テーブル（図４（ａ））に各種情報が登録される。本実施形態に係る機能を携帯端末２にインストールされたアプリケーションにて構成する場合には、アプリケーションの情報をさらに対応付けて管理してもよい。
In S302, the three-dimensional
Ｓ３０３にて、３次元モデル生成サーバ１は、ユーザ登録処理が完了したことを携帯端末２に通知する。なお、Ｓ３０１〜Ｓ３０３の処理は、携帯端末２とユーザの対応付けに関する処理であるため、携帯端末２それぞれにおいて１度行えばよい。一方、Ｓ３０４以降の処理は、携帯端末２のユーザによる撮影データ提供の際の操作に起因して繰り返し行われるものとする。
In S303, the three-dimensional
Ｓ３０４にて、携帯端末２は、ユーザ操作に基づいて撮像部２０１を起動させ、携帯端末２の周辺の撮影を行う。なお、図３では示していないが、携帯端末２（ユーザ）は、撮影を行う際に、３次元モデル生成サーバ１に対して現時点で生成されている３次元モデルの問い合わせを行ってもよい。そして、ユーザは、この問い合わせの結果から得られる３次元モデルの生成情報などに応じて撮影対象や撮影範囲を決定してよい。ここで提供される生成情報としては、例えば、３次元モデルが生成されていない領域の位置情報や、更新されてから所定時間が経過した領域の位置情報などが挙げられる。
In S304, the
Ｓ３０５にて、携帯端末２は、撮影により得られた撮影画像を含む撮影データを３次元モデル生成サーバ１へ送信する。ここでの撮影データには、撮影位置や撮影条件などの付帯情報が含まれる。付帯情報の例については後述する。
In S305, the
Ｓ３０６にて、３次元モデル生成サーバ１は、携帯端末２から送信された撮影データを受信し、後述する撮影データ管理テーブル（図４（ｂ））に登録する。
In S306, the three-dimensional
Ｓ３０７にて、３次元モデル生成サーバ１は、受信した撮影データを用いて３次元モデルを生成する。本実施形態に係る生成処理の詳細については後述する。
In S307, the three-dimensional
Ｓ３０８にて、３次元モデル生成サーバ１は、Ｓ３０７にて生成した３次元モデルと、既存の３次元モデルとを比較し、その差分などからＳ３０７にて生成した３次元モデルの評価を行う。
In S308, the three-dimensional
Ｓ３０９にて、３次元モデル生成サーバ１は、Ｓ３０８における評価結果に応じて、既存の３次元モデルに対してＳ３０７にて生成した３次元モデルを反映することで、３次元モデルの生成（更新）を行う。そして、３次元モデル生成サーバ１は、生成した３次元モデルを記憶する。
In S309, the 3D
Ｓ３１０にて、３次元モデル生成サーバ１は、表示装置３に対し、Ｓ３０９の処理後の３次元モデルの表示データを提供する。ここでの提供は、更新に伴って３次元モデル生成サーバ１が起点となって行ってもよいし、表示装置３からの要求に応答して行ってもよい。
In S310, the three-dimensional
Ｓ３１１にて、３次元モデル生成サーバ１は、Ｓ３０８の評価結果に基づき、撮影データを送信した携帯端末２に対応するユーザに対してインセンティブを付与する。付与されたインセンティブの情報は、後述するインセンティブ管理テーブル（図４（ｃ））に反映される。
In S311 the three-dimensional
Ｓ３１２にて、３次元モデル生成サーバ１は、Ｓ３１１にて付与したインセンティブの結果を携帯端末２に通知する。
In S312, the three-dimensional
Ｓ３１３にて、表示装置３は、Ｓ３１０にて３次元モデル生成サーバ１から提供された３次元モデルの表示データを用いて表示処理を行う。
In S313, the
Ｓ３１４にて、携帯端末２は、３次元モデル生成サーバ１から通知されたインセンティブの内容を表示する。携帯端末２のユーザは、表示内容により、Ｓ３０５にて送信した撮影データに対して付与されたインセンティブを確認することができる。ここでの表示には、過去に付与されたインセンティブの内容（履歴）を含めてもよい。また、ここでの表示は、インセンティブの付与の通知と併せて表示するような構成であってもよいし、通知の後、携帯端末２による３次元モデル生成サーバ１へのアクセスが行われた際に表示画面（不図示）を提供して行われてもよい。
In S314, the
［データ構成］
図４は、本実施形態に係る３次元モデル構築システムにおいて用いられるデータの構成例を示す図である。図４に示す各データは、例えば、３次元モデル生成サーバ１にて管理されるデータベースの各テーブルに格納される。
[Data structure]
FIG. 4 is a diagram showing a configuration example of data used in the three-dimensional model construction system according to the present embodiment. Each data shown in FIG. 4 is stored in, for example, each table of the database managed by the three-dimensional
図４（ａ）は、本実施形態に係る、ユーザ情報を管理するためのユーザ管理テーブルの構成例を示す。ユーザ登録処理（図３のＳ３０２）によりユーザ管理テーブルの内容が更新される。ユーザ管理テーブルは、ユーザＩＤおよび携帯端末ＩＤの項目を含んで構成される。ユーザＩＤは、ユーザを一意に識別するための識別情報である。携帯端末ＩＤは、携帯端末２を一意に識別するための識別情報である。ユーザＩＤおよび携帯端末ＩＤの桁数や使用文字列などの仕様は図４（ａ）に示すものに限定するものではなく、他の構成であってよい。また、ユーザＩＤおよび携帯端末ＩＤは、３次元モデル生成サーバ１が登録要求を受け付けた際に採番して発行してもよいし、ユーザが指定する構成であってもよい。
FIG. 4A shows a configuration example of a user management table for managing user information according to the present embodiment. The contents of the user management table are updated by the user registration process (S302 in FIG. 3). The user management table is configured to include items of a user ID and a mobile terminal ID. The user ID is identification information for uniquely identifying the user. The mobile terminal ID is identification information for uniquely identifying the
図４（ｂ）は、本実施形態に係る、撮影データを管理するための撮影データ管理テーブルの構成例を示す。撮影データ管理テーブルは、画像データＩＤ、送信元携帯端末ＩＤ、画像データ名、撮影日時、撮影位置、撮影方向、撮影設定、収集日時、および評価結果の項目を含んで構成される。画像データＩＤは、携帯端末２から収集した画像データを一意に識別するための識別情報である。画像データＩＤの桁数や使用文字列などの仕様は図４（ｂ）に示すものに限定するものではなく、他の構成であってよい。送信元携帯端末ＩＤは、画像データの送信元を示す識別情報であり、図４（ａ）に示す携帯端末ＩＤに対応する。
FIG. 4B shows a configuration example of a shooting data management table for managing shooting data according to the present embodiment. The shooting data management table includes items such as an image data ID, a source mobile terminal ID, an image data name, a shooting date and time, a shooting position, a shooting direction, a shooting setting, a collection date and time, and an evaluation result. The image data ID is identification information for uniquely identifying the image data collected from the
画像データ名は、撮影画像の実ファイルのファイル名を示す。画像データ名には、実ファイルの格納先（パス）が指定されてもよい。なお、携帯端末２から提供される１の撮影データ内に複数の撮影画像が含まれてもよく、複数の撮影画像それぞれの情報が管理される。撮影日時は、撮影画像が撮影された日時（年／月／日／時／分／秒。ただし、秒は１／１０００秒単位のミリ秒を含む）を示す情報である。撮影位置は、撮影画像が撮影された位置（緯度／経度／標高）を示す情報である。撮影方向は、撮影画像が撮影された際の向き（方角／仰角／俯角）を示す情報である。撮影設定は、撮影画像が撮影された際の設定情報である。撮影日時、撮影位置、撮影方向、および撮影設定などの情報が、携帯端末２から撮影データを収集する際に付帯情報として取得されるものとする。なお、撮影設定の項目は特に限定するものではなく、さらに詳細な項目が含まれていてよいし、撮影を行った携帯端末２の機能に応じて異なっていてもよい。
The image data name indicates the file name of the actual file of the captured image. The storage destination (path) of the actual file may be specified in the image data name. It should be noted that a plurality of captured images may be included in the captured data of 1 provided from the
収集日時は、３次元モデル生成サーバ１が携帯端末２から収集した日時（年／月／日／時／分／秒）を示す情報である。評価結果は、撮影データを用いて生成された３次元モデルに対して行われた評価処理の結果に基づいて決定される値を示す。ここでは、評価値としてＡ〜Ｅの５段階（ここではＡが最も高い評価とする）にて示しているが、これに限定するものではない。
The collection date and time is information indicating the date and time (year / month / day / hour / minute / second) collected from the
図４（ｃ）は、ユーザに対して付与されたインセンティブを管理するためのインセンティブ管理テーブルの構成例を示す。インセンティブ管理テーブルは、ユーザＩＤおよび付与インセンティブの項目を含んで構成される。ユーザＩＤは、図４（ａ）に対応する。付与インセンティブは、各ユーザに対して付与されたインセンティブの合計値を示す。ここでのインセンティブは、図４（ｂ）の評価結果の値に応じて付与されるものであり、例えば、電子マネー、仮想通貨、または、ポイントサービスによるポイントなどが該当する。評価が高い撮影データほど、高いインセンティブが付与されることとなる。なお、評価結果とインセンティブの変換方法（例えば、変換式）は特に限定するものではなく、タイミングなどに応じて異なってよい。また、付与されるインセンティブの内容は、ユーザが選択可能な構成であってもよい。付与インセンティブの単位は、付与されるインセンティブの内容に応じて変化してよい。また、図４（ａ）のユーザＩＤ「ＵＳＥ００００１」と携帯端末ＩＤ「ＭＴ００００１」「ＭＴ００００２」のように、１のユーザに対して複数の携帯端末２が対応付けられている場合がある。このような場合には、インセンティブ管理テーブルでは、複数の携帯端末２から送信された撮影データに基づくインセンティブの合計値が管理されてよい。
FIG. 4C shows a configuration example of an incentive management table for managing incentives given to users. The incentive management table is configured to include items of user ID and grant incentive. The user ID corresponds to FIG. 4A. The grant incentive indicates the total value of the incentives granted to each user. The incentive here is given according to the value of the evaluation result in FIG. 4B, and corresponds to, for example, electronic money, virtual currency, points by the point service, or the like. The higher the evaluation of the shooting data, the higher the incentive will be given. The conversion method (for example, conversion formula) between the evaluation result and the incentive is not particularly limited, and may differ depending on the timing and the like. Further, the content of the incentive to be given may be a configuration that can be selected by the user. The unit of the granted incentive may change depending on the content of the granted incentive. Further, there are cases where a plurality of
［３次元モデル］
以下、本実施形態に係る３次元モデル生成サーバ１（３次元モデル生成部１０２）にて生成する３次元モデルについて説明する。３次元モデルの生成方法は公知の方法を用いてよく、特に限定するものではない。ここでは、３次元モデルの生成方法の一例について説明する。
[3D model]
Hereinafter, the three-dimensional model generated by the three-dimensional model generation server 1 (three-dimensional model generation unit 102) according to the present embodiment will be described. A known method may be used as the method for generating the three-dimensional model, and the method is not particularly limited. Here, an example of a method for generating a three-dimensional model will be described.
３次元モデルを生成する際に、同一対象物を含む可能性のある複数枚の撮影画像を収集し、各撮影画像の特徴点の候補をAKAZEなどの手法で検出し、その特徴量の値が予め設定された閾値を越えた場合にその候補を特徴点とする（特徴点抽出）。 When generating a 3D model, multiple captured images that may contain the same object are collected, candidate feature points of each captured image are detected by a method such as AKAZE, and the value of the feature amount is When a preset threshold value is exceeded, the candidate is used as a feature point (feature point extraction).
各撮影画像にて検出された特徴点が同一対象物に起因している場合には、それらの特徴点は点群データ間で対応している。そこで、画像間における特徴点の対応付けを行う（特徴点マッチング）。特徴点マッチングができた特徴点は同一対象物のある箇所を示しているため、その対象物の３次元座標を、測定結果に含まれる各種情報に基づいて算出する。ここでの情報としては、撮像部の向きや位置情報などが挙げられる。このようにして算出した複数の３次元座標点が３次元点群を形成することとなる。 When the feature points detected in each captured image are caused by the same object, those feature points correspond between the point cloud data. Therefore, feature points are associated between images (feature point matching). Since the feature points for which feature point matching is possible indicate a certain part of the same object, the three-dimensional coordinates of the object are calculated based on various information included in the measurement result. Examples of the information here include orientation and position information of the imaging unit. The plurality of three-dimensional coordinate points calculated in this way form a three-dimensional point cloud.
３次元点群は、単なる３次元座標点の集まりであるので、これを人が視認しやすいように、３次元モデルに変換する。その場合には、画像の近傍３点の特徴点で囲まれる領域を、その特徴点の３点で形成された３次元座標の３点に張り付ける（テキスチャーマッピング）。これにより三角ポリゴン面で構成された３次元モデルが生成できる。 Since the three-dimensional point cloud is simply a collection of three-dimensional coordinate points, it is converted into a three-dimensional model so that humans can easily see it. In that case, the area surrounded by the three feature points in the vicinity of the image is attached to the three points of the three-dimensional coordinates formed by the three feature points (texture mapping). As a result, a three-dimensional model composed of triangular polygon planes can be generated.
［価値評価］
本実施形態に係る３次元モデルの評価について説明する。本実施形態では、既存の３次元モデルと、新たに収集した撮影データから生成される３次元モデルとの差分に基づいて、新たに生成した３次元モデルおよびその生成に用いられた撮影データの評価を行う。
[Value evaluation]
The evaluation of the three-dimensional model according to the present embodiment will be described. In the present embodiment, the newly generated 3D model and the shooting data used for the generation are evaluated based on the difference between the existing 3D model and the 3D model generated from the newly collected shooting data. I do.
３次元モデルや撮影データの評価の観点として、既存の３次元モデルを生成した際に用いた撮影データの撮影日時と新たに収集した撮影データの撮影日時との差異（経過時間）、撮影データの画質、既存の３次元モデルを生成した際に用いた撮影データから得られる点群（点の数）と新たに収集した撮影データから得られる点群との差異、３次元モデルの体積の差異、複数の撮影画像の連続性などが用いられてよい。なお、評価方法については、上記に限定するものではなく、他の評価基準が用いられてよい。 From the viewpoint of evaluation of the 3D model and shooting data, the difference (elapsed time) between the shooting date and time of the shooting data used when the existing 3D model was generated and the shooting date and time of the newly collected shooting data, and the shooting data Image quality, difference between the point group (number of points) obtained from the shooting data used when the existing 3D model was generated and the point group obtained from the newly collected shooting data, the difference in volume of the 3D model, The continuity of a plurality of captured images may be used. The evaluation method is not limited to the above, and other evaluation criteria may be used.
［処理フロー］
図５を用いて、本実施形態に係る３次元モデル生成サーバ１の処理フローについて説明する。以下に示す処理は、例えば、３次元モデル生成サーバ１が備えるＣＰＵ（不図示）が記憶装置に記憶されたプログラムを読み出して実行することにより実現される。以下に示す処理は、図３に示した３次元モデル生成サーバ１の処理（Ｓ３０６〜Ｓ３０９、Ｓ３１１〜Ｓ３１２）の処理に対応する。なお、３次元モデルの提供（図３のＳ３１０）は、表示装置３からの要求に応じて行われるものとし、図５では省略する。
[Processing flow]
The processing flow of the three-dimensional
Ｓ５０１にて、３次元モデル生成サーバ１は、撮影データの収集を行う。なお、本処理は、一定量の撮影データが携帯端末２から収集されたタイミングで実行されてもよい。上述したように、１の撮影データに複数の撮影画像が含まれてもよい。
In S501, the three-dimensional
Ｓ５０２にて、３次元モデル生成サーバ１は、撮影データに含まれる付帯情報に基づき、撮影画像による撮影領域を特定する。図４（ｂ）に示すように、付帯情報には、撮影位置や撮影方向などが含まれており、これらの情報を用いて撮影領域が特定される。なお、撮影データにて、撮影動画が含まれている場合には、所定の時間間隔ごとにフレームを抽出して撮影動画に変換した上で処理を行ってよい。この場合の撮影画像としてのフレームの付帯情報は、撮影動画全体に対する付帯情報に基づいて各フレームに対する付帯情報を導出して補完することで決定されてよい。
In S502, the three-dimensional
Ｓ５０３にて、３次元モデル生成サーバ１は、Ｓ５０２にて特定した撮影領域に基づいて、各撮影画像を１または複数のグループにグループ化する。ここでのグループ化は、例えば、予め規定された範囲（例えば、地図上において所定のサイズに分割された各領域）に含まれるか否か基づいて行われてもよいし、同じ物体を撮影しているか否かに基づいて行われてもよい。このとき、１の撮影画像が複数のグループに属してもよいし、１のグループに１の撮影画像のみが分類されてもよい。グループ化は、撮影画像単位で行われてもよいし、撮影データ単位で行われてもよい。なお、１の撮影データに１の撮影画像が含まれている場合には、いずれの場合でも同等となる。
In S503, the three-dimensional
Ｓ５０４にて、３次元モデル生成サーバ１は、Ｓ５０３にて分類された１または複数のグループのうち、Ｓ５０５〜Ｓ５１１の処理が未処理の１のグループに着目する。
In S504, the three-dimensional
Ｓ５０５にて、３次元モデル生成サーバ１は、Ｓ５０４にて着目したグループに含まれる撮影データを用いて、３次元モデルを生成する。グループに応じて属する撮影データ（つまり、撮影画像）の数は異なるため、３次元モデルの生成にて用いられる撮影データの数も異なりうる。
In S505, the three-dimensional
Ｓ５０６にて、３次元モデル生成サーバ１は、既存の３次元モデルと、Ｓ５０５にて生成した３次元モデルとの比較を行う。
In S506, the three-dimensional
Ｓ５０７にて、３次元モデル生成サーバ１は、Ｓ５０６における比較の結果、既存の３次元モデルとＳ５０５にて生成した３次元モデルとに差分があるか否かを判定する。差分がある場合は（Ｓ５０７にてＹＥＳ）Ｓ５０８へ進む。一方、差分が無い場合は（Ｓ５０７にてＮＯ）Ｓ５１２へ進む。
In S507, the three-dimensional
Ｓ５０８にて、３次元モデル生成サーバ１は、Ｓ５０５にて生成した３次元モデルの評価を行う。言い換えると、３次元モデルの生成に用いられた撮影データの評価を行う。ここでの評価は、上述した価値評価の基準により行われるものとする。このとき、撮影データの評価は、３次元モデルの全体の評価を行い、その３次元モデルを生成する際に用いた撮影データすべてにその評価値を反映してもよい。または、３次元モデルを生成する際に用いた撮影データに対して個別に評価を行ってもよい。
In S508, the 3D
Ｓ５０９にて、３次元モデル生成サーバ１は、生成した３次元モデルの評価値が所定の閾値以上か否かを判定する。所定の閾値は予め規定され、３次元モデル生成サーバ１が保持しているものとする。複数の評価基準が用いられる場合には、その複数の評価基準それぞれに対応して複数の値が所定の閾値として用いられてもよい。その場合、複数の評価基準における評価値のうちの少なくとも１つが閾値以上か否かを判定してもよい。評価値が所定の閾値以上である場合（Ｓ５０９にてＹＥＳ）Ｓ５１０へ進む。一方、評価値が所定の閾値未満である場合（Ｓ５０９にてＮＯ）Ｓ５１２へ進む。
In S509, the three-dimensional
Ｓ５１０にて、３次元モデル生成サーバ１は、Ｓ５０５にて生成した３次元モデルを用いて、既存の３次元モデルを更新する。ここでの更新は、生成した３次元モデルの範囲に対応する既存の３次元モデルの範囲が更新されてよい。
In S510, the 3D
Ｓ５１１にて、３次元モデル生成サーバ１は、Ｓ５０８における評価の評価値に基づき、撮影データを提供した携帯端末２のユーザに対してインセンティブを付与する。上述したように、インセンティブの内容は特に限定するものではなく、例えば、ユーザが指定できるような構成であってもよい。また、評価値とインセンティブの変換率等についても特に限定するものではない。
In S511, the three-dimensional
Ｓ５１２にて、３次元モデル生成サーバ１は、Ｓ５０３にて分類された１または複数のグループすべてに対するＳ５０５〜Ｓ５１１の処理が完了したか否かを判定する。すべてのグループに対する処理が完了した場合（Ｓ５１２にてＹＥＳ）Ｓ５１３へ進む。一方、未処理のグループがある場合（Ｓ５１２にてＮＯ）、Ｓ５０４へ戻り、未処理のグループに対して処理を繰り返す。
In S512, the three-dimensional
Ｓ５１３にて、３次元モデル生成サーバ１は、Ｓ５１１にて付与されたインセンティブの情報を携帯端末２に対して通知する。なお、Ｓ５０７にてＮＯであった場合やＳ５０９にてＮＯであった場合など、提供された撮影データが３次元モデルの更新に用いられていない場合には、３次元モデル生成サーバ１は、その旨とインセンティブが付与されていない旨とを携帯端末２のユーザに通知してよい。そして、３次元モデル生成サーバ１は、本処理フローを終了する。
In S513, the three-dimensional
以上、本実施形態により、携帯端末にて撮影された撮影データを逐次収集して３次元モデルを生成、更新することで、従来よりも３次元モデルの構築を容易に広範囲に行うことが可能となる。また、３次元モデルの生成における撮影データの評価を行って、その評価値に応じてインセンティブを付与することで、撮影データの提供をユーザに促すことができる。その結果、より多くの撮影データを収集でき、従来よりも精度の高い３次元モデルの構築が可能となる。 As described above, according to the present embodiment, by sequentially collecting the shooting data taken by the mobile terminal to generate and update the three-dimensional model, it is possible to easily construct the three-dimensional model in a wider range than before. Become. Further, by evaluating the shooting data in the generation of the three-dimensional model and giving an incentive according to the evaluation value, it is possible to encourage the user to provide the shooting data. As a result, more shooting data can be collected, and a three-dimensional model with higher accuracy than before can be constructed.
＜第２の実施形態＞
以下、本願発明の第２の実施形態について説明する。第１の実施形態では、撮影データの提供元（撮影装置）は、スマートフォンなどの携帯端末を例に挙げて説明した。本実施形態では、撮影データの提供元として、撮影部を備える移動体を用いた構成について説明する。携帯端末以外の移動体としては、例えば、自動車やバイクなどの車両や小型無人航空機（ドローン）などが挙げられる。以下では、撮影データの提供元として車両を例に挙げて説明する。なお、第１の実施形態と重複する構成については説明を省略し、差分に着目して説明を行う。
<Second embodiment>
Hereinafter, a second embodiment of the present invention will be described. In the first embodiment, the source of the shooting data (shooting device) has been described by taking a mobile terminal such as a smartphone as an example. In the present embodiment, a configuration using a moving body including a shooting unit as a source of shooting data will be described. Examples of mobile objects other than mobile terminals include vehicles such as automobiles and motorcycles, and small unmanned aerial vehicles (drones). In the following, a vehicle will be described as an example as a source of shooting data. It should be noted that the description of the configuration overlapping with the first embodiment will be omitted, and the description will be given focusing on the difference.
［機能構成］
（車両）
図６は、本実施形態に係る車両６００の機能構成の例を示す。車両６００は、１または複数の利用者（ユーザ）に利用されており、複数の車両６００が含まれてよい。以下の説明において、車両６００について個別に説明を要する場合には添え字ｎ（≧２）を付して説明するが、包括的に説明する場合には添え字を省略する。
[Functional configuration]
(vehicle)
FIG. 6 shows an example of the functional configuration of the
本実施形態に係る車両６００は、カメラ群６０１、センサ群６０２、記憶部６０３、制御部６０４、および通信部６０５を含んで構成される。なお、図６では、本実施形態に関する構成のみを示すが、車両６００は、走行制御や報知などに用いられる部位をさらに含んでよい。
The
カメラ群６０１は、車両６００の周辺の画像を取得するための撮像部であり、不図示のレンズや撮像素子などを備える。カメラ群６０１には、例えば、前方カメラ、側方カメラ（左右）、後方カメラが含まれてよい。カメラ群６０１に含まれる複数のカメラそれぞれにて撮影された撮影画像が別個の撮影画像として扱われてよい。
The
センサ群６０２は、車両６００の状態などの情報（例えば、位置情報や向きなど）や、周辺の情報を取得するための検出部である。車両６００は、例えば、走行支援制御を実現するために様々なセンサを備えていることがあり、その中において３次元モデルの生成に利用可能な情報を取得するセンサがある。例えば、センサ群６０２には、磁気センサ、加速度センサ、ジャイロセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどが含まれてよい。さらに、センサ群６０２には、ミリ波レーダ、ソナーレーダ、ライダ（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などが含まれてよい。これらの検出結果としての情報は、３次元モデルの生成に利用してもよい。センサ群６０２に含まれる各種センサそれぞれは、車両６００の構成に応じて１または複数が備えられてよい。
The
記憶部６０３は、カメラ群６０１により撮像された撮影画像や、センサ群６０２により検出された検出結果を記憶する記憶部であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶領域により構成される。記憶部６０３は、カメラ群６０１にて撮影した撮影画像と、撮影時の情報（センサ群６０２にて検出した情報や、撮影日時、撮影設定など）とを対応付けて記憶する。制御部６０４は、車両６００の撮影等に関する制御を司る部位であり、例えば、処理部としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、専用回路などにより構成される。通信部６０５は、外部装置との通信を行うための部位であり、通信規格などは特に限定するものではない。
The
制御部６０４は、所定のタイミングにてカメラ群６０１やセンサ群６０２を動作させ、周辺の情報を取得させる。取得のタイミングは、予め規定された間隔にて動作するような構成であってよい。制御部６０４は、カメラ群６０１にて撮影された撮影画像に対して、所定の画像処理を行う構成であってもよい。例えば、制御部６０４は、撮影画像に対してフィルタリングなどの画像処理を行うような構成であってもよい。また、カメラ群６０１が動画を撮影するような構成である場合には、制御部６０４は、撮影動画の中から所定のフレームを抽出して送信用の撮影画像とするような処理を行ってもよい。フレームを抽出して撮影画像として送信する際には、撮影動画を取得時の情報（撮影設定や撮影日時など）に基づき当該フレームに対応する情報を決定した上で撮影データに含めてもよい。または、撮影動画を撮影データに含めて送信してもよい。複数の車両６００−１〜６００−ｎの構成は同一である必要はなく、異なる機能を備えた車両６００が用いられてよい。
The
第１の実施形態の図３のＳ３０１〜Ｓ３０３に示した構成と同様に、本実施形態では、車両６００をユーザに対応付けて登録する。ここでの登録は、車両６００が備える表示部（不図示）や通信部６０５を介して３次元モデル生成サーバ１にアクセスすることで行われてもよい。もしくは、ユーザが所有する携帯端末２と車両６００とを通信可能に接続し、携帯端末２を介して車両６００を３次元モデル生成サーバ１に登録するような構成であってもよい。
Similar to the configuration shown in S301 to S303 of FIG. 3 of the first embodiment, in the present embodiment, the
［データ構成］
図７は、本実施形態に係る３次元モデル構築システムにおいて用いられるデータの構成例を示す図である。図７に示す各データは、例えば、３次元モデル生成サーバ１にて管理されるデータベースの各テーブルに格納される。なお、インセンティブ管理テーブルの構成は、第１の実施形態にて示した図４（ｃ）の構成と同様であるものとし、ここでの説明は省略する。
[Data structure]
FIG. 7 is a diagram showing a configuration example of data used in the three-dimensional model construction system according to the present embodiment. Each data shown in FIG. 7 is stored in, for example, each table of the database managed by the three-dimensional
図７（ａ）は、本実施形態に係る、ユーザ情報を管理するためのユーザ管理テーブルの構成例を示す。第１の実施形態にて示した図４（ａ）の構成との差分は、携帯端末ＩＤに代えて、移動体ＩＤが用いられる。移動体ＩＤは、車両６００を一意に識別するための識別情報である。移動体ＩＤの桁数や使用文字列などの仕様は図７（ａ）に示すものに限定するものではなく、他の構成であってよい。また、移動体ＩＤは、３次元モデル生成サーバ１が登録要求を受け付けた際に採番して発行してもよいし、ユーザが指定する構成であってもよい。
FIG. 7A shows a configuration example of a user management table for managing user information according to the present embodiment. As the difference from the configuration of FIG. 4A shown in the first embodiment, the mobile ID is used instead of the mobile terminal ID. The mobile ID is identification information for uniquely identifying the
図７（ｂ）は、本実施形態に係る、撮影データを管理するための撮影データ管理テーブルの構成例を示す。第１の実施形態にて示した図４（ｂ）の構成との差分は、送信元携帯端末ＩＤに代えて、送信元移動体ＩＤが用いられる。送信元移動体ＩＤは、撮影データの送信元を示す識別情報であり、図７（ａ）に示す移動体ＩＤに対応する。 FIG. 7B shows a configuration example of a shooting data management table for managing shooting data according to the present embodiment. As the difference from the configuration of FIG. 4B shown in the first embodiment, the source mobile terminal ID is used instead of the source mobile terminal ID. The source mobile ID is identification information indicating the source of the shooting data, and corresponds to the mobile ID shown in FIG. 7A.
本実施形態に係る処理シーケンスと、第１の実施形態の処理シーケンス（図３）との差異として、撮影データの提供が車両６００から３次元モデル生成サーバ１に対して行われる点が異なる。また、車両６００からの撮影データの送信は、ユーザがＯＮ／ＯＦＦを制御できるような構成であってよく、この設定がＯＮの場合に、車両６００は撮影データを所定の送信間隔にて３次元モデル生成サーバ１に送信するような構成であってもよい。ここでの所定の送信間隔は予め規定されていてもよいし、ユーザが設定できるような構成であってもよい。
The difference between the processing sequence according to the present embodiment and the processing sequence of the first embodiment (FIG. 3) is that the shooting data is provided from the
または、他の機能における外部との通信負荷が低下した場合や通信速度の制限が行われていない場合に、車両６００は、複数の撮影画像を含む撮影データを送信するような構成であってもよい。また、記憶部６０３に一定量の撮影画像が蓄積された際に、車両６００は、複数の撮影画像を含む撮影データをまとめて送信するような構成であってもよい。
Alternatively, even if the
以上、本実施形態により、ユーザによる撮影動作を要することなく、移動体（例えば、車両）にて撮影された撮影画像を含む撮影データを逐次収集する。例えば、撮影画像としてドライブレコーダで撮影される画像が利用でき、付帯情報として、カーナビゲーションシステムに搭載されているGPS位置情報や進行方向情報などが利用できる。そして、このような撮影データを用いて３次元モデルを生成、更新することで、従来よりも３次元モデルの構築を容易に広範囲に行うことが可能となる。また、ユーザの操作を介することなく、車両からより多くの撮影画像を収集でき、従来よりも精度の高い３次元モデルの構築が可能となる。 As described above, according to the present embodiment, shooting data including shot images shot by a moving body (for example, a vehicle) is sequentially collected without requiring a shooting operation by the user. For example, an image taken by a drive recorder can be used as a captured image, and GPS position information and traveling direction information mounted on a car navigation system can be used as incidental information. Then, by generating and updating the three-dimensional model using such shooting data, it becomes possible to easily construct the three-dimensional model in a wider range than in the conventional case. In addition, more captured images can be collected from the vehicle without the intervention of the user, and a three-dimensional model with higher accuracy than before can be constructed.
なお、第１の実施形態と第２の実施形態の構成は排他的なものではなく、両方の構成を統合して３次元モデルの構築を行うような構成であってもよい。 The configurations of the first embodiment and the second embodiment are not exclusive, and may be a configuration in which both configurations are integrated to construct a three-dimensional model.
＜第３の実施形態＞
本願発明の第３の実施形態として、生成された３次元モデルの表示の形態について説明する。カメラ等により撮影された撮影画像には、固定物体（例えば、建築物）と移動物体（例えば、車両）が混在して含まれていることが想定される。そこで、本実施形態では、撮影画像から３次元モデルを生成する際に、撮影画像に含まれる物体が移動物体か固定物体かを識別し、それぞれの特性に応じて３次元モデルに反映させる。また、撮影データの評価においても、移動物体か固定物体かの基準を設け、これに応じて評価を行う。
<Third embodiment>
As a third embodiment of the present invention, a display mode of the generated three-dimensional model will be described. It is assumed that the captured image taken by a camera or the like contains a mixture of a fixed object (for example, a building) and a moving object (for example, a vehicle). Therefore, in the present embodiment, when a three-dimensional model is generated from the captured image, it is identified whether the object included in the captured image is a moving object or a fixed object, and the object is reflected in the three-dimensional model according to the respective characteristics. Also, in the evaluation of the photographed data, a standard for whether it is a moving object or a fixed object is set, and the evaluation is performed accordingly.
［物体の識別方法］
撮影画像から移動物体と固定物体を識別する方法は公知の方法を用いることができ、特に限定するものではない。ここでは、一例として機械学習による手法を用いた識別方法について説明する。
[Object identification method]
A known method can be used as a method for distinguishing a moving object from a fixed object from a captured image, and the method is not particularly limited. Here, as an example, an identification method using a method by machine learning will be described.
機械学習において、深層構造のニューラルネットワークモデルを用いた画像のセグメンテーション技術（領域抽出）が知られている。この手法において、学習用の画像データを用意する。学習用データでは、画像に含まれるオブジェクトの領域に対し、その領域が何を示しているかのラベル付けが行われている。例えば、撮影画像（写真）に写っているオブジェクトが人や車、自転車、電車、飛行機などの移動物体の場合、画素単位で抽出したその画像領域に対して「移動物体」というラベルを付与する。一方、撮影画像に映っているオブジェクトが道路や建物、橋、公園、野原などの固定物体の場合には、ピクセル単位で抽出したその画像領域に対して「固定物体」とラベルを付与する。そして、このような学習用データを複数準備し、それらを用いて学習を繰り返すことで、学習済みモデルを生成する。その後、撮影画像を入力として学習済みモデルを適用することで、当該撮影画像において移動物体と固定物体それぞれを示す画像領域に分割（抽出）が行われる。画像のセグメンテーション法としては代表的な手法であるＳｅｇＮｅｔやＵ−Ｎｅｔなどを用いることができる。 In machine learning, an image segmentation technique (region extraction) using a deep-structured neural network model is known. In this method, image data for learning is prepared. In the training data, the area of the object included in the image is labeled with what the area indicates. For example, when the object shown in the photographed image (photograph) is a moving object such as a person, a car, a bicycle, a train, or an airplane, the image area extracted in pixel units is labeled as "moving object". On the other hand, when the object shown in the captured image is a fixed object such as a road, a building, a bridge, a park, or a field, the image area extracted in pixel units is labeled as "fixed object". Then, a plurality of such learning data are prepared, and learning is repeated using them to generate a trained model. After that, by applying the trained model using the captured image as an input, division (extraction) is performed in the image region indicating each of the moving object and the fixed object in the captured image. As an image segmentation method, typical methods such as SegNet and U-Net can be used.
なお、撮影画像から抽出された領域のうちラベル「移動物体」として抽出された画像領域から生成された３次元点群は、移動物体を構成する３次元点群である。一方、ラベル「固定物体」として抽出された画像領域から生成された３次元点群は、固定物体を構成する３次元点群である。このようにして、撮影画像に含まれるオブジェクトそれぞれに対応する３次元点群の領域を、移動物体か固定物体かに分離させる。本実施形態においては、領域抽出のための学習済みモデルはすでに生成されているものとして説明する。 The three-dimensional point cloud generated from the image area extracted as the label "moving object" among the areas extracted from the captured image is the three-dimensional point cloud constituting the moving object. On the other hand, the three-dimensional point cloud generated from the image area extracted as the label "fixed object" is a three-dimensional point cloud constituting the fixed object. In this way, the region of the three-dimensional point cloud corresponding to each object included in the captured image is separated into a moving object and a fixed object. In the present embodiment, it is assumed that the trained model for region extraction has already been generated.
［処理フロー］
図８を用いて、本実施形態に係る３次元モデル生成サーバ１の処理フローについて説明する。以下に示す処理は、例えば、３次元モデル生成サーバ１が備えるＣＰＵ（不図示）が記憶装置に記憶されたプログラムを読み出して実行することにより実現される。第１の実施形態にて図５を用いて説明した処理フローとの差異に着目して説明し、同じ内容の処理については、図５と同じ参照番号を付す。
[Processing flow]
The processing flow of the three-dimensional
Ｓ５０４の処理の後、３次元モデル生成サーバ１の処理はＳ８０１へ進む。Ｓ８０１にて、３次元モデル生成サーバ１は、着目したグループに含まれる撮影データの撮影画像に対して、領域抽出処理を行う。上述したように、本実施形態では、撮影画像において、「移動物体」としての領域と、「固定物体」としての領域を抽出するための学習済みモデルを用いて領域抽出を行う。撮影画像によっては、すべての領域が移動物体の領域であるとして抽出される場合もあれば、すべての領域が固定物体として抽出される場合もある。
After the processing of S504, the processing of the three-dimensional
Ｓ８０２にて、３次元モデル生成サーバ１は、Ｓ８０１にて移動物体の領域として抽出された領域の情報を用いて３次元オブジェクトを生成する。ここでの３次元オブジェクトとは、物体認識された３次元モデルを示す。ここでの３次元オブジェクトの生成方法は特に限定されるものではない。例えば、移動物体の領域として抽出された領域の情報から３次元点群を求め、オブジェクトの３次元モデルを生成することで、移動物体を示す３次元オブジェクトを生成してもよい。または、移動物体の領域として抽出された領域の情報からその領域が示す移動体の種類を特定し、予め生成されている表示用の３次元オブジェクトとの対応付けを行うことで生成してもよい。
In S802, the 3D
Ｓ８０３にて、３次元モデル生成サーバ１は、Ｓ８０１にて固定物体の領域として抽出された領域の情報を用いて３次元モデルを生成する。ここでの３次元モデルの生成方法は、第１の実施形態の図５のＳ５０５の処理と同様であってよい。
In S803, the three-dimensional
Ｓ８０４にて、３次元モデル生成サーバ１は、Ｓ８０２にて生成した移動物体の３次元オブジェクトと、Ｓ８０３にて生成した３次元モデルとを対応付けて記憶部（不図示）に記憶する。その後、Ｓ５０６の処理へ進む。
In S804, the three-dimensional
なお、Ｓ５０８の評価処理では、固定物体として抽出された領域の情報に基づいて評価が行われることなる。そのため、第１の実施形態にて用いられた評価基準とは異なる評価基準が用いられてもよい。例えば、撮影画像の全体に対して、固定物体として抽出された領域の割合に基づいて評価が行われてもよい。 In the evaluation process of S508, evaluation is performed based on the information of the region extracted as a fixed object. Therefore, an evaluation standard different from the evaluation standard used in the first embodiment may be used. For example, the evaluation may be performed based on the ratio of the region extracted as a fixed object to the entire captured image.
以上、本実施形態では、撮影画像に対し、３次元モデルを生成するための領域（固定物体の領域）を抽出し、その領域の情報に基づいて３次元モデルの生成および評価を行う。 As described above, in the present embodiment, a region (a region of a fixed object) for generating a three-dimensional model is extracted from the captured image, and the three-dimensional model is generated and evaluated based on the information in the region.
［表示］
本実施形態では、図８に示すような処理により、３次元モデルが生成される。また、図８のＳ８０４にて示したように、３次元モデルと、その３次元モデルが示す領域に移動物体を示す３次元オブジェクトとが対応付けられている。そのため、本実施形態では、３次元モデル生成サーバ１は、表示装置３に３次元モデルを提供する場合（図３のＳ３１０）、その３次元モデルに対応付けられた３次元オブジェクトの情報を併せて提供する。
[display]
In this embodiment, a three-dimensional model is generated by the process shown in FIG. Further, as shown in S804 of FIG. 8, the three-dimensional model and the three-dimensional object indicating a moving object in the region indicated by the three-dimensional model are associated with each other. Therefore, in the present embodiment, when the three-dimensional
そして、表示装置３は、３次元モデル生成サーバ１から提供された３次元モデルとそれに対応する３次元オブジェクトを表示させる。なお、３次元オブジェクトは、ユーザの操作に応じて、表示／非表示が切り替えられるような構成であってもよい。
Then, the
上記の例では、移動物体に対応して３次元オブジェクトを表示する例を示したが、移動物体を２次元オブジェクトとして示してもよい。または、複数の３次元オブジェクトが存在する場合には、その一部のみを表示するような構成であってもよい。 In the above example, the example of displaying the three-dimensional object corresponding to the moving object is shown, but the moving object may be shown as a two-dimensional object. Alternatively, when a plurality of three-dimensional objects exist, only a part of them may be displayed.
本実施形態では、第１の実施形態の構成を基礎として説明したが、第２の実施形態の構成に適用してもよい。つまり、車両などの移動体から取得した撮影画像から固定物体の領域を抽出し、３次元モデルの生成に用いてよい。 Although the present embodiment has been described based on the configuration of the first embodiment, it may be applied to the configuration of the second embodiment. That is, a region of a fixed object may be extracted from a captured image acquired from a moving body such as a vehicle and used for generating a three-dimensional model.
以上、本実施形態により、撮影画像から固定物体の領域を抽出して３次元モデルを生成、更新することで、第１の実施形態よりもより精度の高い３次元モデルの構築が可能となる。 As described above, according to the present embodiment, by extracting the region of the fixed object from the photographed image to generate and update the three-dimensional model, it is possible to construct the three-dimensional model with higher accuracy than that of the first embodiment.
１ ３次元モデル生成サーバ
２ 携帯端末
３ 表示装置
４ ネットワーク
１０１ データ収集部
１０２ ３次元モデル生成部
１０３ ３次元モデル管理部
１０４ データ評価部
１０５ ユーザ管理部
１０６ インセンティブ付与部
１０７ 通信制御部
１０８ 表示制御部
２０１ 撮像部
２０２ センサ群
２０３ 記憶部
２０４ 制御部
２０５ 通信部
３０１ ３次元モデル表示部
３０２ 操作受付部
３０３ 通信制御部
1 3D
Claims (12)
前記複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集手段と、
前記収集手段にて収集された撮影データを用いて３次元モデルを生成する生成手段と、
前記収集手段にて収集した新たな撮影データを用いて生成された３次元モデルを１または複数の評価基準に基づく評価値により評価する評価手段と、
前記生成手段により撮影データを用いて生成された前記３次元モデルの評価値に応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与手段と
を有し、
前記生成手段は、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の３次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される３次元モデルのうちの前記評価手段による評価にて一定の評価値を与えられた３次元モデルを用いて前記既存の３次元モデルの更新を行うことを特徴とする３次元モデル構築システム。 A management means for managing each of a plurality of mobile objects in association with a user,
A collecting means for collecting shooting data including incidental information related to shooting, which was shot by a shooting device provided for each of the plurality of moving objects.
A generation means for generating a three-dimensional model using the shooting data collected by the collection means, and a generation means.
An evaluation means for evaluating a three-dimensional model generated by using the new imaging data collected by the collection means based on an evaluation value based on one or a plurality of evaluation criteria, and an evaluation means.
It has a granting means for giving a reward to a user associated with a moving body that has photographed the photographed data according to an evaluation value of the three-dimensional model generated by the generation means using the photographed data. ,
The generation means uses the incidental information included in the new shooting data to specify the shooting area of the existing three-dimensional model corresponding to the new shooting data, and is generated from the new shooting data in the shooting area. A three-dimensional model construction system characterized in that the existing three-dimensional model is updated by using a three-dimensional model given a certain evaluation value by evaluation by the evaluation means among the three-dimensional models.
前記生成手段は、前記１または複数のグループそれぞれに対応する１または複数の３次元モデルを生成し、当該１または複数の３次元モデルそれぞれと前記既存の３次元モデルとの差分に応じて、前記既存の３次元モデルの更新を行うことを特徴とする請求項１に記載の３次元モデル構築システム。 Further having a classification means for classifying a plurality of captured images included in a plurality of captured data into one or a plurality of groups based on the incidental information.
The generation means generates one or a plurality of three-dimensional models corresponding to each of the one or a plurality of groups, and the generation means according to the difference between each of the one or a plurality of three-dimensional models and the existing three-dimensional model. The three-dimensional model construction system according to claim 1, wherein the existing three-dimensional model is updated.
前記生成手段は、前記抽出手段にて抽出した所定の領域の情報を用いて３次元モデルを生成することを特徴とする請求項１乃至５のいずれか一項に記載の３次元モデル構築システム。 Further, it has an extraction means for extracting a predetermined area from the photographed image included in the photographed data.
The three-dimensional model construction system according to any one of claims 1 to 5, wherein the generation means generates a three-dimensional model using information of a predetermined region extracted by the extraction means.
前記抽出手段は、撮影画像から固定物体を示す領域を抽出するための学習が行われることで生成された学習済みモデルを用いて、撮影画像から前記所定の領域を抽出することを特徴とする請求項６に記載の３次元モデル構築システム。 The predetermined region is a region showing a fixed object, and is
The extraction means is characterized in that a predetermined region is extracted from a captured image by using a trained model generated by performing training for extracting a region showing a fixed object from the captured image. Item 6. The three-dimensional model construction system according to item 6.
前記生成手段は更に、前記移動物体を示す領域の情報を用いて、３次元モデルを表示する際に表示可能な３次元オブジェクトを生成することを特徴とする請求項６または７に記載の３次元モデル構築システム。 The extraction means further extracts a region indicating a moving object from the captured image by using a trained model generated by performing learning for extracting a region indicating a moving object from the captured image.
The three-dimensional aspect according to claim 6 or 7, wherein the generation means further generates a three-dimensional object that can be displayed when displaying the three-dimensional model by using the information of the region indicating the moving object. Model building system.
前記撮影動画を構成する複数のフレームそれぞれの付帯情報は、前記撮影動画に対して付与された付帯情報から導出される情報により補完されることを特徴とする請求項１乃至８のいずれか一項に記載の３次元モデル構築システム。 The shooting data includes a shooting moving image.
Any one of claims 1 to 8 , wherein the incidental information of each of the plurality of frames constituting the captured moving image is complemented by the information derived from the incidental information given to the captured moving image. The three-dimensional model construction system described in.
前記収集工程にて収集された撮影データを用いて３次元モデルを生成する生成工程と、
前記収集工程にて収集した新たな撮影データを用いて生成された３次元モデルを１または複数の評価基準に基づく評価値により評価する評価工程と、
前記生成工程にて撮影データを用いて生成された前記３次元モデルの評価値に応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与工程と
を有し、
前記生成工程において、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の３次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される３次元モデルのうちの前記評価工程における評価にて一定の評価値が与えられた３次元モデルを用いて前記既存の３次元モデルの更新を行うことを特徴とする３次元モデル構築方法。 A collection process that collects shooting data including incidental information related to shooting, which was shot by a shooting device provided for each of multiple moving objects.
A generation step of generating a three-dimensional model using the shooting data collected in the collection step, and a generation step.
An evaluation process in which a three-dimensional model generated using the new imaging data collected in the collection process is evaluated based on evaluation values based on one or more evaluation criteria, and an evaluation process.
According to the evaluation value of the three-dimensional model generated by using the shooting data in the generation step, there is a granting step of giving a reward to the user associated with the moving body that shot the shooting data. And
In the generation step, the imaging area of the existing 3D model corresponding to the new imaging data is specified by using the incidental information included in the new imaging data, and is generated from the new imaging data in the imaging area. A method for constructing a three-dimensional model, which comprises updating an existing three-dimensional model by using a three-dimensional model to which a certain evaluation value is given in the evaluation in the evaluation process among the three-dimensional models.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020082477A JP6849256B1 (en) | 2020-05-08 | 2020-05-08 | 3D model construction system and 3D model construction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020082477A JP6849256B1 (en) | 2020-05-08 | 2020-05-08 | 3D model construction system and 3D model construction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6849256B1 true JP6849256B1 (en) | 2021-03-24 |
| JP2021177317A JP2021177317A (en) | 2021-11-11 |
Family
ID=74879307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020082477A Active JP6849256B1 (en) | 2020-05-08 | 2020-05-08 | 3D model construction system and 3D model construction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6849256B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023214510A1 (en) * | 2022-05-02 | 2023-11-09 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing system, and information processing method |
| JP7414918B1 (en) | 2022-09-20 | 2024-01-16 | 楽天グループ株式会社 | Image collection system, image collection method, and program |
| WO2024062602A1 (en) * | 2022-09-22 | 2024-03-28 | 日本電気株式会社 | Three-dimensionalization system, three-dimensionalization method, and recording medium for recording program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016012168A (en) * | 2014-06-27 | 2016-01-21 | 株式会社デジタル | Information sharing system |
| JP7050683B2 (en) * | 2016-08-26 | 2022-04-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 3D information processing method and 3D information processing equipment |
| JP7341652B2 (en) * | 2018-01-12 | 2023-09-11 | キヤノン株式会社 | Information processing device, information processing method, program, and system |
-
2020
- 2020-05-08 JP JP2020082477A patent/JP6849256B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021177317A (en) | 2021-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106993181B (en) | More VR/AR equipment collaboration systems and Synergistic method | |
| JP6849256B1 (en) | 3D model construction system and 3D model construction method | |
| Raneri | Enhancing forensic investigation through the use of modern three-dimensional (3D) imaging technologies for crime scene reconstruction | |
| CN104641399B (en) | System and method for creating environment and for location-based experience in shared environment | |
| US8107677B2 (en) | Measuring a cohort'S velocity, acceleration and direction using digital video | |
| US20130095855A1 (en) | Method, System, and Computer Program Product for Obtaining Images to Enhance Imagery Coverage | |
| US9583074B2 (en) | Optimization of label placements in street level images | |
| JP2018106696A (en) | Virtual information construction method of mobile object, virtual information retrieval method of mobile object and application system | |
| CN105659304A (en) | Vision augmented navigation | |
| CN106233371A (en) | Select the panoramic picture for the Annual distribution shown | |
| JP6530794B2 (en) | Spatial object search sorting method and cloud system | |
| US11805236B2 (en) | Generating stereo image data from monocular images | |
| US20190213790A1 (en) | Method and System for Semantic Labeling of Point Clouds | |
| KR20190141892A (en) | Method and system for automatically collecting and updating information about point of interest in real space | |
| KR20200110120A (en) | A system implementing management solution of road facility based on 3D-VR multi-sensor system and a method thereof | |
| JP2010039583A (en) | Method and system for displaying photograph on electronic map, and electronic map therefor | |
| JP6600674B2 (en) | Moving object virtual information remote management method and moving object virtual information remote management system | |
| CN106289180A (en) | The computational methods of movement locus and device, terminal | |
| JP2018049624A (en) | Method and system for remote management of location-based spatial objects | |
| KR102106029B1 (en) | Method and system for improving signage detection performance | |
| Galvin | Crime Scene Documentation: Preserving the Evidence and the Growing Role of 3D Laser Scanning | |
| JP7001149B2 (en) | Data provision system and data collection system | |
| WO2020095541A1 (en) | Information processing device, information processing method, and program | |
| KR20200047504A (en) | Method and system for providing reward based on follow and review information for list of point of interest | |
| JP2016218626A (en) | Image management apparatus, image management method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200508 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200527 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201012 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6849256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |