JP2023023112A - Video generation device, video generation method, program, and video generation system - Google Patents
Video generation device, video generation method, program, and video generation system Download PDFInfo
- Publication number
- JP2023023112A JP2023023112A JP2021128338A JP2021128338A JP2023023112A JP 2023023112 A JP2023023112 A JP 2023023112A JP 2021128338 A JP2021128338 A JP 2021128338A JP 2021128338 A JP2021128338 A JP 2021128338A JP 2023023112 A JP2023023112 A JP 2023023112A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- observation target
- transition
- images
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000007704 transition Effects 0.000 claims abstract description 76
- 238000004364 calculation method Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 45
- 230000008859 change Effects 0.000 claims description 37
- 239000000126 substance Substances 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000033001 locomotion Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 239000013598 vector Substances 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 102100025890 Complement C1q tumor necrosis factor-related protein 3 Human genes 0.000 description 4
- 101000933673 Homo sapiens Complement C1q tumor necrosis factor-related protein 3 Proteins 0.000 description 4
- 208000028257 Joubert syndrome with oculorenal defect Diseases 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、動画生成装置、動画生成方法、プログラムに関する。 The present invention relates to a moving image generating device, a moving image generating method, and a program.
地形、構造物、樹木などの観察対象の調査のために、上空及び地上からそれら観察対象を撮影して、観察対象の状態の時間経過に応じた遷移を観察することが多く行われている。この技術に関連し、特許文献１には、地殻変動に基づいて変動する変位点の座標を算出する技術が開示されている。また特許文献１では、管理対象の最新の座標と当該座標の移動方向ベクトルを示す変位情報を算出する技術が開示されている。
2. Description of the Related Art In order to investigate observation targets such as topography, structures, and trees, it is common practice to photograph the observation targets from above and from the ground and observe the transition of the observation target state over time. In relation to this technique,
上述のような観察対象の時間経過に応じた状態の遷移を観察するためにさらに視覚的にその状態の遷移を確認しやすい技術が求められている。 In order to observe the transition of the state of the object to be observed over time as described above, there is a demand for a technique that makes it easier to visually confirm the transition of the state.
そこでこの発明は、上述の課題を解決する動画生成装置、動画生成方法、プログラムを提供することを目的としている。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a moving image generating apparatus, a moving image generating method, and a program that solve the above-described problems.
本発明の第１の態様によれば、動画生成装置は、異なる時刻に撮影された観察対象の画像を複数取得する画像取得部と、前記画像に含まれる前記観察対象の複数位置の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、前記観察対象の状態変化の遷移動画を生成する動画生成部と、前記遷移動画を出力する出力部と、を備える。 According to the first aspect of the present invention, a moving image generating device includes an image acquisition unit that acquires a plurality of images of an observation target captured at different times, and coordinate information of a plurality of positions of the observation target included in the images. a moving image generating unit that obtains and generates a transition moving image of the state change of the observation target based on the coordinate information of the plurality of corresponding positions of the observation target captured at the different times; and an output unit that outputs the transition moving image. , provided.
本発明の第２の態様によれば、動画生成方法は、異なる時刻に撮影された観察対象の画像を複数取得し、前記画像に含まれる前記観察対象の複数位置の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、前記観察対象の状態変化の遷移動画を生成し、前記遷移動画を出力する。 According to a second aspect of the present invention, a moving image generation method acquires a plurality of images of an observation target captured at different times, acquires coordinate information of a plurality of positions of the observation target included in the images, and Based on coordinate information of a plurality of corresponding positions of the observation target photographed at different times, a transition moving image of the state change of the observation target is generated, and the transition moving image is output.
本発明の第３の態様によれば、プログラムは、動画生成装置のコンピュータを、異なる時刻に撮影された観察対象の画像を複数取得する画像取得手段、前記画像に含まれる前記観察対象の複数位置の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、前記観察対象の状態変化の遷移動画を生成する動画生成手段、前記遷移動画を出力する出力手段、として機能させる。 According to the third aspect of the present invention, the program comprises: image acquisition means for acquiring a plurality of images of an observation target captured at different times; and a plurality of positions of the observation target included in the images. a moving image generating means for acquiring coordinate information of and generating a transition moving image of a state change of the observation target based on the coordinate information of the plurality of corresponding positions of the observation target photographed at the different times; and outputting the transition moving image. function as output means.
本発明によれば、観察対象の時間経過に応じた状態の遷移を観察するためにさらに視覚的にその状態の遷移を確認しやすい仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism that makes it easier to visually confirm the state transitions in order to observe the state transitions of the observation target according to the passage of time.
以下、図面を参照して本実施形態による動画生成装置を説明する。
図１は本実施形態による動画生成システムの構成を示す図である。
この図で示すように、動画生成システム１００は、動画生成装置１と、ＧＮＳＳアンテナ２と、撮影装置３とを含んで構成される。動画生成装置１は情報処理装置の一例である。管理者は、ＧＮＳＳアンテナ２を地表に設置する。ＧＮＳＳアンテナ２は、複数のＧＮＳＳ（global navigation satellite system）衛星から受信した衛星測位信号を受信してＧＮＳＳアンテナ２の設置されている座標を算出する位置センサを少なくとも備えた位置測位装置の一例である。ＧＮＳＳアンテナ２は地表や地物（ビルやその他構造物）などの観察対象の所望の位置に複数設置されている。ＧＮＳＳアンテナ２は、算出した自装置の座標と自装置のＩＤと、座標の算出時刻とを少なくとも含む位置情報（地点データ）を、所定の間隔で、通信ネットワーク等で接続された動画生成装置１へ送信する。撮影装置３はカメラを搭載したドローン３１や航空機３２、地上レーザスキャナ３３、人工衛星などであってもよい。なお地上レーザスキャナ３３はＧＮＳＳアンテナ２の機能を備えており、自装置が位置する座標（緯度、経度、高度）を検知できてよい。
Hereinafter, a moving image generating device according to this embodiment will be described with reference to the drawings.
FIG. 1 is a diagram showing the configuration of a moving image generation system according to this embodiment.
As shown in this figure, the moving
撮影装置３は、ＧＮＳＳアンテナ２が設置された観察対象を撮影する。撮影装置３はその撮影により生成した画像を動画生成装置１へ送信する。撮影装置３は時刻の経過に従って複数回の撮影によりそれぞれ画像を生成し、動画生成装置１へ送信する。動画生成装置１への画像の送信はどのような手法を取ってもよい。管理者が、撮影装置３の撮影した画像を動画生成装置１へ記録してもよい。
The photographing
図２は動画生成装置のハードウェア構成を示す図である。
動画生成装置１のコンピュータは、図２で示すようにＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ１０４、通信モジュール１０５、データベース１０６、等のハードウェアを備える。
FIG. 2 is a diagram showing the hardware configuration of the video generating device.
As shown in FIG. 2, the computer of the motion
図３は動画生成装置の機能ブロック図である。
動画生成装置１のＣＰＵ１０１は、表示プログラムを実行する。これにより動画生成装置１は、制御部１１、画像取得部１２、記録部１３、動画生成部１４、座標管理部１５、出力部１６、電子基準点算出部１７の各機能を発揮する。
制御部１１は、動画生成装置１の各機能を制御する。
画像取得部１２は、異なる時刻に撮影された観察対象の画像を複数取得する。
記録部１３は、処理に必要な各情報をデータベース１０６等に記録する。
動画生成部１４は、画像に含まれる観察対象の複数位置の座標情報を取得し、異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、観察対象の状態変化の遷移動画を生成する。動画生成部１４は、観察対象の所定期間の成長量を取得し、当該所定期間の成長量に基づいて、観察対象の状態変化の遷移動画を生成してよい。または動画生成部１４は、画像から観察対象のエリアを特定し、当該特定した観察対象のエリアの状態変化の遷移動画を生成してよい。
座標管理部１５は、観察対象の画像内の再計算対象点の周りの複数の電子基準点を特定する。
出力部１６は、遷移動画を出力する。
電子基準点算出部１７は、再計算対象点を基準として特定した電子基準点の今日の座標を少なくとも算出する。
FIG. 3 is a functional block diagram of the motion picture generation device.
The
The
The
The
The moving
The
The
The electronic reference
図４は動画生成装置の処理フローを示す第一の図である。
以下、動画生成装置１の処理の詳細について説明する。
動画生成装置１の画像取得部１２は撮影装置３から観察対象の画像を取得する（ステップＳ１０１）。記録部１３は観察対象のＩＤと観察対象の画像を紐づけてデータベース１０６に記録する（ステップＳ１０２）。一例として画像は、地表の観察対象を含む矩形範囲のＩＤと、その画像の矩形範囲を示す位置情報（例えば矩形範囲の各頂点座標）と、その矩形範囲について撮影装置３が撮影して生成した画像とを紐づけて、データベース１０６に記録してよい。なお撮影対象の画像が示す地表の範囲には予めＧＮＳＳアンテナ２が複数設置されているものとする。
FIG. 4 is a first diagram showing the processing flow of the moving image generating device.
Details of the processing of the moving
The
動画生成装置１は、複数の各ＧＮＳＳアンテナ２から位置情報を受信する（ステップＳ１０３）。動画生成装置１の記録部１３は、位置情報に含まれるＧＮＳＳアンテナ２のＩＤに紐づけて、当該位置情報に含まれる時刻と座標とをデータベース１０６に順次記録する（ステップＳ１０４）。
The moving image generating
以上の処理によりデータベース１０６には、観察対象を含む矩形範囲のＩＤ、監視対象を撮影した画像、観察対象に複数設置されたＧＮＳＳアンテナ２の座標、などの情報が記録される。動画生成装置１の画像取得部１２は異なる日時に生成された観察対象の画像を順次取得する。また記録部１３は、異なる日時の各ＧＮＳＳアンテナ２の位置情報を順次取得する。記録部１３はそれら異なる日時の観察対象の画像や、各ＧＮＳＳアンテナ２の位置情報を同様に順次、データベース１０６に記録していく。
Information such as the ID of the rectangular range including the observation target, the captured image of the monitoring target, the coordinates of the
そして所定のタイミングで動画生成部１４が観察対象の状態変化の遷移を表す動画像を生成する（ステップＳ１０４）。所定のタイミングは、例えば管理者による動画像生成タイミングの入力を受け付けたタイミング、災害の発生を自動検知したタイミングなどであってよい。この動画像の生成において、動画生成部１４は、画像の矩形範囲を示す位置情報と、画像に写るＧＮＳＳアンテナ２の位置と、ＧＮＳＳアンテナ２から受信した位置情報（座標）とに基づいて、画像に写るＧＮＳＳアンテナ２の位置情報（座標）を特定する。なお動画生成部１４は観察対象を含む画像にＧＮＳＳアンテナ２が含まれない場合には、観察対象と当該観察対象の近傍の複数のＧＮＳＳアンテナ２が含まれる画像をデータベース１０６から取得すればよい。動画生成部１４は、異なる日時の観察対象の画像におけるＧＮＳＳアンテナ２の位置情報に基づいて、それら画像の位置を合わせる。動画生成部１４は、観察対象の画像におけるＧＮＳＳアンテナ２の位置情報を合わせた異なる日時のそれら画像を日時の順に表示する動画像を生成する。各画像を撮影した日時の間隔が短く、各画像として長い期間にわたって撮影された多くの画像が含まれる場合、それらを短時間で日時の順に表示することにより、観察対象の動画像として表示することができる。
Then, at a predetermined timing, the moving
上述の処理によればＧＮＳＳアンテナ２の位置情報（座標）を受信して、観察対象の画像に写るＧＮＳＳアンテナ２の画像内位置に対応する位置情報（座標）を特定し、その後、各画像の位置をＧＮＳＳアンテナ２の位置情報に基づいて合わせている。しかしながら、動画生成装置１はＧＮＳＳアンテナ２から位置情報を取得しなくても、他の位置情報に基づいて、異なる日時の各画像の位置を合わせるようにしてもよい。例えば動画生成部１４は、観察対象の画像の各画像内位置に対応する地表座標の情報が含まれた各画像を取得し、その画像内の各位置の地表座標に基づいて、異なる日時に撮影された画像の位置を合わせるようにしてもよい。観察対象の画像内の所定位置に対応する地表座標の情報は、管理者が入力した情報であってもよい。つまり、動画生成部１４は、異なる日時の観察対象の画像における複数の所定位置の位置情報に基づいて、それら画像の位置を合わせ、観察対象の画像における所定位置の位置情報を合わせた異なる日時のそれら画像を日時の順に表示する動画像を生成するようにしてもよい。
According to the above-described process, the position information (coordinates) of the
出力部１６は、生成した動画像を出力する（ステップＳ１０５）。この時、出力部１６は、生成した観察対象の動画像における地表座標に基づいて、観察対象を含む地図データや空撮画像内の位置に合せて、動画像を地図データや空撮画像を重畳し、出力するようにしてもよい。これにより、動画生成装置１は、地図データや空撮画像に重畳した観察対象の動画像を端末などの装置のディスプレイに表示することができる。
The
図５は動画生成装置の処理フローを示す第二の図である。
動画生成装置１は、過去から現在までに撮影された観察対象の複数の画像を用いて、過去、現在、将来の観察対象の状態変化の遷移動画を示す動画像を生成してよい。以下の動画生成装置１が、過去に撮影された観察対象の複数の画像を用いて、過去、現在、将来の観察対象の状態変化の遷移動画を示す動画像を生成する処理について説明する。
FIG. 5 is a second diagram showing the processing flow of the motion picture generating device.
The moving
動画生成装置１の座標管理部１５は、観察対象の画像内の各位置の座標を取得して再計算対象点と特定する（ステップＳ２０１）。観察対象の画像内の各位置はＧＮＳＳアンテナ２の座標等である。座標管理部１５は、再計算対象点の周りの複数の電子基準点を特定する（ステップＳ２０２）。これを特定電子基準点（座標基準点）と呼ぶこととする。例えば座標管理部１５は再計算対象点の周りの電子基準点のうち、再計算対象点に直線距離が近い３つ以上の電子基準点を特定電子基準点と特定してよい。または座標管理部１５は、再計算対象点を中心とした数１０ｋｍ，数１００ｋｍの半径の円に含まれる電子基準点を全て特定し、それら電子基準点が２つ未満であれば、さらに再計算対象点を中心とする半径を拡大した円に含まれる電子基準点を全て特定するようにしてもよい。座標管理部１５は再計算対象点に直線距離が近い５つ、６つ等の数の電子基準点を特定電子基準点と特定してもよい。
The coordinate
座標管理部１５は再計算対象点を基準として特定した特定電子基準点の最新の座標（緯度、経度、標高）の出力を電子基準点算出部１７に要求する。当該要求には今日の日時が含まれてよい。なお所定の任意の日時の再計算対象点の最新の座標を算出したい場合にはこの日時情報を任意の日時に変更すればよい。電子基準点算出部１７はＧＰＳ等を含むＧＮＳＳなどの衛星測位信号受信装置から取得した電子基準点の座標情報に基づいて、座標管理部１５が再計算対象点を基準として特定した電子基準点の今日の座標を算出する（ステップＳ２０３）。当該座標は予め算出されていてもよい。予め各電子基準点の今日の座標が算出されている場合には、この時点で電子基準点算出部１７は特定電子基準点の座標をデータベース等から読み込むようにすればよい。そして座標管理部１５は、再計算対象点を基準として特定した各特定電子基準点の今日の最新の座標を取得し、その座標を用いて再計算対象点の今日の最新の座標（緯度，経度）と移動速度とを算出する（ステップＳ２０４）。
The coordinate
座標管理部１５は、当該再計算対象点について観察対象の画像から取得した座標と、新たに算出した今日の最新の座標との差に基づいて、当該再計算対象点の移動方向ベクトルを算出する（ステップＳ２０５）。座標管理部１５はそれら新たに算出した座標、移動速度、移動方向ベクトルを、再計算対象点の最新の座標情報と特定する。座標管理部は、観察対象の画像において特定した再計算対象点の最新の座標を、当該観察対象のＩＤに紐づけて記録する。
The coordinate
また座標管理部１５は、再計算対象点に基づいて特定した特定電子基準点の将来の複数の所定日時の座標（緯度、経度、標高）の出力を電子基準点算出部１７に要求する。当該要求には将来の所定の複数の日時が含まれてよい。電子基準点算出部１７はＧＰＳなどの衛星測位信号受信装置から過去に取得した座標などの情報に基づいて、座標管理部１５が再計算対象点を基準として特定した電子基準点の所定の将来の複数の日時それぞれにおける座標（緯度，経度）をステップＳ２０３と同様に算出する（ステップＳ２０６）。当該座標は予め算出されていてもよい。予め各電子基準点の所定の将来の複数の日時における座標が算出されている場合には、この時点で電子基準点算出部１７は特定電子基準点の所定の将来の複数の日時における座標をデータベース等から読み込むようにすればよい。そして座標管理部１５は、再計算対象点を基準として特定した各特定電子基準点の所定の将来の複数の日時における座標を取得し、その座標を用いて再計算対象点の所定の将来の複数の日時における座標（緯度，経度）と移動速度とを算出する（ステップＳ２０７）。
The coordinate
座標管理部１５は、当該再計算対象点について観察対象の画像から取得した座標と、新たに算出した所定の将来の日時における再計算対象点の座標との差に基づいて、当該再計算対象点の将来の複数の日時それぞれにおける移動方向ベクトルを算出する（ステップＳ２０８）。座標管理部１５はそれら新たに算出した所定の将来の複数の日時それぞれの座標、移動速度、移動方向ベクトルを、再計算対象点の所定の将来の座標情報と特定する。座標管理部１５は、観察対象の画像において特定した再計算対象点の所定の将来の複数の日時それぞれの座標情報を、当該観察対象のＩＤに紐づけて記録する。なお、座標管理部１５は、異なる複数の将来の複数の日時における、再計算対象点の座標、移動速度、移動ベクトルを同様に算出し、当該観察対象のＩＤや将来の複数の日時の情報に紐づけて記録する。座標管理部１５は、１つまたは複数の将来の所定の日時における再計算対象点についての座標、移動速度、移動ベクトルを繰り返し算出する。
The coordinate
これにより動画生成装置１は、観察対象の再計算対象点として特定した位置に関する過去、現在、１つまたは複数の将来の所定の日時における、座標、移動速度、移動ベクトルを、記憶することができる。
As a result, the moving
そして動画生成部１４は、それら観察対象の再計算対象点として特定した複数の位置に関する過去、現在、将来の所定の複数の日時の、座標、移動速度、移動ベクトルを用いて、過去、現在、将来の所定の日時、のそれぞれにおける観察対象の３次元形状を算出する（ステップＳ２０９）。過去、現在、将来の所定の日時の座標、移動速度、移動ベクトルを用いれば、観察対象の過去、現在、将来の形状（状態）を、公知の３次元モデル生成処理を用いて算出することができる。動画生成部１４は、生成した観察対象の過去、現在、将来の形状に基づいて、その観察対象の3次元形状の形状変化の遷移動画を生成する（ステップＳ２１０）。一例として、動画生成部１４は、所定の期間の間隔で数多くの観察対象の過去、現在、将来の形状を算出すれば、それらの形状を順に表示することにより観察対象の3次元形状の形状変化の遷移動画を生成することができる。
Then, the moving
出力部１６は、生成した観察対象の過去、現在、将来の3次元形状の形状変化の遷移動画を出力する（ステップＳ２１１）。この時、出力部１６は、生成した観察対象の動画像における地表座標に基づいて、観察対象を含む地図データや空撮画像内の位置に合せて、動画像を地図データや空撮画像を重畳し、出力するようにしてもよい。これにより、動画生成装置１は、地図データや空撮画像に重畳した観察対象の動画像を端末などの装置のディスプレイに表示することができる。
The
再計算対象点を基準として特定した電子基準点の最新の座標に基づいて再計算対象点の最新の緯度，経度を算出する上述の処理の詳細を以下説明する。 Details of the above-described processing of calculating the latest latitude and longitude of the recalculation target point based on the latest coordinates of the electronic control point specified with the recalculation target point as a reference will be described below.
まず電子基準点算出部１７が、予め国土地理院で管理している電子基準点に近い複数のＩＧＳ点の座標及びその単位期間あたりの移動速度を読み込む。ＩＧＳ点の座標及びその単位期間あたりの移動速度はＩＧＳ点のデータを蓄積しているサーバなどにアクセスして取得する。ＩＧＳ点は全世界で３００点以上定められた点であり、日本においては筑波や臼田に定められており、また韓国、中国、ロシアにも一つまたは複数点が定められている。また電子基準点算出部１７は、電子基準点の座標の情報を当該電子基準点の座標情報を記憶している衛星測位信号受信装置２０にアクセスして読み込む。電子基準点の座標は国土地理院によって１９９７年１月１日に定められた座標値である（通常、『測地成果２０００』と呼ばれている）。
First, the electronic reference
電子基準点算出部１７は、各電子基準点の座標と、その近傍（周辺）の３つ以上のＩＧＳ点の座標及びその単位期間あたりの移動速度とを用いて、基線解析によって各電子基準点の座標を化成し、電子基準点化成値を算出する。ここで、基線解析は例えば『土屋淳、外１名、「やさしいＧＰＳ測量」、社団法人日本測量協会、１９９１年１０月５日，p．238－305』に記載されているような公知の技術を利用すればよい。なお電子基準点算出部１７は、電子基準点１３００点のうち選点した電子基準点についてその電子基準点化成値（座標）を算出してもよい。そして電子基準点算出部１７は、日本全国のまたは定められた電子基準点についての電子基準点化成値（座標）をそれぞれ所定の期間毎（例えば一年や一ヶ月毎）に予め算出しておく。なお電子基準点化成値の算出は地震などによる急激な変動のあった期間を除くようにしてもよい。電子基準点化成値（座標）の算出日時はそれぞれの電子基準点において異なっていてもよい。電子基準点算出部１７は各電子基準点について算出した電子基準点化成値（座標）とその算出日時とを対応付けてデータベース１０６へ書き込んでおく。
The electronic reference
また電子基準点算出部１７は、過去に算出された電子基準点化成値（座標）と新たに算出された電子基準点化成値（座標）との差を算出し、当該座標の差と、電子基準点化成値（座標）を算出した期間間隔とを用いて、ある期間単位における移動速度、つまりある期間単位にどのくらい座標が移動するのかの割合を算出する。例えば電子基準点化成値（座標）の算出期間が１ヵ月毎であり、期間単位が１年の線形的な移動速度を算出する場合で、地震などの大きな変動がなければ、１ヵ月毎に算出された電子基準点化成値（座標）のうちの、連続する２ヶ月間の間に算出された２つの電子基準点化成値（座標）の差を１２倍することにより、１年間における移動速度が計算できる。または電子基準点算出部１７は、カルマンフィルターなどの予測フィルターを用いて各電子基準点の移動速度を算出してもよい。
Further, the electronic reference
そして電子基準点算出部１７はデータベース１０６に書き込まれている各電子基準点についての電子基準点化成値（座標）とその算出日時に対応付けて、移動速度をさらに書き込む。そして電子基準点算出部１７は電子基準点化成値（座標）を算出したすべての電子基準点についての移動速度を算出し、データベース１０６へ書き込む。つまり、以上の電子基準点算出部１７の処理によれば、データベース１０６には各電子基準点について同一または異なる日時で算出された電子基準点化成値（座標）と移動速度とその算出日時が対応付けられて記録されることとなる。そして、上述の電子基準点算出部１７の処理によってデータベース１０６に処理結果が記録されていき、その後、座標管理部１５からの要求によりステップＳ１０６において電子基準点算出部１７は以下のように特定電子基準点の座標や移動速度を補正する。
Then, the electronic reference
図６は特定電子基準点の補正処理の処理フローを示す図である。
特定電子基準点の座標や移動速度の補正値の算出の具体例は、まず電子基準点算出部１７が座標管理部１５からの特定電子基準点の座標の出力要求に基づいて、再計算対象点の座標を基準としてステップＳ２０２において特定された複数の特定電子基準点の識別情報を取得する（ステップＳ３０１）。例えばデータベース１０６に電子基準点の識別情報と座標とが紐づいて記録されていれば、再計算対象点の座標の近傍の特定電子基準点の座標に基づいてその識別情報を取得することができる。電子基準点算出部１７は、複数の特定電子基準点の識別情報に基づいて、それら特定電子基準点について同一または異なる日時に算出された電子基準点化成値（座標）と、当該特定電子基準点の移動速度をデータベース１０６から読み取る（ステップＳ３０２）。
FIG. 6 is a diagram showing the processing flow of the specific electronic reference point correction processing.
A specific example of calculation of the coordinates of the specific electronic reference point and the correction value of the moving speed is as follows. The identification information of the plurality of specific electronic control points specified in step S202 is acquired with reference to the coordinates of (step S301). For example, if the identification information and the coordinates of the electronic reference points are linked and recorded in the
そして電子基準点算出部１７は、それぞれ同一または異なる日時で算出された各特定電子基準点についての電子基準点化成値（座標）を、それら電子基準点化成値に対応する各移動速度を用いて、本処理を行っている日や、将来の所定の日時の座標値に補正する（ステップＳ３０３）。例えば、ある特定電子基準点の電子基準点化成値とその座標（Ｘ，Ｙ，Ｚ）における単位期間（１年とする）あたりの移動速度（Ｖｘ，Ｖｙ，Ｖｚ）が１月１日に算出され、再化成処理の日がその年の４月１日であれば、１月１日から４月１日までは９０日あるので、特定電子基準点の電子基準点化成値における座標の補正値Ｈは、Ｈ＝（Ｘ，Ｙ，Ｚ）＋（Ｖｘ，Ｖｙ，Ｖｚ）×（９０／３６５）で算出することができる。この処理により電子基準点算出部１７は本処理を行っている日や所定の将来の日時における各特定電子基準点の座標となるよう電子基準点化成値を補正する。
Then, the electronic reference
電子基準点化成値の補正が終了すると次に電子基準点算出部１７は、各特定電子基準点における補正後の電子基準点化成値とその移動速度を用いて、四次元統合網平均計算式により、特定電子基準点ごとの同一時点（例えば本処理を行っている今日の日時や所定の将来の日時）における座標とその座標における移動速度との推定値を算出する（ステップＳ３０４）。四次元統合網平均とは、三次元の座標と速度の四次元の情報を用いて行う統合網平均計の計算手法である。ここで四次元統合網平均計算式は式（１）により表される式である。
After the correction of the electronic reference point formation value is completed, the electronic reference
この式（１）においてベクトルＶは残差、ベクトルＸは未知の測位点の座標、ベクトルＳは未知の測位点の座標の変化率（移動速度）、Ｌ（数式中では小文字のｌ（エル）を使用）は観測値（既知の測位点の座標とＩＧＳ点とを結ぶ基線の長さと、そのベクトル）、Ａは計画行列（デザインマトリックス）、Ｇは係数行列である。なお測位点は特定電子基準点である。そして式（１）を最小二乗コロケーションで解くと、 In this formula (1), the vector V is the residual, the vector X is the coordinates of the unknown positioning point, the vector S is the rate of change (moving speed) of the coordinates of the unknown positioning point, L (lowercase l in the formula) is used) is the observed value (the length of the base line connecting the coordinates of the known positioning point and the IGS point and its vector), A is the design matrix, and G is the coefficient matrix. The positioning points are specific electronic reference points. And solving equation (1) with least-squares collocation, we get
となり、Ｘ，Ｓ，Ｖの推定値Ｘ＾，Ｓ＾，Ｖ＾（＾は推定値を表す）は、 As a result, the estimated values X^, S^, V^ (^ represents the estimated value) of X, S, and V are
により算出することができる。以上の処理によれば、電子基準点算出部１７が同一日に統一して作成（化成）された複数の特定電子基準点の座標を用いて、さらに四次元統合網平均によってその値を推定するので、精度の高い現在の特定電子基準点の座標と移動速度を算出することができる。
It can be calculated by According to the above processing, the electronic reference
図７は電子基準点の推定処理の概要を示す図である。
この図ではＩＧＳ点４つ（ＩＧＳ点１～４）、特定電子基準点４つ（電子基準点Ａ～Ｄ）を用いて、当該４つの特定電子基準点の今日や将来の所定の日時の座標を推定処理してその緯度と移動速度を求めている様子を示している。このような四次元統合網平均により、同日における精度の高い座標および移動速度の算出を行うことができる。
FIG. 7 is a diagram showing an outline of the electronic reference point estimation process.
In this figure, four IGS points (IGS points 1 to 4) and four specific GNSS CORSs points (Electronic GNSS CORSs A to D) are used to calculate the coordinates of the four specified GNSS CORSs on today and a predetermined future date and time. is estimated and its latitude and moving speed are obtained. With such a four-dimensional integrated network average, highly accurate coordinates and moving speeds on the same day can be calculated.
図８は再計算対象点の最新の緯度経度の算出処理フローを示す図である。
次に、上述の処理によって推定された特定電子基準点の情報を用いて観察対象において特定した再計算対象点の各座標の推定を行うステップＳ２０４、ステップＳ２０７の処理の詳細について以下説明する。
FIG. 8 is a diagram showing a processing flow for calculating the latest latitude and longitude of recalculation target points.
Next, the details of the processing in steps S204 and S207 for estimating each coordinate of the recalculation target points specified in the observation target using the information on the specific electronic reference point estimated by the above processing will be described below.
まず座標管理部１５は、再計算対象点を基準とした複数の特定電子基準点の今日または所定の将来の日時の最新の座標と移動速度とを電子基準点算出部１７から取得する（ステップＳ７０１）。また座標管理部１５は、観察対象において特定した複数の再計算対象点について過去に算出された座標と当該座標における移動速度とをデータベース１０６から取得する（ステップＳ７０２）。座標管理部１５は、再計算対象点についての座標や移動速度が過去に算出されていない場合には、地図データに含まれる再計算対象点についての座標や移動速度を取得してもよい。
First, the coordinate
そして座標管理部１５は再計算対象点の座標を、特定電子基準点の座標が算出された日（本処理を行っている日や所定の将来の日時）と同一の日の座標へと補正する（ステップＳ７０３）。この処理は上述の電子基準点における電子基準点化成値の補正と同様の処理である。そして座標管理部１５は、それら同一日に統一して作成（化成）された再計算対象点における座標とその移動速度と、当該同一日の座標として算出された複数の特定電子基準点の座標およびその座標における移動速度とを用いて、四次元統合網平均計算式により、再計算対象点ごとの同一時点における推定値（座標と移動速度）を算出する（ステップＳ７０４）。この四次元統合網平均の計算についても上述した特定電子基準点における推定処理と同様である。なおこの計算においてベクトルＶは残差、ベクトルＸは未知の測位点の座標、ベクトルＳは未知の測位点の座標の変化率（移動速度）、Ｌは観測値（既知の測位点の座標と電子基準点とを結ぶ基線の長さと、そのベクトル）、Ａは計画行列（デザインマトリックス）、Ｇは係数行列であり、測位点は再計算対象点となる。以上の処理によれステップＳ２０４、ステップＳ２０７における座標管理部１５の再計算対象点の最新の座標（緯度，経度）と移動速度との算出が終了する。座標管理部１５による上述の処理によれば、過去、現在、将来の所定日時の座標や移動速度を精度よく算出することができる。
Then, the coordinate
図９は再計算対象点の算出処理の概要を示す図である。
この図では特定電子基準点８つ（電子基準点Ａ～Ｈ）、再計算対象点Ｘの１つと、を用いて、当該再計算対象点Ｘの座標と移動速度とを算出する様子を示している。このように、それぞれの特定電子基準点の過去に算出された座標を推定処理により同一日に統一して作成（化成）する処理と、図６で示す四次元統合網平均により、再計算対象点Ｘの精度の高い座標および移動速度の算出を行うことができる。
FIG. 9 is a diagram showing an outline of calculation processing of recalculation target points.
This figure shows how eight specific electronic reference points (electronic reference points A to H) and one recalculation target point X are used to calculate the coordinates and moving speed of the recalculation target point X. there is In this way, the process of unifying and creating (formation) the coordinates calculated in the past of each specific electronic reference point on the same day by the estimation process, and the recalculation target point by the four-dimensional integrated network average shown in FIG. It is possible to calculate the coordinates of X with high accuracy and the moving speed.
図１０は動画生成装置の出力例を示す第一の図である。
動画生成装置１は観察対象が山体などの地形情報であるとする。動画生成装置１は、過去、現在、将来の所定日時の山体の各位置（再計算対象点）の座標情報を上述の処理により算出する。動画生成装置１は、それら座標情報を用いて、過去、現在、将来の山体の形状変化の遷移動画を生成する。動画生成装置１は、過去、現在、将来の山体の形状変化の遷移動画を端末のディスプレイに表示する。
FIG. 10 is a first diagram showing an output example of the moving image generating device.
The motion
動画生成装置１は、例えば山体に崩落などがあった場合に外部の災害発生報知装置や地震計などのセンサなどから災害発生信号を取得する。動画生成装置１は、この災害発生信号の取得をトリガとして山体などの観察対象の形状変化の遷移動画を生成してよい。または動画生成装置１は、地上レーザスキャナ３３から得た３Ｄ画像の災害発生前後の観察対象の形状の変化を、当該災害発生前後の３Ｄ画像が示す形状に基づいて検出して、この形状変化をトリガとして山体などの観察対象の形状変化の遷移動画を生成してよい。この場合、動画生成装置１は、災害発生信号に含まれる位置情報（緯度経度）、時刻や、形状変化を検出した時刻や地上レーザスキャナ３３の位置情報に基づいて、撮影装置３（ドローン３１、航空機３２、地上レーザスキャナ３３など）の撮影した観察対象を含む過去の画像を特定する。そして動画生成装置１は、上述の処理と同様にこの画像を用いて過去、現在、将来の山体の形状変化の遷移動画を生成する。この遷移動画の生成処理において、動画生成部１４は、地上レーザスキャナ３３から得た３Ｄ画像の、災害発生時刻の前後の画像と、他のドローン３１や航空機３２などの少なくとも一つまたは複数の撮影装置３から得た３Ｄ画像の、縮尺や基準座標を統合して、それらが３Ｄ画像を合成した遷移動画を生成するようにしてよい。この処理は、動画生成部１４が、観察対象の画像に基づいて生成した３Ｄ画像の形状の変化や、センサから取得した信号の受信に基づいて処理開始タイミングを特定し、当該処理開始タイミングの前後の観察対象の画像を用いて遷移動画を生成する処理の一態様である。なお他の動画生成装置の出力例においても同様に観察対象の画像に基づいて生成した３Ｄ画像の形状の変化や、センサから取得した信号の受信に基づいて処理開始タイミングを特定し、当該処理開始タイミングの前後の観察対象の画像を用いて遷移動画を生成するようにしてもよい。
The
動画生成装置１は、観察対象となる地盤沈下の発生しているエリアまたは発生する可能性のあるエリアを観察対象としてもよい。動画生成装置１は、過去、現在、将来の所定日時の地盤沈下の観察エリアの各位置（再計算対象点）の座標情報、移動ベクトルを上述の処理により算出する。動画生成装置１は、それら座標情報を用いて、過去、現在、将来の地盤沈下の観察エリアの形状変化の遷移動画を生成する。動画生成装置１は、過去、現在、将来の地盤沈下の観察エリアの形状変化の遷移動画を端末のディスプレイに表示する。
The moving
図１１は動画生成装置の出力例を示す第二の図である。
動画生成装置１は観察対象が飛行場で、樹木の生えているエリアがある場合には、そのエリアの樹木の形状変化の遷移動画を生成するようにしてもよい。この場合、動画生成装置１の動画生成部１４は、観察対象である飛行場の画像から樹木の生えているエリアを各画素の色情報に基づいて特定する。または動画生成部１４は観察対象の画像において樹木の形状のパターン認識や、機械学習モデルを用いた認識処理により、観察対象の画像における樹木を特定するようにしてもよい。データベース１０６には予め地域に応じた樹木の単位期間あたり成長量の情報が記録されている。動画生成部１４は、観察対象の画像に樹木を特定した場合に、その樹木の将来の各日時における３次元形状を、当該樹木の期間あたりの成長量に応じて算出する。そして、動画生成部１４は、過去、現在、複数の将来日時の、観察対象の一つである樹木の形状変化の遷移動画を生成する。一例として動画生成部１４は、図１１に示すように、樹木の形状変化の遷移を示す遷移動画を生成することができる。動画生成装置１は上記の他の形状変化の遷移動画に、樹木の形状変化の遷移を示す遷移動画を重ねた動画を生成するようにしてもよい。
FIG. 11 is a second diagram showing an output example of the moving image generating device.
If the object of observation is an airport and there is an area with trees, the moving
図１２は動画生成装置の出力例を示す第三の図である。
動画生成装置１は観察対象が宅地エリアで、その宅地エリア内に樹木の生えているエリアがある場合には、そのエリアの樹木の形状変化の遷移動画を生成するようにしてもよい。この場合も同様に、動画生成装置１の動画生成部１４は、観察対象である宅地エリアの画像から樹木の生えているエリアを各画素の色情報に基づいて特定する。または動画生成部１４は観察対象の画像において樹木の形状のパターン認識や、機械学習モデルを用いた認識処理により、観察対象の画像における樹木を特定するようにしてもよい。データベース１０６には予め地域に応じた樹木の単位期間あたり成長量の情報が記録されている。動画生成部１４は、観察対象の画像に樹木を特定した場合に、その樹木の将来の各日時における３次元形状を、当該樹木の期間あたりの成長量に応じて算出する。そして、動画生成部１４は、過去、現在、複数の将来日時の、観察対象の一つである樹木の形状変化の遷移動画を生成する。動画生成装置１は上記の他の形状変化の遷移動画に、樹木の形状変化の遷移を示す遷移動画を重ねた動画を生成するようにしてもよい。
FIG. 12 is a third diagram showing an output example of the moving image generating device.
If the observation target is a residential land area and there is an area with trees in the residential land area, the moving
図１３は動画生成装置の出力例を示す第四の図である。
動画生成装置１は撮影装置３（地上レーザスキャナ３３など）が撮影した現在の観察対象の画像と、管理者が作成した将来の複数の画像を用いて、当該観察対象の状態変化の遷移動画を生成するようにしてもよい。そして動画生成部１４は、撮影装置３が撮影した画像に含まれる観察対象の複数位置の座標情報と、管理者が作成した将来の複数の画像に含まれる観察対象の複数の位置の座標情報とを合わせて、観察対象の状態変化の遷移動画を生成するようにしてもよい。例えば図１３に示すように、過去または現在の宅地エリアや宅地造成地の画像と、管理者が作成した将来の状態の対応する宅地エリアや宅地造成地の画像を時系列に表示することで、動画生成部１４は、観察対象である宅地エリアや宅地造成地の状態変化の遷移動画を生成することができる。
FIG. 13 is a fourth diagram showing an output example of the motion picture generating device.
The moving
なお、観察対象は工事現場であり、動画生成装置１は同様に、工事現場の状態変化の遷移動画を生成するようにしてもよい。この場合も、撮影装置３は、ドローン３１、航空機３２、地上に設置された複数の定点カメラ（地上レーザスキャナ３３など）であってよい。
Note that the object of observation is the construction site, and the moving
図１４は動画生成装置の最小構成を示す図である。
動画生成装置１は、少なくとも、画像取得部と、動画生成部とを備える。
画像取得部１２は、異なる時刻に撮影された観察対象の画像を複数取得する。
動画生成部１４は、画像に含まれる観察対象の複数位置の座標情報を取得し、異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、観察対象の状態変化の遷移動画を生成する。
FIG. 14 is a diagram showing the minimum configuration of the moving image generating device.
The moving
The
The moving
上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 Each of the devices described above has an internal computer system. Each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by reading and executing this program by a computer. Here, the computer-readable recording medium refers to magnetic disks, magneto-optical disks, CD-ROMs, DVD-ROMs, semiconductor memories, and the like. Alternatively, the computer program may be distributed to a computer via a communication line, and the computer receiving the distribution may execute the program.
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the program may be for realizing part of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.
１・・・動画生成装置
２・・・ＧＮＳＳアンテナ
３・・・撮影装置
１１・・・制御部
１２・・・画像取得部
１３・・・記録部
１４・・・動画生成部
１５・・・座標管理部
１６・・・出力部
１７・・・電子基準点算出部
REFERENCE SIGNS
本発明は、動画生成装置、動画生成方法、プログラム、動画生成システムに関する。 The present invention relates to a moving image generating device, a moving image generating method, a program , and a moving image generating system .
そこでこの発明は、上述の課題を解決する動画生成装置、動画生成方法、プログラム、動画生成システムを提供することを目的としている。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a moving image generating apparatus, a moving image generating method, a program , and a moving image generating system that solve the above-described problems.
本発明の第１の態様によれば、動画生成装置は、異なる時刻に撮影された観察対象の画像を複数取得する画像取得部と、前記画像に含まれる前記観察対象の複数位置の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する複数位置の座標情報であって前記複数位置の過去の日時から将来の日時までの複数の座標情報を算出する座標管理部と、前記複数位置の過去の日時から将来の日時までの複数の座標情報に基づいて前記日時それぞれにおける前記観察対象の３次元形状を算出し、それら観察対象の３次元形状に基づいて前記観察対象の状態変化の遷移動画を生成する動画生成部と、前記遷移動画を出力する出力部と、を備える。 According to the first aspect of the present invention, a moving image generating device includes an image acquisition unit that acquires a plurality of images of an observation target captured at different times, and coordinate information of a plurality of positions of the observation target included in the images. a coordinate management unit that obtains and calculates a plurality of pieces of coordinate information of the plurality of positions corresponding to the observation target photographed at the different times, the plurality of pieces of coordinate information from the past date and time to the future date and time of the plurality of positions; A three-dimensional shape of the observation target at each date and time is calculated based on a plurality of pieces of coordinate information from a past date and time to a future date and time of the position , and a state change of the observation target is calculated based on the three-dimensional shape of the observation target. A moving image generation unit that generates a transition moving image, and an output unit that outputs the transition moving image.
本発明の第２の態様によれば、動画生成方法は、異なる時刻に撮影された観察対象の画像を複数取得し、前記画像に含まれる前記観察対象の複数位置の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する複数位置の座標情報であって前記複数位置の過去の日時から将来の日時までの複数の座標情報を算出し、前記複数位置の過去の日時から将来の日時までの複数の座標情報に基づいて前記日時それぞれにおける前記観察対象の３次元形状を算出し、それら観察対象の３次元形状に基づいて前記観察対象の状態変化の遷移動画を生成し、前記遷移動画を出力する。 According to a second aspect of the present invention, a moving image generation method acquires a plurality of images of an observation target captured at different times, acquires coordinate information of a plurality of positions of the observation target included in the images, and calculating a plurality of pieces of coordinate information from the past date and time to the future date and time of the plurality of positions, which are the coordinate information of the plurality of corresponding positions of the observation target photographed at different times, and calculating the future date and time from the past date and time of the plurality of positions; calculating a three-dimensional shape of the observation target at each of the dates and times based on a plurality of pieces of coordinate information up to the date and time ; generating a transition video of state changes of the observation target based on the three-dimensional shapes of the observation target; Output video.
本発明の第３の態様によれば、プログラムは、動画生成装置のコンピュータを、異なる時刻に撮影された観察対象の画像を複数取得する画像取得手段、前記画像に含まれる前記観察対象の複数位置の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する複数位置の座標情報であって前記複数位置の過去の日時から将来の日時までの複数の座標情報を算出する座標管理手段、前記複数位置の過去の日時から将来の日時までの複数の座標情報に基づいて前記日時それぞれにおける前記観察対象の３次元形状を算出し、それら観察対象の３次元形状に基づいて前記観察対象の状態変化の遷移動画を生成する動画生成手段、として機能させる。 According to the third aspect of the present invention, the program comprises: image acquisition means for acquiring a plurality of images of an observation target captured at different times; and a plurality of positions of the observation target included in the images. coordinate information , and calculates a plurality of pieces of coordinate information from the past date and time to the future date and time of the plurality of positions, which are the coordinate information of the plurality of positions corresponding to the observation object photographed at the different times. calculating a three-dimensional shape of the observation target at each date and time based on a plurality of pieces of coordinate information from a past date and time to a future date and time at the plurality of positions; It functions as animation generation means for generating transition animations of state changes.
本発明の第１の態様によれば、動画生成装置は、異なる時刻に撮影された観察対象の画像を複数取得する画像取得部と、前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出する座標管理部と、前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成する動画生成部と、前記遷移動画を出力する出力部と、を備える。 According to the first aspect of the present invention, a moving image generating device includes an image acquisition unit that acquires a plurality of images of an observation target captured at different times, and position sensors at a plurality of positions of the observation target included in the images. Acquiring coordinate information of a ground coordinate system , and obtaining coordinate information of a plurality of dates and times from the past date and time to a future date and time based on the coordinate information of the plurality of positions of corresponding past dates and times of the observation object photographed at the different times. calculating the three-dimensional shape of the observation target in the plurality of images at each of the dates and times based on coordinate information of the plurality of dates and times from the past date and time to the future date and time of the plurality of positions, and a moving image generating unit that aligns the positions of the images using the coordinate information in the three-dimensional shape of the observation target and generates a transition moving image of the state change of the observation target based on each of the images ; and outputting the transition moving image. and an output unit.
本発明の第２の態様によれば、動画生成方法は、異なる時刻に撮影された観察対象の画像を複数取得し、前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出し、前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成し、前記遷移動画を出力する。 According to the second aspect of the present invention, a moving image generation method acquires a plurality of images of an observation target captured at different times, and uses position sensors at a plurality of positions of the observation target included in the images to convert the coordinates of the ground surface coordinate system. acquiring coordinate information, and calculating coordinate information for a plurality of dates and times from the past date and time to a future date and time based on the coordinate information for a plurality of positions of the observation target photographed at the different times and corresponding to the past date and time; calculating the three-dimensional shape of the observation target in the plurality of images at each of the dates and times based on the coordinate information of the plurality of dates and times from the past date and time to the future date and time at the plurality of positions; Positions are aligned using the coordinate information in the dimensional shape, transition animations of state changes of the observation target based on the respective images are generated, and the transition animations are output.
本発明の第３の態様によれば、プログラムは、動画生成装置のコンピュータを、異なる時刻に撮影された観察対象の画像を複数取得する画像取得手段、前記画像に含まれる前記観察対象の複数位置の位置センサから地表座標系の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する過去の日時の複数位置の前記座標情報に基づいて過去の日時から将来の日時までの複数日時の座標情報を算出する座標管理手段、前記複数位置の前記過去の日時から前記将来の日時までの複数日時の座標情報に基づいて前記日時それぞれの複数の前記画像における前記観察対象の３次元形状を算出し、それら各画像の観察対象の３次元形状における前記座標情報を用いて位置を合わせて、当該各画像に基づく前記観察対象の状態変化の遷移動画を生成する動画生成手段、として機能させる。 According to the third aspect of the present invention, the program comprises: image acquisition means for acquiring a plurality of images of an observation target captured at different times; and a plurality of positions of the observation target included in the images. a plurality of dates and times from the past date and time to the future date and time based on the coordinate information of the corresponding past dates and times of the plurality of positions of the observation object photographed at the different times. coordinate management means for calculating the coordinate information of the plurality of positions, based on the coordinate information of the plurality of dates and times from the past date and time to the future date and time, the three-dimensional shape of the observation target in the plurality of images at each of the dates and times. The position of each image is calculated using the coordinate information in the three-dimensional shape of the observation target, and the position of each image is adjusted to generate a transition animation of the state change of the observation target based on each image .
Claims (13)
前記画像に含まれる前記観察対象の複数位置の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、前記観察対象の状態変化の遷移動画を生成する動画生成部と、
前記遷移動画を出力する出力部と、
を備える動画生成装置。 an image acquisition unit that acquires a plurality of images of an observation target captured at different times;
Acquiring coordinate information of a plurality of positions of the observation target included in the image, and generating a transition video of the state change of the observation target based on the coordinate information of the corresponding plurality of positions of the observation target photographed at the different times. a video generation unit that
an output unit that outputs the transition video;
A moving image generation device comprising:
を備える請求項１に記載の動画生成装置。 a coordinate management unit that calculates the coordinate information of the plurality of positions of the observation target based on the chemical value obtained by using the four-dimensional integrated network average calculation of the coordinates of the plurality of electronic reference points;
The moving image generation device according to claim 1, comprising:
請求項１または請求項２に記載の動画生成装置。 3. The moving image generation unit according to claim 1, wherein the moving image generation unit acquires the amount of growth of the observation target during a predetermined period of time, and generates a transition moving image of the state change of the observation target based on the amount of growth of the observation target during the predetermined period of time. video generator.
請求項１から請求項３の何れか一項に記載の動画生成装置。 4. The moving image generation unit according to any one of claims 1 to 3, wherein the moving image generation unit identifies the observation target area from the image, and generates a transition moving image of the state change in the identified observation target area. video generator.
前記動画生成部は、前記地形の状態変化の遷移動画を生成する
請求項１から請求項４の何れか一項に記載の動画生成装置。 The observation target is terrain,
The moving image generation device according to any one of claims 1 to 4, wherein the moving image generating unit generates a transition moving image of state change of the terrain.
前記動画生成部は、前記山体の状態変化の遷移動画を生成する
請求項１から請求項４の何れか一項に記載の動画生成装置。 The observation target is a mountain body,
The moving image generating device according to any one of claims 1 to 4, wherein the moving image generating unit generates transition moving images of state changes of the mountain body.
前記動画生成部は、前記地盤沈下エリアの状態変化の遷移動画を生成する
請求項１から請求項４の何れか一項に記載の動画生成装置。 The observation target is a land subsidence area,
The moving image generation device according to any one of claims 1 to 4, wherein the moving image generating unit generates transition moving images of state changes of the ground subsidence area.
前記動画生成部は、前記樹木の状態変化の遷移動画を生成する
請求項１から請求項４の何れか一項に記載の動画生成装置。 The observation target is a tree,
The moving image generation device according to any one of claims 1 to 4, wherein the moving image generating unit generates transition moving images of state changes of the tree.
前記動画生成部は、前記宅地造成地の状態変化の遷移動画を生成する
請求項１から請求項４の何れか一項に記載の動画生成装置。 The observation target is a residential land development site,
The moving image generation device according to any one of claims 1 to 4, wherein the moving image generating unit generates transition moving images of state changes of the residential land development.
前記動画生成部は、前記工事現場の状態変化の遷移動画を生成する
請求項１から請求項４の何れか一項に記載の動画生成装置。 The observation target is a construction site,
The moving image generating device according to any one of claims 1 to 4, wherein the moving image generating unit generates transition moving images of state changes of the construction site.
請求項１から請求項１０の何れか一項に記載の動画生成装置。 The moving image generation unit identifies a processing start timing based on a change in shape of the 3D image generated based on the observation target image, and uses the observation target images before and after the processing start timing to generate the transition moving image. 11. The moving image generating apparatus according to any one of claims 1 to 10, wherein the moving image generating apparatus generates a
前記画像に含まれる前記観察対象の複数位置の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、前記観察対象の状態変化の遷移動画を生成し、
前記遷移動画を出力する
動画生成方法。 Acquire multiple images of the observation target taken at different times,
Acquiring coordinate information of a plurality of positions of the observation target included in the image, and generating a transition video of the state change of the observation target based on the coordinate information of the corresponding plurality of positions of the observation target photographed at the different times. death,
A video generation method for outputting the transition video.
異なる時刻に撮影された観察対象の画像を複数取得する画像取得手段、
前記画像に含まれる前記観察対象の複数位置の座標情報を取得し、前記異なる時刻に撮影された観察対象の対応する複数位置の座標情報に基づいて、前記観察対象の状態変化の遷移動画を生成する動画生成手段、
前記遷移動画を出力する出力手段、
として機能させるプログラム。 The computer of the video production device,
image acquisition means for acquiring a plurality of images of the observation target taken at different times;
Acquiring coordinate information of a plurality of positions of the observation target included in the image, and generating a transition video of the state change of the observation target based on the coordinate information of the corresponding plurality of positions of the observation target photographed at the different times. video generating means for
output means for outputting the transition video;
A program that acts as a
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021128338A JP7195659B1 (en) | 2021-08-04 | 2021-08-04 | Animation generation device, animation generation method, program, animation generation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021128338A JP7195659B1 (en) | 2021-08-04 | 2021-08-04 | Animation generation device, animation generation method, program, animation generation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7195659B1 JP7195659B1 (en) | 2022-12-26 |
| JP2023023112A true JP2023023112A (en) | 2023-02-16 |
Family
ID=84600906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021128338A Active JP7195659B1 (en) | 2021-08-04 | 2021-08-04 | Animation generation device, animation generation method, program, animation generation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7195659B1 (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008145935A (en) * | 2006-12-13 | 2008-06-26 | Doshisha | Historical map output unit, historical map output method, and program |
| JP2008164508A (en) * | 2006-12-28 | 2008-07-17 | Nippo:Kk | Positioning point estimating apparatus and positioning point estimation method, and program thereof, and recording medium |
| WO2017110278A1 (en) * | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | Information processing device and information processing method |
| WO2017170968A1 (en) * | 2016-03-30 | 2017-10-05 | 株式会社小松製作所 | Simulation system and simulation method |
| WO2017199539A1 (en) * | 2016-05-18 | 2017-11-23 | ソニー株式会社 | Information processing device, program, and information processing method |
| JP6528293B1 (en) * | 2018-05-23 | 2019-06-12 | 株式会社日豊 | Dynamic coordinate management apparatus, dynamic coordinate management method, program |
| JP2019125251A (en) * | 2018-01-18 | 2019-07-25 | ヤフー株式会社 | Information processor, data structure, information processing method, and program |
| US20200065583A1 (en) * | 2018-08-24 | 2020-02-27 | Loveland Innovations, LLC | Image analysis and estimation of rooftop solar exposure |
| JP2020091702A (en) * | 2018-12-06 | 2020-06-11 | オリンパス株式会社 | Imaging apparatus and imaging method |
-
2021
- 2021-08-04 JP JP2021128338A patent/JP7195659B1/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008145935A (en) * | 2006-12-13 | 2008-06-26 | Doshisha | Historical map output unit, historical map output method, and program |
| JP2008164508A (en) * | 2006-12-28 | 2008-07-17 | Nippo:Kk | Positioning point estimating apparatus and positioning point estimation method, and program thereof, and recording medium |
| WO2017110278A1 (en) * | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | Information processing device and information processing method |
| WO2017170968A1 (en) * | 2016-03-30 | 2017-10-05 | 株式会社小松製作所 | Simulation system and simulation method |
| WO2017199539A1 (en) * | 2016-05-18 | 2017-11-23 | ソニー株式会社 | Information processing device, program, and information processing method |
| JP2019125251A (en) * | 2018-01-18 | 2019-07-25 | ヤフー株式会社 | Information processor, data structure, information processing method, and program |
| JP6528293B1 (en) * | 2018-05-23 | 2019-06-12 | 株式会社日豊 | Dynamic coordinate management apparatus, dynamic coordinate management method, program |
| US20200065583A1 (en) * | 2018-08-24 | 2020-02-27 | Loveland Innovations, LLC | Image analysis and estimation of rooftop solar exposure |
| US20210110156A1 (en) * | 2018-08-24 | 2021-04-15 | Loveland Innovations, LLC | Image analysis and estimation of rooftop solar exposure |
| JP2020091702A (en) * | 2018-12-06 | 2020-06-11 | オリンパス株式会社 | Imaging apparatus and imaging method |
Non-Patent Citations (2)
| Title |
|---|
| 佐藤絵里子，外３名: "過去風景動画の自動生成に関する基礎的研究", IEICE TECHNICAL REPORT, JPN6021039542, June 2017 (2017-06-01), JP, ISSN: 0004613842 * |
| 国立大学法人筑波大学，国立大学法人豊橋技術科学大学: "一枚の景観写真から時間経過のアニメーションを自動生成できるAI技術を開発〜高解像度かつ長尺のタイムラプ", [ONLINE], JPN7021004214, 5 November 2019 (2019-11-05), ISSN: 0004613843 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7195659B1 (en) | 2022-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sermet et al. | Crowdsourced approaches for stage measurements at ungauged locations using smartphones | |
| CN102575933B (en) | System that generates map image integration database and program that generates map image integration database | |
| KR100529401B1 (en) | Apparatus and method of dem generation using synthetic aperture radar(sar) data | |
| Diefenbach et al. | Rapid, low-cost photogrammetry to monitor volcanic eruptions: an example from Mount St. Helens, Washington, USA | |
| KR100538343B1 (en) | Method for constituting gis of river information by updating river area facilities information to digital map via mobile internet | |
| Giordan et al. | Brief Communication: The use of an unmanned aerial vehicle in a rockfall emergency scenario | |
| KR101011813B1 (en) | Installaion for displaying overlap line of adjoined digital aerial photograph | |
| CN102741706A (en) | Method for geo-referencing an imaged area | |
| KR100822814B1 (en) | Method for overlapping real-time landscape image and gis data | |
| Nota et al. | Improving UAV-SfM time-series accuracy by co-alignment and contributions of ground control or RTK positioning | |
| CN114646992A (en) | Positioning method, positioning device, computer equipment, storage medium and computer program product | |
| Mirko et al. | Assessing the Impact of the Number of GCPS on the Accuracy of Photogrammetric Mapping from UAV Imagery | |
| CN108253942B (en) | Method for improving oblique photography measurement space-three quality | |
| Dinkov et al. | Advantages, disadvantages and applicability of GNSS post-processing kinematic (PPK) method for direct georeferencing of UAV images | |
| Iizuka et al. | Improving the 3D model accuracy with a post-processing kinematic (PPK) method for UAS surveys | |
| Li et al. | Evaluating the potentiality of using control-free images from a mini Unmanned Aerial Vehicle (UAV) and Structure-from-Motion (SfM) photogrammetry to measure paleoseismic offsets | |
| US20230281942A1 (en) | Measurement processing device, method, and program | |
| JP7195659B1 (en) | Animation generation device, animation generation method, program, animation generation system | |
| Kröhnert et al. | Versatile mobile and stationary low-cost approaches for hydrological measurements | |
| JP5567522B2 (en) | Stereo pair search device and stereo pair search method from single image | |
| JP2019203795A (en) | Dynamic coordinate management device, dynamic coordinate management method, and program | |
| KR100538321B1 (en) | A Computer-Readable Storage Medium Holding the Computer Program for Constituting GIS of River Information by Updating River Pathway Changes to Digital Map via Mobile Internet. | |
| JP5297366B2 (en) | Imaging object information generation apparatus and imaging object information generation program | |
| Niu et al. | 3D geopositioning accuracy analysis based on integration of QuickBird and IKONOS imagery | |
| Hostens | Determining the Effect of Mission Design and Point Cloud Filtering on the Quality and Accuracy of SfM Photogrammetric Products Derived from sUAS Imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210810 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220413 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220826 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220902 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220928 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7195659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |