JP6951595B2 - 住宅のデータ収集およびモデル生成方法 - Google Patents

Description

発明の詳細な説明

［技術分野］
本発明の実施形態は、仮想３次元（３Ｄ）モデリングの技術分野、特に住宅のデータ収集およびモデル生成の方法に関する。
［背景］
住宅の仮想３次元モデリングの過程で、画像収集は、多くの場合、深度カメラによって行われる。深度カメラは、各撮影スポットとカメラとの間の距離を測定できる装置であり、例えば、構造化光の原理により、撮影スポットとカメラとの間の距離を測定するカメラである。構造化光技術の基本原理は以下のようなものである。回折格子がレーザーの外側に配置され、撮像のために回折格子によって投影されるとレーザーは屈折するため、被写体の表面上のレーザーの下降点は、最終的には変位する。被写体がレーザープロジェクターに近い場合、屈折による変位は小さく、被写体がレーザープロジェクターから遠くなると、それに応じて屈折による変位は増加する。カメラは、被写体の表面に投影されたパターンを検出して収集するために使用される。パターンの変位の変化を通して、被写体の位置および深さの情報がアルゴリズムにより計算できるため、仮想３次元空間全体が復元される。一般的に、住宅のモデルマップは、深度画像を収集することで作成される。しかし、深度画像収集では、住宅の各機能空間の詳細を細かく収集できないため、ユーザーは、住宅の各機能空間について包括的に知ることができない。
［概要］
本開示の目的は、住宅のデータ収集およびモデル生成の方法を提供することである。

本開示の一態様では、住宅のデータ収集およびモデル生成の方法が提供され、該方法は、
プリセットされた住宅の少なくとも１つの機能空間それぞれの収集された複数の深度画像および複数の写真を取得することと、
少なくとも１つの機能空間の複数の深度画像に基づいてプリセットされた住宅の仮想３Ｄモデルを作成し、機能空間の複数の写真に基づいて少なくとも１つの機能空間それぞれのパノラマ画像を生成することと、
プリセットされた住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、プリセットされた住宅の仮想３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することとを含む。

本開示の別の態様では、住宅のデータ収集およびモデル生成の方法が提供され、該方法は、
非一時的なコンピュータ可読媒体に記憶されたコンピュータ実行可能命令の実行を容易にするプロセッサを採用して操作を実行することを含み、該操作が、
プリセットされた住宅の少なくとも１つの機能空間それぞれの収集された深度画像および写真を取得することと、
少なくとも１つの機能空間の深度画像に基づいてプリセットされた住宅の仮想３Ｄモデルを作成し、機能空間の写真に基づいて少なくとも１つの機能空間それぞれのパノラマ画像を生成することと、
プリセットされた住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、プリセットされた住宅の仮想３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することとを含む。

本開示の一実施形態では、プリセットされた住宅の少なくとも１つの機能空間それぞれの深度画像および写真の収集が、
機能空間ごとに、機能空間内の複数の撮影スポットをそれぞれ中心として機能空間を撮影して機能空間の複数の深度画像および複数の写真を取得することを含む。

本開示の別の実施形態では、機能空間内の複数の撮影スポットをそれぞれ中心として機能空間を撮影して機能空間の複数の深度画像および複数の写真を取得することが、
現在の撮影スポットを中心として機能空間を撮影した深度画像に対応する点群画像と、以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像とをステッチおよびマージし、ステッチおよびマージした点群画像が機能空間の各コーナーをカバーする場合に、現在の撮影スポットにおける深度画像および以前に撮影が行われた撮影スポットにおける深度画像に基づいて機能空間の深度画像を取得することと、
ステッチおよびマージした点群画像が機能空間の各コーナーをカバーしない場合に、機能空間の各コーナーをカバーする点群画像が得られるまで、現在の撮影スポットを中心として再撮影を行うかまたは撮影スポットを再選択して撮影を行い、撮影が行われたすべての撮影スポットにおける深度画像に基づいて機能空間の深度画像を取得することとを含む。

本開示の別の実施形態では、上記の方法はさらに、深度画像を得るために撮影が行われた各撮影スポットを中心として機能空間を撮影し、深度画像を得るために撮影が行われた各撮影スポットに対応する機能空間の写真を取得することを含む。

本開示の別の実施形態では、プリセットされた住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、プリセットされた住宅の仮想３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することが、
リクエスト情報がプリセットされた住宅の仮想３Ｄモデルの表示を示している場合に、プリセットされた住宅の仮想３Ｄモデルをリクエスト情報に対応する端末装置に送信することと、
リクエスト情報が対象機能空間のパノラマ画像の表示を示している場合に、対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信することとを含む。

本開示の別の実施形態では、上記の方法は、リクエスト情報が対象機能空間のパノラマ画像の表示を示している場合に、対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信することの後に、
表示用の現在の画角の変更を示す情報を受信すると、変更された対象画角を取得し、対象画角に対応するパノラマ画像を端末装置に送信することをさらに含み、
表示用の現在の画角の変更を示す情報が、表示用の現在の画角の移動調整またはズーム調整を含み、移動調整は、端末装置上で画面を左右にスライドさせることにより実行され、ズーム調整は、端末装置上でのズーム操作によって実行される。

本開示の別の実施形態では、少なくとも１つの機能空間が複数の機能空間を含み、上記の方法が、リクエスト情報が対象機能空間のパノラマ画像の表示を示している場合に、対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信することの後に、
別の機能空間へのスキップを示す情報を受信すると、別の機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信することをさらに含む。

本開示の別の実施形態では、機能空間内の複数の撮影スポットをそれぞれ中心として機能空間を撮影して機能空間の複数の深度画像および複数の写真を取得することが、
以前に撮影が行われた撮影スポットに基づいて次の撮影スポットを予測し、予測された次の撮影スポットを中心として機能空間を撮影し、対応する深度画像および写真を取得することを含む。

本開示の別の実施形態では、以前に撮影が行われた撮影スポットに基づいて次の撮影スポットを予測することが、
少なくとも１つの以前に撮影が行われた撮影スポットから撮影スポットを選択することと、
少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像に基づいて、選択した撮影スポットにおける深度画像を再生することと、
選択した撮影スポットにおける再生された深度画像に所定の条件を満たす穴があるかどうかを判断することと、
所定の条件を満たす穴がある場合に、穴の縁部から画素点を選択し、選択した画素点の位置および選択した撮影スポットの位置に基づいて、次の撮影スポットが位置する位置範囲を取得することとを含む。

本開示の別の実施形態では、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像に基づいて、選択した撮影スポットにおける深度画像を再生することが、
選択した撮影スポットに対応する点群画像を、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像から取得し、選択した撮影スポットに対応する点群画像から選択した撮影スポットにおける深度画像を再生することを含む。

本開示の別の実施形態では、選択した撮影スポットに対応する点群画像から選択した撮影スポットにおける深度画像を再生することが、
選択した撮影スポットに対応する点群画像内の各点を、深度画像に対応する画素マトリックスにマッピングすることと、
画素マトリックス内の同じ画素点に対応する深度値が複数ある場合に、複数の深度値のうち最小深度値を、画素点の深度値として決定することとを含む。

本開示の別の実施形態では、選択した画素点の位置および選択した撮影スポットの位置に基づいて、次の撮影スポットが位置する位置範囲を取得することが、
選択した撮影スポットに対応する点群画像内の選択した画素点の３次元座標から、機能空間の床が位置する２次元平面上の選択した画素点の投影点の位置を取得することと、
投影点の位置および選択した撮影スポットの位置に基づいて、次の撮影スポットが位置する位置範囲を取得することとを含む。

本開示の別の実施形態では、所定の条件は、
穴の面積が所定の面積閾値より大きいこと、および／または
選択した撮影スポットに最も近い穴の縁部にある画素点が、選択した撮影スポットから所定の閾値距離の範囲内にあること、を含む。

本開示の別の実施形態では、選択した画素点は、選択した撮影スポットに最も近い穴の縁部にある画素点である。

本開示の別の実施形態では、選択した撮影スポットは、少なくとも１つの以前に撮影が行われた撮影スポットのうち最後の撮影のための撮影スポットである。

本開示の別の態様では、電子装置が提供され、電子装置は、
少なくとも１つのプロセッサと、少なくとも１つのメモリと、通信インターフェースと、バスとを備え、
プロセッサとメモリと通信インターフェースとがバスを通して互いに通信し、
通信インターフェースが、電子装置と端末装置の通信装置との間の情報伝達に使用され、
メモリが、プロセッサによって実行可能なプログラム命令を記憶し、プロセッサがプログラム命令を実行して端末装置に対応する方法を実行する。

本開示のさらなる態様では、コンピュータに端末装置に対応する方法を実行させるコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体が設けられる。

本開示の実施形態または先行技術における技術的解決策をより明確に説明するために、本開示の実施形態または先行技術の説明に使用される添付の図面を以下に簡単に紹介する。明らかに、以下の説明の添付の図面は、本開示のいくつかの実施形態を示しており、当業者は、これらの添付の図面から他の図面を導き出すことができる。
本開示の実施形態に係る、例示的な３次元仮想現実（ＶＲ）環境を示す概略図である。 本開示の実施形態に係る、例示的なコンピュータシステムを示すブロック図である。 本開示の実施形態に係る、住宅のデータ収集およびモデル生成の方法の概略フロー図である。 本開示の別の実施形態に係る、以前に撮影が行われた撮影スポットに基づいて次の撮影スポットを予測するための例示的な方法の概略フロー図である。 点群画像に基づいて深度画像を生成する方法に関する原理を示す概略空間座標図である。 本開示の別の実施形態に係る、住宅のデータ収集およびモデル生成のための装置の構造ブロック図である。 本開示の別の実施形態に係る電子装置の構造ブロック図である。

本開示の実施形態の目的、技術的解決策および利点を明確にするために、本開示の実施形態における技術的解決策を、本開示の実施形態の添付の図面を参照しながら以下に明確かつ完全に説明する。明らかに、記載された実施形態は、本開示の実施形態の一部であり、すべてではない。創造的な努力なしに本開示の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本開示の保護範囲に含まれるものとする。

図１は、本開示の実施形態に係る例示的な３次元仮想現実（ＶＲ）環境１００を示す。図１に示すように、３ＤＶＲ環境１００は、アパートや住宅の床などの、住宅ユニットをシミュレートまたは表現できる。３ＤＶＲ環境１００は、どのような屋内空間または環境のＶＲ表現も含むことができることに注意されたい。図１を参照すると、３ＤＶＲ環境１００は、１１０、１２０、１３０、１４０、１５０、１６０などの、１つ以上の機能空間を含むことができる。本明細書で使用される場合、機能空間は、特定の機能に関連付けられる、囲まれた、または、部分的に囲まれた空間を指す。場合によっては、機能空間は、部屋に対応することもある。例えば、機能空間１１０は、第１のベッドルームに対応し、機能空間１３０は、第２のベッドルームに対応してもよい。場合によっては、機能空間は、部屋の内部または部屋に隣接する、囲まれた、または、部分的に囲まれた空間に対応してもよい。例えば、機能空間１４０は、クローゼットに対応してもよい。場合によっては、機能空間は、概して特定の目的のために使用される領域に対応してもよい。例えば、機能空間１２０は、キッチン領域に対応してもよく、機能空間１５０は、ダイニング領域に対応してもよく、機能空間１６０は、リビングルームに対応してもよい。機能空間１２０、１５０および１６０は、同じ部屋（例えば、囲まれた領域）を共有しているが、その異なる機能のために、異なる空間として考えることができる。

図２は、本明細書に開示される様々な機能を実行するように構成された例示的なコンピュータシステム２００のブロック図を示す。例えば、コンピュータシステム２００は、ＶＲ環境１００を作成または再構築するサーバーとして構成されてもよい。別の例では、コンピュータシステム２００は、ＶＲ環境１００を表示または強化する端末装置として構成されてもよい。図２に示すように、コンピュータシステム２００は、プロセッサ２１０と、通信インターフェース２２０と、メモリ／ストレージ２３０と、ディスプレイ２４０とを備えてもよい。メモリ／ストレージ２３０は、プロセッサ２１０によって実行されると、プロセッサ２１０に本明細書に開示される様々な操作を実行させることができるコンピュータ可読命令を記憶するように構成されてもよい。メモリ２３０は、揮発性または不揮発性、磁気的、半導体ベース、テープベース、光学的、取り外し可能、取り外し不可能などの、任意の非一時的なタイプの大容量記憶装置、または他のタイプの記憶装置、または、ＲＯＭ、フラッシュメモリ、ダイナミックＲＡＭ、スタティックＲＡＭを含むがこれらに限定されない、有形のコンピュータ可読媒体であってもよい。

プロセッサ２１０は、メモリ２３０に記憶される命令にしたがって操作を実行するように構成されてもよい。プロセッサ２１０は、任意の適切なタイプの汎用または専用マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラなどを含むことができる。プロセッサ２１０は、本明細書に開示される１つ以上の特定の命令を実行するための専用の個別のプロセッサモジュールとして構成されてもよい。あるいは、プロセッサ２１０は、本明細書に開示される１つ以上の特定の命令に関係のないその他の操作を実行することができる共有プロセッサモジュールとして構成されてもよい。

通信インターフェース２２０は、コンピュータシステム２００と他のデバイスやシステムとの間の情報を伝達するように構成されてもよい。例えば、通信インターフェース２２０は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を提供するモデムを含んでもよい。別の例として、通信インターフェース２２０は、互換性のあるＬＡＮへのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードを含んでもよい。さらなる例として、通信インターフェース２２０は、光ファイバネットワークアダプタ、１０Ｇイーサネットアダプタなどの高速ネットワークアダプタを含んでもよい。ワイヤレスリンクは、通信インターフェース２２０によっても実装できる。そのような実装において、通信インターフェース２２０は、ネットワークを介して様々なタイプの情報を表すデジタルデータストリームを運ぶ電気的、電磁気的、または光学的な信号を送信および受信できる。ネットワークは、典型的には、セルラー通信ネットワーク、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）などを含むことができる。

通信インターフェース２２０は、キーボード、マウス、タッチパッド、タッチスクリーン、マイク、カメラ、バイオセンサなどの様々なＩ／Ｏデバイスを含んでもよい。ユーザーは、通信インターフェース２２０を介して端末装置にデータを入力できる。

ディスプレイ２４０は、コンピュータシステム２００の一部として統合されても、あるいはコンピュータシステム２００に通信可能に連結された別個のデバイスとして提供されてもよい。ディスプレイ２４０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、プラズマディスプレイ、またはその他のタイプのディスプレイなどのディスプレイデバイスを含み、ユーザー入力およびデータ描写のためにディスプレイ上に表示されるグラフィカルユーザーインターフェース（ＧＵＩ）を提供してもよい。いくつかの実施形態では、ディスプレイデバイス２４０は、ＶＲゴーグル、ＶＲメガネ、または没入型ＶＲ体験を提供するその他の同様のデバイスを含んでもよい。例えば、ＶＲ環境１００は、ディスプレイ２４０上に表示されてもよい。いくつかの実施形態では、ディスプレイ２４０は、通信インターフェース２２０の一部として統合されてもよい。

図３は、本開示の実施形態に係る住宅のデータ収集およびモデル生成の方法の概略フロー図である。図３を参照すると、その方法は、
３０１：プリセット住宅（プリセットされた住宅、予め設定された住宅）の少なくとも１つの機能空間それぞれの収集された深度画像および写真を取得することと、
３０２：少なくとも１つの機能空間の深度画像に基づいてプリセット住宅の仮想３Ｄモデルを作成し、機能空間の写真に基づいて少なくとも１つの機能空間それぞれのパノラマ画像を生成することと、
３０３：プリセット住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、プリセット住宅の仮想３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することとを含む。

本実施形態に係る方法は、その方法を実行できるデバイス、例えば、プロセッサまたはサーバーによって実行することができる。データ収集を必要とする住宅は、１つ以上の機能空間を含むことができる。例えば、住宅は、リビングルーム、ベッドルーム、ダイニングルーム、キッチン、バスルームなど、複数の機能空間を含むことができる。データ収集が複数の機能空間を含む住宅について行われる場合、データ収集を、複数の機能空間それぞれについて、または複数の機能空間のうちの１つまたはいくつかのみについて行うことができる。例えば、住宅がリビングルーム、ベッドルーム、ダイニングルーム、キッチン、バスルームを含む場合、データ収集は、リビングルームの深度画像および写真を得るためにリビングルームについてのみ行うことができ、リビングルームを含む住宅の仮想３Ｄモデルがリビングルームの深度画像に基づいて作成され、リビングルームのパノラマ画像がリビングルームの写真に基づいて生成される。あるいは、データ収集をリビングルームとベッドルームの両方について行うことにより、リビングルームの深度画像およびベッドルームの深度画像に基づいて、リビングルームおよびベッドルームを含む住宅の仮想３Ｄモデルを取得することもでき、リビングルームの写真に基づいて、リビングルームのパノラマ画像が生成され、ベッドルームの写真に基づいて、ベッドルームのパノラマ画像が生成される。もちろん、データ収集を住宅のすべての機能空間について行うこともでき、すべての機能空間の深度画像に基づいて、すべての機能空間を含む住宅の仮想３Ｄモデルが作成され、機能空間それぞれの写真に基づいて、機能空間のパノラマ画像が生成される。

深度画像は、深度カメラで住宅のデータを収集することにより取得できる。写真は、一般的なカメラで機能空間を撮影することにより取得できる。収集された深度画像は、点群画像（点群モデルとも称される）に変換できる。複数の深度画像がある場合、複数の深度画像から変換された複数の点群画像をステッチ（縫合）およびマージ（結合）できる。深度画像から点群画像への変換と、複数の点群画像のステッチおよびマージは、例えば、オープンソースライブラリの、点群ステッチおよびマージ機能（例えば、ＰＣＬ）を使用して計算することで実行できる。写真からのパノラマ画像の生成は、画像ステッチ技術（例えば、ｏｐｅｎｃｖを介して写真からパノラマ画像を合成すること）により実行できる。ユーザーが、住宅の構造について知る必要がある場合、端末装置を介して、住宅の仮想３Ｄモデルを表示することを示すリクエスト情報を送信することにより、仮想３Ｄモデルを取得できる。ユーザーが、機能空間の部分詳細図について知る必要がある場合、端末装置を介して、対応するリクエスト情報を送信することにより、機能空間の部分的な詳細を知ることができる。

本実施形態は、住宅のデータ収集およびモデル生成の方法を提供する。その方法によると、住宅の仮想モデルが作成されるとき、住宅の収集された深度画像および住宅の写真の両方が取得される。住宅の仮想３次元モデルは、深度画像を使用して作成され、各機能空間のパノラマ画像は、写真を使用して生成される。ユーザーが住宅の構造について知る必要がある場合、ユーザーは、深度画像から作成された仮想３次元モデルを見ることができ、ユーザーが、機能空間の具体的な詳細について知る必要がある場合、ユーザーは、機能空間のパノラマ画像を見ることができる。したがって、住宅の構造を表示する一方で、住宅の各機能空間の詳細を表示できるため、ユーザーは住宅について十分に知ることができる。

さらに、上記の実施形態に基づき、プリセット住宅の少なくとも１つの機能空間それぞれの深度画像および写真の収集は、
機能空間ごとに、機能空間内の複数の撮影スポットをそれぞれ中心として機能空間を撮影して、機能空間の深度画像および写真を取得することを含む。

機能空間の深度画像は、例えば、深度カメラで撮影を行うことにより取得できる。

住宅のモデルを作成する場合、取得した住宅の総合的な情報に基づいて住宅の仮想モデルを作成できる。したがって、機能空間内の撮影スポットで機能空間を撮影すると、例えば、その撮影スポットを中心として、複数の角度で機能空間を撮影できる。例えば、複数の撮影スポットを機能空間ごとに選択できる。各撮影スポットで、撮影スポットを中心として複数の角度で機能空間を撮影できる。例えば、撮影スポットを中心として、それぞれ０度、９０度、１８０度、２７０度の角度で撮影を行うかまたは３６０度の連続サラウンド撮影を行うことができる。撮影中、深度カメラで撮影することにより複数の深度画像を取得でき、一般的なカメラで撮影することにより複数の写真を取得できる。こうして、複数の撮影スポットから複数の角度で取得される住宅の情報を取得できる。

撮影スポットを中心として機能空間をマルチアングル撮影する場合、複数の角度それぞれに対応する深度画像を取得できる。したがって、この場合、撮影スポットにおける深度画像は、複数の角度にそれぞれ対応する複数の深度画像を含むことができる。データ処理中、複数の深度画像それぞれを点群画像に変換でき、変換された複数の点群画像は、撮影スポットにおける深度画像に対応する点群画像を得るためにステッチおよびマージされる。例えば、ある撮影スポットを中心として、０度、９０度、１８０度、２７０度の角度でそれぞれ撮影を行うことにより、０度、９０度、１８０度、２７０度にそれぞれ対応する複数の深度画像を取得できる。複数の深度画像それぞれは、点群画像に変換でき、変換された複数の点群画像は、撮影スポットにおける深度画像に対応する点群画像を得るためにステッチおよびマージされる。

本実施形態は、住宅のデータ収集およびモデル生成の方法を提供する。複数の撮影スポットのそれぞれにおける多方向撮影により、モデリングのための完全な情報を提供できる。

さらに、上記の実施形態に基づき、機能空間内の複数の撮影スポットをそれぞれ中心としてそれぞれ機能空間を撮影して機能空間の深度画像および写真を取得することは、
現在の撮影スポットを中心として機能空間を撮影することで得られる深度画像に対応する点群画像と、以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像とをステッチおよびマージし、ステッチおよびマージした点群画像が機能空間の各コーナーをカバーする場合に、現在の撮影スポットにおける深度画像および以前に撮影が行われた撮影スポットにおける深度画像に基づいて機能空間の深度画像を取得することと、
ステッチおよびマージした点群画像が機能空間の各コーナーをカバーしない場合に、機能空間の各コーナーをカバーする点群画像が得られるまで、現在の撮影スポットを中心として再撮影を行うかまたは撮影スポットを再選択して撮影を行い、撮影が行われたすべての撮影スポットにおける深度画像に基づいて機能空間の深度画像を取得することとを含む。

さらに、上記の実施形態に基づき、機能空間内の複数の撮影スポットをそれぞれ中心として機能空間を撮影して機能空間の深度画像および写真を取得することは、
深度画像を得るために撮影が行われた各撮影スポットを中心として機能空間を撮影し、深度画像を得るために撮影が行われた各撮影スポットに対応する機能空間の写真を取得することをさらに含む。

本実施形態は、住宅のデータ収集およびモデル生成の方法を提供する。撮影中、撮影者は、撮影スポットを調整する必要があるのか、または再撮影する必要があるのかを、リアルタイムで、かつ、取得された点群画像にしたがって判断でき、これにより、住宅の完全な情報を使用して後でモデルを作成するための基礎が提供される。

さらに、上記の実施形態に基づき、プリセット住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、プリセット住宅の仮想３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することは、
リクエスト情報がプリセット住宅の仮想３Ｄモデルの表示を示している場合に、プリセット住宅の仮想３Ｄモデルをリクエスト情報に対応する端末装置に送信することと、
リクエスト情報が対象機能空間のパノラマ画像の表示を示している場合に、対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信することとを含む。

ユーザーは、端末装置を介してサーバーに、プリセット住宅の仮想３Ｄモデルを表示するかまたは所定の機能空間のパノラマ画像を表示するかを示すリクエスト情報を送信できることに注意されたい。リクエスト情報の受信後、サーバーは、ユーザーのニーズを満たすために、リクエスト情報にしたがって、端末装置に対応する画像を送信する。

例えば、ユーザーがプリセット住宅の仮想３Ｄモデルを画面上に表示するための操作ボタンをクリックすると、端末は、サーバーに、プリセット住宅の仮想３Ｄモデルの表示を示すリクエスト情報を送信し、リクエスト情報の受信後、サーバーは、プリセット住宅の仮想３Ｄモデルを端末装置に送信してユーザーに住宅の構造を表示する。ユーザーがクリックして画面上の住宅の特定の機能空間を選択すると、デフォルトの画角の機能空間の画像が端末装置に直接送信される。ユーザーは、後で、表示されたデフォルトの画角の機能空間の画像を調節できる。

本実施形態は、住宅のデータ収集およびモデル生成の方法を提供する。この方法では、ユーザーのニーズに合う住宅情報を提供するために、異なるユーザーリクエスト情報に対応するコンテンツを表示できる。

さらに、上記の実施形態に基づき、該方法は、リクエスト情報が対象機能空間のパノラマ画像の表示を示している場合に、対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信することの後に、
表示用の現在の画角の変更を示す情報を受信すると、変更された対象画角を取得し、対象画角に対応するパノラマ画像を端末装置に送信することをさらに含み、
表示用の現在の画角の変更を示す情報が、表示用の現在の画角の移動調整またはズーム調整を含み、移動調整は、端末装置上で画面を左右にスライドさせることにより実行され、ズーム調整は、端末装置上でのズーム操作によって実行される。

所定の機能空間を表示する過程で、ユーザーは、画面をスライドしたり、画面上でズーム操作を行うことにより、機能空間の様々な位置の画像を見ることができる。

本実施形態は、住宅のデータ収集およびモデル生成の方法を提供する。この方法では、ユーザーは、端末装置を操作することにより、住宅の様々な位置について詳細に知ることができる。

さらに、上記の実施形態に基づき、少なくとも１つの機能空間は、複数の機能空間を含み、該方法は、リクエスト情報が対象機能空間のパノラマ画像の表示を示している場合に、対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信することの後に、
別の機能空間へのスキップを示す情報を受信すると、別の機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信することをさらに含む。

プリセット住宅のパノラマ画像を見る場合に、ユーザーは、ある機能空間から別の機能空間にスキップして、ユーザーが知りたい機能空間の内部詳細情報を見ることができることが理解される。

本実施形態は、住宅のデータ収集およびモデル生成の方法を提供する。この方法では、ユーザーが、端末装置によって所定の機能空間のパノラマ画像を見る場合に、機能空間の切替または画角の切替ができる。

具体的かつ例示的な実施形態として、例示的な方法（この例示的な実施形態において提供される例示的な方法は、例えば、室内撮影の深度精度が約６メートルの場合に適している）が提供され、その方法は以下のステップを含む。

（１）撮影は、深度カメラと一般的なカラーカメラを備えたハードウェアデバイスを使用して行われ、３６０度深度画像（情報）および対応する位置におけるカラー写真が毎回同時に取得される。

（２）撮影中、撮影者は、携帯用モバイル装置を介して、撮影を実行して取得されたデータを受信できる。

（３）撮影により取得された深度画像に対応する点群画像は、自動的に既存の１つ以上の点群画像とステッチおよびマージされるか、撮影者により手動で既存の１つ以上の点群画像とステッチおよびマージされることができる。

（４）撮影者は、必要に応じて、複数の室内撮影スポットで撮影を行うことができ、携帯端末または撮影用のハードウェアデバイスの画面上で点群画像によるカバレッジ（カバー範囲）を見ることができる。

（５）撮影が完了した後、バックグラウンドシステムがデータを受信し、住宅の仮想３次元モデルを生成するためにデータの最適化処理を行い、各撮影スポットでの撮影により取得された一般的なカラー写真を使用して、各撮影スポットに対応するパノラマ画像を生成する。

（６）表示中、ユーザーは、住宅の仮想３次元モデルを選択して住宅全体の状態を見ることができる。ユーザーは、詳細に興味がある場合、特定の撮影スポットに対応するパノラマ画像を見ることを選択することもできる。

本実施形態において提供される方法は、住宅の３次元構造を十分に表示できるだけでなく、住宅の３次元モデルが近距離の状況では十分に細かくないという問題を効果的に解決できる。

本開示の別の実施形態によれば、機能空間内の複数の撮影スポットをそれぞれ中心として機能空間を撮影して機能空間の複数の深度画像および複数の写真を取得することは、以前に撮影が行われた撮影スポットに基づいて次の撮影スポットを予測し、予測された次の撮影スポットを中心として、機能空間を撮影し、対応する深度画像および写真を取得することを含んでもよい。

住宅のより良い仮想３Ｄモデルを生成するためには、住宅のデータ収集を複数の撮影スポットで行う必要がある。撮影スポットの選択は、通常、撮影者の個人的な経験に依存する。その結果、収集されたデータは、不適切な撮影スポットの選択のために不完全になる場合があり、それにより、生成された住宅の仮想３Ｄモデルの品質に影響を与えるか、または、撮影スポットを何度も選択することにより、データ収集の効率を低下させる場合がある。

本開示の実施形態によれば、データ収集の完全性および／または効率性は、以前に撮影が行われた１つ以上の撮影スポットに基づいて次の撮影スポットを予測し、予測された次の撮影スポットを中心として機能空間を撮影することにより改善できる。

図４は、本開示の別の実施形態に係る、以前に撮影が行われた撮影スポットに基づいて次の撮影スポットを予測する例示的な方法の概略フロー図である。

図４に示すように、以前に撮影が行われた撮影スポットに基づいて次の撮影スポットを予測することは、例えば、以下のステップを含むことができる。

ステップ４０１では、撮影スポットは、少なくとも１つの以前に撮影が行われた撮影スポットから選択される。

以前に撮影が行われた撮影スポットは、１つまたはそれ以上でもよい。このステップでは、撮影スポットは、１つ以上の以前に撮影が行われた撮影スポットから選択される。

例示的な実施形態によれば、選択した撮影スポットは、少なくとも１つの以前に撮影が行われた撮影スポットのうち最後の撮影のための撮影スポットであることができる。最後の撮影のための撮影スポットを優先することで、データ収集の一貫性を維持し、収集効率を向上させることができる。もちろん、選択した撮影スポットは、以前に撮影が行われた撮影スポットのいずれであってもよい。

ステップ４０２では、選択した撮影スポットにおける深度画像が、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像に基づいて再生される。

より具体的には、以前に撮影が行われた撮影スポットそれぞれの撮影スポットにおける複数の深度画像に対応する点群画像がステッチおよびマージされることで、以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像が得られ、その点群画像に基づいて、選択した撮影スポットにおける深度画像が再生される。

例えば、以前に撮影が行われた３つの撮影スポットＡ、Ｂ、Ｃがあると仮定する。撮影スポットＡにおける深度画像Ａ１は、点群画像Ａ２に対応する。撮影スポットＢにおける深度画像Ｂ１は、点群画像Ｂ２に対応する。撮影スポットＣにおける深度画像Ｃ１は、点群画像Ｃ２に対応する。そして、点群画像Ａ２、Ｂ２、Ｃ２は、以前に撮影が行われた３つの撮影スポットにおける深度画像Ａ１、Ｂ１、Ｃ１に対応する点群画像Ｎを得るためにステッチおよびマージされる。つまり、ステッチおよびマージによって得られた点群画像Ｎは、深度画像Ａ１、Ｂ１、Ｃ１それぞれに含まれる深度情報を含むことができる。さらに、以前に撮影が行われた３つの撮影スポットＡ、Ｂ、Ｃから撮影スポットＣを選択すると、以前に撮影が行われた３つの撮影スポットＡ、Ｂ、Ｃにおける深度画像Ａ１、Ｂ１、Ｃ１に対応する点群画像Ｎに基づいて、撮影スポットＣにおける深度画像Ｃ１２を再生することができると考えられる。

選択した撮影スポットに関しては、撮影スポットで撮影した撮影スポットにおける元の深度画像が存在する。しかし、撮影装置の影響や周囲光の干渉などのいくつかの要因により、取得した元の深度画像からデータが失われている場合がある。少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像に基づいて選択した撮影スポットにおける深度画像を再生することにより、元の深度画像のデータを、以前に撮影が行われた他の１つ以上の撮影スポットにおけるデータによって補完することができる。

上記の撮影スポットＡ、Ｂ、Ｃを例として引き続き取り上げる。いくつかの要因によって、選択した撮影スポットＣにおける元の深度画像Ｃ１からデータが失われている場合がある。例えば、機能空間内のいくつかの位置における深度情報が失われている場合がある。撮影装置の画角の制約により、例えば、撮影装置の真上または真下では、深度情報を取得することができない。撮影スポットＣにおける深度画像Ｃ１２は、以前に撮影が行われた３つの撮影スポットＡ、Ｂ、Ｃにおける深度画像Ａ１、Ｂ１、Ｃ１に対応する点群画像Ｎに基づいて再生されるため、選択した撮影スポットＣにおける元の深度画像Ｃ１のデータは、深度画像Ｃ１２がより多くの深度情報を含むことができるように、撮影スポットＡ、Ｂにおけるデータによって補完できる。それにより、次の撮影スポットを予測するための以降のデータ分析が容易になる。

ステップ４０３では、選択した撮影スポットにおける再生された深度画像内に所定の条件を満たす穴があるかどうか判断される。

選択した撮影スポットにおける深度画像を再生するために、選択した撮影スポットにおける元の深度画像のデータを、以前に撮影が行われた他の１つ以上の撮影スポットにおけるデータによって補完できるとしても、依然として、撮影装置の画角、撮影装置の有効撮影距離、光条件などのいくつかの要因により、再生された深度画像内に深度情報を含まない穴が１つ以上存在する可能性がある。ステップ４０３では、選択した撮影スポットにおける再生された深度画像内に所定の条件を満たす穴があるかどうか判断される。例えば、まず、選択した撮影スポットにおける再生された深度画像内に穴があるかどうかを判断し、その後、さらに、その穴が所定の条件を満たすかどうかを判断することができる。

深度画像については、２次元画素マトリックスの形式で表すことができる。画素マトリックス内の各マトリックス要素（画素点）の値は、対応する深度値、すなわち、３次元空間内の撮影スポットからのマトリックス要素（画素点）の距離を表す。深度画像内の穴は、深度画像の画素マトリックス内で、深度値がゼロであり、かつ、隣接する一連のマトリックス要素（画素点）を決定することにより取得できる。所定の深度画像については、穴がないかまたは穴が１つ以上ある可能性がある。深度画像内の穴は、様々な方法で取得できる。例示的な実施形態によれば、再生された深度画像内の穴は、幅優先探索または深さ優先探索によって取得できる。

例示的な実施形態によれば、上記のステップにおける所定の条件は、穴の面積が、所定の面積閾値より大きいこと、および／または、選択した撮影スポットに最も近い穴の縁部にある画素点が、選択した撮影スポットから所定の閾値距離の範囲内にあることを含むことができる。例えば、選択した撮影スポットにおける再生された深度画像内の穴の場合、穴の面積が、所定の面積閾値より大きい場合、および／または、選択した撮影スポットに最も近い穴の縁部にある画素点が、選択した撮影スポットから所定の閾値距離の範囲内にある場合、その穴は、所定の条件を満たす穴であると判断される。

穴の面積は、深度画像の画素マトリックス内の穴に含まれる画素点の数によって表すことができる。穴の縁部は、深度画像の画素マトリックス内の、穴に隣接し、かつ、深度値がゼロでない画素点で構成できる。

穴の面積閾値は、撮影装置の有効撮影距離、撮影装置の画角、撮影装置の撮影メカニズム、光条件など、様々な要因に基づいて決定できる。例えば、深度画像が１６００×８００の場合、面積閾値は、１００００として選択できる、つまり、画素点の数は１００００である。そして、穴の面積が面積閾値より大きいかどうかを判断する。この面積閾値は単なる例示であり、制限的なものではないことに注意されたい。必要に応じて、適切な面積閾値を決定できる。

選択した撮影スポットに最も近い穴の縁部にある画素点の、選択した撮影スポットからの閾値距離の範囲もまた、撮影装置の有効撮影距離や撮影装置の画角など、様々な要因に基づいて決定できる。例えば、撮影装置の有効撮影距離が２０ｃｍから６ｍの場合、閾値距離の範囲は、３ｍから６ｍの範囲として決定でき、選択した撮影スポットに最も近い穴の縁部にある画素が、選択した撮影スポットから３ｍから６ｍの範囲内にあるかどうか判断される。閾値距離範囲は単なる例示であり、制限的なものではないことに注意されたい。必要に応じて、適切な閾値距離を決定できる。

ステップ４０４では、所定の条件を満たす穴がある場合、穴の縁部から画素点を選択し、選択した画素点の位置および選択した撮影スポットの位置に基づいて、次の撮影スポットが位置する位置範囲を取得する。

このステップでは、再生された深度画像内に所定の条件を満たす穴があると判断すると、穴の縁部から画素点が選択され、選択した画素点の位置および選択した撮影スポットの位置に基づいて、次の撮影スポットが位置する位置範囲が取得されるため、撮影者は、その位置範囲内で次の撮影スポットを選択できる。以下に説明するように、次の撮影スポットが位置する位置範囲は様々な方法で取得できる。

例示的な実施形態によれば、再生された深度画像内に所定の条件を満たす穴が複数ある場合は、複数の穴それぞれの縁部から画素点を選択し、複数の選択した画素点の位置および選択した撮影スポットの位置に基づいて、次の撮影スポットが位置する可能性のある複数の位置範囲を取得できる。この場合、撮影者は、必要に応じて、複数の位置範囲から１つの範囲を選択し、さらに、選択した位置範囲内で次の撮影スポットを選択できる。

例示的な実施形態によれば、穴の縁部から選択した画素点は、選択した撮影スポットに最も近い穴の縁部にある画素点とすることができる。選択した撮影スポットに最も近い穴の縁部にある画素点は、一般的に、穴の縁部にあるすべての画素点のうちで深度値が最小の画素点である。もちろん、穴の縁部にある他の画素点も選択できる。例えば、必要に応じて、所定の条件を満たす穴の縁部のすべての画素点から任意の画素点を選択することで、次の撮影スポットが位置する位置範囲を決定することができる。

選択した撮影スポットにおける再生された深度画像内の穴が、所定の条件を満たすかどうかを判断し、所定の条件を満たす穴に基づいて、次の撮影スポットが位置する位置範囲を取得することにより、データ処理の効率、および／または、データ分析の精度が向上する。例えば、面積が小さすぎる穴を無視して所定の面積閾値より大きい面積を持つ穴を処理することにより、計算量を削減でき、それにより、データ処理の効率が向上する。データ分析の精度は、穴の縁部にある、選択した撮影スポットに最も近い画素点が所定の閾値距離範囲内にある穴を処理することにより改善できる。例えば、撮影装置の有効撮影距離により、選択した撮影スポットから比較的離れた位置に穴が生じる場合がある。場合によっては、住宅そのものの構造、例えば、選択した撮影スポットから比較的近い距離にバルコニーがあるなど、のために、穴の大部分が上記距離内に存在する場合がある。そのような選択した撮影スポットから遠すぎるまたは近すぎる穴は、次の撮影スポットが位置する合理的な位置範囲を得るための正確なデータ分析を妨げる場合がある。したがって、データ分析の精度は、選択した撮影スポットからの閾値距離の範囲を設定し、穴の縁部にある、選択した撮影スポットに最も近い画素点が所定の閾値距離範囲内にある穴を処理することにより改善できる。

上述したように、以前に撮影が行われた１つ以上の撮影スポットに基づいて、次の撮影スポットを予測する過程で、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像に基づいて、選択した撮影スポットにおける深度画像を再生することができる。深度画像は、必要に応じて様々な方法で再生できる。

例示的な実施形態によれば、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像に基づいて、選択した撮影スポットにおける深度画像を再生することは、
少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像から、選択した撮影スポットに対応する点群画像を取得し、選択した撮影スポットに対応する点群画像から、選択した撮影スポットにおける深度画像を再生することを含むことができる。

上述の以前に撮影が行われた撮影スポットＡ、Ｂ、Ｃを例として引き続き取り上げる。以前に撮影が行われた３つの撮影スポットＡ、Ｂ、Ｃがあると仮定する。撮影スポットＡにおける深度画像Ａ１は、点群画像Ａ２に対応する。撮影スポットＢにおける深度画像Ｂ１は、点群画像Ｂ２に対応する。撮影スポットＣにおける深度画像Ｃ１は、点群画像Ｃ２に対応する。その後、点群画像Ａ２、Ｂ２、Ｃ２をステッチおよびマージすることにより、以前に撮影が行われた３つの撮影スポットにおける深度画像Ａ１、Ｂ１、Ｃ１に対応する点群画像Ｎを得る。さらに、以前に撮影が行われた３つの撮影スポットＡ、Ｂ、Ｃから撮影スポットＣが選択され、選択した撮影スポットＣに対応する点群画像Ｃ２２が、以前に撮影が行われた３つの撮影スポットＡ、Ｂ、Ｃにおける深度画像Ａ１、Ｂ１、Ｃ１に対応する点群画像Ｎから取得でき、選択した撮影スポットＣにおける深度画像Ｃ１２は、選択した撮影スポットＣに対応する点群画像Ｃ２２から再生されると仮定する。

選択した撮影スポットに対応する点群画像は、少なくとも１つの以前の撮影スポットにおける深度画像に対応する点群画像から、様々な方法で取得できる。例示的な実施形態によれば、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像から、選択した撮影スポットに対応する点群画像を取得することは、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像内のすべての点から、プリセット条件（プリセットされた条件）を満たす一連の点を、選択した撮影スポットに対応する点群画像として選択することを含んでもよい。

プリセット条件は、例えば、距離と関連付けされた条件であってもよい。例示的な実施形態によれば、プリセット条件は、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像内の点が、選択した撮影スポットから所定の距離内にあることであってもよい。例えば、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像内のすべての点を走査でき、点群画像内のすべての点の内、選択した撮影スポットから所定の距離内にある一連の点を、選択した撮影スポットに対応する点群画像として使用する。所定の距離は、例えば、撮影装置の有効撮影距離または有効撮影距離より短い所定の距離であってもよい。住宅の具体的な構造およびその他の要因を考慮して、所定の距離の具体的な値は、必要に応じて決定してよい。別の例示的な実施形態によれば、プリセット条件は、少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像内の点が、選択した撮影スポットを中心とし、かつ、所定の長さを辺の長さとする、正多面体の内部にあることであってもよい。

上述の以前に撮影が行われた撮影スポットＡ、Ｂ、Ｃを例として引き続き取り上げる。撮影スポットＡ、Ｂ、Ｃにおける深度画像Ａ１、Ｂ１、Ｃ１に対応する点群画像Ｎ内のすべての点を走査でき、点群画像Ｎ内のすべての点のうち、選択した撮影スポットＣから所定の距離内にある一連の点が、選択した撮影スポットＣに対応する点群画像Ｃ２２として使用される。

選択した撮影スポットにおける深度画像は、選択した撮影スポットに対応する点群画像から様々な方法で再生できる。例えば、選択した撮影スポットに対応する点群画像内の各点を、選択した撮影スポットにおける深度画像に対応する画素マトリックスにマッピングできる。

図５は、点群画像に基づいて深度画像を生成する方法に関する原理を説明する概略空間座標図である。

図５に示すように、選択した撮影スポットは、ｘ軸、ｙ軸、ｚ軸からなる直交座標系の原点Ｏに位置する。Ｍは、選択した撮影スポットに対応する点群画像内の点であり、その直交座標系における３次元座標は（ｘ’，ｙ’，ｚ’）である。

選択した撮影スポットにおける深度画像に対応する画素マトリックスに点Ｍをマッピングするために、図５に示すような角度φ（-π/２からπ/２の範囲の角度）およびθ（０から２πの範囲の角度）を計算する。φは、点Ｍと原点Ｏを結ぶ線とｘ−ｚ平面との間の角度であり、θは、ｘ−ｚ平面上の点Ｍの投影点Ｍ'と原点Ｏを結ぶ線とｘ軸との間の角度である。

深度画像がＷ画素点の長さとＨ画素点の高さを持つと仮定すると、深度画像の画素マトリックス内の点Ｍの座標位置(ｐ，ｑ)は以下のように計算できる。

ｐ＝（Ｗ^＊θ）／２π
ｑ＝（Ｈ^＊（φ＋π／２））／π
ｐおよびｑの計算値は概数にされる。ｐの範囲は［０，Ｗ-１］、ｑの範囲は［０，Ｈ-１］である。Ｗ-１またはＨ-１を超える値は無視される。つまり、φの角度範囲-π/２からπ/２は、０からＨにマッピングされ、θの角度範囲０から２πは、０からＷにマッピングされる。点群画像内の点のφおよびθの値がわかっている場合に、深度画像の画素マトリックス内の点の対応する座標位置(ｐ，ｑ)を計算できる。

深度画像の画素マトリックス内の座標位置(ｐ，ｑ)における点Ｍの深度値は、点Ｍと原点Ｏとの間の距離を計算することにより取得できる。

上述した選択した撮影スポットに対応する点群画像から深度画像を再生するアプローチは、単なる例示であり、制限ではないことに注意されたい。他のアプローチも、必要に応じて、深度画像を取得するのに使用できる。例えば、深度画像は、ＰＣＬライブラリのＲａｎｇｅＩｍａｇｅモジュールを使用することで点群画像から取得できる。ＲａｎｇｅＩｍａｇｅを使用することで、各画素に対応する３次元空間点座標も深度画像から取得でき、それから点群画像を取得できる。点群画像は、ＰＣＬライブラリのＩＣＰ関連の点群登録アルゴリズムを使用することによりステッチできる。

上述したように、以前に撮影が行われた１つ以上の撮影スポットにおける１つ以上の深度画像に対応する点群画像が他の複数の撮影スポットにおけるデータを含む場合があるため、選択した撮影スポットに対応し、かつ、以前に撮影が行われた１つ以上の撮影スポットにおける１つ以上の深度画像に対応する点群画像から取得される点群画像も、これらの他の複数の撮影スポットにおけるデータを含む場合があり、それにより、再生された深度画像の画素マトリックス内の同じ画素点に対応する深度値が複数存在する場合がある。複数の深度値は、複数の異なる撮影スポットから取得される。

図５に示す概略空間座標図を例として引き続き取り上げる。選択した撮影スポットに対応する点群画像が別の撮影スポットにおけるデータを含み、そのデータにより、Ｏ-Ｍ方向において点Ｍと原点Ｏを結ぶ線の延長線上に別の点が生じると仮定する。この別の点に対応する角度φおよびθの値は、点Ｍのそれらと同じであるため、この別の点が深度画像の画素マトリックス中にマッピングされる場合、深度画像の画素マトリックス内のこの別の点の対応する画素点の座標位置(ｐ，ｑ)も点Ｍのそれらと同じである。したがって、画素マトリックス内の同じ画素点に対応する深度値が複数存在し、これらの深度値は複数の異なる撮影スポットから取得される。

同じ画素点に対応する複数の深度値は、選択した撮影スポットを除く、別の複数の撮影スポットにおける冗長データにより生じる場合がある。別の複数の撮影スポットにおける冗長データを縮小または排除するために、例示的な実施形態によれば、選択した撮影スポットに対応する点群画像内の各点が深度画像に対応する画素マトリックス内にマッピングされた後、画素マトリックス内の同じ画素点に対応する複数の深度値がある場合には、複数の深度値のうち最小の深度値を画素点の深度値として使用する。空間的閉塞関係の観点から、選択した撮影スポットにより近い点は、そのスポットからより遠い点を遮る場合があり、したがって、深度画像の画素マトリックスから最小深度値を選択できる。

上述したように、所定の条件を満たす穴がある場合、画素点は穴の縁部から選択でき、次の撮影スポットが位置する位置範囲は、選択した画素点の位置および選択した撮影スポットの位置に基づいて取得される。

次の撮影スポットが位置する位置範囲は、様々な方法で取得できる。例示的な実施形態によれば、選択した画素点の位置および選択した撮影スポットの位置に基づいて、次の撮影スポットが位置する位置範囲を取得することは、機能空間の床が位置する２次元平面上の選択した画素点の投影点の位置を、選択した撮影スポットに対応する点群画像内の選択した画素点の３次元座標から取得することと、投影点の位置および選択した撮影スポットの位置に基づいて、次の撮影スポットが位置する位置範囲を取得することとを含むことができる。

図５に示す概略空間座標図を例として引き続き取り上げる。穴の縁部にある画素点Ｍが選択され、選択した撮影スポットに対応する点群画像における画素点Ｍの３次元座標が(ｘ',ｙ',ｚ')であると仮定する。機能空間の床が位置する２次元平面がｘ−ｚ平面であると仮定すると、機能空間の床が位置する２次元平面(ｘ−ｚ平面)上の点Ｍの投影点Ｍ’の位置は、点Ｍの３次元座標(ｘ’,ｙ’,ｚ’)から取得でき、投影点Ｍ'の位置は、ｘ−ｚ平面における点Ｍ’の２次元座標(ｘ’,ｚ’)によって表すことができる。

機能空間の床が位置する２次元平面上の穴の縁部にある選択した画素点の投影点の位置を取得した後、次の撮影スポットが位置する位置範囲は、投影点の位置および選択した撮影スポットの位置に基づいて、様々な方法で取得できる。

例えば、簡単な方法は、投影点と選択した撮影スポットとをつなぐ線の中点を、次の撮影スポットが位置する位置範囲として使用することである。住宅の機能空間には、例えばワードローブ、ベッド、ダイニングテーブルなどの物体が存在する場合があるため、投影点と選択した撮影スポットとをつなぐ線の中点は撮影スポットとして使用できない場合がある。例えば、中点は、ちょうどワードローブの位置にある。したがって、例示的な実施形態によれば、投影点と選択した撮影スポットとをつなぐ線上の所定の線分の位置範囲を、次の撮影スポットが位置する位置範囲として使用できる。別の例示的な実施形態によれば、所定の半径値に基づいて、選択した撮影スポットおよび投影点をそれぞれ円の中心として使用することにより、機能空間の床が位置する２次元平面上に円を描くことができ、２つの円が重なる部分を、次の撮影スポットが位置する位置範囲として決定できる。所定の半径値は、必要に応じて決定できる。例えば、撮影装置の有効撮影距離の半分を所定の半径値として使用する。さらなる例示的な実施形態によれば、所定のサイズに基づいて、選択した撮影スポットおよび投影点をそれぞれ中心として使用することにより、機能空間の床が位置する２次元平面上に他の形のパターンを描くことができ、２つのパターンが重なる部分を、次の撮影スポットが位置する位置範囲として使用できる。正確な位置ではなく、次の撮影スポットが位置する位置範囲を決定することにより、次の撮影スポットを予測する合理性が、所定程度、改善され得る。

選択した撮影スポットにおける再生された深度画像に、所定の条件を満たす穴がない場合もある。このような場合、以前に撮影が行われた撮影スポットから撮影スポットを再選択でき、図４に示すステップ４０２、４０３、４０４を、再選択した撮影スポットについて実行する。したがって、本開示の例示的な実施形態によれば、以前に撮影が行われた１つ以上の撮影スポットに基づいて、次の撮影スポットを予測することは、所定の条件を満たす穴がないときに、少なくとも１つの以前に撮影が行われた撮影スポット内に、選択されていない１つ以上の撮影スポットがあるかどうか判断することと、１つ以上の選択されていない撮影スポットがある場合に、少なくとも１つの以前に撮影が行われた撮影スポットから撮影スポットを再選択することとをさらに含んでもよい。したがって、上述したアプローチを通して、走査したすべての撮影スポット内に所定の条件を満たす穴がなくなるまで、すべての以前に撮影が行われた撮影スポットを走査できる。以前に撮影が行われた撮影スポットは、例えば、撮影順の逆順に、つまり、以前に撮影が行われた撮影スポットのうち最後の撮影のための撮影スポットから最初の撮影のための撮影スポットの順に、走査できる。

図６は、本開示の別の実施形態に係る住宅のデータ収集およびモデル生成のための装置の構造ブロック図である。図６を参照すると、住宅のデータ収集およびモデル生成のための装置は、取得モジュール６０１、作成モジュール６０２、実行モジュール６０３を含む。

取得モジュール６０１は、プリセット住宅の少なくとも１つの機能空間それぞれの収集された深度画像および写真を取得するように構成されている。

作成モジュール６０２は、少なくとも１つの機能空間の深度画像に基づいて、プリセット住宅の仮想３Ｄモデルを作成し、機能空間の写真に基づいて、少なくとも１つの機能空間それぞれのパノラマ画像を生成するように構成されている。

実行モジュール６０３は、プリセット住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、プリセット住宅の仮想３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信するように構成されている。

本実施形態において提供される住宅のデータ収集およびモデル生成のための装置は、上記の実施形態において提供される住宅のデータ収集およびモデル生成の方法に適用可能であり、当該方法の説明について本明細書では繰り返さない。

本実施形態は、住宅のデータ収集およびモデル生成のための装置を提供する。本装置によれば、住宅の仮想モデルを作成する場合、住宅の収集された深度画像および住宅の写真の両方を取得する。住宅の仮想３次元モデルは、深度画像を使用して作成され、各機能空間のパノラマ画像は、写真を使用して生成される。ユーザーは、住宅の構造について知る必要があれば、深度画像から作成された仮想３次元モデルを見ることができ、機能空間の具体的な詳細について知る必要があれば、機能空間のパノラマ画像を見ることができる。したがって、住宅の構造を表示する一方で、住宅の各機能空間の詳細を表示することができ、これは、ユーザーが住宅について十分に知るのに役立つ。

図７は、本開示の別の実施形態に係る電子装置の構造ブロック図である。

図７を参照すると、電子装置は、プロセッサ７０１と、メモリ７０２と、通信インターフェース７０３と、バス７０４とを備える。

プロセッサ７０１、メモリ７０２、通信インターフェース７０３は、バス７０４を介して互いに通信する。

通信インターフェース７０３は、電子装置と端末装置の通信装置との間の情報伝達のために使用される。

プロセッサ７０１は、メモリ７０２中のプログラム命令を実行して、上述した実施形態において提供される方法を実行するように構成されている。その方法は、例えば、プリセット住宅の少なくとも１つの機能空間それぞれの収集された深度画像および写真を取得することと、少なくとも１つの機能空間の深度画像に基づいて、プリセット住宅の仮想３Ｄモデルを作成し、機能空間の写真に基づいて、少なくとも１つの機能空間それぞれのパノラマ画像を生成することと、プリセット住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、プリセット住宅の仮想３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することとを含む。

実施形態は、上述した実施形態において提供される方法をコンピュータに実行させるコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体を提供し、その方法は、例えば、プリセット住宅の少なくとも１つの機能空間それぞれの収集された深度画像および写真を取得することと、少なくとも１つの機能空間の深度画像に基づいて、プリセット住宅の仮想３Ｄモデルを作成し、機能空間の写真に基づいて、少なくとも１つの機能空間それぞれのパノラマ画像を生成することと、プリセット住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、プリセット住宅の仮想３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することとを含む。

本実施形態は、非一時的なコンピュータ可読記憶媒体に記憶されたコンピュータプログラムを含むコンピュータプログラム製品を提供し、コンピュータプログラムは、コンピュータによって実行されると、上述した実施形態において提供される方法をコンピュータに実行させるコンピュータ命令を含み、その命令は、例えば、プリセット住宅の少なくとも１つの機能空間それぞれの収集された深度画像および写真を取得することと、少なくとも１つの機能空間の深度画像に基づいて、プリセット住宅の仮想３Ｄモデルを作成し、機能空間の写真に基づいて、少なくとも１つの機能空間それぞれのパノラマ画像を生成することと、プリセット住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、プリセット住宅の仮想３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することとを含む。

当業者は、上記方法の実施形態のステップのすべてまたはいくつかが、プログラム命令に関連する１つ以上のハードウェアによって実装できることを理解できる。プログラムは、コンピュータ可読記憶媒体に記憶できる。プログラムが実行されると、上記方法の実施形態のステップが実行される。記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク、または光ディスクなどの、プログラムコードを記憶できる様々な媒体を含むことができる。

上述した電子装置の実施形態は、単なる概略であり、個別の要素として示されているユニットは、物理的に分離できる場合とできない場合があり、ユニットとして示されている要素は、物理的なユニットになり得る場合となり得ない場合がある。つまり、複数の要素を１つの場所に配置することも、複数のネットワークユニット上に分散させることもできる。実施形態の解決策の目的は、実際の必要に応じて、実施形態中のモジュールのいくつかまたはすべてを選択することによって達成することができる。当業者は、創造的な努力なしに解決策を理解し、実行できる。

上記の実施形態の記載を通して、当業者は、それらの実施形態をソフトウェアおよび必要な一般的なハードウェアプラットフォームによって実行できることを明確に理解できる。もちろん、実施形態をハードウェアで実行することもできる。このような理解に基づき、上記の技術的解決策は実質的に、または、先行技術に貢献する上記の技術的解決策の一部は、ソフトウェア製品の形で具体化でき、コンピュータソフトウェア製品は、コンピュータ装置（パーソナルコンピュータ、サーバー、またはネットワーク装置などであってもよい）に実施形態または実施形態の一部の方法を実行可能にさせるための命令を含む、ＲＯＭ／ＲＡＭ、磁気ディスク、または光ディスクなどの、コンピュータ可読記憶媒体に記憶できる。

最後に、上記の実施形態は、本開示の実施形態の技術的解決策を説明するためだけのものであり、限定するものではないことに注意されたい。本開示の実施形態を、上記の実施形態を参照して詳細に説明してきたが、当業者は、上記の実施形態に記載された技術的解決策を依然として修正できること、またはその中の技術的特徴の一部またはすべてを同等に置き換えできること、そして、そのような修正や置換は、対応する技術的解決策の本質を、本開示の実施形態それぞれの技術的解決策の範囲から逸脱させないことを理解されたい。

第一の態様は、住宅のデータ収集およびモデル生成の方法に関し、該方法は、プリセット住宅の各機能空間の収集された深度画像および写真を取得することと、各機能空間に対応する収集された深度画像に基づいてプリセット住宅の３Ｄモデルを作成し、機能空間に対応する写真に基づいて各機能空間のパノラマ画像を生成することと、プリセット住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することとを含む。

第二の態様は、第一の態様に係る方法に関し、プリセット住宅の各機能空間の収集された深度画像および写真を取得することが、プリセット住宅の機能空間ごとに、機能空間内の各撮影スポットを取得し、撮影スポットを中心として複数の角度で機能空間を撮影して、機能空間の複数の深度画像および複数の写真を取得することを含む。複数の深度画像は、深度カメラを使用して撮影することにより取得される。

第三の態様は、第二の態様に係る方法に関し、撮影スポットを中心として複数の角度で機能空間を撮影して、機能空間の複数の深度画像を取得することが、撮影スポットを中心として複数の角度で機能空間を撮影した機能空間の複数の点群画像をステッチおよびマージすることと、ステッチおよびマージした点群画像が、機能空間の各コーナーをカバーする場合に、ステッチおよびマージした点群画像を、撮影スポットを中心として複数の角度で機能空間を撮影した機能空間の深度画像とし、ステッチおよびマージした点群画像が機能空間の各コーナーをカバーしない場合に、機能空間の各コーナーをカバーする点群画像を取得するまで、撮影スポットを中心として再撮影するか、または、撮影スポットを再選択して再撮影を行い、点群画像を、撮影スポットを中心として複数の角度で機能空間を撮影した機能空間の深度画像とすることを含む。

第四の態様は、第三の態様に係る方法に関し、点群画像を、撮影スポットを中心として複数の角度で機能空間を撮影した機能空間の深度画像とした後に、該方法がさらに、点群画像を取得した撮影スポットで、複数の角度で機能空間を撮影し、撮影スポットを中心として複数の角度で機能空間を撮影することにより複数の写真を取得することを含む。

第五の態様は、第一の態様に係る方法に関し、プリセット住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信することが、リクエスト情報がプリセット住宅の３Ｄモデルの表示を示す場合、リクエスト情報に対応する端末装置に３Ｄモデルを送信し、リクエスト情報が対象機能空間のパノラマ画像の表示を示す場合、端末装置に、対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を送信することを含む。

第六の態様は、第五の態様に係る方法に関し、リクエスト情報が対象機能空間のパノラマ画像の表示を示している場合に、対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信した後に、該方法がさらに、表示用の現在の画角の変更を示す情報を受信すると、変更された対象画角を取得して、対象画角に対応するパノラマ画像を端末装置に送信することを含む。表示用の現在の画角の変更を示す情報は、表示用の現在の画角の移動調整またはズーム調整を含み、移動調整は、端末装置上で画面を左右にスライドすることにより実行され、ズーム調整は、端末装置上でのズーム操作により実行される。

第七の態様は、第六の態様に係る方法に関し、リクエスト情報が対象機能空間のパノラマ画像の表示を示している場合に、対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信した後に、該方法がさらに、別の機能空間へのスキップを示す情報を受信すると、別の機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を端末装置に送信することを含む。

第八の態様は、住宅のデータ収集およびモデル生成のための装置に関し、該装置は、プリセット住宅の各機能空間の収集した複数の深度画像および複数の写真を取得するように構成された取得モジュールと、各機能空間に対応する収集された複数の深度画像に基づいて、プリセット住宅の３Ｄモデルを作成し、機能空間に対応する複数の写真に基づいて、各機能空間のパノラマ画像を生成するように構成された作成モジュールと、プリセット住宅の表示を示すリクエスト情報を受信すると、リクエスト情報にしたがって、３Ｄモデルまたはリクエスト情報に対応する対象機能空間のパノラマ画像を送信するように構成された実行モジュールとを含む。

第九の態様は、少なくとも１つのプロセッサと、少なくとも１つのメモリと、通信インターフェースと、バスとを含む電子装置に関し、プロセッサと、メモリと、通信インターフェースとはバスを介して互いに通信し、通信インターフェースは、電子装置と端末装置の通信装置との間の情報伝達のために使用され、メモリは、プロセッサによって実行可能なプログラム命令を記憶し、プロセッサは、プログラム命令を実行することで、第一から第七の態様のいずれか１つに係る方法を実行する。

第十の態様は、第一から第七の態様のいずれか１つに係る方法をコンピュータに実行させるコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体に関する。

Claims (12)

1. コンピュータによって実行される住宅のデータ収集およびモデル生成の方法であって、
   非一時的なコンピュータ可読媒体に記憶されたコンピュータ実行可能命令の実行をするプロセッサを採用して操作を実行することを含み、該操作が、
   プリセットされた住宅の少なくとも１つの機能空間それぞれの収集された複数の深度画像および複数の写真を取得することと、
   前記少なくとも１つの機能空間の前記複数の深度画像にしたがって前記プリセットされた住宅の仮想３Ｄモデルを作成し、前記機能空間の前記複数の写真にしたがって前記少なくとも１つの機能空間それぞれのパノラマ画像を生成することと、
   前記プリセットされた住宅の表示を示すリクエスト情報を受信すると、前記リクエスト情報にしたがって、前記プリセットされた住宅の前記仮想３Ｄモデルまたは前記リクエスト情報に対応する対象機能空間のパノラマ画像を送信することとを含み、
   前記プリセットされた住宅の前記少なくとも１つの機能空間それぞれの収集された前記複数の深度画像および前記複数の写真を取得することが、
   前記少なくとも一つの機能空間ごとに、前記機能空間内の複数の撮影スポットをそれぞれ中心として前記機能空間を撮影し、前記機能空間の前記複数の深度画像および前記複数の写真を取得することを含み、
   前記機能空間内の前記複数の撮影スポットをそれぞれ中心として前記機能空間を撮影し、前記機能空間の前記複数の深度画像および前記複数の写真を取得することが、
   以前に撮影が行われた撮影スポットに基づいて次の撮影スポットを予測し、前記予測された次の撮影スポットを中心として前記機能空間を撮影し、対応する深度画像および写真を取得することを含み、
   前記以前に撮影が行われた撮影スポットに基づいて前記次の撮影スポットを予測することが、
   少なくとも１つの以前に撮影が行われた撮影スポットから撮影スポットを選択することと、
   前記少なくとも１つの以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像に基づいて、前記選択した撮影スポットにおける深度画像を再生することと、
   前記選択した撮影スポットにおける前記再生された深度画像に所定の条件を満たす穴があるかどうかを判断することと、
   前記所定の条件を満たす穴がある場合に、前記穴の縁部から画素点を選択し、前記選択した画素点の位置および前記選択した撮影スポットの位置に基づいて、前記次の撮影スポットが位置する位置範囲を取得することとを含み、
   前記少なくとも１つの以前に撮影が行われた撮影スポットにおける前記深度画像に対応する前記点群画像に基づいて、前記選択した撮影スポットにおける前記深度画像を再生することが、
   前記選択した撮影スポットに対応する点群画像を、前記少なくとも１つの以前に撮影が行われた撮影スポットにおける前記深度画像に対応する前記点群画像から取得し、前記選択した撮影スポットに対応する前記点群画像から前記選択した撮影スポットにおける前記深度画像を再生することを含み、
   前記選択した撮影スポットに対応する前記点群画像から前記選択した撮影スポットにおける前記深度画像を再生することが、
   前記選択した撮影スポットに対応する前記点群画像内の各点を、前記深度画像に対応する画素マトリックスにマッピングすることと、
   前記画素マトリックス内の同じ画素点に対応する深度値が複数ある場合に、前記複数の深度値のうち最小深度値を、前記画素点の深度値として決定することとを含む、方法。
2. 前記機能空間内の前記複数の撮影スポットをそれぞれ中心として前記機能空間を撮影し、前記機能空間の前記複数の深度画像および前記複数の写真を取得することが、
   現在の撮影スポットを中心として前記機能空間を撮影した深度画像に対応する点群画像と、以前に撮影が行われた撮影スポットにおける深度画像に対応する点群画像とをステッチおよびマージし、前記ステッチおよびマージした点群画像が前記機能空間の各コーナーをカバーする場合に、前記現在の撮影スポットにおける前記深度画像および前記以前に撮影が行われた撮影スポットにおける前記深度画像に基づいて前記機能空間の前記深度画像を取得することと、
   前記ステッチおよびマージした点群画像が前記機能空間の各コーナーをカバーしない場合に、前記機能空間の各コーナーをカバーする点群画像が得られるまで、前記現在の撮影スポットを中心として再撮影を行うかまたは撮影スポットを再選択して撮影を行い、撮影が行われたすべての撮影スポットにおける複数の深度画像に基づいて前記機能空間の前記複数の深度画像を取得することとを含む、請求項１に記載の方法。
3. 深度画像を得るために撮影が行われた各撮影スポットを中心として前記機能空間を撮影して、前記深度画像を得るために撮影が行われた各撮影スポットに対応する前記機能空間の写真を取得することをさらに含む、請求項２に記載の方法。
4. 前記プリセットされた住宅の表示を示すリクエスト情報を受信すると、前記リクエスト情報にしたがって、前記プリセットされた住宅の前記仮想３Ｄモデルまたは前記リクエスト情報に対応する前記対象機能空間の前記パノラマ画像を送信することが、
   前記リクエスト情報が前記プリセットされた住宅の前記仮想３Ｄモデルの表示を示している場合に、前記プリセットされた住宅の前記仮想３Ｄモデルを前記リクエスト情報に対応する端末装置に送信することと、
   前記リクエスト情報が前記対象機能空間の前記パノラマ画像の表示を示している場合に、前記対象機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を前記端末装置に送信することとを含む、請求項１に記載の方法。
5. 前記リクエスト情報が前記対象機能空間の前記パノラマ画像の表示を示している場合に、前記対象機能空間に対応する前記プリセットされたデフォルトの画角のパノラマ画像を前記端末装置に送信することの後に、
   表示用の現在の画角の変更を示す情報を受信すると、変更された対象画角を取得し、前記対象画角に対応するパノラマ画像を前記端末装置に送信することをさらに含み、
   前記表示用の現在の画角の変更を示す情報が、前記表示用の現在の画角の移動調整またはズーム調整を含み、前記移動調整は、前記端末装置上で画面を左右にスライドさせることにより実行され、前記ズーム調整は、前記端末装置上でのズーム操作によって実行される、請求項４に記載の方法。
6. 前記少なくとも１つの機能空間が複数の機能空間を含み、前記方法が、前記リクエスト情報が前記対象機能空間の前記パノラマ画像の表示を示している場合に、前記対象機能空間に対応する前記プリセットされたデフォルトの画角のパノラマ画像を前記端末装置に送信することの後に、
   別の機能空間へのスキップを示す情報を受信すると、前記別の機能空間に対応するプリセットされたデフォルトの画角のパノラマ画像を前記端末装置に送信することをさらに含む、請求項５に記載の方法。
7. 前記選択した画素点の位置および前記選択した撮影スポットの位置に基づいて、前記次の撮影スポットが位置する位置範囲を取得することが、
   前記選択した撮影スポットに対応する前記点群画像内の前記選択した画素点の３次元座標から、前記機能空間の床が位置する２次元平面上の前記選択した画素点の投影点の位置を取得することと、
   前記投影点の位置および前記選択した撮影スポットの位置に基づいて、前記次の撮影スポットが位置する位置範囲を取得することとを含む、請求項１に記載の方法。
8. 前記所定の条件が、
   前記穴の面積が所定の面積閾値より大きいこと、および／または
   前記選択した撮影スポットに最も近い前記穴の縁部にある画素点が、前記選択した撮影スポットから所定の閾値距離の範囲内にあること、を含む、請求項１に記載の方法。
9. 前記選択した画素点は、前記選択した撮影スポットに最も近い前記穴の縁部にある画素点である、請求項１に記載の方法。
10. 前記選択した撮影スポットは、前記少なくとも１つの以前に撮影が行われた撮影スポットのうち最後の撮影のための撮影スポットである、請求項１に記載の方法。
11. 電子装置であって、
    少なくとも１つのプロセッサと、少なくとも１つのメモリと、通信インターフェースと、バスとを備え、
    前記プロセッサと前記メモリと前記通信インターフェースとが前記バスを通して互いに通信し、
    前記通信インターフェースが、前記電子装置と端末装置の通信装置との間の情報伝達に使用され、
    前記メモリが、前記プロセッサによって実行可能なプログラム命令を記憶し、前記プロセッサが、前記プログラム命令を実行して請求項１の方法を実行する、電子装置。
12. 請求項１の方法をコンピュータに実行させるコンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体。

Images