JP7280450B2 - ウォークスルービデオの画像検索 - Google Patents
ウォークスルービデオの画像検索 Download PDFInfo
- Publication number
- JP7280450B2 JP7280450B2 JP2022562045A JP2022562045A JP7280450B2 JP 7280450 B2 JP7280450 B2 JP 7280450B2 JP 2022562045 A JP2022562045 A JP 2022562045A JP 2022562045 A JP2022562045 A JP 2022562045A JP 7280450 B2 JP7280450 B2 JP 7280450B2
- Authority
- JP
- Japan
- Prior art keywords
- walkthrough
- frames
- video
- identified
- videos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 162
- 238000000034 method Methods 0.000 claims description 69
- 238000007670 refining Methods 0.000 claims description 11
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000012800 visualization Methods 0.000 description 90
- 230000033001 locomotion Effects 0.000 description 31
- 238000010276 construction Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 11
- 239000003550 marker Substances 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、2020年4月11日に出願された米国仮出願第63/008,662号の利益を主張するものであり、これは、その全体が参照により本明細書に組み込まれる。
空間索引システムは、環境を表すフレームのシーケンスであるウォークスルービデオを受信し、空間索引プロセスを実行して、各フレームがキャプチャされた空間的位置を自動的に識別する。ビデオキャプチャシステムがカメラパスに沿って環境内を移動するにつれて、ビデオキャプチャシステムによってフレームがキャプチャされる。一実施形態では、空間索引システムは、カメラパスを推定し、環境のモデルを生成するために、フレームに対して同時ローカライゼーションおよびマッピング(SLAM)アルゴリズムを実行する。SLAMアルゴリズムで生成されたカメラパス推定値は、任意選択で、モーションデータ、位置データ、または環境のフロアプランと結合されて、カメラパスの結合した推定値を生成できる。次いで、空間索引システムは、フレームのそれぞれがキャプチャされた位置を決定し、環境のモデル内の対応する位置でフレームのそれぞれの没入型ビューを提供する視覚化インターフェースを提供できる。
I.概要
空間索引システムは、建設現場の床などの環境を表すフレームのシーケンスであるウォークスルービデオを受信し、空間索引プロセスを実行して、フレームのそれぞれがキャプチャされた空間位置を自動的に識別する。空間索引システムはまた、環境の没入型モデルを生成し、ユーザが没入型モデル内の対応する位置でフレームおよび画像のそれぞれを見ることを可能にする視覚化インターフェースを提供する。これは、ユーザが、フレームが記録された位置を選択することによって、特定のフレームおよび/または画像に迅速にナビゲートすることを可能にする。
図1は、一実施形態による、シーケンス内のフレームがキャプチャされた空間的位置を識別するためのシステム環境100を示す。図1に示す実施形態では、システム環境100は、ビデオキャプチャシステム110と、ネットワーク120と、空間索引システム130と、クライアントデバイス150とを含む。単一のビデオキャプチャシステム110および単一のクライアントデバイス150が図1に示されているが、いくつかの実施形態では、空間索引システムは、複数のビデオキャプチャシステム110および複数のクライアントデバイス150と相互作用する。
図2Aは、一実施形態による、図1に示す空間索引システム130のカメラパスモジュール132のブロック図を示す。カメラパスモジュール132は、ビデオキャプチャシステム110によってキャプチャされた入力データ(例えば、360度のフレーム212のシーケンス、モーションデータ214、および位置データ223)を受信し、カメラパス226を生成する。図2Aに示される実施形態では、カメラパスモジュール132は、同時ローカライゼーションおよびマッピング(SLAM)モジュール216、モーション処理モジュール220、およびパス生成および位置合わせモジュール224を含む。
図2Bは、一実施形態による、図1に示される空間索引システム130のモデル生成モジュール138のブロック図を示す。モデル生成モジュール138は、カメラパスモジュール132によって生成されたカメラパス226を、ビデオキャプチャシステム110によってキャプチャされた360度フレーム212のシーケンス、環境のフロアプラン257、および360度カメラ254に関する情報と共に受信する。モデル生成モジュール138の出力は、環境の没入型モデル266である。図示された実施形態では、モデル生成モジュール138は、ルート生成モジュール252、ルートフィルタリングモジュール258、およびフレーム抽出モジュール262を含む。
図2Cは、一実施形態による、図1に示される検索モジュール144のブロック図を示す。検索モジュール144は、検索するオブジェクトまたは表面の少なくとも1つと、1つまたは複数のウォークスルービデオ280とを含む画像検索クエリ270を受信し、画像検索クエリ270内のオブジェクトまたは表面のインスタンスに対応するウォークスルービデオ280の識別された部分278を返す。図2Aに示す実施形態では、検索モジュール144は、フレームセグメンテーションモジュール282と、特徴ベクトルモジュール272と、類似性モジュール275とを含む。任意の実施形態では、検索モジュールはまた、リファインメントモジュール290を含む、および/または追加のウォークスルービデオ292を受信する。
図3A乃至図3Gは、一実施形態による、モデル視覚化モジュール142によって提供される没入型モデルおよび検索視覚化モジュール146によって提供される検索視覚化インターフェースの一部を示すスクリーンショットである。図1で上述したように、検索視覚化モジュール146は、ユーザが画像検索クエリの結果を見ることを可能にする検索視覚化インターフェースを生成する。
上述したように、視覚化インターフェースは、環境のフロアプラン内の各フレームの位置を表示する2Dオーバーヘッドビューマップを提供できる。オーバーヘッドビューに表示されることに加えて、環境のフロアプランはまた、各フレームの位置を決定する空間索引プロセスの一部として使用できる。
図5は、一実施形態による、力まかせ探索を使用してフロアプランと結合されたカメラパスを生成するための方法500を示すフローチャートである。他の実施形態では、方法500は、追加の、より少ない、または異なるステップを含み得、図5に示されるステップは、異なる順序で実行され得る。
図6Aは、一実施形態による、フロアプランのグリッドマップを使用して結合されたカメラパスを生成するための例示的な方法600を示すフローチャートである。他の実施形態では、方法600は、追加の、より少ない、または異なるステップを含み得、図6Aに示されるステップは、異なる順序で実行され得る。
図7は、一実施形態による、ウォークスルービデオにおけるオブジェクト画像検索のための例示的な方法700を示すフローチャートである。他の実施形態では、方法700は、追加の、より少ない、または異なるステップを含み得、図7に示されたステップは、異なる順序で実行され得る。
図9は、本明細書に記載する実施形態が実装され得るコンピュータシステム900を示すブロック図である。例えば、図1のコンテキストでは、ビデオキャプチャシステム110、空間索引システム130、およびクライアントデバイス150は、図9に記載するように、コンピュータシステム900を使用して実施され得る。ビデオキャプチャシステム110、空間索引システム130、またはクライアントデバイス150はまた、図9に記載するように、複数のコンピュータシステム900の組み合わせを使用して実施され得る。コンピュータシステム900は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、またはスマートフォンであり得る。
本明細書中で使用される場合、1つまたは複数の要素が後に続く「含む(includes)」という用語は、1つまたは複数の追加の要素の存在を排除しない。「または(or)」という用語は、排他的な「または」ではなく、非排他的な「または」として解釈されるべきである(例えば、「AまたはB」は、「A」、「B」、または「AおよびB」を指し得る)。冠詞「a」または「an」は、単一のインスタンスが明確に指定されていない限り、以下の要素の1つまたは複数のインスタンスを指す。
Claims (20)
- 環境のウォークスルービデオの画像検索クエリを受信することと、
前記画像検索クエリに対応する特徴ベクトルのセットを決定することと、
前記ウォークスルービデオを検索して、前記特徴ベクトルのセットに対応する前記ウォークスルービデオのフレームの部分を識別することと、
前記ウォークスルービデオの前記フレームの識別された部分に基づいて、前記特徴ベクトルのセットをリファインすることと、
前記画像検索クエリを使用して前記環境のウォークスルービデオのセットを検索する要求を受信することであって、各ウォークスルービデオはタイムスタンプに関連付けられている、ことと、
前記ウォークスルービデオのセットを検索して、前記特徴ベクトルのセットに対応する前記ウォークスルービデオのセット内のフレームの追加の部分を識別することと、
前記ウォークスルービデオの前記フレームの識別された部分に対応するフロアプランの表現内のマークされた位置を有する前記環境の前記フロアプランの前記表現を含む第1のインターフェース部分と、
ヒストグラムを含む第2のインターフェース部分であって、前記ヒストグラムの独立軸が、前記ウォークスルービデオのセットの前記タイムスタンプに対応するタイムラインを含み、前記ヒストグラムが、前記ウォークスルービデオのセット内の前記フレームの識別された追加の部分のインスタンスを示すバーを含む、前記第2のインターフェース部分と、
を含む、表示用のインターフェースを生成することと、
を含む、方法。 - 前記受信された画像検索クエリは、前記ウォークスルービデオのフレームの部分の選択を含み、前記識別された特徴ベクトルは、前記ウォークスルービデオの前記フレームの前記選択された部分の画像特徴を表す、請求項1に記載の方法。
- 前記受信された画像検索クエリは、オブジェクトまたは表面の画像を含む、請求項1に記載の方法。
- 前記ウォークスルービデオの前記フレームの識別された部分が、前記特徴ベクトルのセットとの類似性の閾値測定値内である特徴ベクトルに対応する、請求項1に記載の方法。
- 前記ウォークスルービデオのフレームの識別された部分に対応する特徴ベクトルと、前記画像検索クエリに対応する識別された特徴ベクトルとの差が、閾値差未満である、請求項4に記載の方法。
- 前記ウォークスルービデオの前記フレームの識別された部分に基づいて前記特徴ベクトルのセットをリファインすることは、前記ウォークスルービデオの前記フレームの識別された部分の1つまたは複数の関連性を示すフィードバックにさらに基づいている、請求項1に記載の方法。
- 前記フレームの識別された部分の1つまたは複数の関連性を示す前記フィードバックが、前記ウォークスルービデオの前記フレームの識別された部分の視聴者から受信した肯定的な票または否定的な票を含む、請求項6に記載の方法。
- 前記識別された特徴ベクトルのセットをリファインすることは、肯定的なフィードバックに対応する特徴に関連付けられた重みを増加させることと、否定的なフィードバックに対応する特徴に関連付けられた重みを減少させることとを含む、請求項6に記載の方法。
- 前記ウォークスルービデオのセットが、前記ウォークスルービデオがキャプチャされた時間よりも早い時間期間にわたってキャプチャされた、請求項1に記載の方法。
- 前記画像検索クエリがオブジェクトに対応し、前記フロアプランの表現内の前記マークされた位置が、前記ウォークスルービデオ内の前記オブジェクトの表現に基づいて、前記フロアプラン内の前記オブジェクトの位置をマークすることを含む、請求項1に記載の方法。
- 前記フロアプランの前記表現内の各マークされた位置は、選択されると、前記マークされた位置に対応する前記ウォークスルービデオからのフレームの識別された部分を表示するために提供するように、前記第1のインターフェース部分を修正する、請求項1に記載の方法。
- 前記ヒストグラムの各バーは、特定の日にキャプチャされた前記ウォークスルービデオのセットのウォークスルービデオに対応する、請求項1に記載の方法。
- 前記ヒストグラムの各バーの高さは、前記ヒストグラムの前記バーに対応する前記特定の日にキャプチャされた前記ウォークスルービデオ内に含まれるフレームの識別された部分の数に基づいている、請求項12に記載の方法。
- 前記ヒストグラムの各バーは、選択されると、前記選択されたバーに関連付けられた前記タイムスタンプでキャプチャされたウォークスルービデオに対応するフロアプランを前記第1のインターフェース部分内に表示させる、請求項1に記載の方法。
- 前記ウォークスルービデオを検索することは、前記ウォークスルービデオ内のフレームの識別された部分のサブセットに対して重複排除動作を実行することをさらに含み、前記識別された部分のサブセットの各識別された部分は、同じオブジェクトに対応する、請求項1に記載の方法。
- 前記同じオブジェクトに対応する前記ウォークスルービデオのフレームの識別された部分の前記サブセットが、前記ウォークスルービデオのフレームの識別された部分の前記サブセットの各識別された部分に関連付けられた前記フロアプラン内の位置の近接性に基づいて識別される、請求項15に記載の方法。
- 前記同じオブジェクトに対応する前記ウォークスルービデオのフレームの識別された部分の前記サブセットは、前記ウォークスルービデオのフレームの識別された部分の前記サブセットの間の画像特徴に基づいて識別される、請求項15に記載の方法。
- 前記環境は複数のフロアを含み、前記フロアプランは前記複数のフロアにわたり、前記第1のインターフェース部分は、視聴者が複数のフロアにわたって前記フレームの識別された部分に対応するマークされた位置をスクロールして表示することができるように、前記複数のフロアのスクロール可能な表現を含む、請求項1に記載の方法。
- ハードウェアプロセッサと、
実行可能な命令を格納した非一時的コンピュータ可読記憶媒体と、
を含むシステムであって、
前記命令はハードウェアプロセッサによって実行されると、前記ハードウェアプロセッサに、
環境のウォークスルービデオの画像検索クエリを受信することと、
前記画像検索クエリに対応する特徴ベクトルのセットを決定することと、
前記ウォークスルービデオを検索して、前記特徴ベクトルのセットに対応する前記ウォークスルービデオのフレームの部分を識別することと、
前記ウォークスルービデオの前記フレームの識別された部分に基づいて、前記特徴ベクトルのセットをリファインすることと、
前記画像検索クエリを使用して前記環境のウォークスルービデオのセットを検索する要求を受信することであって、各ウォークスルービデオはタイムスタンプに関連付けられている、ことと、
前記ウォークスルービデオのセットを検索して、前記特徴ベクトルのセットに対応する前記ウォークスルービデオのセット内のフレームの追加の部分を識別することと、
前記ウォークスルービデオの前記フレームの識別された部分に対応するフロアプランの表現内のマークされた位置を有する前記環境の前記フロアプランの前記表現を含む第1のインターフェース部分と、
ヒストグラムを含む第2のインターフェース部分であって、前記ヒストグラムの独立軸が、前記ウォークスルービデオのセットの前記タイムスタンプに対応するタイムラインを含み、前記ヒストグラムが、前記ウォークスルービデオのセット内の前記フレームの識別された追加の部分のインスタンスを示すバーを含む、前記第2のインターフェース部分と、
を含む、表示用のインターフェースを生成することと、
を含むステップを実行させる、
システム。 - 実行可能な命令を格納する非一時的コンピュータ可読記憶媒体であって、前記命令はハードウェアプロセッサによって実行されると、前記ハードウェアプロセッサに
環境のウォークスルービデオの画像検索クエリを受信することと、
前記画像検索クエリに対応する特徴ベクトルのセットを決定することと、
前記ウォークスルービデオを検索して、前記特徴ベクトルのセットに対応する前記ウォークスルービデオのフレームの部分を識別することと、
前記画像検索クエリを使用して前記環境のウォークスルービデオのセットを検索する要求を受信することであって、各ウォークスルービデオはタイムスタンプに関連付けられている、ことと、
前記ウォークスルービデオの前記フレームの識別された部分に基づいて、前記特徴ベクトルのセットをリファインすることと、
前記ウォークスルービデオのセットを検索して、前記特徴ベクトルのセットに対応する前記ウォークスルービデオのセット内のフレームの追加の部分を識別することと、
前記ウォークスルービデオの前記フレームの識別された部分に対応するフロアプランの表現内のマークされた位置を有する前記環境の前記フロアプランの前記表現を含む第1のインターフェース部分と、
ヒストグラムを含む第2のインターフェース部分であって、前記ヒストグラムの独立軸が、前記ウォークスルービデオのセットの前記タイムスタンプに対応するタイムラインを含み、前記ヒストグラムが、前記ウォークスルービデオのセット内の前記フレームの識別された追加の部分のインスタンスを示すバーを含む、前記第2のインターフェース部分と、
を含む、表示用のインターフェースを生成することと、
を含むステップを実行させる、非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063008662P | 2020-04-11 | 2020-04-11 | |
US63/008,662 | 2020-04-11 | ||
US17/016,146 US11386151B2 (en) | 2020-04-11 | 2020-09-09 | Image search in walkthrough videos |
US17/016,146 | 2020-09-09 | ||
PCT/US2021/026668 WO2021207664A1 (en) | 2020-04-11 | 2021-04-09 | Image search in walkthrough videos |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023518916A JP2023518916A (ja) | 2023-05-08 |
JP7280450B2 true JP7280450B2 (ja) | 2023-05-23 |
Family
ID=78006299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022562045A Active JP7280450B2 (ja) | 2020-04-11 | 2021-04-09 | ウォークスルービデオの画像検索 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11386151B2 (ja) |
EP (1) | EP4133408A4 (ja) |
JP (1) | JP7280450B2 (ja) |
CN (1) | CN116075818B (ja) |
WO (1) | WO2021207664A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6697150B1 (ja) * | 2019-10-30 | 2020-05-20 | 株式会社Qoncept | 軌道算出装置、軌道算出方法、軌道算出プログラム |
JPWO2022070340A1 (ja) * | 2020-09-30 | 2022-04-07 | ||
US20230051775A1 (en) * | 2021-08-10 | 2023-02-16 | Siemens Industry Software Inc. | Construction of environment views from selectively determined environment images |
US20230290090A1 (en) * | 2022-03-10 | 2023-09-14 | Streem, Llc | Searchable object location information |
CN115455275B (zh) * | 2022-11-08 | 2023-02-03 | 广东卓维网络有限公司 | 融合巡检设备的视频处理*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268657A (ja) | 2000-03-21 | 2001-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体 |
JP2012141894A (ja) | 2011-01-05 | 2012-07-26 | Sharp Corp | 画像検索装置、画像検索方法およびプログラム |
US20120294477A1 (en) | 2011-05-18 | 2012-11-22 | Microsoft Corporation | Searching for Images by Video |
US20170064374A1 (en) | 2015-08-26 | 2017-03-02 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
JP2017215685A (ja) | 2016-05-30 | 2017-12-07 | 日本電信電話株式会社 | 仮想環境生成装置、仮想環境生成方法、プログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3566530B2 (ja) * | 1998-01-08 | 2004-09-15 | 日本電信電話株式会社 | 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体 |
KR20040041082A (ko) | 2000-07-24 | 2004-05-13 | 비브콤 인코포레이티드 | 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법 |
US6996782B2 (en) | 2001-05-23 | 2006-02-07 | Eastman Kodak Company | Using digital objects organized according to a histogram timeline |
US20040183826A1 (en) * | 2003-02-20 | 2004-09-23 | Taylor Jaime R. | Method for providing images of real property in conjunction with their directional orientation |
US7356164B2 (en) | 2003-05-30 | 2008-04-08 | Lucent Technologies Inc. | Method and apparatus for finding feature correspondences between images captured in real-world environments |
US7542610B2 (en) * | 2005-05-09 | 2009-06-02 | Like.Com | System and method for use of images with recognition analysis |
US7823068B2 (en) | 2006-02-28 | 2010-10-26 | Mark Anthony Ogle Cowtan | Internet-based, dual-paned virtual tour presentation system with orientational capabilities and versatile tabbed menu-driven area for multi-media content delivery |
US20070257986A1 (en) * | 2006-05-05 | 2007-11-08 | Ivanov Yuri A | Method for processing queries for surveillance tasks |
US8239359B2 (en) * | 2008-09-23 | 2012-08-07 | Disney Enterprises, Inc. | System and method for visual search in a video media player |
US8515953B2 (en) * | 2011-11-29 | 2013-08-20 | Microsoft Corporation | Temporal visualization of query results |
CN103294813A (zh) * | 2013-06-07 | 2013-09-11 | 北京捷成世纪科技股份有限公司 | 一种敏感图片搜索方法和装置 |
US9898665B2 (en) * | 2015-10-29 | 2018-02-20 | International Business Machines Corporation | Computerized video file analysis tool and method |
US10445867B2 (en) * | 2016-07-13 | 2019-10-15 | The Boeing Company | System and method for generating enhanced stereographic videos of aircraft build processes |
EP3646583A4 (en) * | 2017-06-29 | 2021-07-14 | Open Space Labs, Inc. | AUTOMATED SPATIAL INDEXING OF IMAGES ON THE BASIS OF FLOOR PLAN FEATURES |
US10832437B2 (en) * | 2018-09-05 | 2020-11-10 | Rakuten, Inc. | Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence |
-
2020
- 2020-09-09 US US17/016,146 patent/US11386151B2/en active Active
-
2021
- 2021-04-09 CN CN202180041879.2A patent/CN116075818B/zh active Active
- 2021-04-09 EP EP21785155.9A patent/EP4133408A4/en active Pending
- 2021-04-09 JP JP2022562045A patent/JP7280450B2/ja active Active
- 2021-04-09 WO PCT/US2021/026668 patent/WO2021207664A1/en unknown
-
2022
- 2022-05-30 US US17/827,792 patent/US11734338B2/en active Active
-
2023
- 2023-06-30 US US18/346,007 patent/US20230342389A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268657A (ja) | 2000-03-21 | 2001-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体 |
JP2012141894A (ja) | 2011-01-05 | 2012-07-26 | Sharp Corp | 画像検索装置、画像検索方法およびプログラム |
US20120294477A1 (en) | 2011-05-18 | 2012-11-22 | Microsoft Corporation | Searching for Images by Video |
US20170064374A1 (en) | 2015-08-26 | 2017-03-02 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
JP2017215685A (ja) | 2016-05-30 | 2017-12-07 | 日本電信電話株式会社 | 仮想環境生成装置、仮想環境生成方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230342389A1 (en) | 2023-10-26 |
JP2023518916A (ja) | 2023-05-08 |
EP4133408A1 (en) | 2023-02-15 |
US20220292135A1 (en) | 2022-09-15 |
EP4133408A4 (en) | 2024-05-01 |
CN116075818B (zh) | 2024-07-05 |
US11386151B2 (en) | 2022-07-12 |
CN116075818A (zh) | 2023-05-05 |
US11734338B2 (en) | 2023-08-22 |
WO2021207664A1 (en) | 2021-10-14 |
US20210319228A1 (en) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10762698B2 (en) | Automated spatial indexing of images based on floorplan features | |
JP7280450B2 (ja) | ウォークスルービデオの画像検索 | |
US11638001B2 (en) | Automated spatial indexing of images to video | |
JP7280452B2 (ja) | 縮尺図と3次元モデルを用いた機械学習ベースのオブジェクト識別 | |
US11922591B2 (en) | Rendering depth-based three-dimensional model with integrated image frames | |
US12045936B2 (en) | Machine learning based object identification using scaled diagram and three-dimensional model | |
US20240233276A1 (en) | Interior/exterior building walkthrough image interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221207 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7280450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |