JP2019068429A - Imaging condition estimation apparatus and method, terminal device, computer program, and recording medium - Google Patents

Imaging condition estimation apparatus and method, terminal device, computer program, and recording medium Download PDF

Info

Publication number
JP2019068429A
JP2019068429A JP2018210520A JP2018210520A JP2019068429A JP 2019068429 A JP2019068429 A JP 2019068429A JP 2018210520 A JP2018210520 A JP 2018210520A JP 2018210520 A JP2018210520 A JP 2018210520A JP 2019068429 A JP2019068429 A JP 2019068429A
Authority
JP
Japan
Prior art keywords
image
information
photographing
imaging
absolute position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018210520A
Other languages
Japanese (ja)
Inventor
達也 織茂
Tatsuya Orimo
達也 織茂
宏美 武居
Hiromi Takei
宏美 武居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2018210520A priority Critical patent/JP2019068429A/en
Publication of JP2019068429A publication Critical patent/JP2019068429A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

To estimate an imaging condition relating to an image that is captured in the past.SOLUTION: Imaging condition estimation apparatuses (1, 2 and 3) include: first image acquisition means (11) for acquiring first image information that is information relating to a first image; second image acquisition means (11) for acquiring second image information that is information relating to a second image that images an object included in the first image; position information acquisition means (12) for acquiring absolute position information that is information relating to an absolute position of one imaging apparatus in the case where the object is imaged by the one imaging apparatus and the second image information is generated; and estimation means (13 and 20) for estimating at least an absolute position of the one imaging apparatus or another imaging apparatus in the case where an object is imaged by the one imaging apparatus or the other imaging apparatus and information to be a base of the first image is generated, on the basis of the first image information, the second image information and the absolute position information.SELECTED DRAWING: Figure 1

Description

本発明は、撮影画像の、例えば撮影位置、撮影方向、焦点距離等の撮影条件を推定する撮影条件推定装置及び方法、端末装置、コンピュータプログラム、並びに、該コンピュータプログラムが記録された記録媒体の技術分野に関する。   The present invention relates to a photographing condition estimation apparatus and method for estimating photographing conditions such as photographing position, photographing direction, focal distance, etc. of photographed image, terminal device, computer program, and technology of recording medium in which the computer program is recorded. About the field.

例えば非特許文献１乃至３に挙げたウェブページのように、ある地点から撮影された過去の画像と現在の画像とを比較しながら観賞したいというニーズがある。或いは、例えば非特許文献４等の映像作品で採り上げられた風景、又は雑誌や本に掲載された写真の風景を撮影したいというニーズがある。この際、特に、著名なカメラマンにより撮影された写真に写っている場所を、該写真の撮影条件（例えば撮影位置、撮影方向、焦点距離等）と同じ条件で撮影したいというニーズがある。   For example, as in the web pages listed in Non-Patent Documents 1 to 3, there is a need for viewing while comparing a past image taken from a certain point with a current image. Alternatively, for example, there is a need to shoot a landscape taken in a video work such as Non-Patent Document 4 or a landscape of a photograph published in a magazine or a book. At this time, in particular, there is a need to capture a place shown in a photograph taken by a famous photographer under the same conditions as the photographing conditions (for example, photographing position, photographing direction, focal length, etc.) of the photograph.

上記ニーズに応えるものとして、例えば、カメラの現在位置、方位及び姿勢を計測すると共に現在のレンズの焦点距離を検出し、該計測又は検出された情報と、過去に撮影された画像について記録された撮影位置情報、撮影方位情報、撮影姿勢情報及び焦点距離情報とを比較して、両者の差を表示する装置が提案されている（特許文献１参照）。   In order to meet the above needs, for example, the current position, orientation, and attitude of the camera are measured, and the focal length of the current lens is detected, and the measured or detected information and the image captured in the past are recorded. There has been proposed an apparatus for comparing the photographing position information, the photographing direction information, the photographing posture information and the focal distance information and displaying the difference between the two (see Patent Document 1).

特開２０１０−１８３１５０号公報JP, 2010-183150, A

ＰＡＯＳ、“西新宿定点観測”、［online］、［平成２６年４月２１日検索］、インターネット＜URL: http://www.paos.net/study/Shinjuku.html＞PAOS, “Nishi-Shinjuku Fixed-point Observation”, [online], [Search on April 21, 2014], Internet <URL: http://www.paos.net/study/Shinjuku.html> 株式会社内田洋行、“定点の杜”、［online］、［平成２６年４月２１日検索］、インターネット＜URL: http://teitennomori.uchida.co.jp/mori/＞Uchida Hiroyuki Co., Ltd., "Points of Fixed Point", [online], [Search on April 21, 2014], Internet <URL: http://teitennomori.uchida.co.jp/mori/> ウィキメディア財団、“定点観測”、［online］、［平成２６年４月２１日検索］、インターネット＜URL: http://ja.wikipedia.org/wiki/%E5%AE%9A%E7%82%B9%E8%A6%B3%E6%B8%AC＞Wikimedia Foundation, "fixed-point observation", [online], [search on April 21, 2014], Internet <URL: http://en.wikipedia.org/wiki/%E5%AE%9A%E7%82 % B 9% E 8% A 6% B 3% E 6% B 8% AC> 中野裕之、「極富士 〜風景撮影のプロが教える絶景ポイント厳選５４〜」（Blu-ray Disc）、ポニーキャニオン、２０１２年１１月７日Hiroyuki Nakano, "Peak Fuji-Amazing View Point Selection 54-by Landscape Professionals" (Blu-ray Disc), Pony Canyon, November 7, 2012

しかしながら、上述の特許文献１に記載の技術では、過去に撮影された画像についての撮影条件が既知である必要がある。すると、撮影条件が不明な場合、ユーザが、過去に撮影された画像を見ながら、おおよその撮影位置及び撮影方向を推定し、更に、該画像と同様の画角となるように焦点距離を調整しなければならない、という技術的問題点がある。   However, in the technology described in Patent Document 1 described above, it is necessary to know the imaging conditions for the image captured in the past. Then, when the photographing conditions are unknown, the user estimates the approximate photographing position and photographing direction while looking at the image photographed in the past, and further adjusts the focal length so as to be the same angle of view as the image. There is a technical problem of having to

本発明は、例えば上記問題点に鑑みてなされたものであり、過去に撮影された画像についての撮影条件を推定することができる撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体を提供することを課題とする。   The present invention has been made in view of, for example, the above problems, and provides a photographing condition estimation apparatus and method, a terminal device, a computer program, and a recording medium capable of estimating photographing conditions for an image photographed in the past. To be a task.

本発明の請求項１に記載の撮影条件推定装置は、上記課題を解決するために、第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段と、前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定手段と、を備える。   According to a first aspect of the present invention, there is provided a photographing condition estimation device comprising: first image acquisition means for acquiring first image information, which is information related to a first image, in order to solve the problem; A second image acquisition unit for acquiring second image information which is information related to a second image obtained by photographing the contained object; and a case where the object is photographed by one photographing device and the second image information is generated Position information acquiring means for acquiring absolute position information that is information relating to the absolute position of the one photographing apparatus, and the acquired first image information, the acquired second image information, and the acquired absolute position The one photographing device when the object is photographed by the one photographing device or another photographing device different from the one photographing device based on the information and the information which is the source of the first image is generated Or the absolute position of the other imaging device Comprising an estimating means for Kutomo estimate, the.

本発明の請求項６に記載の端末装置は、上記課題を解決するために、第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である第１絶対位置情報を取得する位置情報取得手段と、前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された第１絶対位置情報を、外部装置へ送信する送信手段と、前記送信手段により送信された第１画像情報、第２画像情報及び第１絶対位置情報に基づいて、前記外部装置により推定された、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置に係る情報である第２絶対位置情報を前記外部装置から取得する推定結果取得手段と、前記取得された第２絶対位置情報を提示する提示手段と、を備える。   According to a sixth aspect of the present invention, there is provided a terminal device comprising: first image acquisition means for acquiring first image information, which is information related to a first image, in order to solve the above problem; A second image acquisition unit for acquiring second image information that is information related to a second image obtained by imaging the object; and the imaging device when the object is imaged by the one imaging device and the second image information is generated Position information acquiring means for acquiring first absolute position information which is information relating to the absolute position of the first photographing device, the acquired first image information, the acquired second image information, and the acquired first The transmitting means for transmitting absolute position information to an external device, and the first image estimated by the external device based on the first image information, the second image information, and the first absolute position information transmitted by the transmitting means. And the one imaging device A second absolute position which is information relating to the absolute position of the one imaging device or the other imaging device when the object is imaged by another different imaging device and the information which is the source of the first image is generated An estimation result acquiring unit that acquires information from the external device, and a presenting unit that presents the acquired second absolute position information.

本発明の請求項７に記載の撮影条件推定方法は、上記課題を解決するために、撮影条件推定装置によって使用される撮影条件推定方法であって、第１画像に係る情報である第１画像情報を取得する第１画像取得工程と、前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得工程と、一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得工程と、前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定工程と、を備える。   A photographing condition estimation method according to a seventh aspect of the present invention is a photographing condition estimation method used by the photographing condition estimation device to solve the above-mentioned problem, and is a first image relating to a first image. A first image acquiring step of acquiring information, a second image acquiring step of acquiring second image information which is information related to a second image obtained by photographing an object included in the first image, and one imaging device A position information acquiring step of acquiring absolute position information which is information relating to an absolute position of the one photographing apparatus when the object is photographed and the second image information is generated, and the acquired first image information And the first image is captured by the other imaging device different from the one imaging device or the one imaging device based on the acquired second image information and the acquired absolute position information. Generate information that is the source of And a estimation process at least estimate the absolute position of the one imaging device or the other imaging apparatus when.

本発明の請求項８に記載のコンピュータプログラムは、上記課題を解決するために、コンピュータを、第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段と、前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定手段と、として機能させる。   A computer program according to claim 8 of the present invention, in order to solve the above problems, a computer, a first image acquisition means for acquiring first image information which is information related to a first image, and the first image A second image acquisition unit that acquires second image information that is information related to a second image obtained by imaging the object included in the image; and the second image information is generated by imaging the object by one imaging device Position information acquiring means for acquiring absolute position information, which is information relating to the absolute position of the one imaging apparatus at a time, the acquired first image information, the acquired second image information, and the acquired absolute information The one photographing when the object is photographed by the one photographing device or another photographing device different from the one photographing device based on the position information and the information which is the source of the first image is generated Device or said other And estimating means for at least estimate the absolute position of the shadow device, to function as a.

本発明の請求項９に記載の記録媒体は、上記課題を解決するために、本発明のコンピュータプログラムが記録されている。   The computer program of the present invention is recorded in the recording medium according to claim 9 of the present invention in order to solve the above-mentioned problems.

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。   The operation and other advantages of the present invention will be apparent from the embodiments to be described below.

第１実施例に係る撮影条件推定装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a photographing condition estimation device according to a first example. 第１実施例に係る撮影条件推定処理を示すフローチャートである。It is a flowchart which shows the imaging condition estimation process which concerns on 1st Example. ＳｆＭ技術を説明するためのフローチャートである。It is a flowchart for demonstrating SfM technique. 第１実施例の第１変形例に係る撮影条件推定処理を示すフローチャートである。It is a flowchart which shows the imaging condition estimation process which concerns on the 1st modification of 1st Example. 第１実施例の第２変形例に係る撮影条件推定処理を示すフローチャートである。It is a flowchart which shows the imaging condition estimation process which concerns on the 2nd modification of 1st Example. 第２実施例に係る撮影条件推定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging condition estimation apparatus which concerns on 2nd Example. 第２実施例に係る撮影条件推定処理を示すフローチャートである。It is a flowchart which shows the imaging condition estimation process which concerns on 2nd Example. 第３実施例に係る撮影条件推定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging condition estimation apparatus which concerns on 3rd Example.

本発明の撮影条件推定装置等に係る各実施形態について説明する。   Each embodiment concerning the photography condition estimating device etc. of the present invention is described.

（撮影推定装置）
実施形態に係る撮影条件推定装置は、第１画像取得手段、第２画像取得手段、位置情報取得手段及び推定手段を備えて構成されている。 (Shooting estimation device)
The imaging condition estimation apparatus according to the embodiment is configured to include a first image acquisition unit, a second image acquisition unit, a position information acquisition unit, and an estimation unit.

第１画像取得手段は、第１画像に係る情報である第１画像情報を取得する。ここで、「第１画像」は、例えば国会議事堂、東京駅等の既知の撮影対象物を含む画像ではあるが、当該撮影条件推定装置のユーザが、その撮影地点を知らない画像である。   The first image acquisition means acquires first image information which is information related to the first image. Here, the “first image” is an image including a known photographing object such as, for example, a National Assembly Building, Tokyo Station, but an image in which the user of the photographing condition estimation device does not know the photographing point.

「第１画像情報」は、第１画像が、例えばデジタルカメラ等の電子撮影装置により対象物が撮影されたことにより生成されたデジタルデータが、例えばモニタ等の表示装置の画面上に表示された画像である場合の該デジタルデータに限らず、第１画像が、例えば印画紙等の紙に印刷された画像（例えば写真）である場合に、該画像が、例えばスキャナ等を介してデジタル化されたデータをも含む概念である。   In the "first image information", digital data generated by capturing an object with a first image, for example, an electronic photographing device such as a digital camera, is displayed on a screen of a display device such as a monitor Not only the digital data in the case of an image but also the first image is an image (eg, a photograph) printed on a sheet of paper such as printing paper, the image is digitized, for example, via a scanner or the like. It is a concept that also includes

第２画像取得手段は、第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する。尚、第１画像に複数の物体が含まれている場合、「対象物」は、当該撮影条件推定装置のユーザが所望する撮影対象物を意味する。つまり、第２画像情報は、典型的には、ユーザが対象物を撮影することにより生成された情報である。   The second image acquisition means acquires second image information which is information related to a second image obtained by photographing an object included in the first image. When a plurality of objects are included in the first image, the “target object” means a shooting target desired by the user of the shooting condition estimation apparatus. That is, the second image information is typically information generated by the user photographing an object.

位置情報取得手段は、例えばデジタルカメラ等である一の撮影装置により対象物が撮影され第２画像情報が生成された時の該一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する。   The position information acquisition means acquires absolute position information which is information relating to the absolute position of the one photographing device when the object is photographed by the one photographing device such as a digital camera and the second image information is generated. Do.

このような絶対位置情報は、撮影時に、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、例えばモバイルデータ通信等の通信機能を用いた位置情報サービス、等により取得すればよい。取得された絶対位置情報は、第２画像情報と対応付けられて又は該第２画像情報の一部として記録される。位置情報取得手段は、第２画像取得手段により第２画像情報が取得された際に、該取得された第２画像情報に対応付けられた絶対位置情報又は該取得された第２画像情報の一部としての絶対位置情報を取得する。   Such absolute position information may be acquired, for example, by GPS (Global Positioning System), for example, a position information service using a communication function such as mobile data communication, at the time of shooting. The acquired absolute position information is recorded in association with the second image information or as a part of the second image information. When the second image information is acquired by the second image acquisition unit, the position information acquisition unit may use absolute position information associated with the acquired second image information or one of the acquired second image information. Get absolute position information as a part.

例えばメモリ、プロセッサ等を備えてなる推定手段は、取得された第１画像情報、取得された第２画像情報及び取得された絶対位置情報に基づいて、一の撮影装置又は該一の撮影装置とは異なる他の撮影装置により対象物が撮影され第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置を少なくとも推定する。   For example, the estimation unit comprising a memory, a processor, etc. is based on the acquired first image information, the acquired second image information, and the acquired absolute position information, and one imaging apparatus or one imaging apparatus At least estimates the absolute position of the one imaging device or the other imaging device when the object is imaged by another different imaging device and the information that is the source of the first image is generated.

「第１画像の元となる情報」は、一の撮影装置又は他の撮影装置が、例えばフィルムカメラ等である場合の写真フィルムに記録された光情報、或いは、該一の撮影装置又は他の撮影装置が、例えばデジタルカメラ等の電子撮影装置である場合のデジタルデータ（例えば、ＲＡＷ画像、ＪＰＥＧ画像等）、等である。   The “information that is the source of the first image” is light information recorded on a photographic film when one photographing device or another photographing device is, for example, a film camera, or the one photographing device or the other For example, digital data (for example, a RAW image, a JPEG image, and the like) when the imaging device is an electronic imaging device such as a digital camera, and the like.

推定手段は、具体的には例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）等の公知の技術を用いて、第１画像情報及び第２画像情報から、第１画像の元となる情報が生成された時の一の撮影装置又は他の撮影装置の、第２画像情報が生成された時の該一の撮影装置の位置に対する、相対的な位置を求める。その後、推定装置は、該求められた相対的な位置と、第２画像情報が生成された時の該一の撮影装置に係る絶対位置情報と、に基づいて、第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置を推定する。   More specifically, the estimation means uses, for example, a known technique such as SfM (Structure from Motion) to generate information on the basis of the first image from the first image information and the second image information. The position of one imaging device or another imaging device relative to the position of the one imaging device when the second image information is generated is determined. Thereafter, the estimation device generates information on the basis of the first image based on the determined relative position and the absolute position information of the one imaging device when the second image information is generated. Estimate the absolute position of the one imaging device or another imaging device when

例えばＳｆＭ等の公知技術では、複数の画像に夫々対応する複数の撮影地点間の相対的な位置関係等は推定可能であるが、スケールを復元することができないので、撮影地点の実際の位置を推定することが不可能である。しかるに本実施形態では、上述の如く、第２画像情報が生成された時の該一の撮影装置に係る絶対位置情報が用いられることにより、スケールが復元される。従って、本実施形態に係る撮影条件推定装置によれば、第１画像の元となる情報が生成された時の一の撮影装置又は他の撮影装置の絶対位置（即ち、撮影地点）を推定することができる。   For example, in the known technique such as SfM, although relative positional relationships among a plurality of shooting points respectively corresponding to a plurality of images can be estimated, the scale can not be restored. It is impossible to estimate. However, in the present embodiment, as described above, the scale is restored by using the absolute position information related to the one imaging device when the second image information is generated. Therefore, according to the photographing condition estimation device according to the present embodiment, the absolute position (that is, the photographing point) of one photographing device or another photographing device when the information which is the source of the first image is generated is estimated. be able to.

第１画像に対応する撮影地点が少なくともわかれば、上述の如く、撮影対象物は既知であるので、例えば撮影方向や焦点距離等を調節することは比較的容易である。尚、ＳｆＭを用いれば、上記相対的な位置と共に、例えば撮影方向や焦点距離情報も求められる。   If at least the shooting point corresponding to the first image is known, as described above, since the shooting target is known, it is relatively easy to adjust, for example, the shooting direction and the focal length. Incidentally, if SfM is used, for example, shooting direction and focal length information can be obtained along with the relative position.

以上の結果、本実施形態に係る撮影条件推定装置によれば、過去に撮影され、撮影地点が未知な第１画像についての撮影条件を推定することができる。   As a result of the above, according to the imaging condition estimation device according to the present embodiment, it is possible to estimate the imaging conditions for the first image which is imaged in the past and whose imaging point is unknown.

実施形態に係る撮影条件推定装置の一態様では、推定手段は、取得された第１画像情報及び取得された第２画像情報に基づいて、第１画像及び第２画像各々の特徴点を取得する特徴点取得手段を有し、該取得された特徴点に基づいて、第１画像の元となる情報が生成された時及び第２画像情報が生成された時各々における一の撮影装置又は他の撮影装置の相対位置、撮影方向及び焦点距離を少なくとも含む撮影条件を算出し、該算出された撮影条件と、取得された絶対位置情報とに基づいて、第１画像の元となる情報が生成された時の絶対位置を推定する。   In one aspect of the imaging condition estimation apparatus according to the embodiment, the estimation unit acquires feature points of each of the first image and the second image based on the acquired first image information and the acquired second image information. One imaging device or another in each of the time when the information that is the origin of the first image is generated and the time when the second image information is generated based on the acquired feature points. The imaging condition including at least the relative position of the imaging device, the imaging direction, and the focal distance is calculated, and the information that is the source of the first image is generated based on the calculated imaging condition and the acquired absolute position information. Estimate the absolute position of

この態様によれば、比較的容易にして、第１画像の元となる情報が生成された時の絶対位置を含む撮影条件を推定することができ、実用上非常に有利である。   According to this aspect, it is possible to estimate the imaging conditions including the absolute position when the original information of the first image is generated relatively easily, which is extremely useful in practice.

尚、特徴点の取得（検出）には、例えばＳＩＦＴ、Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｉｏｎ、ＳＵＲＦ、ＦＡＳＴ等の公知の技術を適用可能であるので、その詳細についての説明は割愛する。   In addition, for example, known techniques such as SIFT, Harris Corner Detection, SURF, FAST and the like can be applied to acquisition (detection) of feature points, and thus the detailed description thereof will be omitted.

実施形態に係る撮影条件推定装置の他の態様では、第２画像取得手段は、対象物を夫々撮影した複数の第２画像に夫々対応する複数の第２画像情報を取得し、位置情報取得手段は、一の撮影装置により対象物が撮影され複数の第２画像情報が夫々生成された時の一の撮影装置の絶対位置に夫々対応する複数の絶対位置情報を取得する。   In another aspect of the imaging condition estimation apparatus according to the embodiment, the second image acquisition unit acquires a plurality of second image information respectively corresponding to a plurality of second images obtained by imaging an object respectively, and position information acquisition unit A plurality of pieces of absolute position information respectively corresponding to the absolute positions of the one imaging device when the object is photographed by the one imaging device and the plurality of pieces of second image information are respectively generated are acquired.

この態様によれば、第１画像の元となる情報が生成された時の絶対位置の推定精度を向上させることができ、実用上非常に有利である。   According to this aspect, it is possible to improve the estimation accuracy of the absolute position when the information that is the source of the first image is generated, which is extremely advantageous in practice.

実施形態に係る撮影条件推定装置の他の態様では、推定された第１画像の元となる情報が生成された時の一の撮影装置又は他の撮影装置の絶対位置を少なくとも提示する提示手段を更に備える。   In another aspect of the imaging condition estimation device according to the embodiment, a presentation unit that presents at least an absolute position of one imaging device or another imaging device when information that is a source of the estimated first image is generated Furthermore, it has.

この態様によれば、当該撮影条件推定装置のユーザに対し、推定結果を、比較的容易に提示することができ、実用上非常に有利である。   According to this aspect, the estimation result can be presented relatively easily to the user of the imaging condition estimation apparatus, which is extremely advantageous in practice.

実施形態に係る撮影条件推定装置の他の態様では、当該撮影条件推定装置の現在位置を計測する位置計測手段と、該計測された現在位置に基づいて、ユーザを、推定された第１画像の元となる情報が生成された時の一の撮影装置又は他の撮影装置の絶対位置まで誘導する誘導手段と、を更に備える。   In another aspect of the imaging condition estimation device according to the embodiment, the user of the first image estimated based on the position measuring unit that measures the current position of the imaging condition estimation device and the measured current position And a guiding means for guiding to an absolute position of one imaging device or another imaging device when the original information is generated.

この態様によれば、当該撮影条件推定装置のユーザを、推定結果に従って誘導することができ、実用上非常に有利である。   According to this aspect, it is possible to guide the user of the imaging condition estimation device according to the estimation result, which is extremely advantageous in practice.

尚、誘導手段には、例えばナビゲーションサービス等の公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。   In addition, since various known aspects such as a navigation service can be applied to the guiding means, for example, the description of the details thereof will be omitted.

（端末装置）
実施形態に係る端末装置は、第１画像取得手段、第２画像取得手段、位置情報取得手段、送信手段、推定結果取得手段及び提示手段を備えて構成されている。 (Terminal device)
The terminal device according to the embodiment includes a first image acquisition unit, a second image acquisition unit, a position information acquisition unit, a transmission unit, an estimation result acquisition unit, and a presentation unit.

第１画像取得手段は、第１画像に係る情報である第１画像情報を取得する。第２画像取得手段は、第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する。位置情報取得手段は、一の撮影装置により対象物が撮影され第２画像情報が生成された時の該一の撮影装置の絶対位置に係る情報である第１絶対位置情報を取得する。   The first image acquisition means acquires first image information which is information related to the first image. The second image acquisition means acquires second image information which is information related to a second image obtained by photographing an object included in the first image. The position information acquisition means acquires first absolute position information which is information relating to the absolute position of the one photographing device when the one object photographing device captures an object and the second image information is generated.

送信手段は、取得された第１画像情報、取得された第２画像情報及び取得された第１絶対位置情報を外部装置へ送信する。ここで、「外部装置」は、当該端末装置と異なる装置であればよく、例えば当該端末装置とフラットケーブル等により接続された装置、或いは、例えば当該端末装置とネットワークを介して接続されたサーバ装置、等である。   The transmitting means transmits the acquired first image information, the acquired second image information, and the acquired first absolute position information to an external device. Here, the “external device” may be any device different from the terminal device, for example, a device connected to the terminal device by a flat cable or the like, or a server device connected to the terminal device via the network, for example , Etc.

推定結果取得手段は、送信手段により送信された第１画像情報、第２画像情報及び第１絶対位置情報に基づいて、外部装置により推定された、一の撮影装置又は該一の撮影装置とは異なる他の撮影装置により対象物が撮影され第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置に係る情報である第２絶対位置情報を外部装置から取得する。   The estimation result acquisition unit is one imaging device or one imaging device estimated by the external device based on the first image information, the second image information, and the first absolute position information transmitted by the transmission unit. The second absolute position information, which is information relating to the absolute position of the one imaging device or the other imaging device when the object is imaged by another different imaging device and the information that is the origin of the first image is generated Acquire from the device.

提示手段は、取得された第２絶対位置情報を提示する。   The presentation means presents the acquired second absolute position information.

本実施形態に係る端末装置によれば、上述した実施形態に係る撮影条件推定装置と同様に、過去に撮影された第１画像についての撮影条件を推定することができる。尚、本実施形態に係る端末装置においても、上述した実施形態に係る撮影条件推定装置における各種態様と同様の各種態様を採ることができる。   According to the terminal device according to the present embodiment, it is possible to estimate the photographing conditions for the first image photographed in the past, as in the photographing condition estimation device according to the above-described embodiment. The terminal device according to the present embodiment can also adopt various aspects similar to the various aspects of the photographing condition estimation device according to the above-described embodiment.

（撮影条件推定方法）
実施形態に係る撮影条件推定方法は、撮影条件推定装置によって使用される撮影条件推定方法である。 (Imaging condition estimation method)
The imaging condition estimation method according to the embodiment is an imaging condition estimation method used by the imaging condition estimation device.

当該撮影条件推定方法は、第１画像に係る情報である第１画像情報を取得する第１画像取得工程と、該第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得工程と、一の撮影装置により対象物が撮影され第２画像情報が生成された時の該一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得工程と、取得された第１画像情報、取得された第２画像情報及び取得された絶対位置情報に基づいて、一の撮影装置又は該一の撮影装置とは異なる他の撮影装置により対象物が撮影され第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置を少なくとも推定する推定工程と、を備える。   The imaging condition estimation method includes: a first image acquiring step of acquiring first image information which is information related to a first image; and information related to a second image obtained by imaging an object included in the first image 2) A second image acquisition step of acquiring image information, and absolute position information which is information relating to an absolute position of the one imaging device when the object is photographed by the one imaging device and the second image information is generated One imaging device or another imaging device different from the one imaging device based on the acquired position information acquiring step, the acquired first image information, the acquired second image information, and the acquired absolute position information And E. estimating at least an absolute position of the one imaging device or another imaging device when the device captures an object and information that is a source of the first image is generated.

本実施形態に係る撮影条件推定方法によれば、上述した実施形態に係る撮影条件推定装置と同様に、過去に撮影された第１画像についての撮影条件を推定することができる。尚、本実施形態に係る撮影条件推定方法においても、上述した実施形態に係る撮影条件推定装置における各種態様と同様の各種態様を採ることができる。   According to the imaging condition estimation method according to the present embodiment, the imaging conditions for the first image captured in the past can be estimated as in the imaging condition estimation device according to the above-described embodiment. Also in the photographing condition estimation method according to the present embodiment, various aspects similar to the various aspects in the photographing condition estimation device according to the above-described embodiment can be adopted.

（コンピュータプログラム）
実施形態に係るコンピュータプログラムは、コンピュータを、第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、該第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、一の撮影装置により対象物が撮影され第２画像情報が生成された時の該一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段と、取得された第１画像情報、取得された第２画像情報及び取得された絶対位置情報に基づいて、一の撮影装置又は該一の撮影装置とは異なる他の撮影装置により対象物が撮影され第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置を少なくとも推定する推定手段と、として機能させる。 (Computer program)
A computer program according to an embodiment relates to a computer, a first image acquisition unit that acquires first image information that is information related to a first image, and a second image obtained by photographing an object included in the first image. Information relating to an absolute position of the one imaging device when a second image acquisition unit for acquiring second image information which is information and an object is photographed by one imaging device and the second image information is generated According to position information acquisition means for acquiring absolute position information, one imaging device or one imaging device based on the acquired first image information, acquired second image information and acquired absolute position information It functions as an estimation unit that at least estimates the absolute position of the one imaging device or the other imaging device when the object is captured by another different imaging device and the information that is the source of the first image is generated.

実施形態に係るコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤＶＤ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、撮影条件推定装置に備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した実施形態に係る撮影条件推定装置を比較的容易にして実現できる。これにより、上述した実施形態に係る撮影条件推定装置と同様に、過去に撮影された第１画像についての撮影条件を推定することができる。   According to the computer program of the embodiment, the recording medium such as a random access memory (RAM), a compact disc read only memory (CD-ROM), or a DVD read only memory (DVD-ROM) storing the computer program If the computer program is read and executed on a computer provided in the photographing condition estimation apparatus, or if the computer program is executed after being downloaded via the communication means, the photographing conditions according to the above-described embodiment The estimation device can be realized relatively easily. Thus, as in the imaging condition estimation apparatus according to the above-described embodiment, the imaging conditions for the first image captured in the past can be estimated.

上記、実施形態に係るコンピュータプログラムが格納されたＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等が、本発明の記録媒体に係る実施形態の一例である。   The CD-ROM, the DVD-ROM, etc. in which the computer program according to the embodiment is stored are an example of the embodiment according to the recording medium of the present invention.

本発明の撮影条件推定装置に係る実施例を、図面に基づいて説明する。   An embodiment according to a photographing condition estimation device of the present invention will be described based on the drawings.

＜第１実施例＞
実発明の撮影条件推定装置に係る第１実施例を、図１及び図２を参照して説明する。図１は、第１実施例に係る撮影条件推定装置の構成を示すブロック図である。図２は、第１実施例に係る撮影条件推定処理を示すフローチャートである。 First Embodiment
A first embodiment of the photographing condition estimation apparatus of the present invention will be described with reference to FIGS. 1 and 2. FIG. FIG. 1 is a block diagram showing the configuration of a photographing condition estimation apparatus according to the first embodiment. FIG. 2 is a flowchart showing photographing condition estimation processing according to the first embodiment.

図１において、撮影条件推定装置１は、過去に撮影された１枚の画像についての、撮影位置、撮影方向及び焦点距離を含む撮影条件を推定し、該画像と同一の撮影条件での撮影を支援する装置である。当該撮影条件推定装置１は、撮影画像取得手段１１、絶対位置取得手段１２、制御部１３及び記憶部１４を備えて構成されている。   In FIG. 1, the photographing condition estimation apparatus 1 estimates photographing conditions including a photographing position, photographing direction, and focal length for one image photographed in the past, and photographs under the same photographing conditions as the image. It is a supporting device. The photographing condition estimation apparatus 1 includes a photographed image acquisition unit 11, an absolute position acquisition unit 12, a control unit 13, and a storage unit 14.

本実施例では、当該撮影条件推定装置１は、例えばデジタルカメラ等の電子撮影装置に内蔵されている、又は該電子撮影装置に外付けされているものとする。   In this embodiment, it is assumed that the photographing condition estimation device 1 is built in an electronic photographing device such as a digital camera, or externally attached to the electronic photographing device.

撮影画像取得手段１１は、電子撮影装置により撮影された撮影画像を取得する。該撮影画像取得手段１１は、更に、ネットワークを介して、或いは、例えばフラッシュメモリ等の外部機器を介して、画像を取得可能に構成されている。   The photographed image acquisition unit 11 acquires a photographed image photographed by the electronic photographing device. The photographed image acquisition means 11 is further configured to be able to acquire an image through a network or, for example, through an external device such as a flash memory.

絶対位置取得手段は、例えばＧＰＳ、通信機能等により、当該撮影条件推定装置１の絶対位置を取得する。尚、絶対位置の取得方法については、公知の各種態様を適用であるので、その詳細についての説明は割愛する。   The absolute position acquisition unit acquires the absolute position of the imaging condition estimation device 1 by, for example, GPS, communication function, or the like. In addition, about the acquisition method of an absolute position, since well-known various aspects are application, the description about the detail is omitted.

制御部１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を有しており、記憶部１４に記録されている所定のプログラムに応じて処理を行う。尚、処理の具体的内容については後述する。   The control unit 13 includes, for example, a CPU (Central Processing Unit), and performs processing in accordance with a predetermined program recorded in the storage unit 14. The specific contents of the process will be described later.

記憶部１４は、例えばＲＯＭ、ＲＡＭ、ハードディスク等の各種メモリを有している。記憶部１４には、当該撮影条件推定装置１を制御するための各種制御プログラム等が格納されている。また、記憶部１４は、制御部１３に対してワーキングエリアを提供する。   The storage unit 14 includes, for example, various memories such as a ROM, a RAM, and a hard disk. The storage unit 14 stores various control programs and the like for controlling the imaging condition estimation apparatus 1. The storage unit 14 also provides a working area to the control unit 13.

本実施例に係る撮影条件推定装置１では、撮影画像取得手段１１により取得された撮影画像等の処理に、ＳｆＭを利用している。尚、ＳｆＭは、未知環境下で移動するロボット等の自己位置推定やマッピングに使用される場合には、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）やＶｉｓｕａｌ ＳＬＡＭと呼ばれることがある。   In the photographing condition estimation apparatus 1 according to the present embodiment, SfM is used for processing the photographed image and the like acquired by the photographed image acquiring unit 11. In addition, SfM may be called SLAM (Simultaneous Localization and Mapping) or Visual SLAM, when it is used for self-position estimation and mapping, such as a robot moving in an unknown environment.

ここで、ＳｆＭの概要について、図３のフローチャートを参照して説明を加える。   Here, the outline of SfM will be described with reference to the flowchart of FIG.

図３において、先ず、複数の撮影画像が取り込まれた後（ステップＳ９０１）、取り込まれた複数の撮影画像各々の特徴点が検出される（ステップＳ９０２）。次に、２枚の画像ペアの各特徴点を比較することにより、該特徴点のうち一致する特徴点が対応点として検出される（このような処理を、適宜“マッチング”と称する）（ステップＳ９０３）。   In FIG. 3, first, after a plurality of captured images are captured (step S901), feature points of each of the captured plurality of captured images are detected (step S902). Next, the feature points which match among the feature points are detected as corresponding points by comparing the feature points of the two image pairs (this process is referred to as “matching” as appropriate) (step S903).

尚、マッチングには、例えば近似最近傍探索（S. Arya et al. “An optimal algorithm for approximate nearest neighbor searching”, Journal of the AMC, 45, 6, pp.891-923 (1998)参照）等を適用可能である。   For matching, for example, approximate nearest neighbor search (see S. Arya et al. “An optimal algorithm for approximate nearest searching”, Journal of the AMC, 45, 6, pp. 891-923 (1998)), etc. It is applicable.

次に、検出された対応点から、２枚の画像ペアを撮影したカメラのカメラパラメータ（例えば基礎行列、基本行列、内部パラメータ等）が推定される（ステップＳ９０４）。尚、カメラパラメータの推定には、例えば８点アルゴリズム（“ディジタル画像処理” CG-ARTS協会、ISBN4-906665-47-0 p266参照）、ＤＬＴ法（Y.I. Abdel-Aziz et al. “Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry. In Proceedings of the Symposium on Close-Range Photogrammetry”, pp-1-18. American Society of Photogrammetry, Falls Church, 1971参照）等を適用可能である。   Next, camera parameters (for example, a base matrix, a base matrix, an internal parameter, etc.) of a camera that has captured two image pairs are estimated from the detected corresponding points (step S904). For estimation of camera parameters, for example, an 8-point algorithm ("Digital Image Processing" CG-ARTS Association, see ISBN 4-906665-47-0 p266), DLT method (YI Abdel-Aziz et al. "Direct linear transformation from In Proceedings of the Symposium on Close-Range Photogrammetry ", pp. 1-18. American Society of Photogrammetry, see Falls Church (1971), etc. can be applied.

次に、推定されたカメラパラメータに基づいて、カメラの位置及び姿勢が求められると共に（ステップＳ９０５）、被写体の特徴点の３次元位置が求められる（ステップＳ９０６）。尚、カメラの位置及び姿勢は、例えばカメラパラメータの一つである基本行列が、特異値分解（R. Hartley et al. “Mutiview Geometry in computer vision”, 2nd Edition, Cambridge University Press, 2004参照）により、回転行列と並進ベクトルとに分解されることにより求められてよい。   Next, based on the estimated camera parameters, the position and orientation of the camera are determined (step S905), and the three-dimensional position of the feature point of the subject is determined (step S906). The position and orientation of the camera can be determined, for example, by singular value decomposition (see R. Hartley et al. “Mutiview Geometry in computer vision”, 2nd Edition, Cambridge University Press, 2004), which is one of the camera parameters. , And may be determined by being decomposed into a rotation matrix and a translation vector.

ところで、このＳｆＭでは、カメラと被写体との間の相対位置やカメラ間（撮影地点間）の相対位置は推定可能であるが、スケールが復元されない。つまり、ＳｆＭでは、例えば被写体とカメラとの間の実際の距離が復元されない。   By the way, in this SfM, although the relative position between the camera and the subject and the relative position between the cameras (between the shooting points) can be estimated, the scale is not restored. That is, in SfM, for example, the actual distance between the subject and the camera is not restored.

他方、本実施例に係る撮影条件推定装置１では、ＳｆＭ技術に、距離情報（絶対的な位置情報）を併せることにより、カメラの絶対位置が推定される。   On the other hand, in the photographing condition estimation apparatus 1 according to the present embodiment, the absolute position of the camera is estimated by combining the distance information (absolute position information) with the SfM technology.

撮影条件推定装置１における撮影条件推定処理について、図２のフローチャートを参照して具体的に説明する。尚、撮影条件が推定される過去に撮影された画像（以降、適宜“過去画像”と称する）に含まれる撮影対象物の少なくとも一部は既知であるとする。   The imaging condition estimation process in the imaging condition estimation apparatus 1 will be specifically described with reference to the flowchart of FIG. In addition, it is assumed that at least a part of the imaging target object included in an image captured in the past (hereinafter, appropriately referred to as a “past image”) for which imaging conditions are estimated is known.

図２において、先ず、撮影画像取得手段１１は、過去画像を取り込む（ステップＳ１０１）。この結果、過去画像に係るデジタル情報である過去画像情報が生成される。ここで、過去画像が、印画紙にプリントされた写真である場合には、該写真がデジタル化された後に取り込まれ、デジタル画像である場合には、そのまま取り込まれる。   In FIG. 2, first, the captured image acquisition unit 11 captures a past image (step S101). As a result, past image information that is digital information related to the past image is generated. Here, if the past image is a photograph printed on printing paper, the photograph is taken after being digitized, and if it is a digital image, it is taken as it is.

尚、本実施例に係る「過去画像」及び「過去画像情報」は、夫々、本発明に係る「第１画像」及び「第１画像情報」の一例である。   The “past image” and the “past image information” according to the present embodiment are examples of the “first image” and the “first image information” according to the present invention, respectively.

次に、当該撮影条件推定装置１のユーザが、過去画像に含まれる撮影対象物と同一の撮影対象物を、該撮影対象物の周辺の複数個所において電子撮影装置を用いて撮影することにより、複数の画像情報（以降、適宜“周辺画像情報”と称する）が生成される（ステップＳ１０２）。この際、絶対位置取得手段１２は、例えばＧＰＳ情報や地図情報等から、各撮影地点の絶対位置を示す絶対位置情報を、対応する周辺画像情報と関連付けて記録する（ステップＳ１０３）。   Next, the user of the photographing condition estimation apparatus 1 photographs the same photographing object as the photographing object included in the past image at a plurality of locations around the photographing object using the electronic photographing device. A plurality of pieces of image information (hereinafter appropriately referred to as "nearby image information") are generated (step S102). At this time, the absolute position acquisition unit 12 records absolute position information indicating the absolute position of each shooting point, for example, from GPS information, map information, etc., in association with corresponding surrounding image information (step S103).

尚、本実施例に係る「周辺画像情報」は、本発明に係る「第２画像情報」の一例である。周辺画像情報に基づいて、例えばモニタ上に映し出される画像が、本発明に係る「第２画像」の一例である。   The “nearby image information” according to the present embodiment is an example of the “second image information” according to the present invention. An image displayed on a monitor, for example, based on surrounding image information is an example of the “second image” according to the present invention.

次に、撮影画像取得手段１１は、生成された複数の周辺画像情報を取り込む（ステップＳ１０４）。次に、制御部１３は、過去画像情報に対応する過去画像、及び複数の周辺画像情報により夫々対応する複数の周辺画像各々の特徴点を検出する（ステップＳ１０５）。ここで、特徴点の検出には、例えばＳＩＦＴ、Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｉｏｎ、ＳＵＲＦ、ＦＡＳＴ等の公知の技術を適用可能である。   Next, the photographed image acquisition means 11 takes in a plurality of generated peripheral image information (step S104). Next, the control unit 13 detects a feature point of each of a plurality of peripheral images corresponding respectively to the past image corresponding to the past image information and the plurality of peripheral image information (step S105). Here, known techniques such as SIFT, Harris Corner Detection, SURF, and FAST can be applied to the detection of feature points.

次に、制御部１３は、検出された特徴点に基づいて、過去画像及び複数の周辺画像各々の間で、特徴点の対応点マッチングを実施し、対応点を検出する（ステップＳ１０６）。続いて、制御部１３は、検出された対応点に基づいて、例えば８点アルゴリズム、ＤＬＴ法等により、カメラパラメータを推定する（ステップＳ１０７）。   Next, based on the detected feature points, the control unit 13 performs corresponding point matching of the feature points between the past image and the plurality of peripheral images, and detects corresponding points (step S106). Subsequently, the control unit 13 estimates camera parameters by, for example, an 8-point algorithm, DLT method, or the like based on the detected corresponding points (step S107).

次に、制御部１３は、推定されたカメラパラメータのうち基本行列を特異値分解により、回転行列と並進ベクトルに分解し、当該撮影条件推定装置１が内蔵されている若しくは外付けされている電子撮影装置又は該電子撮影装置とは異なる他の撮影装置により撮影対象物が撮影され過去画像の元となる情報が生成された時の（以降、適宜“過去画像の撮影時”と称する）該電子撮影装置又は他の撮影装置の相対的なカメラ位置及び姿勢、並びに、該電子撮影装置により該撮影対象物が撮影され複数の周辺画像情報が夫々生成された時の（以降、適宜、“周辺画像の撮影時”又は“複数の周辺画像各々の撮影時”と称する）該電子撮影装置の相対的なカメラ位置及び姿勢を求める。   Next, the control unit 13 resolves the basic matrix among the estimated camera parameters into a rotation matrix and a translation vector by singular value decomposition, and the electronic device in which the imaging condition estimation device 1 is built-in or externally attached The electronic device when an object to be photographed is photographed by a photographing device or another photographing device different from the electronic photographing device and information that is the origin of the past image is generated (hereinafter referred to as “when photographing past image” as appropriate) The relative camera position and orientation of the photographing device or another photographing device, and when the photographing object is photographed by the electronic photographing device and plural pieces of peripheral image information are respectively generated (hereinafter referred to as “neighboring image At the time of photographing of “or at the time of photographing of each of a plurality of peripheral images”, the relative camera position and posture of the electronic photographing device are obtained.

続いて、制御部１３は、各周辺画像情報に関連付けられた絶対位置情報と、求められた相対的なカメラ位置との関係から、スケールを復元し、過去画像の撮影時の絶対的なカメラ位置及び姿勢を求める（ステップＳ１０８）。   Subsequently, the control unit 13 restores the scale from the relationship between the absolute position information associated with each piece of peripheral image information and the calculated relative camera position, and the absolute camera position at the time of photographing of the past image And the attitude is obtained (step S108).

次に、制御部１３は、求められた過去画像の撮影時の絶対的なカメラ位置及び姿勢を、例えばモニタ（図示せず）上に表示して、ユーザに提示する（ステップＳ１０９）。この際、制御部１３は、例えばＧＰＳ情報、地図情報等を利用して、ユーザを、求められた過去画像の撮影時の絶対的なカメラ位置まで誘導する。   Next, the control unit 13 displays the obtained absolute camera position and posture at the time of photographing the past image, for example, on a monitor (not shown) and presents the same to the user (step S109). At this time, the control unit 13 guides the user to an absolute camera position at the time of shooting of the obtained past image, using, for example, GPS information, map information, and the like.

上記ステップＳ１０９の処理と並行して、制御部１３は、推定されたカメラパラメータのうち焦点距離（即ち、内部パラメータ）に基づいて、当該撮影条件推定装置１が内蔵されている若しくは外付けされている電子撮影装置に係る焦点距離（例えばズームレンズの焦点距離）を設定する（ステップＳ１１０）。   In parallel with the process of step S109, the control unit 13 incorporates or externally attaches the photographing condition estimation device 1 based on the focal length (that is, an internal parameter) of the estimated camera parameters. The focal length (for example, the focal length of the zoom lens) relating to the existing electronic photographing apparatus is set (step S110).

当該撮影条件推定装置１のユーザが、過去画像の撮影時の絶対的なカメラ位置に対応する地点に到達し、該ユーザが、提示された過去画像の撮影時のカメラ姿勢（カメラ方向）に従って、カメラを構えて又は三脚等の調整をして、撮影対象物を撮影した後（ステップＳ１１１）、制御部１３は、生成された新たな画像情報と過去画像情報とを比較する（ステップＳ１１２）。具体的には、制御部１３は、生成された新たな画像情報に対応する画像と、過去画像との対応する特徴点の位置の誤差の合計を算出する。   The user of the photographing condition estimation apparatus 1 reaches a point corresponding to the absolute camera position at the time of photographing of the past image, and the user follows the camera posture (camera direction) at the time of photographing of the past image presented. After holding the camera or adjusting the tripod or the like and photographing an object to be photographed (step S111), the control unit 13 compares the generated new image information with the past image information (step S112). Specifically, the control unit 13 calculates the sum of the errors of the positions of the corresponding feature points of the image corresponding to the generated new image information and the past image.

続いて、制御部１３は、算出された誤差の合計と誤差閾値とを比較する（ステップＳ１１３）。算出された誤差の合計が、誤差閾値以上であると判定された場合（ステップＳ１１３：非類似）、制御部１３は、生成された新たな画像情報に対応する画像が、過去画像と非類似であるとして、例えば再度の撮影を促すようなメッセージを提示する。この際、電子撮影装置の調整に係る情報（例えば、カメラの姿勢に係る情報等）が提示されてよい。   Subsequently, the control unit 13 compares the calculated sum of errors with the error threshold (step S113). When it is determined that the sum of the calculated errors is equal to or larger than the error threshold (step S113: dissimilar), the control unit 13 determines that the image corresponding to the generated new image information is dissimilar to the past image. If there is, for example, a message is presented to prompt the user to shoot again. At this time, information related to the adjustment of the electronic imaging device (for example, information related to the attitude of the camera) may be presented.

他方、算出された誤差の合計が、誤差閾値未満であると判定された場合（ステップＳ１１３：類似）、制御部１３は、生成された新たな画像情報に対応する画像を、過去画像の類似画像として、実際の撮影位置及び電子撮影装置の姿勢を決定すると共に（ステップＳ１１４）、生成された新たな画像情報を記録する（ステップＳ１１５）。   On the other hand, when it is determined that the total of the calculated errors is less than the error threshold (step S113: similar), the control unit 13 displays an image corresponding to the generated new image information as an image similar to the past image. While determining the actual photographing position and the attitude of the electronic photographing apparatus (step S114), the generated new image information is recorded (step S115).

本実施例に係る「撮影画像取得手段１１」は、本発明に係る「第１画像取得手段」及び「第２画像取得手段」の一例である。本実施例に係る「絶対位置取得手段１２」及び「制御部１３」は、夫々、本発明に係る「位置情報取得手段」及び「推定手段」の一例である。   The "captured image acquisition means 11" according to the present embodiment is an example of the "first image acquisition means" and the "second image acquisition means" according to the present invention. The “absolute position acquisition unit 12” and the “control unit 13” according to the present embodiment are examples of the “position information acquisition unit” and the “estimation unit” according to the present invention, respectively.

＜第１変形例＞
次に、本実施例の撮影条件推定装置の第１変形例について、図４のフローチャートを参照して説明する。 First Modified Example
Next, a first modification of the photographing condition estimation apparatus of the present embodiment will be described with reference to the flowchart of FIG.

図４において、上述したステップＳ１１５の処理の後、制御部１３が、生成された新たな画像情報に対応する画像（類似画像）と過去画像との対応点に係る情報に基づいて、生成された新たな画像情報に対応する画像に、微小な誤差がなくなるような画像変換を、生成された新たな画像情報に施す（ステップＳ２０１）。尚、このような画像変換には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。   In FIG. 4, after the process of step S115 described above, the control unit 13 is generated based on the information on the corresponding point between the image (similar image) corresponding to the generated new image information and the past image. Image conversion is performed on the image corresponding to the new image information so as to eliminate a minute error on the generated new image information (step S201). In addition, since various known aspects can be applied to such image conversion, the description of the details thereof will be omitted.

当該撮影条件推定装置１により求められた過去画像の撮影時の絶対的なカメラ位置及び姿勢に係る誤差や、ユーザが操作することに起因するズレ、等により、類似と判定された場合であっても、生成された新たな画像情報に対応する画像と過去画像との間にズレが生じることが多い。本変形例のように構成すれば、画像変換により上記ズレを解消することができるので、実用上非常に有利である。   The case where it is determined to be similar due to an error relating to an absolute camera position and orientation at the time of shooting of a past image obtained by the shooting condition estimation device 1 or a shift due to a user operation, etc. Also, a gap often occurs between the image corresponding to the generated new image information and the past image. If configured as in the present modification, the above-mentioned deviation can be eliminated by image conversion, which is extremely practical.

＜第２変形例＞
次に、本実施例の撮影条件推定装置の第２変形例について、図５のフローチャートを参照して説明する。 Second Modified Example
Next, a second modification of the photographing condition estimation apparatus of the present embodiment will be described with reference to the flowchart of FIG.

図５において、上述したステップＳ１１０の処理の後、過去画像の撮影時の絶対的なカメラ位置に対応する地点に到達したユーザが、提示された過去画像の撮影時のカメラ姿勢に従って、カメラを構えて又は三脚等の調整をして、撮影対象物を撮影する（ステップＳ３０１）。この際、所定期間（例えば数秒）分の連続した複数の画像情報が生成及び記録される（尚、電子撮影装置のシャッタは切られない）。   In FIG. 5, after the process of step S110 described above, the user who reaches the point corresponding to the absolute camera position at the time of shooting of the past image holds the camera according to the camera posture at the time of shooting of the presented past image. Or adjust the tripod or the like to photograph an object to be photographed (step S301). At this time, a plurality of continuous image information for a predetermined period (for example, several seconds) are generated and recorded (note that the shutter of the electronic photographing apparatus is not released).

次に、制御部１３は、生成された複数の画像情報に夫々対応する複数の画像各々の対応点と、過去画像の対応点とを比較し（ステップＳ１１３）、誤差の合計が誤差閾値未満の画像であって、誤差の合計が最も小さい画像に対応する画像情報を選択する（ステップＳ３０２）。尚、誤差の合計が誤差閾値未満である画像に対応する画像情報がない場合（ステップＳ１１３：非類似）、制御部１３は、例えば再度の撮影を促すようなメッセージを提示する。   Next, the control unit 13 compares the corresponding points of each of the plurality of images respectively corresponding to the plurality of generated image information with the corresponding points of the past image (step S113), and the total error is less than the error threshold The image information corresponding to the image which is the image with the smallest total error is selected (step S302). When there is no image information corresponding to the image whose sum of errors is less than the error threshold (step S113: dissimilar), the control unit 13 presents a message prompting, for example, another photographing.

このように構成すれば、撮影対象物が１枚撮影される毎に類似度判定が実施される場合に比べ、時間を短縮することができる。特に、時間的に連続した複数の画像情報が生成されるので、例えばユーザが操作することに起因するわずかなズレ等の影響を抑制することができ、実用上非常に有利である。   With this configuration, the time can be shortened compared to the case where similarity determination is performed each time one object to be photographed is photographed. In particular, since a plurality of temporally continuous image information are generated, it is possible to suppress the influence of a slight deviation or the like caused by the user's operation, for example, which is extremely advantageous in practical use.

＜第２実施例＞
本発明の撮影条件推定装置に係る第２実施例について、図６及び図７を参照して説明する。第２実施例では、周辺画像情報の取得方法が異なる以外は、上述した第１実施例と同様である。よって、第２実施例について、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図６及び図７を参照して説明する。図６は、第２実施例に係る撮影条件推定装置の構成を示すブロック図である。図７は、第２実施例に係る撮影条件推定処理を示すフローチャートである。 Second Embodiment
A second embodiment according to the photographing condition estimation device of the present invention will be described with reference to FIGS. 6 and 7. The second embodiment is the same as the first embodiment described above except that the method of acquiring the surrounding image information is different. Therefore, in the second embodiment, the description overlapping with the first embodiment will be omitted, and the same reference numerals will be given to the common portions in the drawings, and FIGS. Refer to the description. FIG. 6 is a block diagram showing the configuration of a photographing condition estimation apparatus according to the second embodiment. FIG. 7 is a flowchart showing photographing condition estimation processing according to the second embodiment.

図６において、撮影条件推定装置２は、撮影画像取得手段１１、絶対位置取得手段１２、制御部１３、記憶部１４及び通信部１５を備えて構成されている。   In FIG. 6, the photographing condition estimation device 2 includes a photographed image acquisition unit 11, an absolute position acquisition unit 12, a control unit 13, a storage unit 14, and a communication unit 15.

通信部１５は、典型的には、無線通信により、例えばインターネット等の広域ネットワークに接続可能に構成されている。通信部１５には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。   The communication unit 15 is typically configured to be connectable to a wide area network such as the Internet by wireless communication. Since various known aspects can be applied to the communication unit 15, the detailed description thereof will be omitted.

図７において、撮影画像取得手段１１により、過去画像が取り込まれ、該過去画像に係るデジタル情報である過去画像情報が生成された後（ステップＳ１０１）、制御部１３は、通信部１５を介して、広域ネットワーク上に存在する、過去画像に含まれる撮影対象物を撮影した複数の画像を検索する（ステップＳ４０１）。続いて、制御部１３は、検索された複数の画像に対応する画像情報を周辺画像情報として取り込む（ステップＳ１０４）。   In FIG. 7, after the past image is fetched by the photographed image acquisition unit 11 and past image information which is digital information related to the past image is generated (step S 101), the control unit 13 via the communication unit 15. A plurality of images obtained by capturing an object to be captured included in the past image, which are present on a wide area network, are searched (step S401). Subsequently, the control unit 13 takes in image information corresponding to the plurality of searched images as peripheral image information (step S104).

ステップＳ１０５乃至Ｓ１０７の処理により、過去画像及び複数の周辺画像各々に係るカメラパラメータが推定された後、制御部１３は、過去画像に含まれる撮影対象物に係る３次元形状を取得する（ステップＳ４０２）。ここで、「３次元形状」は、上述したステップＳ１０５乃至Ｓ１０７の処理（即ち、ＳｆＭに係る処理）において生成された、複数の特徴点各々の３次元位置を意味する。「３次元形状の取得」は公知技術であるので、その詳細についての説明は割愛する。   After the camera parameters relating to the past image and the plurality of peripheral images are estimated by the processing in steps S105 to S107, the control unit 13 acquires a three-dimensional shape relating to the imaging target object included in the past image (step S402). ). Here, “three-dimensional shape” means the three-dimensional position of each of a plurality of feature points generated in the process of steps S105 to S107 (that is, the process related to SfM) described above. As "acquisition of three-dimensional shape" is a known technique, the description of the details thereof is omitted.

続いて、制御部１３は、当該撮影条件推定装置２のユーザにより入力された、過去画像に含まれる撮影対象物のスケール情報（例えば大きさ、高さ等）を取得する（ステップＳ４０３）。   Subsequently, the control unit 13 acquires scale information (for example, size, height, and the like) of the imaging target object included in the past image, which is input by the user of the imaging condition estimation device 2 (step S403).

次に、制御部１３は、推定されたカメラパラメータ、取得された被写体の３次元形状及びスケール情報に基づいて、過去画像の撮影時の絶対的なカメラ位置と及び姿勢を求める（ステップＳ１０９）。   Next, the control unit 13 obtains an absolute camera position and posture at the time of photographing of the past image based on the estimated camera parameter, the acquired three-dimensional shape of the subject, and the scale information (step S109).

このように構成すれば、ユーザ自身が撮影対象物をその周辺において撮影することに伴う該ユーザの負担を軽減することができ、実用上非常に有利である。   With this configuration, it is possible to reduce the burden on the user when the user shoots an object to be photographed around the object, which is extremely advantageous in practical use.

＜第３実施例＞
本発明の撮影条件推定装置に係る第３実施例について、図８を参照して説明する。第３実施例では、撮影条件推定装置（システム）が、ネットワークを介して互いに接続された端末装置及びサーバ装置を備えて構成されている以外は、上述した第１実施例と同様である。よって、第３実施例について、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図８を参照して説明する。図８は、第３実施例に係る撮影条件推定装置の構成を示すブロック図である。 Third Embodiment
A third embodiment of the photographing condition estimation apparatus of the present invention will be described with reference to FIG. The third embodiment is the same as the first embodiment described above except that the photographing condition estimation device (system) is configured to include a terminal device and a server device connected to each other via a network. Therefore, in the third embodiment, the description overlapping with the first embodiment is omitted, and the same reference numerals are given to the common portions in the drawings, and only the fundamentally different points are described with reference to FIG. explain. FIG. 8 is a block diagram showing the configuration of a photographing condition estimation apparatus according to the third embodiment.

図８において、撮影条件推定システム３は、例えばインターネット等の広域ネットワーク及び／又は例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の挟域ネットワークである、ネットワーク３０を介して互いに接続された端末装置１０とサーバ装置２０とを備えて構成されている。   In FIG. 8, the photographing condition estimation system 3 is a terminal device 10 and a server device connected to each other via a network 30, which is a wide area network such as the Internet and / or a narrow area network such as a LAN (Local Area Network). And 20 are configured.

端末装置１０は、撮影画像取得手段１１、絶対位置取得手段１２、制御部１３、記憶部１４及び通信部１５を備えて構成されている。   The terminal device 10 includes a photographed image acquisition unit 11, an absolute position acquisition unit 12, a control unit 13, a storage unit 14, and a communication unit 15.

当該撮影条件推定システム３における撮影条件推定処理は、基本的には、上述した図２のフローチャートより示される撮影条件推定処理と同様である。   The photographing condition estimation process in the photographing condition estimation system 3 is basically the same as the photographing condition estimation process shown by the flowchart of FIG. 2 described above.

具体的には、端末装置１０の撮影画像取得手段１１は、過去画像を取り込み、過去画像情報が生成される（ステップＳ１０１）。次に、撮影画像取得手段１１は、端末装置１０のユーザが、過去画像に含まれる撮影対象物と同一の撮影対象物を、該撮影対象物の周辺の複数個所において撮影することにより生成された複数の周辺画像情報を取り込む（ステップＳ１０４）。   Specifically, the photographed image acquisition means 11 of the terminal device 10 takes in a past image, and past image information is generated (step S101). Next, the photographed image acquiring unit 11 is generated by the user of the terminal device 10 photographing the same photographing object as the photographing object included in the past image at a plurality of locations around the photographing object. A plurality of pieces of peripheral image information are fetched (step S104).

次に、制御部１３は、取得された過去画像情報及び複数の周辺画像情報、並びに、該複数の周辺画像情報に夫々対応する絶対位置情報を、通信部１５及びネットワーク３０を介してサーバ装置２０に送信する。   Next, the control unit 13 transmits the acquired past image information and a plurality of peripheral image information, and the absolute position information respectively corresponding to the plurality of peripheral image information to the server device 20 via the communication unit 15 and the network 30. Send to

次に、サーバ装置２０は、送信された過去画像情報及び複数の周辺画像情報、並びに、該複数の周辺画像情報に夫々対応する絶対位置情報から、過去画像の撮影時の絶対的なカメラ位置及び姿勢を求める（ステップＳ１０５〜Ｓ１０８）。サーバ装置２０は、該求められた絶対的なカメラ位置及び姿勢に係る情報を、ネットワーク３０を介して、端末装置１０に送信する。   Next, based on the transmitted past image information and a plurality of peripheral image information, and the absolute position information respectively corresponding to the plurality of peripheral image information, the server device 20 obtains an absolute camera position and a position at the time of photographing the past image. The posture is obtained (steps S105 to S108). The server device 20 transmits information on the obtained absolute camera position and attitude to the terminal device 10 via the network 30.

次に、端末装置１０の制御部１３は、送信された絶対的なカメラ位置及び姿勢に係る情報に基づいて、過去画像の撮影時の絶対的なカメラ位置及び姿勢を、例えばモニタ（図示せず）上に表示して、ユーザに提示する（ステップＳ１０９）。   Next, based on the transmitted information on the absolute camera position and attitude, the control unit 13 of the terminal device 10 monitors, for example, the absolute camera position and attitude at the time of shooting of the past image. ) To display to the user (step S109).

本実施例に係る「通信部１５」は、本発明に係る「送信手段」及び「推定結果取得手段」の一例である。本実施例に係る「サーバ装置２０」は、本発明に係る「外部装置」の一例である。   The “communication unit 15” according to the present embodiment is an example of the “transmission unit” and the “estimation result acquisition unit” according to the present invention. The “server apparatus 20” according to the present embodiment is an example of the “external apparatus” according to the present invention.

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮影条件推定装置及び方法、コンピュータプログラム並びに記録媒体もまた本発明の技術的範囲に含まれるものである。   The present invention is not limited to the above-described embodiment, but can be appropriately modified without departing from the scope or spirit of the invention as can be read from the claims and the specification as a whole. An apparatus and method, a computer program and a recording medium are also included in the technical scope of the present invention.

１、２…撮影条件推定装置、３…撮影条件推定システム、１０…端末装置、１１…撮影画像取得手段、１２…絶対位置取得手段、１３…制御部、１４…記憶部、１５…通信部、２０…サーバ装置、３０…ネットワーク   1, 2 ... photographing condition estimation device, 3 ... photographing condition estimation system, 10 ... terminal device, 11 ... photographed image acquisition means, 12 ... absolute position acquisition means, 13 ... control unit, 14 ... storage unit, 15 ... communication unit, 20: Server unit, 30: Network

Claims (1)

第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、
前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、
一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段と、
前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定手段と、
を備えることを特徴とする撮影条件推定装置。 A first image acquisition unit that acquires first image information that is information related to a first image;
A second image acquisition unit that acquires second image information that is information related to a second image obtained by capturing an object included in the first image;
Position information acquiring means for acquiring absolute position information which is information relating to an absolute position of the one imaging device when the object is photographed by the one imaging device and the second image information is generated;
Based on the acquired first image information, the acquired second image information, and the acquired absolute position information, the target is acquired by the other imaging apparatus different from the one imaging apparatus or the one imaging apparatus Estimating means for at least estimating an absolute position of the one photographing apparatus or the other photographing apparatus when an object is photographed and information that is a source of the first image is generated;
An imaging condition estimation apparatus comprising:
JP2018210520A 2018-11-08 2018-11-08 Imaging condition estimation apparatus and method, terminal device, computer program, and recording medium Pending JP2019068429A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018210520A JP2019068429A (en) 2018-11-08 2018-11-08 Imaging condition estimation apparatus and method, terminal device, computer program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018210520A JP2019068429A (en) 2018-11-08 2018-11-08 Imaging condition estimation apparatus and method, terminal device, computer program, and recording medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014115833A Division JP2015231101A (en) 2014-06-04 2014-06-04 Imaging condition estimation apparatus and method, terminal device, computer program and recording medium

Publications (1)

Publication Number Publication Date
JP2019068429A true JP2019068429A (en) 2019-04-25

Family

ID=66340002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018210520A Pending JP2019068429A (en) 2018-11-08 2018-11-08 Imaging condition estimation apparatus and method, terminal device, computer program, and recording medium

Country Status (1)

Country Link
JP (1) JP2019068429A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021181977A (en) * 2020-06-04 2021-11-25 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド Method and apparatus for visual positioning based on mobile edge computing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183150A (en) * 2009-02-03 2010-08-19 Hoya Corp Camera capable of fixed-point shooting
JP2011215973A (en) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd Scene matching reference data generation system and position measurement system
JP2013042250A (en) * 2011-08-12 2013-02-28 Sony Corp Imaging apparatus and imaging method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183150A (en) * 2009-02-03 2010-08-19 Hoya Corp Camera capable of fixed-point shooting
JP2011215973A (en) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd Scene matching reference data generation system and position measurement system
JP2013042250A (en) * 2011-08-12 2013-02-28 Sony Corp Imaging apparatus and imaging method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021181977A (en) * 2020-06-04 2021-11-25 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド Method and apparatus for visual positioning based on mobile edge computing

Similar Documents

Publication Publication Date Title
US9565364B2 (en) Image capture device having tilt and/or perspective correction
KR102143456B1 (en) Depth information acquisition method and apparatus, and image collection device
EP3134870B1 (en) Electronic device localization based on imagery
KR101990073B1 (en) Method and apparatus for shooting and storing multi-focused image in electronic device
WO2018142496A1 (en) Three-dimensional measuring device
JP2015231101A (en) Imaging condition estimation apparatus and method, terminal device, computer program and recording medium
KR100982192B1 (en) A Method for Geo-tagging of Pictures and Apparatus thereof
US8937669B2 (en) Image processing apparatus, control method thereof, and program
JP6304244B2 (en) 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program
JPWO2015068470A1 (en) 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program
JP5625844B2 (en) Imaging method and imaging system
JP2019068429A (en) Imaging condition estimation apparatus and method, terminal device, computer program, and recording medium
JP6210807B2 (en) Display control device and control method of display control device
KR101598399B1 (en) System for combining images using coordinate information of roadview image
JP6625654B2 (en) Projection device, projection method, and program
WO2015087315A1 (en) Methods and systems for remotely guiding a camera for self-taken photographs
JP2005286747A (en) Text information providing apparatus and text information providing method
JP2011182341A (en) Imaging device and method of controlling imaging device
JP2008064970A (en) Camera photographing support system
JP2004354234A (en) Camera calibration method for photogrammetry
JP2004242288A (en) Video reproducing apparatus and video recording and reproducing apparatus
KR20190056650A (en) Method for controlling PTZ camera using values obtained by analyzing images obtained from a fixed camera
JP2020043528A (en) Image processing apparatus, control method thereof, and program
JP2018005611A (en) Information processing equipment
JP2015022630A (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200414