JP7148648B2 - 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法 - Google Patents

撮影システム、撮影箇所設定装置、撮影装置及び撮影方法 Download PDF

Info

Publication number
JP7148648B2
JP7148648B2 JP2020571115A JP2020571115A JP7148648B2 JP 7148648 B2 JP7148648 B2 JP 7148648B2 JP 2020571115 A JP2020571115 A JP 2020571115A JP 2020571115 A JP2020571115 A JP 2020571115A JP 7148648 B2 JP7148648 B2 JP 7148648B2
Authority
JP
Japan
Prior art keywords
location
imaging
image
shooting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020571115A
Other languages
English (en)
Other versions
JPWO2020162264A1 (ja
Inventor
誠 與那覇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020162264A1 publication Critical patent/JPWO2020162264A1/ja
Application granted granted Critical
Publication of JP7148648B2 publication Critical patent/JP7148648B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、撮影システム、撮影箇所設定装置、撮影装置及び撮影方法に係り、特に撮影対象の一部に設定された特定の撮影箇所を撮影する撮影システム、撮影箇所設定装置、撮影装置及び撮影方法に関する。
橋梁等の構造物の点検を支援する技術として、構造物の表面を撮影した画像からひび割れ等の損傷を自動で検出する技術が知られている。この場合、点検用の画像には、パノラマ合成した画像が用いられることが多い。
パノラマ合成した画像を生成する場合、対象を漏れなく撮影する必要がある。しかし、対象が広範囲になると、撮り漏れが生じたり、一部で画質の悪い画像が撮影されたりする場合がある。このような場合は、該当領域の撮り直しが行われる。
しかし、広大な現場で撮り直し箇所を正確に特定して撮影するのは難しい。特に、撮り直しを指示する者と、現場で実際に撮影する者とが異なる場合には、撮影者側に必要な情報を上手く伝えることが難しく、撮り直しの作業に多大な労力を要していた。
特許文献1には、このような撮り直しの作業を支援する技術として、特定の箇所を撮影するために必要な支援情報を生成し、撮影者に通知することが提案されている。支援情報は、少なくとも撮影位置及び撮影方向の情報を含み、撮影者は、この支援情報を基に撮影位置及び撮影方法を調整して、撮影を実施する。
特開2012-160904号公報
しかしながら、特許文献1の技術は、撮影する際に撮影位置及び撮影方向を正確に計測しながら撮影しなければならないという欠点がある。また、それを実現するために、撮影装置側に高度な計測手段が必要になるという欠点もある。
本発明は、このような事情に鑑みてなされたもので、撮影対象の特定箇所を簡単に撮影できる撮影システム、撮影箇所設定装置、撮影装置及び撮影方法を提供することを目的とする。
上記課題を解決するための手段は次のとおりである。
(1)第1表示部と、撮影対象の画像を取得する撮影対象画像取得部と、撮影対象の画像を第1表示部に表示させる表示制御部と、撮影対象の画像内で撮影箇所を設定する撮影箇所設定部と、設定された撮影箇所の所在を示す情報を生成する所在情報生成部と、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して、参照画像を生成する参照画像生成部と、を備えた撮影箇所設定装置と、撮影部と、撮影箇所の所在を示す情報及び参照画像を取得する撮影用情報取得部と、撮影箇所の所在を示す情報に基づいて、撮影箇所の撮影をガイドする第1ガイド部と、撮影部で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部と、参照画像検出部の検出結果に基づいて、撮影箇所の撮影をガイドする第2ガイド部と、を備えた撮影装置と、を備えた撮影システム。
(2)撮影装置は、第2表示部を更に備え、第2ガイド部は、撮影部で撮影される画像をライブビュー画像として第2表示部にリアルタイムに表示し、かつ、参照画像が検出された場合は、参照画像の領域を示す情報をライブビュー画像に重ねて表示する、上記(1)の撮影システム。
(3)第2ガイド部は、参照画像が検出された場合に、参照画像の領域を示す枠をライブビュー画像に重ねて表示する、上記(2)の撮影システム。
(4)第2ガイド部は、参照画像の一部が検出された場合と参照画像の全体が検出された場合とで枠の表示態様を替える、上記(3)の撮影システム。
(5)第2ガイド部は、参照画像の一部が検出された場合と参照画像の全体が検出された場合とで枠の色を替える、上記(4)の撮影システム。
(6)第1ガイド部は、撮影箇所の所在を示す情報を第2表示部に表示させる、上記(2)から(5)のいずれか一の撮影システム。
(7)撮影装置は、撮影部が搭載された無人機と、無人機及び撮影部を遠隔操作する遠隔操作部と、を更に備える上記(1)から(6)のいずれか一の撮影システム。
(8)第1ガイド部は、撮影箇所の所在を示す情報に基づいて、撮影箇所を撮影可能な位置まで無人機の移動をガイドするガイド情報を生成し、撮影装置は、第1ガイド部で生成されるガイド情報に従って、無人機の移動を制御する移動制御部を更に備える、上記(7)の撮影システム。
(9)第2ガイド部は、参照画像検出部の検出結果に基づいて、撮影箇所が撮影される位置に無人機をガイドするガイド情報を生成し、撮影装置は、第2ガイド部で生成されるガイド情報に従って、無人機の位置を自動で調整する自動調整部を更に備える、上記(7)又は(8)の撮影システム。
(10)無人機が、撮影部の撮影方向を変更する撮影方向変更部を備え、第2ガイド部は、参照画像検出部の検出結果に基づいて、無人機の位置及び/又は撮影部の撮影方向をガイドする情報を生成し、撮影装置は、第2ガイド部で生成されるガイド情報に従って、無人機の位置及び/又は撮影部の撮影方向を自動で調整する自動調整部を更に備える、上記(7)又は(8)の撮影システム。
(11)撮影箇所設定装置は、撮影対象の画像が表示された第1表示部の画面上で撮影箇所を指定する撮影箇所指定部を更に備え、撮影箇所設定部は、撮影箇所指定部で指定された箇所を撮影箇所に設定する、上記(1)から(10)のいずれか一の撮影システム。
(12)撮影箇所指定部は、撮影箇所とする箇所の中心を指定して、撮影箇所を指定する、上記(11)の撮影システム。
(13)撮影箇所指定部は、撮影箇所とする箇所を囲む領域を指定して、撮影箇所を指定する、上記(11)の撮影システム。
(14)撮影箇所設定装置は、撮影対象の画像から再撮影が必要な個所を検出する再撮影箇所検出部を更に備え、撮影箇所設定部は、再撮影箇所検出部で検出された箇所を撮影箇所に設定する、上記(1)から(10)のいずれか一の撮影システム。
(15)再撮影箇所検出部は、画像が欠けた領域、及び/又は、画質が規定の基準以下の領域を再撮影が必要な個所として検出する、上記(14)の撮影システム。
(16)参照画像生成部は、撮影箇所を中心として一定範囲の画像を撮影対象の画像から切り出して参照画像を生成する、上記(1)から(15)のいずれか一の撮影システム。
(17)所在情報生成部は、撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングした画像を生成する、上記(1)から(16)のいずれか一の撮影システム。
(18)所在情報生成部は、撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングし、かつ、規定のサイズに縮小した画像を生成する、上記(17)の撮影システム。
(19)撮影対象が複数の区域に区分けされ、かつ、各区域に番地が割り当てられている場合において、所在情報生成部は、撮影箇所の所在を示す情報として、撮影箇所に設定された個所が存在する区域の番地の情報を生成する、上記(1)から(16)のいずれか一の撮影システム。
(20)撮影対象が構造物である場合において、所在情報生成部は、撮影箇所の所在を示す情報として、撮影箇所に設定された個所の地球上の位置の情報を生成する、上記(1)から(16)のいずれか一の撮影システム。
(21)撮影対象画像取得部が取得する撮影対象の画像は、複数枚の画像をパノラマ合成した画像である、上記(1)から(20)のいずれか一の撮影システム。
(22)第1表示部と、撮影対象の画像を取得する撮影対象画像取得部と、撮影対象の画像を第1表示部に表示させる表示制御部と、撮影対象の画像内で撮影箇所を設定する撮影箇所設定部と、設定された撮影箇所の所在を示す情報を生成する所在情報生成部と、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して、参照画像を生成する参照画像生成部と、を備えた撮影箇所設定装置。
(23)撮影部と、撮影対象に対して設定された撮影箇所の所在を示す情報、及び、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して生成された参照画像を取得する撮影用情報取得部と、撮影箇所の所在を示す情報に基づいて、撮影箇所の撮影をガイドする第1ガイド部と、撮影部で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部と、参照画像検出部の検出結果に基づいて、撮影箇所の撮影をガイドする第2ガイド部と、を備えた撮影装置。
(24)撮影対象に対して設定された撮影箇所の所在を示す情報、及び、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して生成された参照画像を取得するステップと、撮影箇所の所在を示す情報に基づいて、撮影箇所の撮影をガイドするステップと、撮影画像から参照画像をリアルタイムに検出するステップと、参照画像の検出結果に基づいて、撮影箇所の撮影をガイドするステップと、を備えた撮影方法。
(25)撮影対象の画像を取得するステップと、撮影対象の画像内で撮影箇所を設定するステップと、設定された撮影箇所の所在を示す情報を生成するステップと、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して、参照画像を生成するステップと、を更に備えた上記(24)の撮影方法。
本発明によれば、撮影対象の特定箇所を簡単に撮影できる。
本発明に係る撮影システムの第1の実施形態のシステム構成を示す図 撮影箇所設定装置として機能するコンピュータの概略構成を示すブロック図 撮影箇所設定装置が有する主な機能のブロック図 デジタルカメラの概略構成を示すブロック図 ガイド機能を実現する構成のブロック図 橋梁を下から見た斜視図 パノラマ合成する場合の格間の撮影手順の一例を示す図 分割撮影の撮影結果の一例を示す図 図8の撮影結果に基づいて生成されるパノラマ合成画像の一例を示す図 撮影箇所設定装置の処理の手順を示すフローチャート 撮影対象の画像のディスプレイへの表示の一例を示す図 マーキング画像の一例を示す図 参照画像の生成の概念図 撮影ガイドモードに設定された場合のデジタルカメラの処理の手順を示すフローチャート 撮影ガイドモードに設定された場合のデジタルカメラの処理の手順を示すフローチャート マーキング画像のディスプレイへの表示の一例を示す図 参照画像が画角内に収まっている場合の検出枠の表示の一例を示す図 参照画像が画角内に収まっていない場合の検出枠の表示の一例を示す図 撮影箇所とする領域を枠で囲って撮影箇所を指定する場合の一例を示す図 撮影箇所とする領域を枠で囲って撮影箇所を指定する場合の一例を示す図 撮影箇所を自動設定する場合の撮影箇所設定装置の機能ブロック図 撮影対象への番地の割り当て一例を示す概念図 番地の情報を利用した所在情報の生成の概念図 番地情報を利用したガイド方法の一例を示す図 撮影箇所のGPS情報と現在地のGPS情報を表示する場合の一例を示す図 本発明に係る撮影システムの第2の実施形態のシステム構成を示す図 コントローラの電気的構成を示すブロック図 ガイド機能を実現する構成のブロック図 自動撮影を実現するための構成のブロック図
以下、添付図面に従って本発明の好ましい実施の形態について説明する。
[第1の実施の形態]
[撮影システム]
図1は、本発明に係る撮影システムの第1の実施形態のシステム構成を示す図である。
本実施の形態の撮影システムは、撮影対象の一部に設定された撮影箇所をピンポイントで撮影するためのシステムとして構成される。特に、本実施の形態の撮影システムは、手動で撮影するシステムとして構成される。
図1に示すように、撮影システムは、撮影箇所を設定するための撮影箇所設定装置10と、設定された撮影箇所を撮影するためのデジタルカメラ100と、を備える。デジタルカメラ100は、撮影装置の一例である。
撮影箇所設定装置10及びデジタルカメラ100は、相互に通信可能に構成される。撮影箇所設定装置10とデジタルカメラ100との間の通信は、近距離無線通信(たとえば、NFC(Near Field Communication)規格、BlueTooth(登録商標)、WiFi(Wireless Fidelity)等の近距離無線通信規格に沿った通信)で行われる。あるいは、通信ネットワークを介して行われる。この通信ネットワークは、たとえば、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信網及び各基地局、並びに、インターネットによって構築される。
[撮影箇所設定装置]
撮影箇所設定装置10は、ユーザから撮影箇所の指定を受け付けて撮影箇所を設定する機能、及び、設定された撮影箇所をデジタルカメラ100で撮影するために必要な情報を生成する機能を有する。
撮影箇所設定装置10は、コンピュータで構成される。すなわち、コンピュータが所定のプログラム(撮影箇所設定プログラム)を実行することにより、撮影箇所設定装置として機能する。
図2は、撮影箇所設定装置として機能するコンピュータの概略構成を示すブロック図である。なお、同図は、撮影箇所設定装置10が、タブレット型コンピュータで構成される場合の例を示している。
同図に示すように、撮影箇所設定装置10は、全体の動作を制御するCPU(Central Processing Unit)11、基本入出力プログラム等を記憶したROM(Read Only Memory)12、CPU11のワークエリアとして使用されるRAM(Random Access Memory)13、CPU11が実行するオペレーティングシステムを含む各種プログラム及び各種データを記憶したEEPROM(Electrically Erasable and Programmable ROM)14、ディスプレイ15、ディスプレイ画面へのタッチ操作を検出するタッチパネル16、GPS(Global Positioning Systems)衛星又は屋内GPSとしてのIMES(Indoor MEssaging System)によって撮影箇所設定装置10の位置情報(緯度、経度及び高度)を含んだGPS信号を受信するGPS受信部17、撮影レンズ及びイメージセンサを含み、画像を電子的に撮影するカメラ部18、マイクロフォンを含み、音声を入力するマイク部19、スピーカを含み、音声を出力するスピーカ部20、アンテナ21Aを利用して最寄りの基地局と無線で通信する通信部21、アンテナ22Aを利用して外部機器と近距離無線通信する近距離無線通信部22、地磁気センサ、ジャイロコンパス、加速度センサ等の各種センサを含むセンサ部23、メモリカード25へのデータの読み書きを行うメディアドライブ24等を備える。
なお、本実施の形態の撮影箇所設定装置10において、ディスプレイ15は第1表示部の一例であり、タッチパネル16は、撮影箇所指定部の一例である。
図3は、撮影箇所設定装置が有する主な機能のブロック図である。
撮影箇所設定装置10は、撮影対象の画像を取得する撮影対象画像取得部30A、ディスプレイ15の表示を制御する表示制御部30B、撮影箇所を設定する撮影箇所設定部30C、設定された撮影箇所の所在を示す情報を生成する所在情報生成部30D、参照画像を生成する参照画像生成部30E、及び、撮影箇所の所在を示す情報及び参照画像をデジタルカメラ100に送信する撮影用情報送信処理部30Fの機能を有する。各部の機能は、CPU11が所定のプログラム(撮影箇所設定プログラム)を実行することにより実現される。
撮影対象画像取得部30Aは、撮影対象の画像を取得する。この画像は、撮影対象の全景の画像である。また、撮影対象を分割撮影して、パノラマ合成した場合には、パノラマ合成後の画像が取得される。撮影対象画像取得部30Aは、通信部21又は近距離無線通信部22を介して、外部機器(たとえば、サーバ等)から撮影対象の画像を取得する。あるいは、メディアドライブ24を介してメモリカード25から撮影対象の画像を取得する。
表示制御部30Bは、ディスプレイ15の表示を制御する。表示制御部30Bは、表示制御部の一例である。表示制御部30Bは、撮影対象画像取得部30Aで取得された撮影対象の画像をディスプレイ15に表示させる。
撮影箇所設定部30Cは、撮影対象の画像内で撮影箇所を設定する。設定される撮影箇所は、撮影対象の一部分である。撮影箇所設定部30Cは、タッチパネル16からの入力に基づいて、撮影箇所を設定する。すなわち、撮影対象の画像が表示されたディスプレイ15の画面上でタッチされた箇所を撮影箇所に設定する。
撮影箇所は点又は領域で指定する。たとえば、比較的小さな領域を撮影箇所とする場合は点で指定する。一方、比較的大きな領域を撮影箇所として指定する場合は、領域を指定する。点で指定する場合は、撮影箇所とする領域の中心(ほぼ中心と認められる範囲を含む)をタッチして、撮影箇所を指定する。領域で指定する場合は、撮影箇所とする領域の周囲を囲うようにタッチして、撮影箇所を指定する。
所在情報生成部30Dは、撮影箇所設定部30Cで設定された撮影箇所の所在を示す情報を生成する。本実施の形態では、撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングした画像を生成する。マーキングの形態は、特に限定されない。設定された撮影箇所が画像内で認識できる形態のものであればよい。たとえば、設定された撮影箇所を矢印で示したり、設定された撮影箇所を枠で囲ったりして、設定された撮影箇所の所在を示す形態を採用できる。
参照画像生成部30Eは、設定された撮影箇所と、その周辺を含む画像を撮影対象の画像から切り出して、参照画像を生成する。たとえば、撮影箇所が点で指定された場合は、指定された点を中心とした一定範囲の画像(たとえば、指定された点を中心とした一定サイズの矩形領域の画像)を撮影対象の画像から切り出して、参照画像を生成する。また、たとえば、撮影箇所が領域で指定された場合は、指定された領域を囲う矩形領域の画像を撮影対象の画像から切り出して、参照画像を生成する。このように、参照画像は、周辺の正常な画像(撮影の成功した解像度の高い画像)を含める形で生成される。
撮影用情報送信処理部30Fは、所在情報生成部30Dで生成された撮影箇所の所在を示す情報及び参照画像生成部30Eで生成された参照画像をデジタルカメラ100に送信する。撮影用情報送信処理部30Fは、通信部21又は近距離無線通信部22を介して、撮影箇所の所在を示す情報及び参照画像をデジタルカメラ100に送信する。
[デジタルカメラ]
デジタルカメラ100は、通常の撮影及び再生機能に加えて、撮影箇所設定装置10で設定された撮影箇所の撮影をガイドする機能を有する。
図4は、デジタルカメラの概略構成を示すブロック図である。
同図に示すように、デジタルカメラ100は、撮影レンズ110、イメージセンサ112、アナログ信号処理部114、デジタル信号処理部116、メディアドライブ118、背面モニタ122、近距離無線通信部124、通信部126、ストロボ128、マイクロフォン130、スピーカ132、音声信号処理部134、カメラ操作部136、カメラマイコン140等を備える。
撮影レンズ110は、被写体の光学像をイメージセンサ112の受光面上に結像させる。撮影レンズ110は、焦点調節機能及びズーム機能を有する。焦点調節機能及びズーム機能は、レンズ駆動部110Aに駆動されて動作する。また、撮影レンズ110は、絞り及びシャッタを有する。絞り及びシャッタは、レンズ駆動部110Aに駆動されて動作する。レンズ駆動部110Aは、カメラマイコン140からの指令に応じて、撮影レンズ110の各部を駆動する。
イメージセンサ112は、たとえば、CCDイメージセンサ(CCD:Charge Coupled Device)、CMOSイメージセンサ(CMOS:Complementary Metal Oxide Semiconductor)等の二次元の固体撮像素子で構成される。イメージセンサ112は、センサ駆動部112Aに駆動されて動作する。センサ駆動部112Aは、カメラマイコン140からの指令に応じて、イメージセンサ112を駆動する。
本実施の形態のデジタルカメラ100では、撮影レンズ110及びイメージセンサ112が撮影部を構成する。
アナログ信号処理部114は、イメージセンサ112から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理(たとえば、相関二重サンプリング処理、増幅処理等)を施し、デジタル化して出力する。
デジタル信号処理部116は、アナログ信号処理部114から出力されるデジタルの画像信号を取り込み、所定の信号処理(たとえば、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、同時化処理、YC変換処理等)を施して、画像データを生成する。
メディアドライブ118は、メモリカード120にデータを読み書きする。メディアドライブ118は、カメラマイコン140からの指令に応じて、メモリカード120にデータを読み書きする。
背面モニタ122は、たとえば、液晶ディスプレイ(Liquid Crystal Display;LCD)で構成される。背面モニタ122は、カメラボディの背面に備えられる。背面モニタ122は、第2表示部の一例である。背面モニタ122の表示は、カメラマイコン140で制御される。カメラマイコン140は、モニタドライバ122Aを介して、背面モニタ122の表示を制御する。
近距離無線通信部124は、アンテナ124Aを利用して、外部機器(撮影箇所設定装置10等)と近距離無線で通信する。
通信部126は、アンテナ126Aを利用して、最寄りの基地局と無線で通信する。
ストロボ128は、光源として、たとえば、キセノン管、LED(Light Emitting Diode)等を備え、その光源を発光させて、被写体にストロボ光を照射する。ストロボ128は、ストロボ発光制御部128Aを介して、その発光がカメラマイコン140によって制御される。
マイクロフォン130は、外部の音声を集音する。スピーカ132は、外部に音声を出力する。音声信号処理部134は、マイクロフォン130から入力される音声信号に所定の信号処理を施し、デジタル化して出力する。また、音声信号処理部134は、カメラマイコン140から与えられる音声データに所定の信号処理を施して、スピーカ132から出力させる。
カメラ操作部136は、電源ボタン、レリーズボタン、ズームキー、メニューボタン、OKボタン、キャンセルボタン、十字ボタン、モード切替えスイッチ等の各種操作部材、及び、その信号処理回路を含み、各操作部材の操作に基づく信号をカメラマイコン140に出力する。
カメラマイコン140は、デジタルカメラ100の全体の動作を統括制御する制御部である。カメラマイコン140は、CPU、ROM及びRAMを備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、各部の制御部等として機能する。
上記のように、デジタルカメラ100は、通常の撮影及び再生機能に加えて、撮影箇所設定装置10で設定された撮影箇所の撮影をガイドする機能を有する。通常の撮影及び再生機能については、一般的なデジタルカメラが有するものと同じである。したがって、ここでは、ガイド機能について説明する。
図5は、ガイド機能を実現する構成のブロック図である。
同図に示すように、デジタルカメラ100のガイド機能は、主として、撮影箇所の所在を示す情報及び参照画像を取得する撮影用情報取得部140Aと、撮影箇所の所在を示す情報(所在情報)に基づいて、撮影箇所の撮影をガイドする第1ガイド部140Bと、撮影レンズ110を通してイメージセンサ112で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部140Cと、参照画像検出部140Cの検出結果に基づいて、撮影箇所の撮影をガイドする第2ガイド部140Dと、で実現される。各部は、カメラマイコン140が、所定のプログラムを実行することにより実現される。
撮影用情報取得部140Aは、撮影箇所設定装置10から所在情報及び参照画像を取得する。撮影用情報取得部140Aは、たとえば、通信部126を介して、撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。あるいは、近距離無線通信部124を介して、撮影箇所設定装置10と近距離無線通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。取得された所在情報は、第1ガイド部140Bに加えられ、参照画像は、参照画像検出部140Cに加えられる。
第1ガイド部140Bは、所在情報に基づいて、撮影箇所の撮影をガイドする。上記のように、本実施の形態の撮影システムでは、所在情報が所定のマーキング画像で構成される。すなわち、撮影対象の画像に撮影箇所をマーキングした画像で構成される。第1ガイド部140Bは、このマーキング画像を背面モニタ122に表示させて、撮影箇所の撮影をガイドする。撮影者は、この背面モニタ122に表示されたマーキング画像を見ることにより、撮影箇所の大まかな位置を把握する。
参照画像検出部140Cは、撮影レンズ110を通してイメージセンサ112で撮影された画像から参照画像と一致する領域をリアルタイムに検出する。この種の画像認識の技術は、公知であるので、その詳細については説明を省略する(たとえば、参照画像及び撮影画像から特徴点を抽出し、その比較により、撮影画像から参照画像の領域を検出する手法など種々の手法を採用できる。)。
第2ガイド部140Dは、参照画像検出部140Cの検出結果に基づいて、撮影箇所の撮影をガイドする。本実施の形態では、撮影レンズ110を通してイメージセンサ112で撮影された画像をライブビュー画像として背面モニタ122にリアルタイムに表示し、かつ、参照画像が検出された場合は、その参照画像の領域を示す情報をライブビュー画像に重ねて表示することにより、撮影箇所の撮影をガイドする。より具体的には、参照画像の領域を示す枠(検出枠)をライブビュー画像に重ねて表示することにより、撮影箇所の撮影をガイドする。この際、第2ガイド部140Dは、撮影画像中に参照画像の一部が検出された場合と参照画像の全体が検出された場合とで枠の表示態様を替えて表示する。より具体的には、撮影画像中に参照画像の一部が検出された場合は、赤色の枠で表示する。一方、撮影画像中に参照画像の全体が検出された場合は、青色の枠で表示する。撮影者は、画角内に枠が収まるように、撮影アングル等を調整して、撮影を実施する。これにより、指定された撮影箇所を正確に撮影できる。
[撮影方法]
次に、本実施の形態の撮影システムを用いた撮影方法について説明する。
ここでは、撮影対象を分割撮影して、パノラマ合成する場合において、一部を撮り直す場合を例に説明する。また、ここでは、橋梁の床版を撮影する場合を例に説明する。特に、点検を目的として、床版を撮影する場合を例に説明する。
[橋梁]
まず、橋梁について説明する。
図6は、橋梁を下から見た斜視図である。
本例の橋梁1は、主桁2、横桁3、対傾構4、横構5及び床版6を備えた立体的構造を有しており、これらの部材が、ボルト、リベット、溶接等で連結された構造を有している。主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、鉄筋コンクリート製のものが一般的である。主桁2は、橋台又は橋脚の間に渡されて、床版6上の車輌等の荷重を支える部材である。主桁2は、床版6の面(水平面)と直交する面(鉛直方向の面)を有する。横桁3は、主桁2を連結する部材である。横桁3は、荷重を複数の主桁2で支持するために備えられる。対傾構4及び横構5は、主桁2を相互に連結する部材である。対傾構4及び横構5は、それぞれ風及び地震の横荷重に抵抗するために備えられる。
点検を目的とした床版6の撮影は、格間単位で実施される。格間は、床版6において、主桁2及び横桁3によって区分けされる一区画である。したがって、点検を目的とした床版6の撮影では、格間が撮影対象とされ、格間単位で分割撮影されて、パノラマ合成される。
[格間の撮影]
次に、パノラマ合成する場合の格間の撮影方法について説明する。
図7は、パノラマ合成する場合の格間の撮影手順の一例を示す図である。
パノラマ合成する場合は、撮影対象を複数の領域に分割し、複数回に分けて撮影する(いわゆる分割撮影)。図7において、符号Aで示す破線の枠は、一回の撮影範囲を示す枠である。図7に示す例では、y方向及びx方向に順次移動しながら、格間7内の各領域を撮影する様子を示している
撮影者(点検技術者)は、床版6に対して正対し、一定距離から撮影することを基本とする。また、隣り合う撮影領域において、互いに一部が重なり合うように撮影することを基本とする。
[パノラマ合成]
撮影により得られた複数枚の画像は、パノラマ合成されて1枚の画像とされる。パノラマ合成の技術自体は、公知であるので、その詳細についての説明は省略する。たとえば、画像同士の対応点を検出して、画像を繋ぎ合わせ、1枚の画像に合成する。この際、必要に応じて、各画像に拡縮補正、あおり補正及び回転補正等の補正を施す。
図8は、分割撮影の撮影結果の一例を示す図である。同図において、符号Bで示す破線の枠は、一回の撮影で得られた画像の範囲を示す枠である。同図に示すように、本例では、撮り漏らした箇所Pが存在する。
図9は、図8の撮影結果に基づいて生成されるパノラマ合成画像の一例を示す図である。なお、同図では、合成した各画像を破線で示している。同図に示すように、撮り漏らしがあると、撮り漏らした箇所Pが欠けた画像(一部が不足した画像)が、パノラマ合成画像PIとして生成される。
このような撮り漏らしは、通常、パノラマ合成後に判明する。撮り漏らしが判明した場合は、撮り漏らした箇所Pを再撮影し、再度合成処理を行う。以下、本実施の形態の撮影システムを用いて、撮り漏らした箇所を再撮影する手順について説明する。
再撮影の処理は、撮影箇所の設定と実際の撮影とに大きく分けられる。撮影箇所の設定は、撮影箇所設定装置10を用いて行われ、撮影は、デジタルカメラ100を用いて行われる。
[撮影箇所の設定]
上記のように、撮影箇所の設定は、撮影箇所設定装置10を用いて行われる。
図10は、撮影箇所設定装置の処理の手順を示すフローチャートである。
まず、撮影対象の画像を取得する(ステップS1)。撮影対象の画像は、通信部21又は近距離無線通信部22を介して、外部機器(たとえば、サーバ等)から取得する。あるいは、メディアドライブ24を介してメモリカード25から撮影対象の画像を取得する。なお、ここでの撮影対象の画像は、格間の画像であり、格間を分割撮影して得られた、パノラマ合成画像PIである。
次に、取得した撮影対象の画像をディスプレイ15に表示する(ステップS2)。図11は、撮影対象の画像のディスプレイへの表示の一例を示す図である。画像は、タッチパネル16の操作に基づいて、拡大、縮小及び移動が行われる。たとえば、画面に対するピンチインの操作によって縮小し、ピンチアウトの操作によって拡大する。また、画面に対するスワイプの操作によって移動する。
次に、撮影対象の画像が表示されたディスプレイ15の画面上で撮影箇所の指定を受け付ける(ステップS3)。撮影箇所の指定は、ディスプレイ15の画面上で撮影箇所とする箇所を指でタッチして指定する。本例は、撮り漏らした箇所Pを再撮影するので、撮り漏らした箇所Pを画面上でタッチして、撮影箇所を指定する。また、本例は、撮り漏らした箇所Pが小さいので、点で撮影箇所を指定する。この場合、撮影箇所(撮り漏らした箇所)とする箇所の中心を指でタッチして、撮影箇所を指定する。
次に、指定された箇所を撮影箇所に設定する(ステップS4)。指定された箇所は、タッチパネル16で検出される。したがって、タッチパネル16の検出結果に基づいて、撮影箇所が設定される。
次に、設定された撮影箇所の所在を示す情報(所在情報)を生成する(ステップS5)。本実施の形態では、所在情報として、撮影対象の画像に撮影箇所をマーキングした画像(マーキング画像)を生成する。図12は、マーキング画像の一例を示す図である。本例では、設定された撮影箇所を矢印Cで指し示した画像をマーキング画像IMとして生成している。
次に、参照画像を生成する(ステップS6)。参照画像は、設定された撮影箇所と、その周辺を含む画像を撮影対象の画像から切り出して生成する。図13は、参照画像の生成の概念図である。同図に示すように、設定された撮影箇所を中心として、一定サイズの矩形領域を撮影対象の画像から切り出して、参照画像RFを生成する。
以上一連の工程で撮影箇所の設定処理が完了する。次いで、設定された情報に基づいて、実際の撮影が行われる。
[撮影]
撮影は、デジタルカメラ100を用いて行われる。デジタルカメラ100は、撮影箇所設定装置10から所在情報(本例ではマーキング画像)及び参照画像を取得し、取得した情報に基づいて、撮影箇所の撮影をガイドする。ガイドは、デジタルカメラ100のモードを所定のモード(撮影ガイドモード)に設定して行われる。
図14及び図15は、撮影ガイドモードに設定された場合のデジタルカメラの処理の手順を示すフローチャートである。
まず、所在情報及び参照画像を取得する(ステップS11)。所在情報及び参照画像は、撮影箇所設定装置10から取得する。デジタルカメラ100は、撮影箇所設定装置10と通信して、撮影箇所設定装置10から所在情報及び参照画像を取得する。
次に、取得した所在情報を背面モニタ122に表示する(ステップS12)。上記のように、所在情報は、撮影対象の画像中に撮影箇所をマーキングしたマーキング画像であるので、マーキング画像を背面モニタ122に表示する。図16は、マーキング画像のディスプレイへの表示の一例を示す図である。ユーザ(撮影者)は、この背面モニタ122に表示されたマーキング画像を見ることで、撮影箇所が、どこであるかを把握できる。すなわち、このマーキング画像の表示によって、撮影箇所へのガイドが行われる。
次に、カメラ操作部136からの操作入力に基づいて、撮影開始の指示の有無を判定する(ステップS13)。撮影開始の指示は、たとえば、レリーズボタンの半押しで行われる。ユーザ(撮影者)は、撮影箇所を撮影できる位置において、撮影開始を指示する。
撮影開始が指示された場合は、ライブビューを開始する(ステップS14)。撮影レンズ110を通してイメージセンサ112で撮影された画像を背面モニタ122にリアルタイムに表示する。
なお、撮影開始の指示がない場合は、終了の指示の有無を判定する(ステップS15)。他のモード(たとえば、通常の撮影モード、再生モード等)に切り替えられた場合、電源がオフされた場合などは、終了が指示されたと判定する。この場合、撮影ガイドモードが終了する。
ライブビューの開始と同時に撮影画像から参照画像をリアルタイムに検出する(ステップS16)。そして、その検出結果に基づいて、参照画像が検出されたか否かを判定する(ステップS17)。
参照画像が検出された場合、参照画像が画角内に収まっているか否かを判定する(ステップS18)。すなわち、参照画像の全体が撮影されているか否かを判定する。
参照画像が画角内に収まっている場合、参照画像の領域を示す青色の検出枠FBをライブビュー画像に重ねて表示する(ステップS19)。図17は、参照画像が画角内に収まっている場合の検出枠の表示の一例を示す図である。ユーザ(撮影者)は、この背面モニタ122の表示を見ることで、指定された撮影箇所が画角内に収まっていることを確認できる。
一方、参照画像が画角内に収まっていない場合、すなわち、参照画像の一部のみが検出されている場合、参照画像の領域を示す赤色の検出枠FRをライブビュー画像に重ねて表示する(ステップS20)。図18は、参照画像が画角内に収まっていない場合の検出枠の表示の一例を示す図である。ユーザ(撮影者)は、この背面モニタ122の表示を見ることで、指定された撮影箇所の位置を確認できる。図18に示す例では、画面右下に赤色の検出枠FRが表示されている。したがって、この場合は、検出枠FRが画角内に収まるように、撮影位置及び/又は撮影方向を調整する。
この後、本撮影の指示の有無を判定する(ステップS21)。すなわち、記録用の画像の取り込みの指示の有無を判定する。本撮影の指示は、レリーズボタンの押下で行われる。
本撮影が指示された場合は、本撮影の処理を実施し、得られた画像を記録する(ステップS22)。すなわち、記録用の画像を取り込み、メモリカード120に記録する。この後、撮影ガイドモードを終了する。
一方、本撮影の指示がない場合は、終了の指示の有無を判定する(ステップS23)。終了が指示されたと判定した場合は、撮影ガイドモードを終了する。一方、終了が指示されていないと判定した場合は、ステップS16に戻り、再度、参照画像の検出を実施する。
このように、本実施の形態の撮影システムによれば、撮影が適切にガイドされるので、簡単に指定された撮影箇所を撮影できる。
[変形例]
[撮影箇所の指定方法の他の例]
上記のように、撮影箇所は、撮影対象の画像が表示された画面上で、撮影箇所とする領域の周囲を囲うようにタッチして指定してもよい。すなわち、撮影箇所とする領域を枠で囲って指定してもよい。
図19及び図20は、撮影箇所とする領域を枠で囲って撮影箇所を指定する場合の一例を示す図である。なお、図19は、楕円形状の枠で囲って撮影箇所を指定する場合の一例を示しており、図20は、矩形状の枠で囲って撮影箇所を指定する場合の一例を示している。
撮影箇所とする領域を枠で囲って指定する場合は、図19及び図20に示すように、指定した領域を示す枠Wを画像に重ねて表示することが好ましい。これにより、指定した領域を明確にできる。
また、指定した領域を示す枠Wは、必要に応じて、その位置及びサイズを調整できるようにすることが好ましい。たとえば、枠Wの領域内をタッチして、スワイプすることにより、枠Wの位置を調整したり、枠Wの領域内でピンチイン、ピンチアウトすることにより、枠Wのサイズを拡大、縮小したりできるようにすることが好ましい。
なお、上記実施の形態では、タッチパネル16で撮影箇所を指定する構成としているが、撮影箇所を指定する手段は、これに限定されるものではない。撮影箇所設定装置10を構成するコンピュータが、マウス、ジョイスティック、キーボード等の入力デバイスを備えている場合は、これらの入力デバイス用いて、撮影箇所を指定する構成とすることもできる。
また、上記実施の形態では、撮り漏らした箇所を撮影箇所として指定する場合を例に説明したが、撮影箇所とする箇所は、これに限定されるものではない。この他、たとえば、パノラマ合成画像では、画質が規定の基準以下の領域も撮り直しが必要になるので、当該領域を撮影箇所として指定することもできる。
また、上記実施の形態では、撮影箇所を1つだけ設定する場合を例に説明したが、撮影箇所は、複数箇所設定することもできる。
[撮影箇所を自動的に設定する方法]
上記実施の形態では、撮影対象の画像が表示された画面上で撮影箇所とする箇所をユーザが指定して、撮影箇所を設定する構成としているが、撮影箇所を自動で設定する構成とすることもできる。
図21は、撮影箇所を自動設定する場合の撮影箇所設定装置の機能ブロック図である。
本例の撮影箇所設定装置10は、撮影対象の画像から再撮影が必要な個所を自動で検出して、撮影箇所を自動設定する。特に、本例の撮影箇所設定装置10は、パノラマ合成された画像から画像が欠けた領域(画像が不足する領域)、及び、画質が規定の基準以下の領域を自動検出して、撮影箇所に設定する装置として構成される。
図21に示すように、本例の撮影箇所設定装置10は、上記第1の実施の形態の撮影箇所設定装置10の構成に加えて、再撮影箇所検出部30Gを備えている。
再撮影箇所検出部30Gは、撮影対象の画像を解析し、再撮影が必要な個所を検出する。本例では、パノラマ合成された画像から、画像が欠けた領域、及び、画質が規定の基準以下の領域を再撮影が必要な個所として検出する。再撮影箇所検出部30Gの検出結果は、撮影箇所設定部30Cに加えられる。
撮影箇所設定部30Cは、再撮影箇所検出部30Gの検出結果に基づいて、撮影箇所を設定する。たとえば、検出された領域を矩形の枠で囲って、撮影箇所を設定する。設定された撮影箇所の情報は、所在情報生成部30D、参照画像生成部30E及び表示制御部30Bに加えられる。
表示制御部30Bは、設定された撮影箇所を示す情報をディスプレイ15に表示する。たとえば、撮影箇所を示す枠をディスプレイ15に表示中の撮影対象の画像に重ねて表示する。
このように、撮影箇所は、自動で設定する構成とすることもできる。なお、このように再撮影が必要な箇所を自動で検出して、撮影箇所に設定する場合、自動設定された撮影箇所をユーザが修正できるようにすることがより好ましい。たとえば、上記の例では、撮影箇所を示す枠がディスプレイ15に表示中の撮影対象の画像に重ねて表示されるので、この枠の位置、サイズ等を必要に応じて修正できるようにすることが好ましい。また、必要に応じて枠を追加、削除等できるようにすることが好ましい。修正は、タッチパネル16を利用する。
[撮影箇所の所在を示す情報の他の例]
上記実施の形態では、撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングした画像を生成しているが、撮影箇所の所在を示す情報の形態は、これに限定されるものではない。撮影箇所を特定できる情報であればよい。
(1)撮影箇所の所在を番地で示す方法
撮影対象が複数の区域に区分けされ、かつ、各区域に番地が割り当てられている場合、その番地の情報を利用して、撮影箇所の所在を示すことができる。
図22は、撮影対象への番地の割り当て一例を示す概念図である。
同図に示す例では、撮影対象である床版6の1つの格間7をグリッド状に16分割し、各分割領域に所在を示す番地を割り当てている。各番地は、アルファベットと数字の組み合わせで示される。具体的には、x方向の位置をアルファベットで示し、y方向の位置を数字で示して、各分割領域に番地を割り当てている。たとえば、図22において、左上隅の領域の番地は「A1」となり、その右隣の領域の番地は「B1」となる。
なお、パノラマ合成を目的とした撮影では、撮影対象をグリッド状に分割し、各分割領域に番地を割り当てるのが一般的である。このような場合は、撮影の際に使用した番地の情報をそのまま利用できる。
図23は、番地の情報を利用した所在情報の生成の概念図である。
同図に示すように、撮り漏らした箇所Pを撮影箇所として指定した場合、指定された箇所が存在する領域の番地が、撮影箇所の所在を示す情報となる。
図23に示す例では、B3番地の領域に撮影箇所(撮り漏らした箇所P)が存在するので、撮影箇所の所在を示す情報は「B3」となる。
(2)GPS情報を利用して所在を示す方法
撮影対象が、橋梁のような構造物である場合、撮影箇所として指定された箇所のGPS情報(地球上の位置の情報)を所在情報として用いてもよい。
たとえば、GPS機能を備えたカメラで撮影した場合、その画像のタグ情報(たとえば、Exif(Exchangeable image file format)のタグ情報)にGPS情報が記録される。したがって、撮影対象の画像が、複数の画像をパノラマ合成したパノラマ合成画像であって、合成前の各画像がGPS情報を有している場合、各画像のGPS情報を利用して、撮影箇所のGPS情報を取得できる。たとえば、撮影箇所として指定された箇所の画像のGPS情報、又は、その近傍の画像のGPS情報を取得して、撮影箇所として指定された箇所のGPS情報を取得できる。あるいは、撮影箇所として指定された箇所の近傍の画像のGPS情報から撮影箇所のGPS情報を算出して、撮影箇所のGPS情報を取得できる。
また、橋梁のような構造物の場合、地図データ及び設計図のデータ等を利用して、GPS情報を取得することもできる。
なお、GPS情報は、少なくとも緯度及び経度の情報を含むものとし、これに加えて高度の情報を含んでいてもよい。
(3)その他の方法
撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングした画像を生成する場合、当該画像を規定のサイズに縮小した画像を生成して、マーキング画像としてもよい。これにより、デジタルカメラ100に当該データを送信等する際の負荷を軽減できる。縮小するサイズは、撮影装置に備えられる表示部の解像度等を考慮して設定することが好ましい。
[第1ガイド部によるガイド方法の他の例]
撮影箇所の所在を示す情報として、番地情報を使用する場合、デジタルカメラ100は、当該番地情報を取得し、背面モニタ122に表示する。この場合、撮影対象の画像も同時に取得し、番地情報と共に背面モニタ122に表示してもよい。
図24は、番地情報を利用したガイド方法の一例を示す図である。同図に示すように、撮影箇所の番地の情報を背面モニタ122に表示する。なお、同図に示す例では、撮影対象の画像も同時に表示している。
撮影箇所の所在を示す情報として、GPS情報を使用する場合、デジタルカメラ100は、当該GPS情報を取得し、背面モニタ122に表示する。
なお、デジタルカメラ100が、GPS機能を備えている場合、現在地のGPS情報を取得し、撮影箇所のGPS情報と共に背面モニタ122に表示することが好ましい。図25は、撮影箇所のGPS情報と現在地のGPS情報を表示する場合の一例を示す図である。
また、デジタルカメラ100が、GPS機能を備えている場合、現在地のGPS情報を取得して、撮影箇所のGPS情報と比較し、両者が一致した場合、あるいは、撮影箇所を中心とした一定の範囲内に到達した場合、その旨を音又は表示で告知してもよい。
[撮影装置の他の例]
上記実施の形態では、撮影装置をデジタルカメラで構成しているが、撮影装置の構成は、これに限定されるものではない。スマートホン、タブレット型コンピュータ、ノート型コンピュータ等の撮影機能を備えた携帯式の電子機器で構成することもできる。
[第2の実施の形態]
[構成]
図26は、本発明に係る撮影システムの第2の実施形態のシステム構成を示す図である。
本実施の形態の撮影システムは、撮影装置の構成が上記第1の実施の形態の撮影システムと相違する。本実施の形態の撮影システムは、デジタルカメラを搭載した無人航空機で撮影する。
図26に示すように、撮影装置200は、デジタルカメラ210を搭載した無人航空機212と、その無人航空機212の飛行及びデジタルカメラ210の撮影を遠隔制御するコントローラ214と、で構成される。
無人航空機212は、いわゆるドローンであり、その機体216に備えられた複数のプロペラ218を回転させて、大気中を飛行する。無人航空機212は、無人機の一例である。
デジタルカメラ210は、撮影部の一例である。デジタルカメラ210は、パン及びチルト機能を有し、撮影方向を変更できる。パン及びチルトの機能は、図示しないパンチルト機構で実現される。パンチルト機構は、撮影方向変更部の一例である。デジタルカメラ210は、コントローラ214に遠隔操作されて、パン及びチルトされる。
コントローラ214は、無人航空機212と無線で通信し、無人航空機212及びデジタルカメラ210を遠隔操作する。コントローラ214は、遠隔操作部の一例である。
図27は、コントローラの電気的構成を示すブロック図である。
コントローラ214は、操作部220、コントローラ用ディスプレイ222、無線通信部224及びコントローラマイコン226等を備える。
操作部220は、無人航空機212及びデジタルカメラ210を操作するための各種操作部材、及び、その信号処理回路を含み、各操作部材の操作に基づく信号をコントローラマイコン226に出力する。無人航空機212を操作する操作部材には、たとえば、無人航空機212の上昇、下降を指示する操作部材、無人航空機212の旋回を指示する操作部材等が含まれる。デジタルカメラ210を操作する操作部材には、一般的なカメラの操作部材(レリーズボタン、ズームボタン等)の他、パン及びチルトの操作部材等が含まれる。
コントローラ用ディスプレイ222は、たとえば、LCDで構成される。コントローラ用ディスプレイ222は、第2表示部の一例である。コントローラ用ディスプレイ222の表示は、コントローラマイコン226で制御される。コントローラマイコン226は、ディスプレイドライバ222Aを介して、コントローラ用ディスプレイ222の表示を制御する。
無線通信部224は、アンテナ224Aを利用して、無人航空機212及び撮影箇所設定装置10と無線で通信する。
コントローラマイコン226は、CPU、ROM、RAMを備えたマイクロコンピュータで構成される。コントローラマイコン226は、操作部220の操作に応じた制御信号を生成し、無線通信部224を介して無人航空機212に送信する。また、無線通信部224を介して無人航空機212からデジタルカメラ210の映像、及び、無人航空機212の飛行状態の情報等を取得し、コントローラ用ディスプレイ222に表示する。更に、コントローラマイコン226は、撮影箇所設定装置10から撮影箇所の所在情報及び参照画像を取得し、撮影箇所の撮影をガイドする。
図28は、ガイド機能を実現する構成のブロック図である。
同図に示すように、ガイド機能は、主として、撮影箇所の所在情報及び参照画像を取得する撮影用情報取得部226Aと、撮影箇所の所在情報に基づいて、撮影箇所の撮影をガイドする第1ガイド部226Bと、デジタルカメラ210で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部226Cと、参照画像検出部226Cの検出結果に基づいて、撮影箇所の撮影をガイドする第2ガイド部226Dと、で実現される。各部は、コントローラマイコン226が、所定のプログラムを実行することにより実現される。
撮影用情報取得部226Aは、撮影箇所設定装置10から所在情報及び参照画像を取得する。撮影用情報取得部226Aは、無線通信部224を介して撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。取得された所在情報は、第1ガイド部226Bに加えられ、参照画像は、参照画像検出部226Cに加えられる。
第1ガイド部226Bは、所在情報に基づいて、撮影箇所の撮影をガイドする。なお、所在情報は、上記第1の実施の形態と同様に、マーキング画像(撮影対象の画像に撮影箇所をマーキングした画像)で構成されるものとする。第1ガイド部226Bは、マーキング画像をコントローラ用ディスプレイ222に表示させて、撮影箇所の撮影をガイドする。撮影者は、このコントローラ用ディスプレイ222に表示されたマーキング画像を見ることにより、撮影箇所の大まかな位置を把握する。
参照画像検出部226Cは、デジタルカメラ210で撮影された画像から参照画像と一致する領域をリアルタイムに検出する。
第2ガイド部226Dは、参照画像検出部226Cの検出結果に基づいて、撮影箇所の撮影をガイドする。本実施の形態では、デジタルカメラ210で撮影された画像をライブビュー画像としてコントローラ用ディスプレイ222にリアルタイムに表示し、かつ、参照画像が検出された場合は、その参照画像の領域を示す情報をライブビュー画像に重ねて表示することにより、撮影箇所の撮影をガイドする。より具体的には、参照画像の領域を示す枠(検出枠)をライブビュー画像に重ねて表示することにより、撮影箇所の撮影をガイドする。
[作用]
撮影箇所設定装置10で行われる処理については、上記第1の実施の形態の撮影システムと同じである。したがって、ここでは、無人航空機212を用いた撮影方法について説明する。
まず、所在情報及び参照画像を取得する。コントローラ214は、無線通信部224を介して、無線で撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。
所在情報及び参照画像が取得されると、まず、所在情報が、コントローラ用ディスプレイ222に表示される。上記のように、所在情報は、撮影対象の画像中に撮影箇所をマーキングしたマーキング画像であるので、マーキング画像がコントローラ用ディスプレイ222に表示される。ユーザ(撮影者)は、このコントローラ用ディスプレイ222に表示されたマーキング画像を見ることで、指定された撮影箇所が、どこであるかを把握する。
ユーザ(撮影者)は、把握した情報に基づいてコントローラ214を操作し、指定された撮影箇所を撮影可能な位置に無人航空機212を移動させる。飛行中、無人航空機212は、デジタルカメラ210で撮影された画像をリアルタイムにコントローラ214に送信する。コントローラ214は、無人航空機212から送信されてくる画像をコントローラ用ディスプレイ222にリアルタイムに表示する。すなわち、ライブビュー表示する。
また、コントローラ214は、無人航空機212から送信されてくる画像から参照画像をリアルタイムに検出する。参照画像が検出された場合は、参照画像の領域を示す枠(検出枠)をライブビュー画像に重ねて表示する。この際、参照画像が画角内に収まっている場合は、青色の枠で表示する。一方、参照画像が画角内に収まっていない場合、すなわち、参照画像の一部のみが検出されている場合は、赤色の枠(検出枠)で表示する。ユーザ(撮影者)は、このコントローラ用ディスプレイ222の表示を見ることで、指定された撮影箇所の位置を確認できる。枠が画角内に収まっていない場合は、コントローラ用ディスプレイ222の表示に基づいて、位置及び/又は撮影方向を調整する。枠が画角内の収まったところで、記録用の画像の取り込みを行い、撮影を終了する。
このように、本実施の形態の撮影システムにおいても、撮影が適切にガイドされるので、簡単に指定された撮影箇所を撮影できる。
[第3の実施の形態]
[構成]
本実施の形態の撮影システムは、指定された撮影箇所を無人航空機で自動撮影するシステムとして構成される。自動で撮影する点以外は、上記第2の実施の形態の撮影システムと同じである。したがって、ここでは、自動撮影を実現するための構成についてのみ説明する。
図29は、自動撮影を実現するための構成のブロック図である。
自動撮影の機能は、コントローラ214で実現される。すなわち、コントローラ214のコントローラマイコン226が、所定のプログラムを実行することにより、コントローラ214が自動撮影制御装置として機能する。
図29に示すように、コントローラ214は、撮影箇所の所在情報及び参照画像を取得する撮影用情報取得部226Aと、撮影箇所の所在を示す情報に基づいて、撮影箇所を撮影可能な位置まで無人航空機212の移動(飛行)をガイドする情報を生成する第1ガイド情報生成部226Eと、第1ガイド情報生成部226Eで生成されるガイド情報に従って、無人航空機212の移動(飛行)を制御する移動制御部226Fと、デジタルカメラ210で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部226Cと、参照画像検出部226Cの検出結果に基づいて、撮影箇所が撮影される位置に無人航空機212をガイドする情報を生成する第2ガイド情報生成部226Gと、第2ガイド情報生成部226Gで生成されるガイド情報に従って、無人航空機212の位置を自動で調整する自動調整部226Hと、の機能を有する。
撮影用情報取得部226Aは、撮影箇所設定装置10から所在情報及び参照画像を取得する。撮影用情報取得部226Aは、無線通信部224を介して撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。なお、本実施の形態では、撮影箇所の所在情報として、GPS情報を取得する。取得された所在情報は、第1ガイド情報生成部226Eに加えられ、参照画像は、参照画像検出部226Cに加えられる。
第1ガイド情報生成部226Eは、所在情報に基づいて、撮影箇所を撮影可能な位置まで無人航空機212をガイドする情報を生成する。具体的には、ガイド情報として、撮影箇所を撮影可能な位置までの飛行ルートを生成する。第1ガイド情報生成部226Eは、第1ガイド部の一例である。
移動制御部226Fは、第1ガイド情報生成部226Eで生成されるガイド情報に従って、無人航空機212の移動(飛行)を制御する。具体的には、第1ガイド情報生成部226Eで生成されるガイド情報(飛行ルートの情報)に従って、無人航空機212の飛行を制御する信号を生成し、撮影箇所を撮影可能な位置に無人航空機212を移動させる。
参照画像検出部226Cは、デジタルカメラ210で撮影された画像から参照画像と一致する領域をリアルタイムに検出する。
第2ガイド情報生成部226Gは、参照画像検出部226Cの検出結果に基づいて、撮影箇所が撮影される位置に無人航空機212をガイドする情報を生成する。具体的には、参照画像の検出結果と、無人航空機212の現在の位置情報とに基づいて、参照画像を画角内に収めるために必要な無人航空機212の移動方向及び移動量を求め、ガイド情報を生成する。第2ガイド情報生成部226Gは、第2ガイド部の一例である。
自動調整部226Hは、第2ガイド情報生成部226Gで生成されるガイド情報に従って、無人航空機212の位置を自動で調整する。具体的には、第2ガイド情報生成部226Gで生成されるガイド情報に従って、無人航空機212の飛行を制御する信号を生成し、撮影箇所が画角に収まる位置に無人航空機212を移動させる。
[作用]
撮影箇所設定装置10で行われる処理については、上記第1の実施の形態の撮影システムと実質的に同じである。したがって、ここでは、無人航空機212を用いた撮影方法について説明する。
まず、所在情報及び参照画像を取得する。コントローラ214は、無線通信部224を介して、無線で撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。なお、上記のように、本実施の形態の撮影システムでは、所在情報としてGPS情報が取得される。したがって、撮影箇所設定装置10は、所在情報としてGPS情報を生成し、デジタルカメラ210に送信する。
所在情報及び参照画像が取得されると、まず、撮影箇所を撮影可能な位置までの飛行ルートが設定される。飛行ルートは、所在情報に基づいて設定される。
飛行ルートが設定されると、設定された飛行ルートに従って無人航空機212が飛行し、撮影箇所を撮影可能な位置に移動する。飛行中、無人航空機212は、デジタルカメラ210で撮影された画像をリアルタイムにコントローラ214に送信する。コントローラ214は、無人航空機212から送信されてくる画像をコントローラ用ディスプレイ222にリアルタイムに表示する。すなわち、ライブビュー表示する。
また、コントローラ214は、無人航空機212から送信されてくる画像から参照画像をリアルタイムに検出する。参照画像が検出された場合は、参照画像の領域を示す枠(検出枠)をライブビュー画像に重ねて表示する。その一方で参照画像が画角内に収まるように、参照画像の検出結果に基づいて、無人航空機212の位置及び/又は撮影方向を自動調整する。たとえば、参照画像の中心が画角の中心に位置し、かつ、その外が画角内に収まるように、無人航空機212の位置及び/又は撮影方向を自動調整する。そして、参照画像が画角内に収まったところで本撮影を実施する。本撮影後、飛行開始地点に復帰する。
このように、本実施の形態の撮影システムによれば、撮影箇所を指定するだけで、指定された撮影箇所を自動で撮影できる。
なお、本実施の形態では、撮影可能な位置への移動、並びに、移動後の撮影位置及び撮影方向の調整を全て自動で行う構成としているが、いずれか一方のみを自動で行う構成とすることもできる。たとえば、撮影可能な位置までの移動を自動で行い、移動後の撮影位置及び撮影方向の調整を手動で行う構成とすることもできる。また、撮影可能な位置までの移動を手動で行い、移動後の撮影位置及び撮影方向の調整を自動で行う構成とすることもできる。
また、上記実施の形態では、撮影中の画像を確認するために、コントローラ用ディスプレイ222にライブビューを表示させているが、ライブビューは必ずしも行う必要はない。したがって、本実施の形態の撮影システムでは、必ずしもコントローラ214にディスプレイを備える必要はない。
[その他の実施の形態]
[撮影対象の画像]
上記実施の形態では、撮影箇所設定装置が、撮影対象の画像として、パノラマ合成した画像を取得する構成としているが、撮影対象の画像は、これに限定されるものではない。1枚の画像として撮影された画像を撮影対象の画像として取得することもできる。
[撮影箇所設定装置]
上記実施の形態では、撮影箇所設定装置をタブレット型コンピュータで構成しているが、撮影箇所設定装置の構成は、これに限定されるものではない。この他、スマートホン、パーソナルコンピュータ等で構成することもできる。
また、上記実施の形態では、撮影対象の画像を外部機器から取得する構成としているが、撮影対象の画像がパノラマ合成された画像の場合、撮影箇所設定装置にパノラマ合成の機能を備えてもよい。この場合、撮影箇所設定装置は、パノラマ合成する画像群を外部機器から取得し、取得した画像群を内部でパノラマ合成する。すなわち、内部に備えられたパノラマ合成部で合成処理を行い、内部で撮影対象の画像(パノラマ合成画像)を生成する。
[無人機]
上記実施の形態では、無人機として、無人航空機を使用して撮影する場合を例に説明したが、本発明で使用可能な無人機は、これに限定されるものではない。無人で地上を走行する無人地上車両、無人で水上を航行する無人水上艦、無人で水中を航行する無人潜水艦、及び、無人で宇宙空間を飛行する無人宇宙機等を使用して撮影する場合にも、本発明は適用できる。また、本発明の無人機には、ロボットの概念が含まれる。
[撮影箇所設定装置のハードウェア構成の変形例]
撮影箇所設定装置を実現するハードウェアは、各種のプロセッサ(processor)で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device;PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。撮影箇所設定装置を構成する1つの処理部は、上記各種プロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサで構成されてもよい。たとえば、1つの処理部は、複数のFPGA、あるいは、CPUとFPGAの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip;SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを1つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
撮影装置におけるカメラマイコンの機能を実現するハードウェアについても同様に、各種のプロセッサで構成できる。
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
7 格間
10 撮影箇所設定装置
11 CPU
15 ディスプレイ
16 タッチパネル
17 GPS受信部
18 カメラ部
19 マイク部
20 スピーカ部
21 通信部
21A アンテナ
22 近距離無線通信部
22A アンテナ
23 センサ部
24 メディアドライブ
25 メモリカード
30A 撮影対象画像取得部
30B 表示制御部
30C 撮影箇所設定部
30D 所在情報生成部
30E 参照画像生成部
30F 撮影用情報送信処理部
30G 再撮影箇所検出部
100 デジタルカメラ
110 撮影レンズ
110A レンズ駆動部
112 イメージセンサ
112A センサ駆動部
114 アナログ信号処理部
116 デジタル信号処理部
118 メディアドライブ
120 メモリカード
122 背面モニタ
122A モニタドライバ
124 近距離無線通信部
124A アンテナ
126 通信部
126A アンテナ
128 ストロボ
128A ストロボ発光制御部
130 マイクロフォン
132 スピーカ
134 音声信号処理部
136 カメラ操作部
140 カメラマイコン
140A 撮影用情報取得部
140B 第1ガイド部
140C 参照画像検出部
140D 第2ガイド部
200 撮影装置
210 デジタルカメラ
212 無人航空機
214 コントローラ
216 機体
218 プロペラ
220 操作部
222 コントローラ用ディスプレイ
222A ディスプレイドライバ
224 無線通信部
224A アンテナ
226 コントローラマイコン
226A 撮影用情報取得部
226B 第1ガイド部
226C 参照画像検出部
226D 第2ガイド部
226E 第1ガイド情報生成部
226F 移動制御部
226G 第2ガイド情報生成部
226H 自動調整部
C 設定された撮影箇所を指し示す矢印
FB 検出枠
FR 検出枠
IM マーキング画像
P 撮り漏らした箇所
PI パノラマ合成画像
RF 参照画像
W 指定した領域を示す枠
S1~S6 撮影箇所設定装置の処理の手順
S11~S23 デジタルカメラの処理の手順

Claims (25)

  1. 第1表示部と、
    撮影対象の画像を取得する撮影対象画像取得部と、
    前記撮影対象の画像を前記第1表示部に表示させる表示制御部と、
    前記撮影対象の画像内で撮影箇所を設定する撮影箇所設定部と、
    設定された前記撮影箇所の所在を示す情報を生成する所在情報生成部と、
    前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して、参照画像を生成する参照画像生成部と、
    を備えた撮影箇所設定装置と、
    撮影部と、
    前記撮影箇所の所在を示す情報及び前記参照画像を取得する撮影用情報取得部と、
    前記撮影箇所の所在を示す情報に基づいて、前記撮影箇所の撮影をガイドする第1ガイド部と、
    前記撮影部で撮影される画像から前記参照画像をリアルタイムに検出する参照画像検出部と、
    前記参照画像検出部の検出結果に基づいて、前記撮影箇所の撮影をガイドする第2ガイド部と、
    を備えた撮影装置と、
    を備えた撮影システム。
  2. 前記撮影装置は、第2表示部を更に備え、
    前記第2ガイド部は、前記撮影部で撮影される画像をライブビュー画像として前記第2表示部にリアルタイムに表示し、かつ、前記参照画像が検出された場合は、前記参照画像の領域を示す情報を前記ライブビュー画像に重ねて表示する、
    請求項1に記載の撮影システム。
  3. 前記第2ガイド部は、前記参照画像が検出された場合に、前記参照画像の領域を示す枠を前記ライブビュー画像に重ねて表示する、
    請求項2に記載の撮影システム。
  4. 前記第2ガイド部は、前記参照画像の一部が検出された場合と前記参照画像の全体が検出された場合とで前記枠の表示態様を替える、
    請求項3に記載の撮影システム。
  5. 前記第2ガイド部は、前記参照画像の一部が検出された場合と前記参照画像の全体が検出された場合とで前記枠の色を替える、
    請求項4に記載の撮影システム。
  6. 前記第1ガイド部は、前記撮影箇所の所在を示す情報を前記第2表示部に表示させる、
    請求項2から5のいずれか1項に記載の撮影システム。
  7. 前記撮影装置は、
    前記撮影部が搭載された無人機と、
    前記無人機及び前記撮影部を遠隔操作する遠隔操作部と、
    を更に備える請求項1から6のいずれか1項に記載の撮影システム。
  8. 前記第1ガイド部は、前記撮影箇所の所在を示す情報に基づいて、前記撮影箇所を撮影可能な位置まで前記無人機の移動をガイドするガイド情報を生成し、
    前記撮影装置は、前記第1ガイド部で生成されるガイド情報に従って、前記無人機の移動を制御する移動制御部を更に備える、
    請求項7に記載の撮影システム。
  9. 前記第2ガイド部は、前記参照画像検出部の検出結果に基づいて、前記撮影箇所が撮影される位置に前記無人機をガイドするガイド情報を生成し、
    前記撮影装置は、前記第2ガイド部で生成されるガイド情報に従って、前記無人機の位置を自動で調整する自動調整部を更に備える、
    請求項7又は8に記載の撮影システム。
  10. 前記無人機が、前記撮影部の撮影方向を変更する撮影方向変更部を備え、
    前記第2ガイド部は、前記参照画像検出部の検出結果に基づいて、前記無人機の位置及び/又は前記撮影部の撮影方向をガイドする情報を生成し、
    前記撮影装置は、前記第2ガイド部で生成されるガイド情報に従って、前記無人機の位置及び/又は前記撮影部の撮影方向を自動で調整する自動調整部を更に備える、
    請求項7又は8に記載の撮影システム。
  11. 前記撮影箇所設定装置は、
    前記撮影対象の画像が表示された前記第1表示部の画面上で前記撮影箇所を指定する撮影箇所指定部を更に備え、
    前記撮影箇所設定部は、前記撮影箇所指定部で指定された箇所を前記撮影箇所に設定する、
    請求項1から10のいずれか1項に記載の撮影システム。
  12. 前記撮影箇所指定部は、前記撮影箇所とする箇所の中心を指定して、前記撮影箇所を指定する、
    請求項11に記載の撮影システム。
  13. 前記撮影箇所指定部は、前記撮影箇所とする箇所を囲む領域を指定して、前記撮影箇所を指定する、
    請求項11に記載の撮影システム。
  14. 前記撮影箇所設定装置は、
    前記撮影対象の画像から再撮影が必要な個所を検出する再撮影箇所検出部を更に備え、
    前記撮影箇所設定部は、前記再撮影箇所検出部で検出された箇所を前記撮影箇所に設定する、
    請求項1から10のいずれか1項に記載の撮影システム。
  15. 前記再撮影箇所検出部は、画像が欠けた領域、及び/又は、画質が規定の基準以下の領域を前記再撮影が必要な個所として検出する、
    請求項14に記載の撮影システム。
  16. 前記参照画像生成部は、前記撮影箇所を中心として一定範囲の画像を前記撮影対象の画像から切り出して前記参照画像を生成する、
    請求項1から15のいずれか1項に記載の撮影システム。
  17. 前記所在情報生成部は、前記撮影箇所の所在を示す情報として、前記撮影対象の画像に前記撮影箇所をマーキングした画像を生成する、
    請求項1から16のいずれか1項に記載の撮影システム。
  18. 前記所在情報生成部は、前記撮影箇所の所在を示す情報として、前記撮影対象の画像に前記撮影箇所をマーキングし、かつ、規定のサイズに縮小した画像を生成する、
    請求項17に記載の撮影システム。
  19. 前記撮影対象が複数の区域に区分けされ、かつ、各区域に番地が割り当てられている場合において、
    前記所在情報生成部は、前記撮影箇所の所在を示す情報として、前記撮影箇所に設定された個所が存在する区域の番地の情報を生成する、
    請求項1から16のいずれか1項に記載の撮影システム。
  20. 前記撮影対象が構造物である場合において、
    前記所在情報生成部は、前記撮影箇所の所在を示す情報として、前記撮影箇所に設定された個所の地球上の位置の情報を生成する、
    請求項1から16のいずれか1項に記載の撮影システム。
  21. 前記撮影対象画像取得部が取得する前記撮影対象の画像は、複数枚の画像をパノラマ合成した画像である、
    請求項1から20のいずれか1項に記載の撮影システム。
  22. 第1表示部と、
    撮影対象の画像を取得する撮影対象画像取得部と、
    前記撮影対象の画像を前記第1表示部に表示させる表示制御部と、
    前記撮影対象の画像内で撮影箇所を設定する撮影箇所設定部と、
    設定された前記撮影箇所の所在を示す情報を生成する所在情報生成部と、
    前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して、参照画像を生成する参照画像生成部と、
    を備えた撮影箇所設定装置。
  23. 撮影部と、
    撮影対象に対して設定された撮影箇所の所在を示す情報、及び、前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して生成された参照画像を取得する撮影用情報取得部と、
    前記撮影箇所の所在を示す情報に基づいて、前記撮影箇所の撮影をガイドする第1ガイド部と、
    前記撮影部で撮影される画像から前記参照画像をリアルタイムに検出する参照画像検出部と、
    前記参照画像検出部の検出結果に基づいて、前記撮影箇所の撮影をガイドする第2ガイド部と、
    を備えた撮影装置。
  24. 撮影対象に対して設定された撮影箇所の所在を示す情報、及び、前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して生成された参照画像を取得するステップと、
    前記撮影箇所の所在を示す情報に基づいて、前記撮影箇所の撮影をガイドするステップと、
    撮影画像から前記参照画像をリアルタイムに検出するステップと、
    前記参照画像の検出結果に基づいて、前記撮影箇所の撮影をガイドするステップと、
    を備えた撮影方法。
  25. 撮影対象の画像を取得するステップと、
    前記撮影対象の画像内で前記撮影箇所を設定するステップと、
    設定された前記撮影箇所の所在を示す情報を生成するステップと、
    前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して、前記参照画像を生成するステップと、
    を更に備えた請求項24に記載の撮影方法。
JP2020571115A 2019-02-07 2020-01-28 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法 Active JP7148648B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019020702 2019-02-07
JP2019020702 2019-02-07
PCT/JP2020/002949 WO2020162264A1 (ja) 2019-02-07 2020-01-28 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法

Publications (2)

Publication Number Publication Date
JPWO2020162264A1 JPWO2020162264A1 (ja) 2021-12-09
JP7148648B2 true JP7148648B2 (ja) 2022-10-05

Family

ID=71947619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020571115A Active JP7148648B2 (ja) 2019-02-07 2020-01-28 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法

Country Status (5)

Country Link
US (1) US20210352208A1 (ja)
EP (1) EP3923065A4 (ja)
JP (1) JP7148648B2 (ja)
CN (1) CN113396361B (ja)
WO (1) WO2020162264A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022174432A1 (en) * 2021-02-20 2022-08-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of suggesting shooting position for electronic device and electronic device
WO2023089983A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006108915A (ja) * 2004-10-01 2006-04-20 Canon Inc 画像撮影装置及び画像撮影方法
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US8060270B2 (en) * 2008-02-29 2011-11-15 The Boeing Company System and method for inspection of structures and objects by swarm of remote unmanned vehicles
JP5511001B2 (ja) * 2009-12-14 2014-06-04 Necカシオモバイルコミュニケーションズ株式会社 撮像装置及び撮影案内システム並びにプログラム
JP2011229008A (ja) * 2010-04-21 2011-11-10 Canon Inc 画像撮影装置、及びプログラム
JP2012160904A (ja) 2011-01-31 2012-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び撮像装置
US20130076941A1 (en) * 2011-09-23 2013-03-28 Adobe Systems Incorporated Systems And Methods For Editing Digital Photos Using Surrounding Context
JP5907034B2 (ja) * 2012-09-28 2016-04-20 ブラザー工業株式会社 作業補助システムおよびプログラム
JP6103526B2 (ja) * 2013-03-15 2017-03-29 オリンパス株式会社 撮影機器,画像表示機器,及び画像表示機器の表示制御方法
JP2014232407A (ja) * 2013-05-29 2014-12-11 株式会社ゼンリンデータコム 撮影スポット案内システム、撮影スポット案内方法及びコンピュータプログラム
US10021295B1 (en) * 2013-06-03 2018-07-10 Amazon Technologies, Inc. Visual cues for managing image capture
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
JP6264834B2 (ja) * 2013-10-24 2018-01-24 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム
JP2015231101A (ja) * 2014-06-04 2015-12-21 パイオニア株式会社 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体
JP6382598B2 (ja) * 2014-06-28 2018-08-29 ソフトバンク株式会社 携帯端末、プログラム及び作業情報管理システム
US10178303B2 (en) * 2015-05-29 2019-01-08 Hover Inc. Directed image capture
CN105611170A (zh) * 2015-12-31 2016-05-25 深圳市道通智能航空技术有限公司 一种无人机及其全景拼接方法、装置和***
CN107026973B (zh) * 2016-02-02 2020-03-13 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材

Also Published As

Publication number Publication date
EP3923065A4 (en) 2022-04-06
JPWO2020162264A1 (ja) 2021-12-09
CN113396361A (zh) 2021-09-14
CN113396361B (zh) 2023-04-18
EP3923065A1 (en) 2021-12-15
WO2020162264A1 (ja) 2020-08-13
US20210352208A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US11710205B2 (en) Image capturing method and display method for recognizing a relationship among a plurality of images displayed on a display screen
US20110239100A1 (en) Inspection information processing apparatus and method
JP4396500B2 (ja) 撮像装置、画像の姿勢調整方法、及びプログラム
US20080174679A1 (en) Portable device
JP6785412B2 (ja) 無人航空機システム
JP7148648B2 (ja) 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法
WO2016002355A1 (ja) 撮影装置及び撮影方法
JP2011186621A (ja) 検査支援システムおよび検査支援方法
JP2019033344A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5750696B2 (ja) 表示装置および表示プログラム
WO2019230604A1 (ja) 検査システム
JP2020153873A (ja) 診断処理装置、診断システム、診断処理方法、及びプログラム
US10291835B2 (en) Information processing apparatus, imaging apparatus, information processing method, and imaging system
US20080154492A1 (en) Portable device
JP6639832B2 (ja) 撮像装置,撮像方法,撮像プログラム
JP2021132352A (ja) 撮像装置、撮影システム、およびその制御方法
JP2008301231A (ja) 撮影装置及び電子機器並びに撮影支援システム
JPWO2018180214A1 (ja) 画像処理装置、カメラ装置、および画像処理方法
JP7081198B2 (ja) 撮影システム及び撮影制御装置
JP2010103725A (ja) 撮像装置及び画像転送方法
WO2023089983A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2023134182A (ja) 情報処理装置、制御方法、プログラム及びシステム
JP5737961B2 (ja) 撮影装置
CN118285111A (zh) 移动体、移动体摄影***及移动体摄影方法
JP6331562B2 (ja) 特定装置、特定方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220922

R150 Certificate of patent or registration of utility model

Ref document number: 7148648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150