JP2021034897A - 画像処理装置、画像通信システム、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像通信システム、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2021034897A
JP2021034897A JP2019153482A JP2019153482A JP2021034897A JP 2021034897 A JP2021034897 A JP 2021034897A JP 2019153482 A JP2019153482 A JP 2019153482A JP 2019153482 A JP2019153482 A JP 2019153482A JP 2021034897 A JP2021034897 A JP 2021034897A
Authority
JP
Japan
Prior art keywords
image
angle
narrow
wide
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019153482A
Other languages
English (en)
Other versions
JP7368699B2 (ja
Inventor
弘親 藤木
Hirochika Fujiki
弘親 藤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019153482A priority Critical patent/JP7368699B2/ja
Priority to US16/999,443 priority patent/US11062422B2/en
Publication of JP2021034897A publication Critical patent/JP2021034897A/ja
Application granted granted Critical
Publication of JP7368699B2 publication Critical patent/JP7368699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/16Real estate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】従来は、パノラマ画像内の特定の物体に注目することで、自動的にパノラマ画像から複数の注目領域を特定し、この注目領域の画像を切り出す。そのため、部屋内に設置された家具等の物体を注目領域として画像全体に表すように特定する傾向にある。この場合、注目物体は大きく表示されるため、顧客は注目物体の形状や模様などを把握し易くなるが、注目物体の周辺領域の表示される割合は少ないため、注目物体の配置位置は把握しづらい。このように、従来は、物体に注目するが故に、不動産業者等が顧客に見せたい画像を切り出したいというニーズに対応するには不十分であった。
【解決手段】画像データに係る画像から一部の所定領域である画像を取得する画像処理装置であって、前記画像データに係る画像の全領域又は一部領域である広角画像に表された建造物の構造に基づいて、前記広角画像の所定領域である狭角画像を取得する。
【選択図】図23

Description

本開示内容は、画像から一部の所定領域である画像を取得する発明に関する。
全天球(360°)撮影用カメラは、このカメラを中心とした全周を撮影することができる。このようなカメラを使えば、部屋内の全周を全天球画像で表すことができるため、不動産物件の紹介に適している。顧客は、自己の端末から不動産紹介サイトにアクセスし、不動産物件の画像を閲覧することで、わざわざ物件まで出向く手間を省くことができる。
また、部屋内には、不動産業者が顧客に特に見て欲しい注目物体(箇所)がある。注目物体は、例えば、新しいキッチン、開口部の大きな窓、新規取付のエアコン等である。そこで、従来は、パノラマ画像内の特定の物体に注目することで、自動的にパノラマ画像から複数の注目領域を特定し、この注目領域の画像を切り出す方法が開示されている(特許文献1参照)。
しかし、従来の方法では、部屋内に設置された家具等の物体を注目領域として画像全体に表すように特定する傾向にある。この場合、注目物体は大きく表示されるため、顧客は注目物体の形状や模様などを把握し易くなるが、注目物体の周辺領域の表示される割合は少ないため、注目物体の配置位置は把握しづらい。このように、従来は、物体に注目するが故に、不動産業者等が顧客に見せたい画像を切り出したいというニーズに対応するには不十分であった。
請求項1に係る発明は、画像データに係る画像から一部の所定領域である画像を取得する画像処理装置であって、前記画像データに係る画像の全領域又は一部領域である広角画像に表された建造物の構造に基づいて、前記広角画像の所定領域である狭角画像を取得する画像処理手段を有することを特徴とする画像処理装置である。
以上説明したように本発明によれば、広角画像に表された建造物の構造を利用して、利用者のニーズに沿った狭角画像を取得することができるという効果を奏する。
(a)は撮影装置の左側面図であり、(b)は撮影装置の背面図であり、(c)は撮影装置の平面図であり、(d)は撮影装置の底面図である。 撮影装置の使用イメージ図である。 (a)は撮影装置で撮影された半球画像(前)、(b)は撮影装置で撮影された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。 (a)は正距円筒射影画像で球を被う状態を示した概念図、(b)は全天球画像を示した図である。 全天球画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 通信端末及びサーバのハードウェア構成図である。 画像通信システムの機能ブロック図である。 画像管理テーブルの概念図である。 (a)は検出座標管理テーブルの概念図、(b)は(a)の交点座標に対応する位置を示した広角画像の概念図である。 初期パラメータ管理テーブルの概念図である。 切出パラメータ管理テーブルの概念図である。 広角画像のデータの管理を行う処理を示したシーケンス図である。 広角画像を示す図である。 切出パラメータの作成処理を示したシーケンス図である。 画像処理サーバが座標検出サーバから広角画像における交点座標を取得する処理を示すシーケンス図である。 機械学習の際の部屋の構造を示す教師画像の概念図である。 (a)構図及び重要度の組み合わせで狭角画像を切り出す場合の切出パラメータの設定処理、又は構図のみで狭角画像を切り出す場合の切出パラメータの設定処理を示したフローチャート、(b)は重要度のみで狭角画像を切り出す場合の切出パラメータの設定処理を示したフローチャートである。 部屋が美しく見える場合の画像の構図を示した図であり、(a)は三面構図を示した図、(b)は二面構図を示した図である。 二面構図及び重要度を利用して狭角画像を切り出す場合において、構図を利用して算出した2つの二面構造の候補を示した広角画像の概念図である。 二面構図及び重要度を利用して狭角画像を切り出す場合において、重要度を示した広角画像の概念図である。 二面構図及び重要度を利用して狭角画像を切り出す場合において、構図を利用して算出した2つの二面構造の候補のうち、重要度を考慮して1つに絞り込む場合を示した広角画像の概念図である。 構図を無視し重要度のみを利用して狭角画像を切り出す場合の広角画像の概念図である。 二面構図のみを利用して狭角画像を切り出す場合の広角画像の概念図である。 三面構図のみを利用して狭角画像を切り出す場合の広角画像の概念図である。 不動産紹介サーバにアップロードして登録する狭角画像を決定するための処理を示したシーケンス図である。 業界端末が最初に表示する狭角画像選択画面を示した図であるである。 業界端末が表示する変更後の狭角画像選択画面を示した図である。 切出パラメータの調整、及びアップロード対象の変更の処理を示すフローチャートである。 切出パラメータの調整処理を示すフローチャートである。 不動産情報のアップロード処理及び閲覧処理を示したシーケンス図である。 不動産紹介画像を示した図である。
以下、図面を用いて、本発明の実施形態について説明する。
〔実施形態の概要〕
以下、本実施形態の概要について説明する。
まずは、図1乃至図7を用いて、全天球画像の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。撮影装置1は、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の背面図であり、図1(c)は撮影装置の平面図であり、図1(d)は撮影装置の底面図である。
図1(a),図1(b),図1(c),図(d)に示されているように、撮影装置1の上部には、正面側(前側)に魚眼型のレンズ102a及び背面側(後側)に魚眼型のレンズ102bが設けられている。撮影装置1の内部には、後述の撮像素子(画像センサ)103a,103bが設けられており、それぞれレンズ102a、102bを介して被写体や風景を撮影することで、半球画像(画角180°以上)を得ることができる。撮影装置1の正面側と反対側の面には、シャッターボタン115aが設けられている。また、撮影装置1の側面には、電源ボタン115b、Wi-Fi(Wireless Fidelity)ボタン115c、及び撮影モード切替ボタン115dが設けられている。電源ボタン115b、及びWi-Fiボタン115cは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン115dは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン115a、電源ボタン115b、Wi-Fiボタン115c、及び撮影モード切替ボタン115dは、操作部115の一部であり、操作部115は、これらのボタンに限られない。
また、撮影装置1の底部150の中央には、カメラ用三脚に撮影装置1を取り付けるための三脚ねじ穴151が設けられている。また、底部150の左端側には、Micro USB(Universal Serial Bus)端子152が設けられている。底部150の右端側には、HDMI(High-Definition Multimedia Interface)端子153が設けられている。なお、HDMIは登録商標である。
次に、図2を用いて、撮影装置1の使用状況を説明する。なお、図2は、撮影装置の使用イメージ図である。撮影装置1は、図2に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれ利用者の周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置1で撮影された画像から正距円筒射影画像EC及び全天球画像CEが作成されるまでの処理の概略を説明する。なお、図3(a)は撮影装置1で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図4(a)は正距円筒射影画像で球を被う状態を示した概念図、図4(b)は全天球画像を示した図である。なお、正距円筒射影画像は、広角画像の一例である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成され、図3(c)に示されているように、正距円筒射影画像ECが作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球画像CEが作成される。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像CEは、静止画であっても動画であってもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像CEの一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球画像CEが、三次元の立体球CSで表わされている。このように生成された全天球画像CEが、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示されている所定領域画像Qは、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下では、仮想カメラICの撮影方向(θ,φ)と画角(α)を用いて説明する。なお、撮影方向は視線方向ともいう。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、「θ」は仮想カメラICの撮影方向におけるパン角、「φ」は仮想カメラICの撮影方向におけるチルト角、「α」は画角(Angle)を示す。更に、「W」は所定領域Tの幅、「H」は所定領域Hの高さを示す。即ち、撮影方向(θ,φ)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
L/f=tan(α/2)・・・(式1)
〔画像通信システムの概略〕
図8を用いて、本実施形態の画像通信システムの構成の概略について説明する。図8は、本実施形態の画像通信システムの構成の概略図である。
図8に示されているように、本実施形態の画像通信システムは、撮影装置1、業者端末2、画像処理サーバ4、座標検出サーバ6、不動産紹介サーバ8、及び顧客端末9によって構成されている。
また、業者端末2、画像処理サーバ4、座標検出サーバ6、不動産紹介サーバ8、及び顧客端末9は、インターネット等の通信ネットワークを介して通信可能接続される。また、撮影装置1はUSB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)等のケーブルを介して業者端末2に接続される。
これらのうち、撮影装置1は、上述のように、被写体や風景等を撮影して正距円筒射影画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。なお、正距円筒射影画像ではなく、一般の広角な平面画像を得るための撮影装置(一眼レフカメラ、コンパクトデジタルカメラ、スマートフォン、タブレットPC等)であってもよいが、本実施形態では、主に正距円筒射影画像を得るためのデジタルカメラの場合について説明する。なお、ここで、広角画像は、一般には広角レンズを用いて撮影された画像であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影されたものである。また、一般的に35mmフィルム換算で35mm以下の焦点距離のレンズで、撮影された画像を意味する。
業者端末2は、不動産業者Aが利用するPC(Personal Computer)である。業者端末2は、通信端末の一例である。なお、撮影装置1と業者端末2とは、上記ケーブルを用いずに、Wi-Fi、Bluetooth(登録商標)、NFC(Near Field Communication)等の近距離無線通信技術を利用して無線通信してもよい。
画像処理サーバ4は、不動産業者Aにサービスを提供する会社(C1)が所有するサーバである。
座標検出サーバ6は、不動産業者Aにサービスを提供する会社(C1)、又はこの会社にサービスを提供する別の会社(C2)が所有するサーバである。なお、画像処理サーバ4及び座標検出サーバ6は、画像処理システム3を構築している。
不動産紹介サーバ8は、不動産業者A又は不動産業者Aにサービスを提供する会社(C3)が所有するサーバである。不動産紹介サーバ8は、図35に示されているような不動産紹介画像のデータが管理している。
顧客端末9は、不動産業者Aの顧客Bが利用するPCである。顧客Bは、顧客端末9を利用して、不動産紹介サーバ9のサイトにアクセスすることで、図35に示されている不動産紹介画像のデータを取得し、ウェブブラウザによって不動産紹介画像を表示する。これにより、顧客Bは、不動産紹介画像を閲覧することができる。
〔実施形態のハードウェア構成〕
次に、図9及び図10を用いて、本実施形態の撮影装置1、並びに通信端末(業者端末2、顧客端末9)及びサーバ(画像管理サーバ4、座標検出サーバ6、不動産紹介サーバ8)のハードウェア構成を詳細に説明する。
<撮影装置のハードウェア構成>
まず、図9を用いて、撮影装置1のハードウェア構成を説明する。図9は、撮影装置1のハードウェア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラや業者端末等に後付けの全方位の撮像ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図9に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a、電子コンパス118、ジャイロセンサ119、加速度センサ120、及び端子121によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているような正距円筒射影画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置1によっては、ディスプレイ(例えば、業者端末2のディスプレイ517)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置1にはディスプレイが設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、シャッターボタン115aなどの操作ボタンの総称である。ユーザは操作部115を操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介して業者端末2等の外部端末(装置)に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、業者端末2等の外部端末(装置)と通信を行う。この通信部117によっても、正距円筒射影画像のデータを業者端末2等の外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
ジャイロセンサ119は、全天球カメラ20の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ120は、3軸方向の加速度を検出するセンサである。撮影装置3aは、加速度センサ120が検出した加速度に基づいて、自装置(撮影装置3a)の姿勢(重力方向に対する角度)を算出する。撮影装置3aに、ジャイロセンサ119と加速度センサ120の両方が設けられることによって、画像補正の精度が向上する。
端子121は、Micro USB用の凹状の端子である。
<通信端末及びサーバのハードウェア構成>
次に、図10を用いて、通信端末(業者端末2、顧客端末9)及びサーバ(画像管理サーバ4、座標検出サーバ6、不動産紹介サーバ8)のハードウェア構成を詳細に説明する。図10は、通信端末及びサーバのハードウェア構成図である。
図10に示されているように、業者端末2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、HD(Hard Disk)204、HDD(Hard Disk Drive)コントローラ205、記録メディア206、メディアI/F207、ディスプレイ208、通信接続機構209、ネットワークI/F210、キーボード211、マウス212、DVD−RW(Digital Versatile Disc-ReWritable)ドライブ214、及び、バスライン220を備えている。
これらのうち、CPU201は、業者端末2全体の動作を制御する。ROM202は、CPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。HD204は、プログラム等の各種データを記憶する。HDDコントローラ205は、CPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御する。メディアI/F207は、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御する。ディスプレイ208は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。通信接続機構209は、USB、HDMI等の接続口を含む機構である。ネットワークI/F210は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード211は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス212は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD−RWドライブ214は、着脱可能な記録媒体の一例としてのDVD−RW213に対する各種データの読み出し又は書き込みを制御する。
また、画像管理サーバ4は、CPU401、ROM402、RAM403、HD404、HDDコントローラ405、記録メディア406、メディアI/F407、ディスプレイ408、通信接続機構409、ネットワークI/F410、キーボード411、マウス412、DVD−RWドライブ414、及び、バスライン420を備えている。これらは、それぞれ、CPU201、ROM202、RAM203、HD204、HDDコントローラ205、記録メディア206、メディアI/F207、ディスプレイ208、通信接続機構209、ネットワークI/F210、キーボード211、マウス212、DVD−RWドライブ214、及び、バスライン220と同様の構成であるため、これらの説明を省略する。
座標検出サーバ6は、CPU601、ROM602、RAM603、HD604、HDDコントローラ605、記録メディア606、メディアI/F607、ディスプレイ608、通信接続機構609、ネットワークI/F610、キーボード611、マウス612、DVD−RWドライブ614、及び、バスライン620を備えている。これらは、それぞれ、CPU201、ROM202、RAM203、HD204、HDDコントローラ205、記録メディア206、メディアI/F207、ディスプレイ208、通信接続機構209、ネットワークI/F210、キーボード211、マウス212、DVD−RWドライブ214、及び、バスライン220と同様の構成であるため、これらの説明を省略する。
不動産紹介サーバ8は、CPU801、ROM802、RAM803、HD804、HDDコントローラ805、記録メディア806、メディアI/F807、ディスプレイ808、通信接続機構809、ネットワークI/F810、キーボード811、マウス812、DVD−RWドライブ814、及び、バスライン820を備えている。これらは、それぞれ、CPU201、ROM202、RAM203、HD204、HDDコントローラ205、記録メディア206、メディアI/F207、ディスプレイ208、通信接続機構209、ネットワークI/F210、キーボード211、マウス212、DVD−RWドライブ214、及び、バスライン220と同様の構成であるため、これらの説明を省略する。
顧客端末9は、CPU901、ROM902、RAM903、HD904、HDDコントローラ905、記録メディア906、メディアI/F907、ディスプレイ908、通信接続機構909、ネットワークI/F910、キーボード911、マウス912、DVD−RWドライブ914、及び、バスライン920を備えている。これらは、それぞれ、CPU201、ROM202、RAM203、HD204、HDDコントローラ205、記録メディア206、メディアI/F207、ディスプレイ208、通信接続機構209、ネットワークI/F210、キーボード211、マウス212、DVD−RWドライブ214、及び、バスライン220と同様の構成であるため、これらの説明を省略する。
なお、DVD−RWドライブではなく、Blu-ray Discドライブ等であってもよい。また、通信端末(業者端末2、顧客端末9)及びサーバ(画像管理サーバ4、座標検出サーバ6、不動産紹介サーバ8)は、それぞれ単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。更に、上記各プログラムが記憶されたHD(Hard Disk)やDVD−ROM等の記録媒体は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
〔実施形態の機能構成〕
次に、図10乃至図15を用いて、本実施形態の機能構成について説明する。図11は、画像通信システムの機能ブロック図である。なお、ここでは、撮影装置1、不動産紹介サーバ8、及び顧客端末9は、特徴的な処理を行う訳ではないため、説明を省略する。
<業者端末の機能構成>
まず、図10及び図11を用いて、業者端末2の機能構成について詳細に説明する。図11に示されているように、業者端末2は、送受信部21、受付部22、作成部23、表示制御部24、判断部25、通信部28、及び記憶・読出部29を有している。これら各部は、図10に示されている各構成要素のいずれかが、HD204からRAM203上に展開された業者端末2用プログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
また、業者端末2は、図10に示されているRAM203及びHD204によって構築される記憶部2000を有している。
(業者端末の各機能構成)
送受信部21は、主に、図10に示されているネットワークI/F210及びCPU201の処理によって実現され、インターネット等の通信ネットワーク100を介して、他の装置(例えば、撮影装置1、各サーバ4,8)との間で各種データ(または情報)の送受信を行う。なお、送受信部21は、画像処理サーバ4に対して返信する処理を行うため、返信部としての機能も実現する。
受付部22は、主に、キーボード211、マウス212、及びCPU201の処理によって実現され、利用者(不動産事業者A)から各種の選択又は入力を受け付ける。
作成部23は、主に、CPU201の処理によって実現され、図35に示されているような不動産紹介画像を作成する。
表示制御部24は、主に、CPU201の処理によって実現され、ディスプレイ208に、各種画像を表示させる。
判断部25は、主に、CPU201の処理によって実現され、各種判断を行なう。判断内容は後述する。
通信部28は、主に、通信接続機構209、及びCPU201の処理によって実現され、外部装置(例えば、撮影装置1)と通信ケーブルを接続することで、画像データ等の通信を行う。
記憶・読出部29は、主に、HDDコントローラ205、CPU201の処理によって実現され、記憶部2000に、各種データ(または情報)を記憶したり、記憶部2000から各種データ(または情報)を読み出したりする。
<画像処理サーバの機能構成>
続いて、図10及び図11を用いて、画像処理サーバ4の機能構成について詳細に説明する。図11に示されているように、画像処理サーバ4は、送受信部41、作成部43、判断部45、算出部46、画像処理部47、及び記憶・読出部49を有している。これら各部は、図10に示されている各構成要素のいずれかが、HD404からRAM403上に展開された画像処理サーバ4用プログラムに従ったCPU401からの命令によって動作することで実現される機能又は手段である。
また、画像処理サーバ4は、図10に示されているRAM403及びHD404によって構築される記憶部4000を有している。記憶部4000には、画像管理DB4001、検出座標管理DB4002、初期パラメータ管理DB4003、及び切出パラメータ管理DB4004が構築されている。
(画像管理テーブル)
図12は、画像管理DB4001を構成する画像管理テーブルの概念図である。画像管理テーブルでは、広角画像、狭角画像を識別するための画像ID(Identification)、及び画像データが関連付けて管理されている。なお、狭角画像は、広角画像の部分画像としての所定領域画像である。
(検出座標管理テーブル)
図13(a)は検出座標管理DB4002を構成する検出座標管理テーブルの概念図である。図13(b)は、(a)の交点座標に対応する位置を示した広角画像の概念図である。
検出座標管理テーブルでは、広角画像の画像ID(例えば、Room1)毎に、座標検出サーバ6で検出された広角画像の交点座標が管理されている。
交点座標は、広角画像における、壁、天井、及び床などの建造物の境界線の交点の座標を示している。ここでは、縦64pixel、横128pixelとした広角画像中の境界の交点、即ち、部屋のコーナーの画像上の座標を示している。なお、検出座標管理テーブルの8つの交点座標の番号は、図13(b)に示されている広角画像上に示された位置(座標)の8つの番号に対応する。
(初期パラメータ管理テーブル)
図14は、初期パラメータ管理DB4003を構成する初期パラメータ管理テーブルの概念図である。初期パラメータ管理テーブルでは、5種類のパラメータに対して、それぞれ初期パラメータ及び指定パラメータが関連付けて管理される。5種類は、図7で説明した、画角α、パン角θ、チルト角φ、高さH、及び幅Wである。
初期パラメータは、工場出荷前等に予め登録されたパラメータである。指定パラメータは、利用者(不動産業者A)によって指定されたパラメータである。
(切出パラメータ管理テーブル)
図15は、切出パラメータ管理DB4004を構成する切出パラメータ管理テーブルの概念図である。図15(a)は最初の段階の切出パラメータ管理テーブルを示し、図15(b)は調整値が追加された場合の切出パラメータ管理テーブルを示す。
切出パラメータ管理テーブルでは、広角画像の画像ID(例えば、room1)、狭角画像の画像ID(例えば、crop01)、及び切出モード(例えば、a1)が関連付けられている。この切出モードは3種類あり、構造及び重要度を利用して切り出された狭角画像を示す切出モード1(a1)、構造のみを利用して切り出された狭角画像を示す切出モード2(a2)、及び重要度を利用して切り出された狭角画像を示す切出モード(a3)が含まれる。なお、構造、及び重要度に関しては、後述する。
更に、切出パラメータ管理テーブルでは、広角画像の画像ID、狭角画像の画像ID、及び切出モードを含む1つの組毎に、上述の5種類のパラメータに対して、それぞれ切出パラメータ及び調整値が関連付けて管理される。切出パラメータは、算出部46によって算出され、業者端末2側で広角画像から狭角画像を切り出す処理に利用される。調整値は、一旦算出された切出パラメータの調整に利用される値である。調整値がある場合には、業者端末2側で、切出パラメータ及び調整値が、広角画像から狭角画像を切り出す処理に利用される。
(画像処理サーバの各機能構成)
送受信部41は、主に、図10に示されているネットワークI/F410及びCPU401の処理によって実現され、インターネット等の通信ネットワーク100を介して、他の装置(例えば、業者端末2、座標検出サーバ6)との間で各種データ(または情報)の送受信を行う。
作成部43は、主に、CPU401の処理によって実現され、広角画像から切り出す狭角画像を識別するための画像ID(例えば、crop01)を作成する。また、作成部43は、業者端末2が画像処理サーバ4で管理されている広角画像のデータを取得できるように、画像IDを含むURLを作成する。
判断部45は、主に、CPU401の処理によって実現され、各種判断を行なう。判断内容は後述する。
算出部46は、主に、CPU401の処理によって実現され、交点座標を利用して、所定のアルゴリズムに基づき、画角α、パン角θ、及びチルト角φを算出する。
画像処理部47は、主に、CPU401の処理によって実現され、図22に示されているような後述の、例えば、2種類の構図(三面構図、二面構図)を示した各広角画像を切り出す等の画像処理を行う。具体的には、画像処理部47は、広角画像における建造物の構造が表される複数の境界のうち、広角画像において縦方向の最短の長さの特定の境界を含むように狭角画像を切り出して取得する。
記憶・読出部49は、主に、HDDコントローラ405、CPU401の処理によって実現され、記憶部4000に、各種データ(または情報)を記憶したり、記憶部4000から各種データ(または情報)を読み出したりする。
<座標検出サーバの機能構成>
続いて、図10及び図11を用いて、座標検出サーバ6の機能構成について詳細に説明する。図11に示されているように、座標検出サーバ6は、送受信部61、構造検知部63、座標検出部66、及び記憶・読出部69を有している。これら各部は、図10に示されている各構成要素のいずれかが、HD604からRAM603上に展開された座標検出サーバ6用プログラムに従ったCPU601からの命令によって動作することで実現される機能又は手段である。
また、画像処理サーバ6は、図10に示されているRAM603及びHD604によって構築される記憶部6000を有している。
(座標検出サーバの各機能構成)
送受信部61は、主に、図10に示されているネットワークI/F610及びCPU601の処理によって実現され、インターネット等の通信ネットワーク100を介して、他の装置(例えば、画像処理サーバ6)との間で各種データ(または情報)の送受信を行う。
構造検知部63は、主に、CPU401の処理によって実現され、広角画像から、部屋の構造を検知する。具体的には、構造検知部63は、広角画像から、壁、天井、床の境界を示す境界情報を推定する。この推定は機械学習をはじめ画像処理などで行われる。境界情報は、図13(a)の交点座標を含めた、画像全体の中の境界線を示す座標の集まりであり、例えば、後述の図20で示される縦の直線と横の湾曲した線を示す。
座標検出部66は、主に、CPU401の処理によって実現され、図20に示された後述の壁、天井、床の境界線を示す境界情報に基づいて、図13に示されているような各交点座標を検出する。
記憶・読出部69は、主に、HDDコントローラ605、CPU601の処理によって実現され、記憶部6000に、各種データ(または情報)を記憶したり、記憶部4000から各種データ(または情報)を読み出したりする。
〔実施形態の処理又は動作〕
<広角画像の管理>
まずは、図16を用いて、画像処理サーバ4が業者端末2から取得した広角画像のデータを管理する処理について説明する。図16は、広角画像のデータの管理を行う処理を示したシーケンス図である。
まず、不動産業者Aは撮影装置1を利用して不動産である部屋を撮影(図2参照)する(S11)。
次に、撮影装置1は、業者端末2に対してステップS11で撮影されることで得られた2つの撮影画像(図3(a)、(b)参照)に基づいて正距円筒射影画像である広角画像(図3(c)参照)のデータを作成する(S12)。そして、撮影装置1は、業者端末2に対してステップS12で作成された広角画像のデータを送信する(S13)。これにより、業者端末2の送受信部21は、広角画像のデータを受信する。
次に、業者端末2の送受信部21は、画像処理サーバ4に対して、広角画像を管理する要求を示す画像管理要求を送信する(S14)。この画像管理要求には、管理対象であるステップS13で作成された広角画像のデータが含まれている。これにより、画像処理サーバ4の送受信部41は、画像管理要求を受信する。
続いて、画像処理サーバ4では、ステップS14で受信された広角画像を識別するための画像IDを作成する(S15)。そして、記憶・読出部49は、画像管理DB4001に対して、ステップS15で作成された画像ID、及びステップS14で受信された広角画像のデータを関連付けて記憶して管理する(S16)。更に、作成部43は、業者端末2が画像処理サーバ4で管理されている広角画像のデータを取得できるように、ステップS15で作成された画像IDを含むURLを作成する(S17)。
次に、送受信部41は、画像管理要求元の業者端末2に対して、ステップS17で作成されたURLを示すURL情報を送信する(S18)。これにより、業者端末2の送受信部21は、URL情報を受信する。
次に、業者端末2では、記憶・読出部29が、記憶部2000に対してステップS18で受信されたURL情報を記憶しておく(S19)。
<切出パラメータの作成要求>
続いて、図18を用いて、業者端末2から画像処理サーバ2に対して、画像処理サーバ4が広角画像から狭角パラメータを作成するための要求の処理を説明する。図18は、切出パラメータの作成処理を示したシーケンス図である。
まず、業者端末2の受付部22は、不動産業者Aから、狭角画像を表示するために必要な切出パラメータの要求を受け付ける(S31)。次に、送受信部21は、画像処理サーバ4に対して、切出パラメータの作成要求を送信する(S32)。この作成要求には、図16のステップS18で業者端末2が受信したURLが含まれている。このURLには、上述のように、広角画像の画像IDが含まれている。なお、不動産業者が業者端末2で、指定パラメータを入力していた場合には、指定パラメータも送信される。指定パラメータは、上述のように、画角α、チルト角φ、高さH、及び幅Wのうち、少なくとも1つである。これにより、画像処理サーバ4の送受信部41は、切出パラメータの作成要求を受信する。
次に、ステップS32で指定パラメータが受信されていた場合には、記憶・読出部49は、初期パラメータ管理DB4003の指定パラメータ欄に、受信された指定パラメータを記憶する(S33)。なお、この指定パラメータを画像処理サーバ4で記憶する処理は、別途、ステップS31の処理の前に行っておいてもよい。
次に、作成部43は、広角画像から切り出す狭角画像を識別するための画像ID(例えば、crop01)を作成する(S34)。
次に、画像処理部47は、切出パラメータの算出処理を行う(S35)。この算出処理については、後述する。
<交点座標の取得方法>
また、画像処理サーバ4は、広角画像に現れている建造物の構造に基づいて切出パラメータを作成する場合、広角画像から構造を検出する必要がある。そのため、図18のステップS35の処理の前に、画像処理サーバ4は、座標検出サーバ6から広角画像から構造を検出した検出結果である交点座標を取得する必要がある。そこで、以下に、図19を用いて、画像処理サーバ4が座標検出サーバ6から広角画像における交点座標を取得する処理について説明する。図19は、画像処理サーバが座標検出サーバから広角画像における交点座標を取得する処理を示すシーケンス図である。
まず、画像処理サーバ4では、記憶・読出部41が、図18のステップS32で受信された広角画像の画像IDを検索キーとして画像管理DB4001を検索することにより、対応する広角画像のデータを読み出す(S51)。
次に、送受信部41は、座標検出サーバ6に対して、交点座標を要求するための交点座標要求を送信する(S52)。この交点座標要求には、ステップS51で読み出された広角画像のデータが含まれている。これにより、座標検出サーバ6は、交点座標要求を受信する。
次に、座標検出サーバ6では、構造検知部63が、ステップS52で受信された広角画像から、建造物の一例である部屋の構造を検知する(S53)。
(建造物の構造検知)
ここで、図20を用いて、建造物の一例である部屋を参考に、建造物の構造を検知する方法について説明する。図20は、機械学習の際の部屋の構造を示す教師画像の概念図である。
まず、機械学習では、構造検知部63が、図17の入力画像(広角画像)と、この入力画像から構造物の壁、床、及び天井の境界のみが表された図20の教師画像をペアにし、入力画像から出力画像が得られるように学習を行う。出力画像は、ほぼ教師画像と同じになる。この学習は一般的な画像から画像を生成する畳み込みニューラルネットワークで実現できる。
一方、機械学習ではなく画像処理の場合には、広角画像のエッジを抽出する処理と、消失点を組み合わせて、出力画像が得られる。なお、消失点(Vanishing Point)は、遠近法において、実際のものでは平行線になっているものを平行でなく描く際に、その線が交わる点である。この場合、構造検知部63は、エッジ強度の最も強い部分を統計的に求め、その中から各消失点に従うものを選び出し、その交差する点が連続するように微調整を行うことで実現できる。
続いて、図19に戻り、座標検出部66は、出力画像(図20参照)の境界情報に基づいて、図13(b)で示されているような境界情報で示される境界線の各交点の座標(交点座標)を検出する(S54)。そして、送受信部61は、画像処理サーバ4に対して、ステップS52の応答として、ステップS54で検出された交点座標を検出結果として送信する(S55)。これにより、画像処理サーバ4の送受信部41は、検出結果を受信する。
次に、画像処理サーバ4の記憶・読出部49は、検出座標管理DB4002に対して、ステップS32で送信した広角画像の画像IDと、ステップS55で受信された検出結果である交点座標を関連付けて記憶する(S56)。
<切出パラメータの算出処理>
続いて、図21乃至図28を用いて、ステップS35の切出パラメータの算出処理を詳細に説明する。図21(a)は構図及び重要度の組み合わせで狭角画像を切り出す場合の切出パラメータの設定処理(切出モード1)、又は構図のみで狭角画像を切り出す場合の切出パラメータの設定処理(切出モード2)を示したフローチャートであり、図21(b)は重要度のみで狭角画像を切り出す場合の切出パラメータの設定処理(切出モード3)を示したフローチャートである。
(構造を利用した切出パラメータの算出)
まず、図21(a)を説明する。図21(a)に示されているように、記憶・読出部49は、初期パラメータ管理DB4003の指定パラメータを検索する(S111)。次に、判断部45は、初期パラメータ管理DB4003に指定パラメータが管理されているか否かを判断する(S112)。判断部45が、指定パラメータが管理されていると判断した場合には、(S112;YES)、記憶・読出部49が、パン角θ以外の指定パラメータを対応する切出パラメータとして切出パラメータ管理DB4004に記憶する(S113)。この場合、記憶・読出部49は、広角画像の画像IDに加え、ステップS33で作成された狭角画像の画像ID、及び切出モードを特定するための切出モードIDを関連付けて記憶する。
一方、判断部45が、指定パラメータが管理されていないと判断した場合には、(S112;NO)、記憶・読出部49が、パン角θ以外の初期パラメータを対応する切出パラメータとして切出パラメータ管理DB4004に記憶する(S114)。この場合も、記憶・読出部49は、広角画像の画像IDに加え、ステップS33で作成された狭角画像の画像ID、及び切出モードを特定するための切出モードIDを関連付けて記憶する。
次に、記憶・読出部49は、ステップS32で受信された画像IDを検索キーとして検出座標管理DB4002を検索することにより、対応する交点座標を読み出す(S115)。
次に、算出部46は、交点座標を利用して、所定のアルゴリズムに戻づきパン角θを算出する(S116)。この算出方法に関しては、図22乃至図26を用いて、後ほど詳細に説明する。
最後に、記憶・読出部49が、ステップS116で算出されたパン角θを対応する切出パラメータとして切出パラメータ管理DB4004に記憶する(S117)。
以上より、広角画像に現れている建造物の構造を利用して切出パラメータを算出する処理が終了する。なお、この時点では、アップロードの可否は管理されていない。
(構造を利用しない切出パラメータの算出)
続いて、図21(b)を説明する。この場合、切出パラメータの算出には、広角画像に現れている建造物の構造が利用されないため、ステップS115のように検出座標管理DB4002から交点座標が読み出される処理が省略される。更に、広角画像の構造が利用されないため、パン角θだけでなく、画角α及びチルト角φも算出される。これについて、以下、具体的に説明する。
まず、図21(b)に示されているように、記憶・読出部49は、初期パラメータ管理DB4003の指定パラメータを検索する(S121)。次に、判断部45は、初期パラメータ管理DB4003に指定パラメータが管理されているか否かを判断する(S122)。判断部45が、指定パラメータが管理されていると判断した場合には、(S122;YES)、記憶・読出部49が、画角α、パン角θ、及びチルト角φ以外の指定パラメータを、対応する切出パラメータとして切出パラメータ管理DB4004に記憶する(S123)。この場合、記憶・読出部49は、広角画像の画像IDに加え、ステップS33で作成された狭角画像の画像ID、及び切出モードを特定するための切出モードIDを関連付けて記憶する。
一方、判断部45が、指定パラメータが管理されていないと判断した場合には、(S122;NO)、記憶・読出部49が、画角α、パン角θ、及びチルト角φ以外の初期パラメータを、対応する切出パラメータとして切出パラメータ管理DB4004に記憶する(S124)。この場合も、記憶・読出部49は、広角画像の画像IDに加え、ステップS33で作成された狭角画像の画像ID、及び切出モードを特定するための切出モードIDを関連付けて記憶する。
次に、算出部46は、交点座標を利用して、所定のアルゴリズムに基づき、画角α、パン角θ、及びチルト角φを算出する(S125)。この算出方法に関しては、図27及び図28を用いて、後ほど詳細に説明する。
最後に、記憶・読出部49が、ステップS125で算出された、画角α、パン角θ、及びチルト角φを、対応する切出パラメータとして切出パラメータ管理DB4004に記憶する(S126)。
以上より、広角画像に現されている建造物の構図を利用せずに切出パラメータを算出する処理が終了する。なお、この時点では、アップロードの有無は管理されていない。
(切出パラメータの詳細な算出方法)
続いて、図22乃至図28を用いて、上記ステップS116,S125の算出方法について詳細に説明する。
まずは、算出方法を説明するにあたって、図22を用いて、建造物が美しく見える、例えば、部屋が美しく見える場合の画像の構図について説明する。図22は、部屋が美しく見える場合の画像の構図を示した図であり、(a)は三面構図を示した図、(b)は二面構図を示した図である。
図22(a)に示されている三面構図は、画像の中央部分に壁302の中央部分が位置しており、壁302の両側の壁301と壁303が同じ形状になるようにし、さらに、天井304と床305が同じ割合で表されていることが条件である。このように、天井と床が含まれているのは、人間は天井と床が表示されないと空間を把握しづらいからである。これにより、中央の壁302の左側に壁301、及び壁302と壁301の境界である柱3012が表される。また、中央の壁302の右側に壁303、及び壁302と壁303の境界である柱3023が表される。
また、図22(b)に示されている二面構図は、壁の境界である柱3023が画像全体の横幅の1/3に位置し、天井304と床305が同じ割合で表されていることが条件である。これにより、柱3012の左側に大きく壁301が表され、柱3023の右側に小さく壁302が表される。ここで、境界の一例で柱を示しているが、その他に、境界が示されるのであれば、柱に限らない。なお、二面構図とは、一般的に、等間隔に引いた水平線と垂直線2本ずつにより画面を9等分(上下・左右方向にそれぞれ3等分)すると仮定し、それらの線上、もしくは線同士の交点上に構図上の重要な要素を配置すると、バランスが取れて安定した構図になると言われているものである。
続いて、上記ステップS116の処理について詳細に説明する。ここで、壁・天井・床を示す境界情報を基に、画像処理部47は、図22に示した2種類の構図を示した各広角画像を切り出す。
まず、画像処理部47は、切り出す壁を選ぶ。切り出す壁は最も遠い壁とする。
そして、画像処理部47は、一番遠い壁の境界を基準に図22で示した2つの構図で切り出しを行う。画像処理部47は、まず、二面構図で切り出しを行う。画像処理部47は、遠い壁の境界を切り出す画像の左右からそれぞれ1/3に位置するように視点を計算する。図23は、2つの二面構図の候補を示した広角画像の概念図である。二面構図は、図23のように1つの壁の境界(柱)から2つが算出されるため、これらを比較してどちらかだけを使うこともできる。上記のように一番遠い壁の境界(柱)は、広角画像において最短の長さの境界である。
比較方法は数種類考えられる。例えば、切り出し範囲内の明るさの合計や、広角画像に表されている物体の数、人間の注意を反映した重要度推定と呼ばれるアルゴリズムを使い、切り出し範囲内の重要度の合計で比較する方法などが考えられる。重要度推定は広角画像を入力に取り、広角画像内で重要なものを見つけるアルゴリズムである。詳細は、日本特許6511950に開示されている。図24は、重要度を示した広角画像の概念図である。図24では、濃淡の薄い部分の重要度が低く、濃い部分の重要度が高いことが示されている。画像処理部47が、広角画像の構図を利用せず、重要度のみで切出パラメータを算出する場合には、図24に示される濃い部分が多く含まれる所定領域を切り出す。
図25は、撮影装置1から遠い壁(柱)を含む候補とされた2つの二面構図から重要度推定を使ってどちらの二面構図を採用するかを比較するイメージ図を示す。この例では重要度の合計が、右の構図の方が大きいため、右の構図を優先して使用するとよい。
なお、遠い壁(柱)を基準とせず、全ての柱に対して二面構図と三面構図で切り出すことで、建造物を表す候補を抽出してもよい。この場合、壁の境界それぞれに対し、まず二面構図を重要度で比較して切り出す。この後、画像処理部47は、三面構図を各壁の中央を中心に据えて切り出す。この対応により、切り出された狭角画像を、建造物を表す狭角画像の候補として提示することができる。
次に、画像処理部47は、広角画像から三面構図の画像を切り出す。この三面構図の画像も壁をアップしない(大きく表示しない)ために、二面構図と同様に遠い壁を基準に構図が作られる。この場合、二面構図と同様に、壁の境界の右の壁を中心据えるか、左の壁を中心据えるかという2つの候補が出てくる。その両方を切り出し結果とするか、上述した方法や二面構図と被っていないかで比較し、どちらか一方を切り出し結果とする2つの方法がある。この場合、切り出す範囲の重複が減り、似たような狭角画像が数多く切り出されるという事態を避けられるようになる。
次に、画像処理部47は、構造を利用せずに、重要度だけで広角画像から狭角画像を切り出す。先程までの構図は構造物の全体を境界から判断して構図を選んでいるが、重要度だけで判断すると、建造物内にある物体に注目した狭角画像を切り出すことができる。例えば、椅子や机、絵画、ベッド、ソファ等に着目して狭角画像を切り出すこともできる。画像処理部47は、図26に示す重要度推定の結果を使い、部屋内で重要な物とされた周辺を切り出す。これらの構図候補も二面構図と三面構図同様に、何らかの方法で候補を比較し、一部だけを切り出した結果とすることができる。
図27は、構造を示す境界情報のみを利用して二面構図の切出画像を切り出す場合を示した概念図である。図28は、構造を示す境界情報のみを利用して三面構図の切出画像を切り出す場合を示した概念図である。構造のみの場合は、二面構図と三面構図は建造物の境界を利用して選定することができる。画像処理部47は、上述した方法と同じ方法で、例えば、すべての壁を基準に狭角画像を切り出す。
<狭角画像の選択処理>
図18のステップS35で算出された各切出パラメータで示される狭角画像は、不動産紹介サーバ8に提供又は送信されることで、不動産業者Aは顧客Bに対して不動産を紹介することができる。しかし、ステップS35で算出された各切出パラメータは、画像処理サーバ4によって自動的に算出されているため、最終的には不動産業者自身が、顧客に紹介する狭角画像を決定することが望ましい。そこで、次に、図29乃至図32を用いて、業者端末2から不動産紹介サーバ8にアップロードする狭角画像を決定するための処理について説明する。図29は、不動産紹介サーバにアップロードして登録する狭角画像を決定するための処理を示したシーケンス図である。
まず、画像処理サーバ4の送受信部41は、業者端末2に対して、狭角画像を選択させるための狭角画像選択要求を送信する(S71)。この狭角画像選択要求には、広角画像のデータ及び広角画像の画像ID、並びに、各狭角画像の表示に利用される各切出パラメータ及び各狭角画像の各画像IDが含まれている。これにより、業者端末2は、狭角画像選択要求を受信する。
次に、業者端末2では、表示制御部24が、ステップS71で受信された広角画像における各切出パラメータで示される所定領域に基づき、図30に示されているような狭角画像選択画面をディスプレイ208上に表示する(S72)。図30は、業者端末2が最初に表示する狭角画像選択画面を示した図である
(最初の狭角画像選択画面)
図30に示されているように、狭角画像選択画面は上から下に向けて3つの表示領域A1,A3,A2によって構成されている。表示領域A1に、切出モード1(a1)の場合に、広角画像の構図及び重要度に基づいて算出された切出パラメータによって作成された複数の狭角画像が表示されている。表示領域A3には、切出モード3(a3)の場合に、重要度のみに基づいて算出された切出パラメータによって作成された複数の狭角画像が表示されている。表示領域A2には、切出モード2(a2)の場合に、構図のみに基づいて算出された切出パラメータによって作成された複数の狭角画像が表示されている。
各狭角画像の右上には、不動産紹介サーバ8にアップロードする狭角画像を選ぶことを示すためにチェックを入れるためのチェックボックスが表示されている。本実施形態の場合、表示領域A1に表示されている狭角画像は、構図と重要度の両方の条件から算出されているため、遠くの壁かつ構図が良い画像となっていることから、顧客に紹介するのに適した画像となっている。このように、遠くの壁を表示することで、狭角画像は、遠くの壁の全体を表示することができる。また、表示領域A3に表示されている狭角画像は、人間が注目する重要度の条件から算出されているため、表示領域A1に次いで、顧客に紹介するのに適した画像となっている。よって、表示領域A1,A3に表示されている各狭角画像のチェックボックスには最初からチェックが入っている。
一方、表示領域A2に表示されている狭角画像は、構図のみの条件から算出されているため、表示領域A1,A3に比べて、顧客に紹介するのに適していない画像が含まれる可能性が高い。そのため、表示領域A23に表示されている各狭角画像のチェックボックスには最初からチェックが入っていない。
チェックボックスにチェックが入った場合には、記憶・読出部49が、切出パラメータ管理テーブル(図15(a)参照)のアップロード欄に、「TRUE」と設定する。また、チェックボックスにチェックが入っていない場合には、記憶・読出部49が、切出パラメータ管理テーブルのアップロード欄に、「FALSE」と設定するか、又は何も設定しない。
また、狭角画像選択画面の右下の「確定」ボタンb1は、不動産紹介サーバ8にアップロードする狭角画像を最終的に確定するためのボタンである。
(紹介する狭角画像の確定)
次に、図29に戻り、業者端末2は、顧客Bに紹介するために不動産紹介サーバ8にアップロードする狭角画像を確定する(S73)。ここで、図31乃至図33を用いて、顧客に紹介するために不動産紹介サーバ8にアップロードする狭角画像を確定するための処理を説明する。図31は、業界端末が表示する変更後の狭角画像選択画面を示した図である。
例えば、図30において、不動産業者Aが表示領域A2の左側の狭角画像の所定領域を変更したい場合、マウス212を使って(手形の)カーソルhを変更対象の狭角画像上に位置させた後に移動させる。図31では、カーソルh0が移動前で、カーソルh1が移動後を示している。なお、カーソルの移動には、スライド(所定領域移動)、スワイプ(所定領域移動)、フリック(所定領域移動)、ピンチイン(所定領域拡大:被写体縮小)、ピンチアウト(所定領域縮小:被写体拡大)等の操作が含まれる。
以下、図32及び図33を用いて、このような狭角画像の所定領域を変更する処理について詳細に説明する。図32は、切出パラメータの調整、及びアップロード対象の変更の処理を示すフローチャートである。
図32に示されているように、判断部25は、受付部22が不動産業者Aによって「確定」ボタンb1の押下を受け付けたか否かを判断する(S151)。そして、受付部22が確定を受け付けた場合には(S151;YES)、ステップS73の処理(図32の処理)は終了する。
一方、受付部22が確定を受け付けていない場合には(S151;NO)、判断部25は、受付部22が狭角画像における所定領域の変更を受け付けたか否かを判断する(S152)。そして、受付部22が変更を受け付けていない場合には(S152;NO)、ステップS151の処理に戻る。
一方、受付部22が変更を受け付けている場合には(S152;YES)、表示制御部24は、変更後の所定領域で示される狭角画像に変更表示する(S153)。更に、業者端末2は、変更後の所定領域に応じて切出パラメータの調整処理を行う(S154)。ここで、図33を用いて、ステップS154の処理を詳細に説明する。図33は、切出パラメータの調整処理を示すフローチャートである。
図33に示されているように、判断部25は、仮想カメラICの撮影方向が変更されたか否かを判断する(S154−1)。不動産業者Aが変更対象の狭角画像上で、カーソルhをスライド、スワイプ又はフリックすることで、撮影方向が変更される。そして、撮影方向が変更された場合には(S154−1;YES)、記憶・読出部29は、記憶部2000に、撮影方向の変更に応じた切出パラメータ(パン角θ及びチルト角φの少なくとも一方)の調整値を記憶する(S154−2)。
一方、撮影方向が変更されていない場合には(S154−1;NO)、判断部25は、狭角画像の精細度が変更されたか否かを判断する(S154−3)。不動産業者Aが変更対象の狭角画像上で、カーソルhをピンチイン又はピンチアウトすることで、精細度が変更される。そして、精細度が変更された場合には(S154−3;YES)、記憶・読出部29は、記憶部2000に、精細度の変更に応じた切出パラメータ(高さH及び幅Wの少なくとも一方)の調整値を記憶する(S154−4)。
一方、精細度が変更されていない場合には(S154−3;NO)、判断部25は、仮想カメラICの画角が変更されたか否かを判断する(S154−5)。不動産業者Aが変更対象の狭角画像上で、カーソルhをスライド、スワイプ、フリック、ピンチイン又はピンチアウトすることで、画角が変更される。そして、画角が変更された合には(S154−5;YES)、記憶・読出部29は、記憶部2000に、画角の変更に応じた切出パラメータ(画角α)の調整値を記憶する(S154−6)。
以上より、図32のステップS154の処理が終了する。
続いて、判断部25は、アップロードの有無が変更されたか否かを判断する(S155)。不動産業者Aが各変更対象の狭角画像の右上のチェックボックスにチェックを入れたり外したりすることで、アップロードの有無が変更される。そして、アップロードの有無が変更された合には(S155;YES)、記憶・読出部29は、図15(a)の切出パラメータ管理テーブルのアップロード欄のフラグを変更する(S156)。例えば、アップロードする場合からアップロードしない場合に変更された場合、フラグが「TRUE」から「FALSE」に変更される。また、アップロードしない場合からアップロードする場合に変更された場合、フラグが「FALSE」から「TRUE」に変更される。そして、アップロードの有無の変更がない場合(S155;NO)及びステップS156の処理後、再びステップS151の処理に戻る。
以上により、図29のステップS73の処理が終了する。
そして、上記ステップ151で、判断部25が確定したと判断した場合、送受信部21は、画像処理サーバ4に対して、アップロード対象となる狭角画像の選択結果を送信する(S74)。この選択結果には、ステップS71で受信された広角画像の画像ID、及びステップS73でチェックボックスにチェックが入っている狭角画像の画像IDが含まれている。更に、ステップS73で狭角画像に変更が生じている場合には、記憶部2000に記憶されている調整値も選択結果に含まれている。これにより、画像処理サーバ4の送受信部41は、選択結果を受信する。なお、送受信部21は、調整値を送信せずに、元の切出パラメータ自体が変更された変更後の切り出しパラメータを送信してもよい。
(アップロード対象の狭角画像の管理)
続いて、図29を用いて、画像処理サーバ4が実行するアップロード対象の狭角画像の管理の処理を説明する。
図29に示されているように、画像処理サーバ4では、記憶・読出部49は、切出パラメータ管理DB4004に、ステップS74で受信された広角画像の画像ID及び狭角画像の画像IDを検索キーとして切出パラメータ管理DB4004を検索することにより、対応する切出パラメータ管理テーブルのアップロード欄を「TRUE」と書き換える(S75)。なお、既にTRUEで記憶されている場合には、書き換えは不要である。また、ステップS74で調整値が受信されている場合には、図15(b)に示されているように、切出パラメータ毎に調整値が記憶される。
次に、画像処理部47は、切出パラメータ管理DB4004で管理されている切出パラメータを利用して、広角画像から狭角画像を切り出す(S76)。この場合、調整値が管理されている場合には、画像処理部47は、調整値を含めた切出パラメータを利用して、広角画像から狭角画像を切り出す。
次に、記憶・読出部49は、画像処理DB4001に、ステップS76で切り出された狭角画像のデータ、並びに、切り出された基の広角画像の画像ID及び切り出された狭角画像の画像IDを関連付けて記憶する(S77)。この場合、広角画像の画像ID及び狭角画像の画像IDによって、1つの画像IDが構成される。これにより、上記ステップS16で既に記憶されている広角画像とステップS77で記憶された狭角画像を区別して管理することができる。そして、作成部43は、狭角画像毎に、上記ステップS77で1つになった狭角画像の画像IDを含むURLを作成する(S78)。
次に、送受信部41は、業者端末2に対して、ステップS78で作成された各狭角画像のURLを送信する(S79)。これにより、業者端末2の送受信部21は、URLを受信する。
以上より、画像処理サーバ4が実行するアップロード対象の狭角画像の管理の処理が終了する。
<狭角画像を含めた不動産情報のアップロード>
続いて、図34を用いて、業者端末2から不動産紹介サーバ8に対して、狭角画像を含めた不動産情報をアップロードする処理について説明する。図34は、不動産情報のアップロード処理及び閲覧処理を示したシーケンス図である。ここでは、業者端末2には、建造物毎、例えば、不動産物件毎に、予め広角画像、狭角画像のURLが取得済みであるとして、説明する。
まず、不動産業者Aの操作に基づいて、業者端末2は、不動産紹介サーバ6に予め記憶されているテンプレート等を用いて、図35に示されているような不動産物件を紹介する不動産紹介画像(個々の不動産物件を紹介するサイトともいう)を作成する(ステップS91)。図35は、不動産紹介サイトを示した図である。この際、不動産物件画像には、広角画像と狭角画像の画像処理サーバ4での所在を示すURLを埋め込んで作成することができる。また、受付部22が、不動産業者Aから、物件名や価格等の書誌的情報及び間取り図の入力を受け付ける。これにより、作成部23は、図35に示されているように、物件名や価格等の書誌的情報c1、間取り図c2、広角画像に基づく全天球画像(及びこの全天球画像を見るためのアイコンc3)、各狭角画像d1〜d5、並びに、拡大された狭角画像Dを含んだ画像の所在を示すURLを含めて作成する。
次に、受付部22が不動産業者Aから送信の操作を受け付けることで、送受信部21は、不動産紹介サーバ8に対して、不動産紹介画像のデータをアップロードする(S92)。
次に、不動産紹介サーバ8は、不動産紹介サーバ8の記憶部8000に不動産紹介サイトのデータを記憶しておく(S93)。なお、この場合、図35に示される物件名や価格等の書誌的情報c1、間取り図c2、全天球画像を見るためのアイコンc3が記憶されるが、各狭角画像d1〜d5及び拡大された狭角画像Dは記憶されない。その代わり、各狭角画像d1〜d5及び拡大された狭角画像D等の画像については、これらの画像の所在を示すURLが記憶される。
以上により、業者端末2から不動産紹介サーバ8に対して、狭角画像を含めた不動産情報をアップロードする処理が終了する。
<顧客端末による不動産情報の閲覧>
続いて、図34を用いて、顧客端末9から不動産紹介サーバ8に対してアクセスし、顧客Bが不動産紹介画像を閲覧するまでの処理について説明する。
図34に示されているように、顧客Bの操作により、顧客端末9は不動産紹介サーバ9の不動産紹介サイトにアクセスする(S94)。これにより、不動産紹介サーバ8は、記憶部8000から不動産紹介画像のデータを読み出して(S95)、URLで指定された広角画像及び狭角画像を画像処理サーバ4に要求する(S96)。
画像処理サーバ4は、ステップS96で要求された広角画像及び狭角画像のデータを、画像管理DB4001から読み出す(S97)。そして、画像処理サーバ4は、不動産紹介サーバ8に対して、ステップS97で読み出した広角画像及び狭角画像のデータを送信する。(S98)。これにより、不動産紹介サーバ8が、画像処理サーバ4からURLに基づく画像を取得する。
また、不動産紹介サーバ8は、記憶部8000から、不動産物件の書誌的情報c1、間取り図c2、及び全天球画像を見るためのアイコンc3の各種情報を読み出す(S99)。そして、不動産紹介サーバ8が、ステップS98で画像処理サーバ4から取得した画像、及び、ステップS95で読み出した書誌情報等に基づいて、不動産紹介画像を生成する(S100)。そして、不動産紹介サーバ8は、不動産紹介画像を顧客端末9に送信する(S101)。これにより、顧客端末9は、ウェブブラウザによってディスプレイ908上に、図35に示されているような不動産紹介画像を表示させる(S102)。なお、図35では、顧客Bが狭角画像d5を選択することで、この狭角画像d5を拡大した狭角画像Dが表示された状態が示されている。これにより、顧客Bは不動産紹介画像を閲覧することができる。
以上により、顧客端末9から不動産紹介サーバ8に対してアクセスし、顧客Bが不動産紹介画像を閲覧するまでの処理が終了する。
〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、広角画像に現されている建造物の構造を利用して、切り出す狭角画像を利用者のニーズに沿った取得することができるという効果を奏する。
〔補足〕
上記実施形態では、広角画像は、全天球画像を作成する元の画像であるが、これに限るものではない。例えば、全天球ではないパララマ画像、一般の平面画像(縦横比が1:1、3:4、9:16等)であってもよい。また、広角画像は、全天球画像、パノラマ画像、又は一般の平面画像の全領域だけでなく、一部領域の画像であってもよい。この場合に、狭角画像は、全天球画像等の一部画像の更に一部画像(所定領域画像)となる。
また、上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated
Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。
1 撮影装置
2 業者端末(通信端末の一例)
3 画像処理システム3(画像処理サーバ4、座標検出サーバ6により構築)
4 画像処理サーバ
6 座標検出サーバ
8 不動産紹介サーバ
9 顧客端末
21 送受信部(返信手段の一例)
22 受付部(受付手段の一例)
23 作成部
24 表示制御部(表示制御手段の一例)
25 判断部
28 通信部
29 記憶・読出部
41 送受信部(送信手段の一例、受信手段の一例)
43 作成部(作成手段の一例)
45 判断部(判断手段の一例)
46 算出部(算出手段の一例)
47 画像処理部(画像処理手段の一例)
49 記憶・読出部
61 送受信部
63 構造検知部
66 座標検出部
69 記憶・読出部
2000 記憶部
5000 記憶部
4001 画像管理DB
4002 検出座標管理DB
4003 初期パラメータ管理DB
4004 切出パラメータ管理DB
6000 記憶部
特開2011−244116号公報

Claims (13)

  1. 画像データに係る画像から一部の所定領域である画像を取得する画像処理装置であって、
    前記画像データに係る画像の全領域又は一部領域である広角画像に表された建造物の構造に基づいて、前記広角画像の所定領域である狭角画像を取得する画像処理手段を有することを特徴とする画像処理装置。
  2. 前記画像処理手段は、前記建造物の構造が表される複数の境界のうち、前記広角画像において縦方向の最短の長さの特定の境界を含むように前記狭角画像を取得することを特徴とする請求項1に記載の画像処理装置。
  3. 前記所定領域は、パン角で指定されることを特徴とする請求項1又は請求項2に記載の画像処理装置。
  4. 前記狭角画像は、当該狭角画像の中央部分に前記建造物の境界で囲まれた範囲の中央部分が位置する構図を表す画像であることを特徴とする請求項2に記載の画像処理処理装置。
  5. 前記狭角画像は、前記特定の境界が前記狭角画像の横幅の1/3に位置する構造を表す画像であることを特徴とする請求項2に記載の画像処理処理装置。
  6. 前記建造物における部屋内の複数の境界のうち、天井と床を示す境界で囲まれた範囲を、それぞれ同じ割合で表されている画像であることを特徴とする請求項4又は請求項5に記載の画像処理装置。
  7. 前記画像処理手段は、前記広角画像を構成する画素毎にエッジ量を算出し、当該エッジ量の分布に基づいて前記広角画像における重要度を算出すると共に、前記構造に加えて当該重要度に基づき、前記狭角画像を取得することを特徴とする請求項1乃至4のいずれか一項に記載の画像処理処理装置。
  8. 請求項1乃至5のいずれか一項に記載の前記画像処理処理装置と、
    前記画像処理処理装置が送信した前記狭角画像のデータを受信して当該狭角画像を表示する通信端末と、
    を有することを特徴とする画像通信システム。
  9. 前記画像処理処理装置であって、
    前記画像処理手段は、単一の前記広角画像から複数の狭角画像を取得し、
    前記通信端末に対して、前記広角画像のデータ及び当該広角画像における前記複数の狭角画像としての各所定領域を示す各パラメータを送信する送信手段を有し、
    前記通信端末であって、
    前記広角画像において前記パラメータで示される前記各所定領域としての複数の狭角画像を表示手段に表示する表示制御手段と、
    前記複数の狭角画像のうち所望の狭角画像の選択を受け付ける受付手段と、
    前記画像処理サーバに対して、前記受付手段によって受け付けられた所望の狭角画像としての所定領域を示す特定のパラメータを返信する返信手段とを有する
    を特徴とする請求項6に記載の画像通信システム。
  10. 前記受付手段は、前記表示手段に表示された前記複数の狭角画像のうち所望の狭角画像としての所定領域の調整を受け付け、
    前記表示制御手段は、前記広角画像において調整後の所定領域を示す狭角画像を前記表示手段に表示させることを特徴とする請求項7に記載の画像通信システム。
  11. 前記受付手段が前記調整後の所定領域としての狭角画像の選択を受け付けた場合には、前記返信手段は前記画像処理サーバに対して前記調整後の所定領域を示す調整後のパラメータを返信することを特徴とする請求項8に記載の画像通信システム。
  12. 画像データに係る画像から一部の所定領域である画像を取得する画像処理方法であって、
    前記画像データに係る画像の全領域又は一部領域である広角画像に表された建造物の構造に基づいて、前記広角画像の所定領域である狭角画像を取得することを特徴とする画像処理方法。
  13. コンピュータに、請求項10に記載の方法を実行させるプログラム。
JP2019153482A 2019-08-26 2019-08-26 画像処理装置、画像通信システム、画像処理方法、及びプログラム Active JP7368699B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019153482A JP7368699B2 (ja) 2019-08-26 2019-08-26 画像処理装置、画像通信システム、画像処理方法、及びプログラム
US16/999,443 US11062422B2 (en) 2019-08-26 2020-08-21 Image processing apparatus, image communication system, image processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019153482A JP7368699B2 (ja) 2019-08-26 2019-08-26 画像処理装置、画像通信システム、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021034897A true JP2021034897A (ja) 2021-03-01
JP7368699B2 JP7368699B2 (ja) 2023-10-25

Family

ID=74676126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019153482A Active JP7368699B2 (ja) 2019-08-26 2019-08-26 画像処理装置、画像通信システム、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US11062422B2 (ja)
JP (1) JP7368699B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023077804A (ja) * 2021-11-25 2023-06-06 株式会社クラウドコネクションズ 建築物室内の管理データ取得システム、並びに当該システムを用いた原状回復費用算出支援システム及び荷物量特定システム
EP4250744A1 (en) 2022-03-23 2023-09-27 Ricoh Company, Ltd. Display terminal, communication system, method for displaying, method for communicating, and carrier means
JP2023163420A (ja) * 2022-04-28 2023-11-10 株式会社スペースリー 三次元モデル生成装置及び三次元モデル生成プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7419723B2 (ja) * 2019-09-25 2024-01-23 株式会社リコー 画像処理システム、画像処理装置および方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077261A (ja) * 2006-09-20 2008-04-03 Chudenko Corp 画像処理装置および画像処理プログラム
JP2013183249A (ja) * 2012-03-01 2013-09-12 Dainippon Printing Co Ltd 動画提示装置
JP2015195450A (ja) * 2014-03-31 2015-11-05 一般財団法人住まいづくりナビセンター 比較写真の撮影補助・表示方法及びプログラム
WO2018189961A1 (ja) * 2017-04-14 2018-10-18 シャープ株式会社 画像処理装置、端末装置、および画像処理プログラム
JP2019105876A (ja) * 2017-12-08 2019-06-27 株式会社Lifull 情報処理装置、情報処理方法、及び情報処理用プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5573349B2 (ja) 2010-05-17 2014-08-20 パナソニック株式会社 パノラマ展開画像撮影システムおよび方法
JP5807489B2 (ja) * 2011-09-28 2015-11-10 カシオ計算機株式会社 画像処理装置及び画像処理方法、並びにプログラム
JP2013239108A (ja) * 2012-05-17 2013-11-28 Sony Corp 画像処理装置および方法、学習装置および方法、並びに、プログラム
US9256983B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. On demand image overlay
US9330501B2 (en) * 2012-08-20 2016-05-03 Autodesk, Inc. Systems and methods for augmenting panoramic image data with performance related data for a building
JP6446766B2 (ja) 2013-07-08 2019-01-09 株式会社リコー プログラム、表示制御装置、記録媒体及び表示制御システム
US20150131924A1 (en) * 2013-11-13 2015-05-14 Microsoft Corporation Creation of Rectangular Images from Input Images
KR101583286B1 (ko) * 2014-05-16 2016-01-07 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
KR102493754B1 (ko) * 2015-02-17 2023-02-01 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
JP6511950B2 (ja) 2015-05-14 2019-05-15 株式会社リコー 画像処理装置、画像処理方法及びプログラム
KR102407765B1 (ko) * 2015-06-24 2022-06-10 삼성전자 주식회사 전자 장치 및 전자 장치의 파노라마 영상 표시 제어 방법
US20180075652A1 (en) * 2016-09-13 2018-03-15 Next Aeon Inc. Server and method for producing virtual reality image about object
US20190041972A1 (en) * 2017-08-04 2019-02-07 Cupix, Inc. Method for providing indoor virtual experience based on a panorama and a 3d building floor plan, a portable terminal using the same, and an operation method thereof
JP7031228B2 (ja) * 2017-10-26 2022-03-08 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
US10735708B2 (en) * 2018-06-28 2020-08-04 EyeSpy360 Limited Transforming locations in a spherical image viewer
US10740870B2 (en) * 2018-06-28 2020-08-11 EyeSpy360 Limited Creating a floor plan from images in spherical format
US10708507B1 (en) * 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077261A (ja) * 2006-09-20 2008-04-03 Chudenko Corp 画像処理装置および画像処理プログラム
JP2013183249A (ja) * 2012-03-01 2013-09-12 Dainippon Printing Co Ltd 動画提示装置
JP2015195450A (ja) * 2014-03-31 2015-11-05 一般財団法人住まいづくりナビセンター 比較写真の撮影補助・表示方法及びプログラム
WO2018189961A1 (ja) * 2017-04-14 2018-10-18 シャープ株式会社 画像処理装置、端末装置、および画像処理プログラム
JP2019105876A (ja) * 2017-12-08 2019-06-27 株式会社Lifull 情報処理装置、情報処理方法、及び情報処理用プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023077804A (ja) * 2021-11-25 2023-06-06 株式会社クラウドコネクションズ 建築物室内の管理データ取得システム、並びに当該システムを用いた原状回復費用算出支援システム及び荷物量特定システム
JP7519634B2 (ja) 2021-11-25 2024-07-22 株式会社クラウドコネクションズ 建築物室内の管理データ取得システム、並びに当該システムを用いた原状回復費用算出支援システム及び荷物量特定システム
EP4250744A1 (en) 2022-03-23 2023-09-27 Ricoh Company, Ltd. Display terminal, communication system, method for displaying, method for communicating, and carrier means
JP2023163420A (ja) * 2022-04-28 2023-11-10 株式会社スペースリー 三次元モデル生成装置及び三次元モデル生成プログラム

Also Published As

Publication number Publication date
US11062422B2 (en) 2021-07-13
JP7368699B2 (ja) 2023-10-25
US20210065331A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US10587864B2 (en) Image processing device and method
JP6665558B2 (ja) 画像管理システム、画像管理方法、画像通信システム及びプログラム
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
CN103905761B (zh) 图像处理***和图像处理方法
US20130194238A1 (en) Information processing device, information processing method, and computer program
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
JP2019047167A (ja) 撮像装置、画像表示システム、操作方法、プログラム
JP7368707B2 (ja) 画像処理方法、プログラム、画像処理装置および画像処理システム
US20190058862A1 (en) Display apparatus and server, and control methods thereof
JP6720972B2 (ja) 画像処理システム、方法、及びプログラム
JP2022057800A (ja) 画像通信システム、通信管理装置、通信管理方法及びプログラム
JP2022050979A (ja) 通信端末、画像通信システム、画像表示方法およびプログラム
JP2022077148A (ja) 画像処理方法、プログラムおよび画像処理システム
JP2022057771A (ja) 通信管理装置、画像通信システム、通信管理方法及びプログラム
KR20190127367A (ko) 효율적인 데이터 관리를 위한 가상 전시 공간 제공 방법
JP6720778B2 (ja) 画像管理システム、画像管理方法、及びプログラム
JP2017182681A (ja) 画像処理システム、情報処理装置、プログラム
JP6812643B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
JP7439398B2 (ja) 情報処理装置、プログラム及び情報処理システム
JP2022130180A (ja) 画像処理方法、プログラム、画像処理装置および画像処理システム
JP6443505B2 (ja) プログラム、表示制御装置及び表示制御方法
WO2016203772A1 (ja) 画像処理システム、方法、及びプログラム
JP2017182548A (ja) 画像管理システム、画像管理方法、画像通信システム及びプログラム
JP7371369B2 (ja) 通信端末および画像通信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230925

R151 Written notification of patent or utility model registration

Ref document number: 7368699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151