JP2014021672A - 三次元座標算出装置 - Google Patents

三次元座標算出装置 Download PDF

Info

Publication number
JP2014021672A
JP2014021672A JP2012158902A JP2012158902A JP2014021672A JP 2014021672 A JP2014021672 A JP 2014021672A JP 2012158902 A JP2012158902 A JP 2012158902A JP 2012158902 A JP2012158902 A JP 2012158902A JP 2014021672 A JP2014021672 A JP 2014021672A
Authority
JP
Japan
Prior art keywords
image data
dimensional coordinate
photographing
designated point
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012158902A
Other languages
English (en)
Other versions
JP5882153B2 (ja
Inventor
Yasuhiro Sato
康弘 佐藤
Kyosuke Nomura
享右 野村
Fumihiko Saito
史彦 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SORITSUDOREI KENKYUSHO KK
Taisei Corp
Original Assignee
SORITSUDOREI KENKYUSHO KK
Taisei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SORITSUDOREI KENKYUSHO KK, Taisei Corp filed Critical SORITSUDOREI KENKYUSHO KK
Priority to JP2012158902A priority Critical patent/JP5882153B2/ja
Publication of JP2014021672A publication Critical patent/JP2014021672A/ja
Application granted granted Critical
Publication of JP5882153B2 publication Critical patent/JP5882153B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】パノラマ画像に含まれる画像において共通に使用可能な三次元座標を算出する三次元座標算出装置を提供する。
【解決手段】三次元座標算出装置30は、ユーザによる入力装置20の操作に応じて、第二撮影画像における指定点を取得するとともに、第三撮影画像における指定点を取得する指定点取得部36と、取得された第二撮影画像における指定点及び第三撮影画像における指定点に基づいて、第二の単眼撮影部11b及び第三の単眼撮影部11cの撮影方向を基準とした第一の三次元座標系における第一の三次元座標を算出する第一の三次元座標算出部37と、算出された第一の三次元座標と、撮影時における第二の単眼撮影部11b及び第三の単眼撮影部11cの撮影方向と、に基づいて、全ての撮影方向において共通な第二の三次元座標系における指定点の第二の三次元座標を算出する第二の三次元座標算出部38と、を備える。
【選択図】図1

Description

本発明は、パノラマ画像に含まれる全ての画像において共通に使用可能な三次元座標を算出する三次元座標算出装置に関する。
パノラマ画像関連技術として、複数の画像を繋げるように合成することによってパノラマ画像を生成する技術が知られている(特許文献1参照)。
特開2010−050795号公報
かかる技術は、建築物の内部をディスプレイすることはできるが、パノラマ画像の2枚の元画像に渡る三次元距離を算出する場合等に、元画像ごとに固有な三次元座標からは前記三次元距離を算出することはできず、パノラマ画像全体に対して適用可能な三次元座標が望まれている。
本発明は、前記した事情に鑑みて創案されたものであり、パノラマ画像に含まれる各画像において共通に使用可能な三次元座標を算出する三次元座標算出装置を提供することを課題とする。
前記課題を解決するため、本発明の三次元座標算出装置は、第一撮影装置によって撮影された複数の第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された複数の第二画像データと、前記第一撮影装置から所定距離離間した第三撮影装置によって撮影された複数の第三画像データと、が撮影方向ごとに関連付けて記憶される画像データ記憶部と、記憶された複数の前記第一画像データを読み出してパノラマ画像データを生成するパノラマ画像データ生成部と、生成された前記パノラマ画像データを表示装置へ出力する画像データ出力部と、ユーザによる入力装置の操作に応じて、前記パノラマ画像データにおける一の前記第一画像データの指定を取得する画像データ指定取得部と、を備え、前記画像データ出力部は、指定された一の前記第一画像データに関連付けられた前記第二の画像データ及び前記第三の画像データを前記表示装置へ出力し、ユーザによる入力装置の操作に応じて、前記第二画像データにおける指定点を取得するとともに、前記第三画像データにおける前記指定点を取得する指定点取得部と、取得された前記第二画像データにおける前記指定点及び前記第三画像データにおける前記指定点に基づいて、前記第一撮影装置、前記第二撮影装置及び前記第三撮影装置の撮影方向を基準として撮影方向ごとに固有な第一の三次元座標系における第一の三次元座標を算出する第一の三次元座標算出部と、算出された前記第一の三次元座標と、撮影時における前記第二撮影装置及び前記第三撮影装置の撮影方向と、に基づいて、全ての撮影方向において共通な第二の三次元座標系における前記指定点の第二の三次元座標を算出する第二の三次元座標算出部と、を備えることを特徴とする。
かかる構成によると、パノラマ画像に含まれる各画像において共通に使用可能な三次元座標を算出することができる。
前記撮影三次元座標は、前記第一撮影装置、前記第二撮影装置及び前記第三撮影装置の光軸方向であるZ軸と、前記Z軸に直交するX軸と、前記Z軸及び前記X軸に直交するY軸とする右手座標系、によって表現された場合において、前記第二撮影装置及び前記第三撮影装置の焦点距離をf、前記第二撮影装置の第一の三次元座標を(−d/2,0,0)、前記第三撮影装置の第一の三次元座標を(d/2,0,0)、前記第二画像データにおける前記指定点の第一の三次元座標を(x,y,−f)、前記第三画像データにおける前記指定点の第一の三次元座標を(x,y,−f)、前記指定点の前記第一の三次元座標を(x,y,z)、としたとき、前記第一の三次元座標算出部は、
=d(x+x)/{2(x−x+d)}
=d(y+y)/{2(y−y+d)}
=−df/{2(x−x+d)}
によって、前記指定点の前記第一の三次元座標を算出し、前記第二の三次元座標系における前記第二撮影装置及び前記第三撮影装置の撮影方向の基準からの前記X軸周りの回転角度をφ、前記Y軸周りの回転角度をθ、前記Z軸周りの回転角度をψとしたとき、前記第二の三次元座標算出部は、
Figure 2014021672
によって、前記指定点の前記第二の三次元座標を算出する構成であってもよい。
前記課題を解決するため、本発明の三次元座標算出装置は、第一撮影装置によって撮影された複数の第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された複数の第二画像データと、が撮影方向ごとに関連付けて記憶される画像データ記憶部と、記憶された複数の前記第一画像データを読み出してパノラマ画像データを生成するパノラマ画像データ生成部と、生成された前記パノラマ画像データを表示装置へ出力する画像データ出力部と、ユーザによる入力装置の操作に応じて、前記パノラマ画像データにおける一の前記第一画像データの指定を取得する画像データ指定取得部と、を備え、前記画像データ出力部は、指定された一の前記第一画像データ及び当該第一画像データに関連付けられた前記第二の画像データを前記表示装置へ出力し、ユーザによる入力装置の操作に応じて、前記第一画像データにおける指定点を取得するとともに、前記第二画像データにおける前記指定点を取得する指定点取得部と、取得された前記第一画像データにおける前記指定点及び前記第二画像データにおける前記指定点に基づいて、前記第一撮影装置及び前記第二撮影装置の撮影方向を基準として撮影方向ごとに固有な第一の三次元座標系における第一の三次元座標を算出する第一の三次元座標算出部と、算出された前記第一の三次元座標と、撮影時における前記第一撮影装置及び前記第二撮影装置の撮影方向と、に基づいて、全ての撮影方向において共通な第二の三次元座標系における前記指定点の第二の三次元座標を算出する第二の三次元座標算出部と、を備えることを特徴とする。
かかる構成によると、パノラマ画像に含まれる全ての画像において共通に使用可能な三次元座標を算出することができる。
前記撮影三次元座標は、前記第一撮影装置及び前記第二撮影装置の光軸方向であるZ軸と、前記Z軸に直交するX軸と、前記Z軸及び前記X軸に直交するY軸とする右手座標系、によって表現された場合において、前記第一撮影装置及び前記第二撮影装置の焦点距離をf、前記第一撮影装置の第一の三次元座標を(0,0,0)、前記第二撮影装置の第一の三次元座標を(d,0,0)、前記第一画像データにおける前記指定点の第一の三次元座標を(x,y,−f)、前記第二画像データにおける前記指定点の第一の三次元座標を(x,y,−f)、前記指定点の前記第一の三次元座標を(x,y,z)、
としたとき、前記第一の三次元座標算出部は、
=dx/(x−x
=dy/(x−x
=−df/(x−x
によって、前記指定点の前記第一の三次元座標を算出し、前記第二の三次元座標系における前記第二撮影装置及び前記第三撮影装置の撮影方向の基準からの前記X軸周りの回転角度をφ、前記Y軸周りの回転角度をθ、前記Z軸周りの回転角度をψとしたとき、前記第二の三次元座標算出部は、
Figure 2014021672
によって、前記指定点の前記第二の三次元座標を算出する構成であってもよい。
本発明によれば、パノラマ画像に含まれる全ての画像において共通に使用可能な三次元座標を算出することができる。
本発明の第一の実施形態に係るパノラマ画像表示システムを示すブロック図である。 板モデルの配置を説明するための模式図である。 (a)は、第一の三次元座標の算出原理を説明するための図であり、(b)は(a)のx−z平面図である。 (a)は、X軸周りの回転を説明するための図であり、(b)は、Y軸周りの回転を説明するための図である。 (a)(b)は、三次元座標算出及び三次元距離算出における画面例を示す図である。 (a)(b)は、三次元座標算出及び三次元距離算出における画面例を示す図である。 本発明の第二の実施形態に係るパノラマ画像表示システムを示すブロック図である。 (a)は、第一の三次元座標の算出原理を説明するための図であり、(b)は(a)のx−z平面図である。 (a)(b)は、三次元座標算出及び三次元距離算出における画面例を示す図である。 (a)(b)は、三次元座標算出及び三次元距離算出における画面例を示す図である。
以下、本発明の三次元座標算出装置を建築物内部のパノラマ画像表示に適用した場合を例にとり、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
<第一の実施形態>
図1に示すように、本発明の第一の実施形態に係るパノラマ画像表示システム1Aは、例えば建築物内部の全方位パノラマ画像を生成して表示するシステムであって、複眼撮影装置10Aと、入力装置20と、三次元座標算出装置30と、表示装置40と、を備える。
<複眼撮影装置10A>
複眼撮影装置10Aは、第一の単眼撮影部(第一撮影装置)11a、第二の単眼撮影部(第二撮影装置)11b及び第三の単眼撮影部(第三撮影装置)11cと、単眼撮影部11a,11b,11cの撮影方向を変更するための駆動部12と、単眼撮影部11a,11b,11c及び駆動部12を駆動制御する制御部13と、を備える。
第一の単眼撮影部11a、第二の単眼撮影部11b及び第三の単眼撮影部11cは、デジタルカメラであって、第二の単眼撮影部11b及び第三の単眼撮影部11cの焦点距離がf、各撮影部11a,11b,11cの光軸が互いに平行、かつ、隣り合う撮影部11a〜11cの光軸間の距離が間隔d/2となるように、左から第二の単眼撮影部11b、第一の単眼撮影部11a、第三の単眼撮影部11cの順に配列されており、かつ、この配列を保持した状態でユニット化されている。なお、第一の単眼撮影部11aの焦点距離は、他の単眼撮影部11b,11cの焦点距離と異なっていてもよく、同じであってもよい。
制御部13は、駆動部12を回転させることによって、単眼撮影部11a,11b,11cを所望の撮影方向に向け、かかる状態で単眼撮影部11a,11b,11cのシャッタを制御することによって撮影させ、撮影画像に関する撮影画像データを三次元座標算出装置30へ出力する。本実施形態において、制御部13は、第一の単眼撮影部11aを回転中心として複眼撮影装置10を所定角度ずつ回転させて単眼撮影部11a,11b,11cに撮影させる。
また、制御部13は、撮影順序(すなわち、撮影方向)に基づくIDを撮影画像データに付与し、IDが付与された撮影画像データを三次元座標算出装置30へ出力する。ここで、第一の単眼撮影部11aによって撮影された第一撮影画像に関する第一撮影画像データ、第二の単眼撮影部11bによって撮影された第二撮影画像に関する第二撮影画像データ、第三の単眼撮影部11cによって撮影された第三撮影画像に関する第三撮影画像データのうち、撮影方向が同じものに関しては同一IDが付与されて関連付けられる。また、第二撮影画像データ及び第三撮影画像データは、各撮影画像内における後記する第一の三次元座標系の座標のうち、X軸及びY軸方向の座標値と対応がとれている。
<入力装置20>
入力装置20は、キーボード、マウス等からなり、ユーザの操作に応じて、単眼パノラマ画像における画像データ指定指示、第二撮影画像及び第三撮影画像における指定点指示等を三次元座標算出装置30へ出力する。
<三次元座標算出装置30>
三次元座標算出装置30は、CPU、ROM、RAM、入出力回路等から構成されており、機能部として、撮影画像データ記憶部31と、マップ記憶部32と、単眼パノラマ画像データ生成部33と、画像データ出力部34と、画像データ指定取得部35と、指定点取得部36と、第一の三次元座標算出部37と、第二の三次元座標算出部38と、三次元距離算出部39と、を備える。
≪撮影画像データ記憶部31≫
撮影画像データ記憶部31には、制御部13から出力された複数の撮影画像に関する複数の撮影画像データが入力されて記憶される。
≪マップ記憶部32≫
マップ記憶部32には、第一の単眼撮影部11aの複数の第一撮影画像(第一撮影画像データ)に基づいて単眼パノラマ画像を生成する際に用いられる単眼パノラママップが予め記憶されている。
≪単眼パノラマ画像データ生成部33≫
単眼パノラマ画像データ生成部33は、撮影画像データ記憶部31から出力された複数の第一撮影画像データを読み出し、読み出された第一撮影画像データに基づいて、単眼パノラマ画像に関する単眼パノラマ画像データを生成する。
具体的には、単眼パノラマ画像データ生成部33は、マップ記憶部32に予め記憶された単眼パノラママップ50(図2参照)を読み出し、第一の単眼撮影部11aによって撮影された第一撮影画像データを単眼パノラママップ50の板モデル51にマッピングすることによって、単眼パノラマ画像データを生成する。
ここで、図2を参照して、パノラママップ50に関して説明する。図2に示すように、パノラママップ50は、複数の板モデル51を球状に配置して構成されている。パノラママップ50(複数の板モデル51によって構成された球)の中心は、撮影部11の設置位置に対応しており、各板モデル51は、第一の単眼撮影部11aによる各第一撮影画像の撮影範囲に対応している。すなわち、板モデル51は、第一の単眼撮影部11aによる第一撮影画像と同数であり、パノラママップ50の中心と隣り合う板モデル51の各中心とをそれぞれ結んだ二本の線分からなる角の角度は、第一の単眼撮影部11aの設置位置で隣り合う第一撮影画像を撮影したときの第一の単眼撮影部11aによる撮影方向の角度差に対応しており、各板モデル51の縦横比は、第一の単眼撮影部11a各第一撮影画像の縦横比に対応しており、複数の板モデル51によって構成された球の中心から板モデル51までの距離及び板モデル51の縦横サイズは、第一の単眼撮影部11aの焦点距離及び撮影画像の縦横サイズに対応している。また、各板モデル51には、第一撮影画像データと同様にIDが付与されており、単眼パノラマ画像データ生成部33は、第一撮影画像データに付与されたIDと板モデル51に付与されたIDとに基づいて、第一撮影画像データを対応する板モデル51にマッピングすることによって、単眼パノラマ画像データを生成し、生成された単眼パノラマ画像データを画像データ出力部34に出力したり、記憶部32に記憶させたりする。ここで、単眼パノラマ画像データ生成部33は、入力部20から出力された視点位置指示に基づいて、当該視点位置を中心とした所定範囲の単眼パノラマ画像データを生成することができる。
≪画像データ出力部34≫
画像データ出力部34は、単眼パノラマ画像データを表示装置40へ出力するものであって、本実施形態では、単眼パノラマ画像データ生成部33から出力された単眼パノラマ画像データを表示装置40へ出力したり、撮影画像データ記憶部31から読み出された第二撮影画像データ及び第三撮影画像データを表示装置40へ出力したりする。
≪画像データ指定取得部35≫
画像データ指定取得部35は、ユーザの操作に応じて、表示装置40に表示された単眼パノラマ画像から一の第一撮影画像データの指定を取得し、かかる指定結果(例えば、指定された第一撮影画像データのID)を画像データ出力部34へ出力する。指定結果を取得すると、画像データ出力部34は、指定結果に応じた第二撮影画像データ及び第三撮影画像データを撮影画像データ記憶部31から読み出し、第二撮影画像データ及び第三撮影画像データを表示装置40へ出力し、指定結果に応じた第二撮影画像及び第三撮影画像を表示装置40に表示させる。
≪指定点取得部36≫
指定点取得部36は、入力装置20から出力された、第二撮影画像における指定点指示と、第三撮影画像における指定点指示と、を取得する。また、指定点取得部35は、取得した指定点指示を用いることによって、撮影画像データ記憶部31に記憶された各撮影画像データにおける指定点の二次元座標(X軸及びY軸の座標値)を取得し、第一の三次元座標算出部37へ出力する。
≪第一の三次元座標算出部37≫
第一の三次元座標算出部37は、指定点取得部36から出力された指定点の二次元座標と、単眼撮影部11b,11c間の距離dと、単眼撮影部11b,11cの焦点距離fと、に基づいて、指定点の第一の三次元座標を算出し、第二の三次元座標算出部38へ出力する。ここで、第一の三次元座標は、単眼撮影部11a〜11cの撮影方向を基準として撮影方向ごとに固有な第一の三次元座標系における座標であり、第一の三次元座標系は撮影三次元座標系ともいい、第一の三次元座標は撮影三次元座標ともいう。すなわち、第一の三次元座標系は、撮影方向が同一の第二撮影画像及び第三撮影画像においては共通であり、撮影方向が異なる画像間においては異なる。
(第一の三次元座標の算出原理)
ここで、図3(a)(b)を参照して、第一の三次元座標算出部37における第一の三次元座標の算出原理について説明する。以下では、単眼撮影部11a,11b,11cの配列方向をX軸、単眼撮影部11a,11b,11cの光軸方向をZ軸、X軸及びZ軸と直交するY軸からなる右手座標系の三次元座標空間について考えるものとする。第一の単眼撮影部11aを第一の三次元座標系における原点に配置し、左側の第二の単眼撮影部11bと右側の第三の単眼撮影部11cとの間隔をdとすると、第一の単眼撮影部11aの第一の三次元座標O、第二の単眼撮影部11bの第一の三次元座標O、第三の単眼撮影部11cの第一の三次元座標Oは、以下のようになる。
=(0,0,0)
=(−d/2,0,0)
=(d/2,0,0)
相対三次元座標R=(x,y,z)に位置する対象物を単眼撮影部11b,11cを用いて撮影し、かかる対象物が第二の単眼撮影部11bによる第二撮影画像の二次元座標N=(x,y)、すなわち第一の三次元座標(x,y,−f)に写っており、第三の単眼撮影部11cによる第三撮影画像の二次元座標N=(x,y)、すなわち第一の三次元座標(x,y,−f)に写っているとする。
ここで、三角形ROと三角形RNとは相似であるため、以下の関係が成立する。
=d(x+x)/{2(x−x+d)}
=d(y+y)/{2(y−y+d)}
=−df/{2(x−x+d)}
すなわち、第一の三次元座標算出部37は、予め定められた焦点距離f及び間隔dと、撮影画像の二次元座標の値と、を用いることによって、所望の位置の第一の三次元座標R=(x,y,z)を算出することができる。
≪第二の三次元座標算出部38≫
第二の三次元座標算出部38は、第一の三次元座標算出部37から出力された指定点の第一の三次元座標と、撮影時における単眼撮影部11b,11cの撮影方向と、に基づいて、指定点の第二の三次元座標を算出し、三次元距離算出部39及び画像データ出力部34へ出力する。このようにすることで、算出された第二の三次元座標が、後記する表示装置40に表示される。ここで、第二の三次元座標は、前記した第一の三次元座標系を統合した、全ての撮影方向において共通な第二の三次元座標系における座標であり、第二の三次元座標系はパノラマ三次元座標系ともいい、第二の三次元座標はパノラマ三次元座標ともいう。すなわち、第二の三次元座標系は、全ての第二撮影画像及び第三撮影画像において共通である。
(第二の三次元座標の算出原理)
ここで、第二の三次元座標算出部38における第二の三次元座標の算出原理について説明する。第二の三次元座標算出部38は、第二の三次元座標系における単眼撮影部11b,11cの撮影方向の基準からのY軸周りの回転角度をθ、X軸周りの回転角度をφとしたとき、下記式によって、指定点の第二の三次元座標A=(x,y,z)を算出することができる。
Figure 2014021672
ここで、回転角度θ,φとしては、パノラママップ50の板モデル51に関連付けてマップ記憶部32に予め記憶されたものを用いることができる。
ここで、図4(a)(b)に示すように、相対三次元座標のX軸(X軸)周りの角度φの回転と、相対三次元座標のY軸(Y軸)周りの角度θの回転と、を第一の三次元座標系に施すことによって、相対三次元座標のX軸、Y軸及びZ軸(Z軸)が、第二の三次元座標系のX軸(X軸)、Y軸(Y軸)及びZ軸(Z軸)とそれぞれ一致する。なお、φは、X軸の正側から見て反時計回りが正、時計回りが負である。θは、Y軸の正側から見て反時計回りが正、時計回りが負である。
すなわち、第一の三次元座標系における指定点の第一の三次元座標R=(x,y,z)に、Y軸周りの回転(パン方向の回転)変換と、X軸周りの回転(チルト方向の回転)変換と、を施すことによって、指定点の第二の三次元座標A=(x,y,z)が算出される。本実施形態において、第二の三次元座標系における原点と第一の三次元座標系における原点すなわちOとは同じ位置であり、回転角度θは、第二の三次元座標系のY軸と第一の三次元座標系のY軸とがなす角度であり、回転角度φは、第二の三次元座標系のX軸と第一の三次元座標系のX軸とがなす角度である。また、本実施形態において、相対三次元座標系におけるX軸は、常に水平方向に保たれているので、Z軸周りの回転変換は不要である。
≪三次元距離算出部39≫
三次元距離算出部39は、第二の三次元座標算出部38から出力された2つの指定点の第二の三次元座標を取得し、取得された第二の三次元座標に基づいて、2つの指定点間の三次元距離を算出し、画像データ出力部34へ出力する。そして、画像データ出力部34は、算出された三次元距離を表示装置40へ出力して表示装置40に表示させることができる。
<表示装置40>
表示装置40は、三次元座標算出装置30から出力されたパノラマ画像データを用いてパノラマ画像を表示したり、第二撮影画像データ及び第三撮影画像データを用いて第二撮影画像及び第三撮影画像を表示したりするものである。
<動作例>
続いて、本発明の第一の実施形態に係るパノラマ画像表示システム1Aの動作例について、異なる第一撮影画像に含まれる柱における指定点S,Eの第二の三次元座標及び三次元距離を算出する場合を例にとり、図1,5,6を参照して説明する。
まず、制御部13は、駆動部12を回転させることによって、単眼撮影部11a,11b,11cを所望の撮影方向に向け、かかる状態で単眼撮影部11a,11b,11cのシャッタを制御することによって撮影し、撮影画像に関する撮影画像データを三次元座標算出装置30へ出力する。
続いて、単眼パノラマ画像データ生成部33は、第一の単眼撮影部11aによって撮影された複数の第一撮影画像データを撮影画像データ記憶部31から読み出し、読み出された第一撮影画像データに基づいて単眼パノラマ画像データを生成し、画像データ出力部34へ出力する。画像データ出力部34は、単眼パノラマ画像データを表示装置40へ出力し、表示装置40は、単眼パノラマ画像を表示する(図5(a)参照)。
かかる状態において、ユーザによる入力装置20の操作に応じて、入力装置20が単眼パノラマ画像内の1枚の第一撮影画像111を指定するための画像データ指定を出力すると、画像データ指定取得部35が画像データ指定を取得して画像データ出力部34へ出力し、画像データ出力部34は、画像データ指定に含まれるIDと同一IDの第二撮影画像データ及び第三撮影画像データを撮影画像データ記憶部31から読み出す。
画像データ出力部34は、第二撮影画像データ及び第三撮影画像データを表示装置40へ出力し、表示装置40は、第一撮影画像111と同一撮影方向である第二撮影画像112及び第三撮影画像113を同一画面上に表示する(図5(b)参照)。本実施形態において、第二撮影画像112及び第三撮影画像113は、上下に並べて配置されている。
かかる状態において、ユーザが入力装置20を操作し、第二撮影画像112における指定点(始点)S1(指定点Sに対応)を指定すると、第二撮影画像112における指定点指示が指定点取得部36に入力される。
続いて、ユーザが入力装置20を操作し、第三撮影画像113における指定点(始点)S2(指定点Sに対応)を指定すると、第三撮影画像113における指定点指示が指定点取得部36に入力される。
指定点取得部36は、2つの指定点指示を取得すると、撮影画像データ記憶部31に記憶された、第二撮影画像112における指定点S1の二次元座標(x11,y11)及び第三撮影画像113における指定点S2の二次元座標(x21,y21)を取得し、第一の三次元座標算出部37へ出力する。
続いて、第一の三次元座標算出部37は、下記式に基づいて、指定点Sの第一の三次元座標R=(xRS,yRS,zRS)を算出し、第二の三次元座標算出部38へ出力する。
RS=d(x11+x21)/{2(x11−x21+d)}
RS=d(y11+y21)/{2(y11−y21+d)}
RS=−df/{2(x11−x21+d)}
続いて、ユーザによる入力装置20の操作に応じて表示装置40に単眼パノラマ画像を再度表示させた状態(図6(a)参照)で、入力装置20が単眼パノラマ画像内の他の1枚の第一撮影画像121を指定するための画像データ指定を出力すると、画像データ指定取得部35が画像データ指定を取得して画像データ出力部34へ出力し、画像データ出力部34は、画像データ指定に含まれるIDと同一IDの第二撮影画像データ及び第三撮影画像データを撮影画像データ記憶部31から読み出す。
画像データ出力部34は、第二撮影画像データ及び第三撮影画像データを表示装置40へ出力し、表示装置40は、第一撮影画像121と同一撮影方向である第二撮影画像122及び第三撮影画像123を同一画面上に表示する(図6(b)参照)。
かかる状態において、ユーザが入力装置20を操作し、第二撮影画像122における指定点(終点)E1(終点Eに対応)を指定すると、第二撮影画像122における指定点指示が指定点取得部36に入力される。
続いて、ユーザが入力装置20を操作し、第三撮影画像123における指定点(終点)E2(終点Eに対応)を指定すると、第三撮影画像123における指定点指示が指定点取得部36に入力される。
指定点取得部36は、2つの指定点指示を取得すると、撮影画像データ記憶部31に記憶された、第二撮影画像122における指定点E1の二次元座標(x12,y12)及び第三撮影画像123における指定点E2の二次元座標(x22,y22)を取得し、第一の三次元座標算出部37へ出力する。
続いて、第一の三次元座標算出部37は、下記式に基づいて、指定点Eの相対三次元座標R=(xRE,yRE,zRE)を算出し、第二の三次元座標算出部38へ出力する。
RE=d(x12+x22)/{2(x12−x22+d)}
RE=d(y12+y22)/{2(y12−y22+d)}
RE=−df/{2(x12−x22+d)}
第二の三次元座標算出部38は、下記式に基づいて、指定点S,Eの第二の三次元座標A=(xAS,yAS,zAS)、A=(xAE,yAE,zAE)を算出し、三次元距離算出部39へ出力する。
Figure 2014021672
続いて、三次元距離算出部39は、下記式に基づいて指定点S,E間の三次元距離Dを算出する。これにより、三次元距離が表示装置40に表示される。
D={(xAE−xAS+(yAE−yAS+(zAE−zAS1/2
本発明の第一の実施形態に係るパノラマ画像表示システム1Aは、パノラマ画像に含まれる全ての画像に共通に使用可能な第二の三次元座標を算出することができる。また、パノラマ画像表示システム1Aは、2つの指定点間の三次元距離を算出することができる。また、パノラマ画像表示システム1Aは、一の撮影方向において、単眼パノラマ画像用の1枚の撮影画像に対応する第一撮影画像データよりも指定点取得用の2枚の撮影画像に対応する第二撮影画像データ及び第三撮影画像データのそれぞれの撮影範囲の方を広く設定しておくことで、第一撮影画像データにおける周縁付近を指定点とした場合であっても、かかる指定点が第二撮影画像データ及び第三撮影画像データの撮影範囲内に確実に入ることとなり、第二の三次元座標及び三次元距離を確実に算出することができる。
<第二の実施形態>
続いて、本発明の第二の実施形態に係るパノラマ画像表示システムについて、第一の実施形態に係るパノラマ画像表示システム1Aとの相違点を中心に説明する。
図7に示すように、本発明の第二の実施形態に係るパノラマ画像表示システム1Bは、複眼撮影装置10Aに代えて複眼撮影装置10Bを備える。複眼撮影装置10Bは、焦点距離fの第一の単眼撮影部11a及び第二の単眼撮影部11bを備えており、第三の単眼撮影部11cは省略されている。本実施形態における第一の単眼撮影部11aによって撮影された第一撮影画像データは、第一の実施形態における第一撮影画像データ及び第二撮影画像データと同様に用いられ、本実施形態における第二の単眼撮影部11bによって撮影された第二撮影画像データは、第一の実施形態における第三撮影画像データと同様に用いられる。
図8に示すように、第一の単眼撮影部11aを第一の三次元座標系における原点に配置し、左側の第一の単眼撮影部11aと右側の第二の単眼撮影部11bとの間隔をdとすると、第一の単眼撮影部11aの第一の三次元座標O、第二の単眼撮影部11bの第一の三次元座標Oは、以下のようになる。
=(0,0,0)
=(d,0,0)
相対三次元座標R=(x,y,z)に位置する対象物を単眼撮影部11a,11bを用いて撮影し、かかる対象物が第二の単眼撮影部11aによる第一撮影画像の二次元座標N=(x,y)、すなわち第一の三次元座標(x,y,−f)に写っており、第二の単眼撮影部11bによる第二撮影画像の二次元座標N=(x,y)、すなわち第一の三次元座標(x,y,−f)に写っているとする。
ここで、三角形ROと三角形RNとは相似であるため、以下の関係が成立する。
=dx/(x−x
=dy/(x−x
=−df/(x−x
すなわち、第一の三次元座標算出部37は、予め定められた焦点距離f及び間隔dと、撮影画像の二次元座標の値と、を用いることによって、所望の位置の第一の三次元座標R=(x,y,z)を算出することができる。
<動作例>
続いて、本発明の第二の実施形態に係るパノラマ画像表示システム1Bの動作例について、異なる第一撮影画像に含まれる柱における指定点S,Eの第二の三次元座標及び三次元距離を算出する場合を例にとり、図7,9,10を参照して説明する。
まず、制御部13は、駆動部12を回転させることによって、単眼撮影部11a,11bを所望の撮影方向に向け、かかる状態で単眼撮影部11a,11bのシャッタを制御することによって撮影し、撮影画像に関する撮影画像データを三次元座標算出装置30へ出力する。
続いて、単眼パノラマ画像データ生成部33は、第一の単眼撮影部11aによって撮影された複数の第一撮影画像データを撮影画像データ記憶部31から読み出し、読み出された第一撮影画像データに基づいて単眼パノラマ画像データを生成し、画像データ出力部34へ出力する。画像データ出力部34は、単眼パノラマ画像データを表示装置40へ出力し、表示装置40は、単眼パノラマ画像を表示する(図9(a)参照)。
かかる状態において、ユーザによる入力装置20の操作に応じて、入力装置20が単眼パノラマ画像内の1枚の第一撮影画像111を指定するための画像データ指定を出力すると、画像データ指定取得部35が画像データ指定を取得して画像データ出力部34へ出力し、画像データ出力部34は、画像データ指定に含まれるIDと同一IDの第一撮影画像データ及び第二撮影画像データを撮影画像データ記憶部31から読み出す。
画像データ出力部34は、第一撮影画像データ及び第二撮影画像データを表示装置40へ出力し、表示装置40は、第一撮影画像111及び第一撮影画像111と同一撮影方向である第二撮影画像112を同一画面上に表示する(図9(b)参照)。本実施形態において、第一撮影画像111及び第二撮影画像112は、上下に並べて配置されている。
かかる状態において、ユーザが入力装置20を操作し、第一撮影画像111における指定点(始点)S1(指定点Sに対応)を指定すると、第一撮影画像111における指定点指示が指定点取得部36に入力される。
続いて、ユーザが入力装置20を操作し、第二撮影画像112における指定点(始点)S2(指定点Sに対応)を指定すると、第二撮影画像112における指定点指示が指定点取得部35に入力される。
指定点取得部36は、2つの指定点指示を取得すると、撮影画像データ記憶部31に記憶された、第一撮影画像111における指定点S1の二次元座標(x11,y11)及び第二撮影画像112における指定点S2の二次元座標(x21,y21)を取得し、第一の三次元座標算出部37へ出力する。
続いて、第一の三次元座標算出部37は、下記式に基づいて、指定点Sの第一の三次元座標R=(xRS,yRS,zRS)を算出し、第二の三次元座標算出部38へ出力する。
RS=dx11/(x11−x21
RS=dy11/(x11−x21
RS=−df/(x11−x21
続いて、ユーザによる入力装置20の操作に応じて表示装置40に単眼パノラマ画像を再度表示させた状態(図10(a)参照)で、入力装置20が単眼パノラマ画像内の他の1枚の第一撮影画像121を指定するための画像データ指定を出力すると、画像データ指定取得部35が画像データ指定を取得して画像データ出力部34へ出力し、画像データ出力部34は、画像データ指定に含まれるIDと同一IDの第一撮影画像データ及び第二撮影画像データを撮影画像データ記憶部31から読み出す。
画像データ出力部34は、第一撮影画像データ及び第二撮影画像データを表示装置40へ出力し、表示装置40は、第一撮影画像121及び第一撮影画像121と同一撮影方向である第二撮影画像122を同一画面上に表示する(図10(b)参照)。
かかる状態において、ユーザが入力装置20を操作し、第一撮影画像121における指定点(終点)E1(終点Eに対応)を指定すると、第一撮影画像121における指定点指示が指定点取得部36に入力される。
続いて、ユーザが入力装置20を操作し、第二撮影画像122における指定点(終点)E2(終点Eに対応)を指定すると、第三撮影画像122における指定点指示が指定点取得部36に入力される。
指定点取得部36は、2つの指定点指示を取得すると、撮影画像データ記憶部31に記憶された、第一撮影画像121における指定点E1の二次元座標(x12,y12)及び第二撮影画像122における指定点E2の二次元座標(x22,y22)を取得し、第一の三次元座標算出部37へ出力する。
続いて、第一の三次元座標算出部37は、下記式に基づいて、指定点Eの相対三次元座標R=(xRE,yRE,zRE)を算出し、第二の三次元座標算出部38へ出力する。
RE=dx12/(x12−x22
RE=dy12/(x12−x22
RE=−df/(x12−x22
第二の三次元座標算出部38は、下記式に基づいて、指定点S,Eの第二の三次元座標A=(xAS,yAS,zAS)、A=(xAE,yAE,zAE)を算出し、三次元距離算出部39へ出力する。
Figure 2014021672
続いて、三次元距離算出部39は、下記式に基づいて指定点S,E間の三次元距離Dを算出する。これにより、三次元距離が表示装置40に表示される。
D={(xAE−xAS+(yAE−yAS+(zAE−zAS1/2
本発明の第二の実施形態に係るパノラマ画像表示システム1Bは、パノラマ画像表示システム1Aと比べて単眼撮影部を一つ省略することができる。
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、算出された第二の三次元座標及び三次元距離をユーザに通知する手法は、表示装置40に表示させることに限定されず、通知部としてのスピーカに発話させる構成であってもよい。また、Z軸周りの回転(回転角度ψ)も考慮した場合には、第二の三次元座標は、下記式によって算出可能である。
Figure 2014021672
また、本発明では第一の三次元座標系及び第二の三次元座標系として右手座標系を採用したが、左手座標系を採用した場合も本発明の技術的範囲に含まれる。
1A,1B パノラマ画像表示システム
30 三次元座標算出装置
31 画像データ記憶部
33 単眼パノラマ画像データ生成部
34 画像データ出力部
35 画像データ指定取得部
36 指定点取得部
37 第一の三次元座標算出部
38 第二の三次元座標算出部
39 三次元距離算出部

Claims (4)

  1. 第一撮影装置によって撮影された複数の第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された複数の第二画像データと、前記第一撮影装置から所定距離離間した第三撮影装置によって撮影された複数の第三画像データと、が撮影方向ごとに関連付けて記憶される画像データ記憶部と、
    記憶された複数の前記第一画像データを読み出してパノラマ画像データを生成するパノラマ画像データ生成部と、
    生成された前記パノラマ画像データを表示装置へ出力する画像データ出力部と、
    ユーザによる入力装置の操作に応じて、前記パノラマ画像データにおける一の前記第一画像データの指定を取得する画像データ指定取得部と、
    を備え、
    前記画像データ出力部は、指定された一の前記第一画像データに関連付けられた前記第二の画像データ及び前記第三の画像データを前記表示装置へ出力し、
    ユーザによる入力装置の操作に応じて、前記第二画像データにおける指定点を取得するとともに、前記第三画像データにおける前記指定点を取得する指定点取得部と、
    取得された前記第二画像データにおける前記指定点及び前記第三画像データにおける前記指定点に基づいて、前記第一撮影装置、前記第二撮影装置及び前記第三撮影装置の撮影方向を基準として撮影方向ごとに固有な第一の三次元座標系における第一の三次元座標を算出する第一の三次元座標算出部と、
    算出された前記第一の三次元座標と、撮影時における前記第二撮影装置及び前記第三撮影装置の撮影方向と、に基づいて、全ての撮影方向において共通な第二の三次元座標系における前記指定点の第二の三次元座標を算出する第二の三次元座標算出部と、
    を備えることを特徴とする三次元座標算出装置。
  2. 前記撮影三次元座標は、前記第一撮影装置、前記第二撮影装置及び前記第三撮影装置の光軸方向であるZ軸と、前記Z軸に直交するX軸と、前記Z軸及び前記X軸に直交するY軸とする右手座標系、によって表現された場合において、
    前記第二撮影装置及び前記第三撮影装置の焦点距離をf、
    前記第二撮影装置の第一の三次元座標を(−d/2,0,0)、
    前記第三撮影装置の第一の三次元座標を(d/2,0,0)、
    前記第二画像データにおける前記指定点の第一の三次元座標を(x,y,−f)、
    前記第三画像データにおける前記指定点の第一の三次元座標を(x,y,−f)、
    前記指定点の前記第一の三次元座標を(x,y,z)、
    としたとき、前記第一の三次元座標算出部は、
    =d(x+x)/{2(x−x+d)}
    =d(y+y)/{2(y−y+d)}
    =−df/{2(x−x+d)}
    によって、前記指定点の前記第一の三次元座標を算出し、
    前記第二の三次元座標系における前記第二撮影装置及び前記第三撮影装置の撮影方向の基準からの前記X軸周りの回転角度をφ、前記Y軸周りの回転角度をθ、前記Z軸周りの回転角度をψとしたとき、前記第二の三次元座標算出部は、
    Figure 2014021672
    によって、前記指定点の前記第二の三次元座標を算出する
    ことを特徴とする請求項1に記載の三次元座標算出装置。
  3. 第一撮影装置によって撮影された複数の第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された複数の第二画像データと、が撮影方向ごとに関連付けて記憶される画像データ記憶部と、
    記憶された複数の前記第一画像データを読み出してパノラマ画像データを生成するパノラマ画像データ生成部と、
    生成された前記パノラマ画像データを表示装置へ出力する画像データ出力部と、
    ユーザによる入力装置の操作に応じて、前記パノラマ画像データにおける一の前記第一画像データの指定を取得する画像データ指定取得部と、
    を備え、
    前記画像データ出力部は、指定された一の前記第一画像データ及び当該第一画像データに関連付けられた前記第二の画像データを前記表示装置へ出力し、
    ユーザによる入力装置の操作に応じて、前記第一画像データにおける指定点を取得するとともに、前記第二画像データにおける前記指定点を取得する指定点取得部と、
    取得された前記第一画像データにおける前記指定点及び前記第二画像データにおける前記指定点に基づいて、前記第一撮影装置及び前記第二撮影装置の撮影方向を基準として撮影方向ごとに固有な第一の三次元座標系における第一の三次元座標を算出する第一の三次元座標算出部と、
    算出された前記第一の三次元座標と、撮影時における前記第一撮影装置及び前記第二撮影装置の撮影方向と、に基づいて、全ての撮影方向において共通な第二の三次元座標系における前記指定点の第二の三次元座標を算出する第二の三次元座標算出部と、
    を備えることを特徴とする三次元座標算出装置。
  4. 前記撮影三次元座標は、前記第一撮影装置及び前記第二撮影装置の光軸方向であるZ軸と、前記Z軸に直交するX軸と、前記Z軸及び前記X軸に直交するY軸とする右手座標系、によって表現された場合において、
    前記第一撮影装置及び前記第二撮影装置の焦点距離をf、
    前記第一撮影装置の第一の三次元座標を(0,0,0)、
    前記第二撮影装置の第一の三次元座標を(d,0,0)、
    前記第一画像データにおける前記指定点の第一の三次元座標を(x,y,−f)、
    前記第二画像データにおける前記指定点の第一の三次元座標を(x,y,−f)、
    前記指定点の前記第一の三次元座標を(x,y,z)、
    としたとき、前記第一の三次元座標算出部は、
    =dx/(x−x
    =dy/(x−x
    =−df/(x−x
    によって、前記指定点の前記第一の三次元座標を算出し、
    前記第二の三次元座標系における前記第二撮影装置及び前記第三撮影装置の撮影方向の基準からの前記X軸周りの回転角度をφ、前記Y軸周りの回転角度をθ、前記Z軸周りの回転角度をψとしたとき、前記第二の三次元座標算出部は、
    Figure 2014021672
    によって、前記指定点の前記第二の三次元座標を算出する
    ことを特徴とする請求項3に記載の三次元座標算出装置。
JP2012158902A 2012-07-17 2012-07-17 三次元座標算出装置 Active JP5882153B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012158902A JP5882153B2 (ja) 2012-07-17 2012-07-17 三次元座標算出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012158902A JP5882153B2 (ja) 2012-07-17 2012-07-17 三次元座標算出装置

Publications (2)

Publication Number Publication Date
JP2014021672A true JP2014021672A (ja) 2014-02-03
JP5882153B2 JP5882153B2 (ja) 2016-03-09

Family

ID=50196492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012158902A Active JP5882153B2 (ja) 2012-07-17 2012-07-17 三次元座標算出装置

Country Status (1)

Country Link
JP (1) JP5882153B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015008430A (ja) * 2013-06-25 2015-01-15 大成建設株式会社 指定点表示画像生成装置
WO2017103982A1 (ja) * 2015-12-14 2017-06-22 株式会社 ニコン・トリンブル 欠陥検出装置及びプログラム
CN110942470A (zh) * 2018-09-25 2020-03-31 丰田自动车株式会社 图像处理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001227945A (ja) * 2000-02-21 2001-08-24 Asahi Optical Co Ltd 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体
JP2009053126A (ja) * 2007-08-29 2009-03-12 Topcon Corp 画像測定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001227945A (ja) * 2000-02-21 2001-08-24 Asahi Optical Co Ltd 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体
JP2009053126A (ja) * 2007-08-29 2009-03-12 Topcon Corp 画像測定装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015008430A (ja) * 2013-06-25 2015-01-15 大成建設株式会社 指定点表示画像生成装置
WO2017103982A1 (ja) * 2015-12-14 2017-06-22 株式会社 ニコン・トリンブル 欠陥検出装置及びプログラム
JPWO2017103982A1 (ja) * 2015-12-14 2018-10-04 株式会社ニコン・トリンブル 欠陥検出装置及びプログラム
US11893721B2 (en) 2015-12-14 2024-02-06 Nikon-Trimble Co., Ltd. Defect detection apparatus and medium
CN110942470A (zh) * 2018-09-25 2020-03-31 丰田自动车株式会社 图像处理装置
CN110942470B (zh) * 2018-09-25 2023-10-13 丰田自动车株式会社 图像处理装置

Also Published As

Publication number Publication date
JP5882153B2 (ja) 2016-03-09

Similar Documents

Publication Publication Date Title
JP6468307B2 (ja) 撮像装置、画像処理装置および方法
JP5569329B2 (ja) 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
WO2018068719A1 (zh) 一种图像拼接方法及装置
TWI393072B (zh) 廣角感測器陣列模組及其影像校正方法、運作方法與應用
JP5454674B2 (ja) 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
JP2017108387A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
JP5070435B1 (ja) 3次元相対座標計測装置およびその方法
JP2007072537A (ja) 360°画像撮影装置
JP2017058843A (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP2008205811A (ja) カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
JP4680033B2 (ja) 監視システム及び監視装置
JP4679293B2 (ja) 車載パノラマカメラシステム
JP5882153B2 (ja) 三次元座標算出装置
KR102176963B1 (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
JP2020129823A (ja) 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP6178127B2 (ja) 建造物の計測装置および計測方法
WO2017203796A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2011087319A (ja) 車載パノラマカメラシステム
JP6121746B2 (ja) 撮影位置決定装置、プログラム、および方法
JP2005275789A (ja) 三次元構造抽出方法
JP6116094B2 (ja) 画像検索装置
JP6579706B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160203

R150 Certificate of patent or registration of utility model

Ref document number: 5882153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250