JP7497162B2 - IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM - Google Patents
IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP7497162B2 JP7497162B2 JP2020016000A JP2020016000A JP7497162B2 JP 7497162 B2 JP7497162 B2 JP 7497162B2 JP 2020016000 A JP2020016000 A JP 2020016000A JP 2020016000 A JP2020016000 A JP 2020016000A JP 7497162 B2 JP7497162 B2 JP 7497162B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- identifier
- information
- acquired
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 58
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000000605 extraction Methods 0.000 claims description 88
- 239000000284 extract Substances 0.000 claims description 28
- 230000008569 process Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000009434 installation Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、画像再生装置、画像再生システム、画像再生方法及びプログラムに関する。 The present invention relates to an image playback device, an image playback system, an image playback method, and a program.
従来から、魚眼レンズを搭載したビデオカメラや複数個のビデオカメラを用いて、撮影地点を中心とした360度の映像を撮影することができる全方位カメラが提案されている。例えば、特許文献1には、全方位カメラで撮影した全方位映像の配信時におけるパケットロスを的確に補完することができる映像配信システムが開示されている。
Conventionally, omnidirectional cameras have been proposed that can capture 360-degree video centered on a shooting point using a video camera equipped with a fisheye lens or multiple video cameras. For example,
特許文献1に開示されているような従来の映像配信システムでは、映像を再生する際は、全方位映像の中からユーザの所望する部分を抽出してディスプレイに表示する。これにより、全方位カメラで撮影した全方位画像の中から、ユーザが見たい方向の画像を表示することができる。しかし、逆に言えば、全方位画像の中のどの撮影方向の画像を表示するかについて、いちいちユーザが指定する必要があった。
In conventional video distribution systems such as that disclosed in
本発明は、上述のような事情に鑑みてなされたものであり、録画された画像の中から表示すべき画像を自動的に抽出することができる画像再生装置、画像再生システム、画像再生方法及びプログラムを提供することを目的とする。 The present invention has been made in consideration of the above-mentioned circumstances, and aims to provide an image playback device, an image playback system, an image playback method, and a program that can automatically extract images to be displayed from recorded images.
上記の目的を達成するため、本発明の第1の観点に係る画像再生装置は、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
前記表示対象の通常の存在位置を記憶する通常位置記憶手段と、
を備え、
前記位置情報取得手段は、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶手段に記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する。
In order to achieve the above object, an image reproducing apparatus according to a first aspect of the present invention comprises:
an image acquisition means for acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
a position information acquiring means for acquiring position information for each identifier of the display object together with the time information;
an identifier acquisition means for acquiring an identifier of the display object;
an image extraction means for extracting an image of the display target from the images acquired by the image acquisition means, based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means;
an image reproducing means for reproducing the image extracted by the image extracting means;
A normal position storage means for storing a normal position of the display object;
Equipped with
The location information acquisition means
acquiring location information for each of the identifiers of the display objects together with the time information from a positioning device that measures a position of the display objects based on reception information from a beacon receiver that receives information of the identifiers transmitted from a beacon transmitter carried by the display objects;
When the position information for each identifier of the display object measured by the positioning device is not the normal location stored in the normal location storage means, the position information is obtained together with the time information.
また、上記の目的を達成するため、本発明の第2の観点に係る画像再生装置は、In order to achieve the above object, an image reproducing apparatus according to a second aspect of the present invention comprises:
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、an image acquisition means for acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、a position information acquiring means for acquiring position information for each identifier of the display object together with the time information;
前記表示対象の識別子を取得する識別子取得手段と、an identifier acquisition means for acquiring an identifier of the display object;
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、an image extraction means for extracting an image of the display target from the images acquired by the image acquisition means, based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means;
前記画像抽出手段が抽出した画像を再生する画像再生手段と、an image reproducing means for reproducing the image extracted by the image extracting means;
を備え、Equipped with
前記画像取得手段は、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、The image acquisition means acquires images captured by a plurality of omnidirectional cameras together with time information,
前記画像抽出手段は、前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得手段が取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する。The image extraction means selects from the multiple omnidirectional cameras an omnidirectional camera located in front of the display target as an omnidirectional camera suitable for photographing the display target based on the location information and time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means, and extracts, from the images acquired by the image acquisition means, an image of the display target photographed by the omnidirectional camera located in front of the display target.
また、上記の目的を達成するため、本発明の第3の観点に係る画像再生システムは、In order to achieve the above object, an image reproducing system according to a third aspect of the present invention comprises:
1つ又は複数の全方位カメラと、表示対象の位置を測位する測位装置と、画像再生装置と、を備える画像再生システムであって、An image playback system including one or more omnidirectional cameras, a positioning device that measures the position of a display object, and an image playback device,
前記画像再生装置は、The image reproduction device comprises:
前記表示対象が前記全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、an image acquisition means for acquiring an image of the display target captured by the omnidirectional camera together with time information;
前記測位装置が測位した前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、a position information acquisition means for acquiring position information for each identifier of the display object whose position has been determined by the positioning device together with the time information;
前記表示対象の識別子を取得する識別子取得手段と、an identifier acquisition means for acquiring an identifier of the display object;
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、an image extraction means for extracting an image of the display target from the images acquired by the image acquisition means, based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means;
前記画像抽出手段が抽出した画像を再生する画像再生手段と、an image reproducing means for reproducing the image extracted by the image extracting means;
前記表示対象の通常の存在位置を記憶する通常位置記憶手段と、A normal position storage means for storing a normal position of the display object;
を備え、Equipped with
前記位置情報取得手段は、The location information acquisition means
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、acquiring location information for each of the identifiers of the display objects together with the time information from a positioning device that measures a position of the display objects based on reception information from a beacon receiver that receives information of the identifiers transmitted from a beacon transmitter carried by the display objects;
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶手段に記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する。When the position information for each identifier of the display object measured by the positioning device is not the normal location stored in the normal location storage means, the position information is obtained together with the time information.
また、上記の目的を達成するため、本発明の第4の観点に係る画像再生システムは、In order to achieve the above object, an image reproducing system according to a fourth aspect of the present invention comprises:
1つ又は複数の全方位カメラと、表示対象の位置を測位する測位装置と、画像再生装置と、を備える画像再生システムであって、An image playback system including one or more omnidirectional cameras, a positioning device that measures the position of a display object, and an image playback device,
前記画像再生装置は、The image reproduction device comprises:
前記表示対象が前記全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、an image acquisition means for acquiring an image of the display target captured by the omnidirectional camera together with time information;
前記測位装置が測位した前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、a position information acquisition means for acquiring position information for each identifier of the display object whose position has been determined by the positioning device together with the time information;
前記表示対象の識別子を取得する識別子取得手段と、an identifier acquisition means for acquiring an identifier of the display object;
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、an image extraction means for extracting an image of the display target from the images acquired by the image acquisition means, based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means;
前記画像抽出手段が抽出した画像を再生する画像再生手段と、an image reproducing means for reproducing the image extracted by the image extracting means;
を備え、Equipped with
前記画像取得手段は、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、The image acquisition means acquires images captured by a plurality of omnidirectional cameras together with time information,
前記画像抽出手段は、前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得手段が取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する。The image extraction means selects from the multiple omnidirectional cameras an omnidirectional camera located in front of the display target as an omnidirectional camera suitable for photographing the display target based on the location information and time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means, and extracts, from the images acquired by the image acquisition means, an image of the display target photographed by the omnidirectional camera located in front of the display target.
また、上記の目的を達成するため、本発明の第5の観点に係る画像再生方法は、In order to achieve the above object, an image reproduction method according to a fifth aspect of the present invention comprises:
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップと、an image acquisition step of acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップと、a position information acquisition step of acquiring position information for each identifier of the display object together with the time information;
前記表示対象の識別子を取得する識別子取得ステップと、an identifier acquisition step of acquiring an identifier of the display object;
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップと、an image extraction step of extracting an image of the display target from the images acquired in the image acquisition step, based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step;
前記画像抽出ステップで抽出した画像を再生する画像再生ステップと、an image reproducing step of reproducing the image extracted in the image extracting step;
前記表示対象の通常の存在位置を記憶する通常位置記憶ステップと、a normal position storage step of storing a normal position of the display object;
を備え、Equipped with
前記位置情報取得ステップでは、In the position information acquisition step,
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、acquiring location information for each of the identifiers of the display objects together with the time information from a positioning device that measures a position of the display objects based on reception information from a beacon receiver that receives information of the identifiers transmitted from a beacon transmitter carried by the display objects;
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶ステップで記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する。When the position information for each identifier of the display object measured by the positioning device is not the normal location stored in the normal location storage step, the position information is acquired together with the time information.
また、上記の目的を達成するため、本発明の第6の観点に係る画像再生方法は、In order to achieve the above object, an image reproduction method according to a sixth aspect of the present invention comprises:
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップと、an image acquisition step of acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップと、a position information acquisition step of acquiring position information for each identifier of the display object together with the time information;
前記表示対象の識別子を取得する識別子取得ステップと、an identifier acquisition step of acquiring an identifier of the display object;
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップと、an image extraction step of extracting an image of the display target from the images acquired in the image acquisition step, based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step;
前記画像抽出ステップで抽出した画像を再生する画像再生ステップと、an image reproducing step of reproducing the image extracted in the image extracting step;
を備え、Equipped with
前記画像取得ステップでは、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、In the image acquisition step, images captured by a plurality of omnidirectional cameras are acquired together with time information;
前記画像抽出ステップでは、前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得ステップで取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する。In the image extraction step, based on the location information and time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step, an omnidirectional camera located in front of the display target is selected from the multiple omnidirectional cameras as an omnidirectional camera suitable for photographing the display target, and an image of the display target photographed by the omnidirectional camera located in front of the display target is extracted from the images acquired in the image acquisition step.
また、上記の目的を達成するため、本発明の第7の観点に係るプログラムは、
コンピュータに、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップ、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップ、
前記表示対象の識別子を取得する識別子取得ステップ、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップ、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップ、及び、
前記表示対象の通常の存在位置を記憶する通常位置記憶ステップ、
を実行させるためのプログラムであって、
前記位置情報取得ステップでは、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶ステップで記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する。
In order to achieve the above object, a program according to a seventh aspect of the present invention comprises:
On the computer,
an image acquisition step of acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
a position information acquisition step of acquiring position information for each identifier of the display object together with the time information;
an identifier acquisition step of acquiring an identifier of the display object;
an image extraction step of extracting an image in which the display target is photographed from the images acquired in the image acquisition step, based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step;
an image reproduction step of reproducing the image extracted in the image extraction step; and
a normal position storage step of storing a normal position of the display object;
A program for executing
In the position information acquisition step,
acquiring location information for each of the identifiers of the display objects together with the time information from a positioning device that measures a position of the display objects based on reception information from a beacon receiver that receives information of the identifiers transmitted from a beacon transmitter carried by the display objects;
When the position information for each identifier of the display object measured by the positioning device is not the normal location stored in the normal location storage step, the position information is acquired together with the time information.
また、上記の目的を達成するため、本発明の第8の観点に係るプログラムは、
コンピュータに、
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップ、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップ、
前記表示対象の識別子を取得する識別子取得ステップ、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップ、及び、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップ、
を実行させるためのプログラムであって、
前記画像取得ステップでは、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出ステップでは、前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得ステップで取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する。
In order to achieve the above object, a program according to an eighth aspect of the present invention comprises:
On the computer,
an image acquisition step of acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
a position information acquisition step of acquiring position information for each identifier of the display object together with the time information;
an identifier acquisition step of acquiring an identifier of the display object;
an image extraction step of extracting an image of the display target from the images acquired in the image acquisition step based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step; and
an image reproduction step of reproducing the image extracted in the image extraction step;
A program for executing
In the image acquisition step, images captured by a plurality of omnidirectional cameras are acquired together with time information;
In the image extraction step, based on the location information and time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step, an omnidirectional camera located in front of the display target is selected from the multiple omnidirectional cameras as an omnidirectional camera suitable for photographing the display target, and an image of the display target photographed by the omnidirectional camera located in front of the display target is extracted from the images acquired in the image acquisition step.
本発明によれば、録画された画像の中から表示すべき画像を自動的に抽出することができる。 According to the present invention, it is possible to automatically extract images to be displayed from among the recorded images.
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。 The following describes in detail an embodiment of the present invention with reference to the drawings. Note that the same or corresponding parts in the drawings are given the same reference numerals.
(実施の形態1)
本発明の実施の形態1に係る画像再生システム1は、全方位カメラで撮影して録画された画像から、特定の人(作業員等)が映っている画像を抽出して再生するシステムである。画像再生システム1は、図1に示すように、画像再生装置100、全方位カメラ200、録画装置300、ビーコン送信機400、ビーコン受信機500、測位装置600を含む。
(Embodiment 1)
The
全方位カメラ200と録画装置300との間、録画装置300と画像再生装置100との間、ビーコン受信機500と測位装置600との間、測位装置600と画像再生装置100との間、はそれぞれネットワークNWを介して通信可能に接続されている。ネットワークNWは、有線または無線を問わない。ネットワークNWは、例えば、有線LAN(Local Area Network)、3G(3rd. Generation)/LTE(Long Term Evolution)回線のような携帯電話通信網、無線LAN(Wi-Fi)/IEEE802.15.4などの近距離無線、LPWA(Low Power Wide Area)無線、VPN(Virtual Private Network)、インターネット等の任意の通信網である。
The
また、ビーコン受信機500は、ビーコン送信機400から送信された無線信号を受信する装置である。なお、ビーコン送信機400、ビーコン受信機500のそれぞれの台数は任意であり、画像再生システム1は、複数のビーコン送信機400、複数のビーコン受信機500を含んで構成される。画像再生システム1を構成する各装置について、以下に説明する。
The
全方位カメラ200は、撮影地点を中心とした全方位(360度)の画像を撮影することができる魚眼レンズを用いた魚眼カメラである。全方位カメラ200は、図2及び図3に示すように、屋内の天井等に設置される。ここで、図2は屋内を水平方向(横)から見た図で、図3は屋内を垂直方向(上)から見た図である。全方位カメラ200は、撮影した画像データ(動画像データ)を、ネットワークNWを介して録画装置300に送信する。なお、本実施の形態1では、全方位カメラ200として魚眼カメラを用いるが、全方位カメラ200は魚眼カメラに限らない。例えば、複数の通常のカメラ(例えば視野角45度のカメラ8台)を円状に並べて全方位を撮影することによって1つの全方位カメラ200を実現してもよい。
The
録画装置300は、HDD(Hard Disk Drive)等による記憶部を備え、全方位カメラ200により撮影された全方位の画像データを録画データとして時刻情報とともに当該記憶部に保存する装置である。録画装置300が保存する録画データには時刻情報が含まれているため、再生時には時刻を指定することにより、任意の時刻から画像を再生可能な録画データになっている。
The
ビーコン送信機400は、BLE(Bluetooth(登録商標) Low Energy)の無線信号を定期的に(例えば、1秒間隔で)送信するビーコンタグ装置である。この無線信号には、当該ビーコン送信機400を一意に識別するための識別子(ID(Identification))の情報(識別情報)として、送信機IDが含まれている。そして、ビーコン送信機400は、この無線信号を定期的に送信する。ここでは、ビーコン送信機400が無線信号を送信する時間間隔を基準時間単位(例えば1秒)と呼ぶことにする。
The
本実施の形態では、画像再生装置100の画像再生における表示対象は、作業員Wであり、作業員Wには(例えば、ビーコン送信機400が装着されたヘルメットを着用すること等により)ビーコン送信機400が装着されているものとする。つまり、ビーコン送信機400が送信する無線信号に含まれる識別子(送信機ID)は、作業員Wの識別子(作業員ID)としても用いられる。なお、送信機IDと作業員IDとの対応テーブルを用いることにより、送信機IDと作業員IDとを別のIDにすることも可能である。
In this embodiment, the display target in image playback by the
また、本実施の形態において、ビーコン送信機400が定期的に発信する無線信号は、BLEの規格に準拠するビーコン信号(以下、単に「BLEビーコン」とも称する)であるものとする。ただし、ビーコン送信機400が発信する無線信号は、自己の存在を知らせるために送信される信号であれば任意であり、BLEビーコン以外の信号であってもよい。
In addition, in this embodiment, the wireless signal periodically transmitted by the
ビーコン受信機500は、ビーコン送信機400が送信するBLEビーコンを受信する装置である。ビーコン受信機500は、アレイアンテナ等を用いることで、ビーコン送信機400から発信されたBLEビーコンを受信した際の電波の到来角度(AOA(Angle Of Arrival))を計測することができる。そして、ビーコン受信機500は、計測した到来角度等を後述する受信情報として、測位装置600に送信する。
The
ビーコン受信機500は、図2及び図3に示すように、屋内の天井や壁等に複数設置される。なお、ビーコン受信機500は、電波を遮る板等の障害物の影響をなるべく受けない場所に設置されることが望ましい。また、画像再生システム1の管理者は、予め、各ビーコン受信機500の設置位置等の情報を測位装置600が把握できるようにしておく。本実施の形態では、この各ビーコン受信機500の設置位置の情報(設置された高さや水平面における位置)は、測位装置600の記憶部に記憶させておくものとする。
As shown in Figures 2 and 3,
ビーコン受信機500は、BLEビーコンを受信する毎に、受信したBLEビーコンの到来角度等を示す受信情報を生成し、ネットワークNWを介して測位装置600に送信する。受信情報は、例えば、図4に示すように、ビーコン受信機500の識別情報(受信機ID)、BLEビーコンの発信元であるビーコン送信機400の識別情報(送信機ID)、BLEビーコンの受信時刻(時刻情報)及びBLEビーコンが到来した角度(到来角度)を含む。
Each time the
ここで、到来角度は、例えば図5に示すように、電波の到来角度を水平方向から見た時の、基準線(例えば、垂線)に対する角度θAと、図6に示すように、電波の到来角度を垂直方向から見た時の、基準線(例えば、北の方向)に対する角度φAとを含む。測位装置600は、これら到来角度の情報に基づいてビーコン送信機400の位置を算出することができる。なお、この算出方法は測位方式の一例であり、測位装置600は、他の方法でビーコン送信機400の位置を測位してもよい。また、測位装置600は、ビーコン送信機400の3次元の位置を測位してもよいし、高さ方向を無視した(例えば一定の高さh(例えば1.5m)とした)2次元の位置を測位してもよい。
Here, the arrival angle includes, for example, as shown in FIG. 5, an angle θ A with respect to a reference line (e.g., a perpendicular line) when the arrival angle of the radio wave is viewed from the horizontal direction, and an angle φ A with respect to a reference line (e.g., a north direction) when the arrival angle of the radio wave is viewed from the vertical direction, as shown in FIG. 6. The
測位装置600は、RAM(Random Access Memory)等による記憶部を備え、各ビーコン送信機400の位置を取得して、ビーコン送信機400の識別子毎の位置情報の履歴(位置情報ログ)を当該記憶部に保存する装置である。例えば、測位装置600は、屋内に設置された複数のビーコン受信機500のそれぞれから受信情報を受信する。そして、測位装置600は、予め把握しているビーコン受信機500の位置の情報と、受信情報に含まれる到来角度の情報とから、ビーコン送信機400の位置を算出する。そして、測位装置600は、算出したビーコン送信機400の位置を時刻情報とともに記憶部に保存する。
The
ビーコン送信機400は、上述した基準時間単位(例えば1秒)毎にBLEビーコンを送信し、ビーコン受信機500はBLEビーコンを受信する度に受信情報を測位装置600に送信するので、測位装置600は、ビーコン送信機400の位置を、基準時間単位毎に算出することができる。したがって、位置情報ログには、ビーコン送信機400の位置が、基準時間単位のサンプリング時間で保存されていく。
The
ここで、ビーコン送信機400の3次元の位置を算出する具体的な方法について説明する。測位装置600は、図5に示すように、ビーコン受信機500Aからの受信情報に含まれる到来角度θAと、ビーコン受信機500Bからの受信情報に含まれる到来角度θBと、から、ビーコン受信機500A及びビーコン受信機500Bとビーコン送信機400との間の高度差を算出することできるので、予め把握しているビーコン受信機500A及びビーコン受信機500Bの高さの情報を用いることにより、ビーコン送信機400の高さの情報を算出することができる。
Here, a specific method for calculating the three-dimensional position of the
また、測位装置600は、図6に示すように、ビーコン受信機500Aからの受信情報に含まれる到来角度φAと、ビーコン受信機500Bからの受信情報に含まれる到来角度φBと、から、ビーコン受信機500A及びビーコン受信機500Bとビーコン送信機400との間の水平面における位置関係を算出することできるので、予め把握しているビーコン受信機500A及びビーコン受信機500Bの位置の情報を用いることにより、ビーコン送信機400の位置を算出することができる。
In addition, as shown in FIG. 6, the
なお、この測位方式による3次元測位では上記のようにビーコン受信機500が2台以上必要であるが、ビーコン送信機400が床上の一定の高さhを移動することを前提とすれば、1台のビーコン受信機500だけでも、ビーコン送信機400の位置を測位できる。これは、例えば、高さhの平面と、ビーコン受信機500から到来角度の方向に延ばした直線との交点に基づいて、ビーコン送信機400の位置を算出すればよい。
As mentioned above, three-dimensional positioning using this positioning method requires two or
測位装置600は、ビーコン受信機500から受信した受信情報等に基づきビーコン送信機400の位置を算出したら、その位置の情報を、算出に用いた受信情報に含まれるビーコン送信機400の識別情報(送信機ID)及び時刻情報とともに位置情報ログとして、記憶部に保存する。そして、測位装置600は画像再生装置100から位置情報ログの送信リクエストを受信すると、位置情報ログを画像再生装置100に送信する。上述したように、位置情報ログに含まれるビーコン送信機400の識別情報(送信機ID)は、表示対象となる作業員Wの識別子(作業員ID)の情報でもある。したがって、位置情報ログを参照することにより、画像再生装置100は、表示対象の識別子毎の位置情報を時刻情報とともに取得することができる。
When the
画像再生装置100は、録画装置300が保存している録画データと、測位装置600が保存している位置情報ログとを用いて、ユーザが表示させたい作業員W(表示対象)が映っている画像を抽出して再生する。この仕組みについて、以下に詳細に説明する。
The
まず、図7を参照しながら、画像再生装置100のハードウェア構成を説明する。画像再生装置100は、図7に示すように、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM103、HDD104、ディスプレイ105、入力装置106、通信I/F107を備える。これらの各部は、バスラインBLを介して相互に電気的に接続されている。
First, the hardware configuration of the
CPU101は、ROM102やHDD104からプログラムやデータをRAM103上に読み出して処理を実行することにより、画像再生装置100の制御や機能を実現する演算装置である。
The
ROM102は、CPU101が実行する各種プログラムやプログラム実行の際に使用される各種データ等を記憶する不揮発性メモリである。
RAM103は、ROM102やHDD104から読み出されたプログラムやデータを一時的に保持する揮発性メモリであり、CPU101の作業領域として使用される。
HDD104は、記憶内容が書き換え可能な大容量かつ不揮発性の記憶装置である。HDD104は、例えば、後述する画像再生処理に用いられるプログラムやデータを記憶する。なお、HDD104に替えて、またはHDD104と共に、SSD(Solid State Drive)等の書き換え可能な大容量の不揮発性の記憶装置を備えてもよい。
The
ディスプレイ105は、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイ等の表示装置であり、CPU101の制御に従って、各種画像を表示する。
The
入力装置106は、キーボード、マウス、操作ボタン等であり、画像再生システム1の管理者等のユーザの操作、各種データの入力等を受け付ける。入力装置106は、例えば、管理者による画像再生装置100への指示等の入力を受け付ける。なお、入力装置106は、ディスプレイ105の表示画面とこれに重ねて設けられたタッチセンサとからなるタッチパネルにより構成されてもよい。
The
通信I/F107は、画像再生システム1を構成する各装置と通信するためのインタフェースである。通信I/F107により、CPU101の制御に従って、画像再生装置100は、ネットワークNWを介して全方位カメラ200から録画データを取得し、測位装置600から位置情報ログを取得する。
The communication I/
次に、図8を参照しながら、画像再生装置100の機能構成について説明する。画像再生装置100は、図8に示すように、制御部110、記憶部120、表示部131、入力部132、通信部133を備える。
Next, the functional configuration of the
制御部110は、CPU101、ROM102、RAM103等により構成され、画像再生装置100の構成部位の各々を制御する。制御部110は、記憶部120に記憶された制御プログラムを実行することにより、例えば、画像取得部111、位置情報取得部112、識別子取得部113、画像抽出部114、画像再生部115として機能する。これらについては後述する。
The
記憶部120は、ROM102、RAM103、HDD104等により構成され、制御部110が実行する各種プログラム、制御部110がプログラム実行の際に用いる各種データ、制御部110がプログラム実行により生成した各種データ等を記憶する。なお、画像再生装置100は、録画装置300及び測位装置600の機能を兼ね備えることもできる。画像再生装置100が録画装置300の機能を兼ね備える場合は、記憶部120には、録画データも保存される。また、画像再生装置100が測位装置600の機能を兼ね備える場合は、記憶部120には、位置情報ログも保存される。
The
表示部131は、ディスプレイ105等により構成される。例えば、制御部110から録画装置300に録画された録画データの再生が指示されると、表示部131に当該録画データが表示(再生)される。
The
入力部132は、入力装置106等により構成され、画像再生システム1の管理者等のユーザからの入力を受け付ける。
The
通信部133は、通信I/F107等により構成され、他の装置(録画装置300、測位装置600等)とのデータ通信を行う。
The
次に、制御部110が、記憶部120に記憶された制御プログラムを実行することにより実現される、画像取得部111、位置情報取得部112、識別子取得部113、画像抽出部114、画像再生部115について、説明する。
Next, we will explain the
画像取得部111は、録画装置300が送信する画像(全方位カメラ200により撮影された録画データ)を、通信部133を介して取得する。上述したように録画データには撮影された時刻の情報が含まれているので、画像取得部111は、時刻を指定して録画装置300に画像をリクエストすることにより、指定した時刻の画像を取得することができる。画像取得部111は、画像取得手段として機能する。
The
位置情報取得部112は、測位装置600が送信する位置情報ログを、通信部133を介して取得する。上述したように、位置情報ログには、識別子(送信機ID=作業員ID)毎の位置情報が時刻情報とともに記録されているので、位置情報取得部112は、識別子毎の位置情報を時刻情報とともに取得することができる。位置情報取得部112は、位置情報取得手段として機能する。
The location
識別子取得部113は、表示対象の識別子を、入力部132を介して取得する。具体的には、ユーザが、作業の様子等を確認するために表示させたい作業員Wの識別子(作業員ID)を、入力部132(キーボード等)から入力することにより、識別子取得部113は、表示対象の識別子を取得する。また、例えば、作業員Wの氏名と識別子(作業員ID)との対応テーブルを記憶部120に記憶させておき、ユーザから作業員Wの氏名が入力されると、識別子取得部113は、当該対応テーブルに基づいて作業員Wの識別子を取得するようにしてもよい。識別子取得部113は、識別子取得手段として機能する。
The
画像抽出部114は、位置情報取得部112が取得した位置情報及び時刻情報と識別子取得部113が取得した識別子とに基づいて、画像取得部111が取得した画像(録画データ)から、表示対象が撮影された画像を抽出する。この処理の詳細は後述する。画像抽出部114は、画像抽出手段として機能する。
The
画像再生部115は、画像抽出部114が抽出した画像を、表示部131に表示することによって、再生する。画像再生部115は、画像再生手段として機能する。
The
ここで、画像取得部111が取得する画像と、画像抽出部114が抽出する画像について補足説明する。全方位カメラ200は魚眼カメラなので、撮影された画像は例えば図9に示すように、本来直線であるもの(図9では、床と壁の境界や、壁と壁の境界)が楕円状に曲がって見えるような歪んだ画像として記録される。そして、画像取得部111は、このような歪んだ画像を取得することになる。画像再生装置100は、通常のカメラで撮影されたような、歪んでいない画像を表示することが望ましいので、画像抽出部114は、例えば図10に示すように、全方位画像を45度ずつ領域R1から領域R8まで8分割して、各分割領域を通常の(歪んでいない)画像として抽出する。
Here, a supplementary explanation is given regarding the images acquired by the
そして、画像抽出部114は、作業員Wの位置情報を取得することにより、作業員Wが映っている部分の画像(図10では、領域R3の画像)を、通常の(歪んでいない)画像として抽出することができる。なお、図10に示すように全方位画像を分割しただけでは全方位カメラの真下部分の画像が見づらくなるので、作業員Wが全方位カメラの真下部分にいる場合等においては、画像抽出部114は、図11に示すように全方位カメラの真下の部分(領域R9)を通常の(歪んでいない)画像として抽出してもよい。
Then, by acquiring the position information of the worker W, the
また、図10のように領域を固定してしまうと、作業員Wが複数の領域にまたがってしまう状況も起こりうるため、全方位カメラ200から見た作業員Wの方向の角度θを、全方位カメラ200の設置位置の情報と作業員Wの位置情報とに基づいて求め、角度θの方向を中心とした領域の画像を抽出することにより、作業員Wを追従していくようにしてもよい。
In addition, if the area is fixed as in FIG. 10, a situation may occur in which the worker W straddles multiple areas. Therefore, the angle θ of the direction of the worker W as seen from the
領域を固定すると、表示対象(作業員W)が複数の領域にまたがってしまう可能性がある点はデメリットと言える。しかし、領域を固定すると、図12に示すように、表示部131に複数の子画面を設定し、各領域の画像を各子画面にそれぞれ表示することにより、作業員Wが屋内のどこにいるかを把握しやすくなる点はメリットと言える。したがって、画像抽出部114は、図12のように領域を固定して画像を抽出する「領域固定モード」と、表示対象(作業員W)を追従して画像を抽出する「追従モード」と、を備えるようにしてもよい。
Fixing the area has the disadvantage that the display target (worker W) may span multiple areas. However, fixing the area has the advantage that it becomes easier to grasp where worker W is indoors by setting multiple child screens on the
次に、画像再生装置100の制御部110が実行する画像再生処理について、図13を参照して説明する。画像再生処理は、画像再生システム1の管理者等から、画像再生処理の開始を指示されると処理が開始される。
Next, the image playback process executed by the
まず、制御部110は、初期化処理を行う(ステップS101)。初期化処理では、各種変数の初期化等を行う。また、通常の変数の初期化以外に、ここでは、作業員Wを真上から撮影した画像を用いるか否かの設定と、作業員Wを真上から撮影した画像を用いる場合にはその条件(全方位カメラの設置位置と作業員Wの位置とを平面(例えば床)に投影した時の該平面上の距離が真上画像閾値ri(例えば1m)以下の場合に用いる等)の設定を行ってもよい。
First, the
次に、識別子取得部113は、入力部132を介して、作業員Wの識別子を取得する(ステップS102)。ステップS102は、識別子取得ステップとも呼ばれる。識別子取得部113がどのようにして識別子を取得するかは任意であるが、例えば、予め記憶部120に、作業員Wの氏名と識別子との対応テーブルを記憶させておいてもよい。これにより、入力部132から作業員Wの氏名が入力されると、識別子取得部113は該対応テーブルを参照することにより、作業員Wの氏名に対応する識別子を取得できるようになる。
Next, the
次に、制御部110は、入力部132を介して、再生開始日時及び再生終了日時を取得する(ステップS103)。例えば、制御部110は、表示部131にカレンダーを表示し、ユーザにカレンダー上の日付をクリックしてもらうことにより、(再生開始日時はクリックされた日付の午前0時で、再生終了日時はクリックされた日付の午後12時にする等して)再生開始日時及び再生終了日時を取得してもよい。このステップS103は、録画装置300が録画した全ての時間帯において画像を再生させる場合には、スキップしてもよい。このステップをスキップする場合は、再生開始日時は録画装置300に録画が開始された日時となり、再生終了日時は録画装置300の録画が終了した日時となる。
Next, the
次に、位置情報取得部112は、測位装置600に位置情報ログの送信リクエストを送信し、測位装置600から位置情報ログを取得する(ステップS104)。ステップS104は、位置情報取得ステップとも呼ばれる。
Next, the location
そして、制御部110は、ステップS104で取得した位置情報ログに、ステップS102で取得した識別子の位置情報が含まれているか否かを判定する(ステップS105)。位置情報ログに当該識別子の位置情報が含まれていないなら(ステップS105;No)、当該識別子の作業員Wが撮影されている画像の再生はできないということになるので、制御部110は、表示部131に「再生不可」等のメッセージを表示して(ステップS106)、画像再生処理を終了する。
Then, the
位置情報ログに当該識別子の位置情報が含まれているなら(ステップS105;Yes)、制御部110は、再生開始日時を時刻tに設定する(ステップS107)。時刻tとは、録画装置300に保存されている録画データの再生ポイントを指示するための変数である。
If the location information of the identifier is included in the location information log (step S105; Yes), the
次に、画像取得部111は、録画装置300から時刻tの時点における画像を取得する(ステップS108)。ステップS108は、画像取得ステップとも呼ばれる。
Next, the
そして、画像抽出部114は、ステップS104で取得した位置情報ログから、ステップS102で取得した識別子(作業員W)の時刻tの時点における位置情報を取得し、ステップS108で取得した画像から、作業員Wが存在している領域の画像を抽出する(ステップS109)。ステップS109は、画像抽出ステップとも呼ばれる。
Then, the
例えば、時刻tにおいて、作業員Wが図10に示すような位置に存在するなら、ステップS109では、画像抽出部114は、領域R3の画像を抽出する。なお、作業員Wは、必ずしも図10に示す1つの領域(例えば領域R3)のみに映っているとは限らない。そこで、画像抽出部114は、上述した「領域固定モード」においては、例えば、作業員Wが映っている複数の領域のうちの1つを選択し、選択した領域の画像を抽出してもよいし、作業員Wが映っている複数の領域の2つ以上(例えば全て)の画像を抽出してもよい。
For example, if at time t, worker W is in a position as shown in FIG. 10, in step S109, the
また、画像抽出部114は、上述した「追従モード」においては、時刻tの時点における作業員Wの位置情報を、全方位カメラ200の設置位置を原点とした極座標(原点からの距離r,原点を中心とした角度θ)に変換し、θを中心とする領域の画像を抽出してもよい。その際、画像抽出部114は、抽出する画像をrに基づいて(rが大きいほど)拡大させてもよい。このようにすれば、画像抽出部114は、常に作業員Wが中央付近に存在する領域の画像を抽出することができる。
In addition, in the above-mentioned "following mode," the
また、ステップS101で、例えば、全方位カメラと作業員Wとの距離が真上画像閾値ri以下の場合に作業員Wを真上から撮影した画像を用いるというような条件が設定されていた場合は、全方位カメラ200と作業員Wとの距離が真上画像閾値ri以下なら、画像抽出部114は、図11に示す領域R9の画像を抽出してもよい。
In addition, in step S101, if a condition is set such that an image of the worker W taken from directly above is used if the distance between the omnidirectional camera and the worker W is equal to or less than the directly above image threshold ri, the
そして、画像再生部115は、ステップS109で画像抽出部114が抽出した画像を再生する(ステップS110)。ステップS110は、画像再生ステップとも呼ばれる。
Then, the
そして、画像再生部115は、再生ポイントを示す時刻tをt+1に更新する(ステップS111)。なお、時刻tをt+1に更新することによって、実際の時刻をどの程度進めるかは任意であるが、ここでは時刻tをt+1に更新することによって上述した基準時間単位(位置情報のサンプリング時間)だけ時間を進めることとする。そして、ステップS108からステップS110までの処理は、この基準時間単位でまとめて行われる。
Then, the
次に、制御部110は、時刻tが、再生終了日時より前であるか否かを判定する(ステップS112)。制御部110は、時刻tが再生終了日時より前なら(ステップS112;Yes)、ステップS108に戻る。そして、制御部110は、時刻tが再生終了日時以後であるなら(ステップS112;No)、画像再生処理を終了する。
Next, the
以上の画像再生処理により、画像再生装置100は、録画された画像の中から表示すべき画像(作業員Wが映っている画像)を自動的に抽出することができ、ユーザは、ステップS102で指定した作業員Wが映っている画像を容易に確認することができるようになる。
By performing the above image playback process, the
なお、画像再生処理(図13)において、画像の取得(ステップS108)と画像の抽出(ステップS109)とは、処理の順番を逆にする(画像の抽出方法を決定してから取得する)ことも可能である。処理の順番を逆にする場合、まず、画像抽出部114は、ステップS104で取得した位置情報ログから、ステップS102で取得した識別子(作業員W)の時刻tの時点における位置情報を取得することにより、全方位画像の抽出方法(どの部分を切り出すか)を決定する。次に、画像取得部111は、録画装置300から、時刻tの時点における画像について、画像抽出部114が決定した抽出方法にて抽出した(切り出した)画像を取得する。このようにしても、作業員Wが存在している領域の画像を抽出して取得することができる。
In the image playback process (FIG. 13), it is also possible to reverse the order of image acquisition (step S108) and image extraction (step S109) (determine the image extraction method before acquiring). When reversing the order of the processes, the
(実施の形態2)
実施の形態1では、全方位カメラ200が1つだったが、より広範囲を録画するために、全方位カメラ200を複数備えてもよい。全方位カメラ200を複数備える、実施の形態2に係る画像再生システム2について、説明する。
(Embodiment 2)
In the first embodiment, one
実施の形態2に係る画像再生システム2の構成は、図14に示すように、全方位カメラ200を複数備えていること以外は、実施の形態1に係る画像再生システム1の構成と同じであるので、各構成要素の説明は省略する。
The configuration of the
画像再生システム2は全方位カメラ200を複数備えるので、画像再生処理において、複数の全方位カメラ200のうちのどの全方位カメラ200で撮影した画像を表示すれば良いかが問題となる。実施の形態2では、画像抽出部114は、複数の全方位カメラ200の中から、ユーザが表示させたいと考える作業員Wに最も近い位置に存在する全方位カメラ200を作業員Wの撮影に適した全方位カメラ200として選択し、選択した全方位カメラにより撮影され作業員Wが撮影された画像を抽出する。
Since the
ただし、作業員Wに最も近い全方位カメラ200から作業員Wを撮影すると、作業員Wを上から撮影することになり、作業員Wの作業内容を確認しづらくなってしまう場合が考えられる。したがって、実施の形態2に係る画像再生システム2では、作業員Wを上から撮影する全方位カメラ200を用いるモード(真上カメラ有効)と、作業員Wを上から撮影することになってしまう全方位カメラ200以外の全方位カメラ200の中で、作業員Wに最も近い全方位カメラ200を用いるモード(真上カメラ無効)の2つのモードが用意されている。
However, if worker W is photographed from the
実施の形態2に係る画像再生装置100の制御部110が実行する画像再生処理は、ステップS109の処理を除けば、図13を参照して説明した実施の形態1に係る画像再生処理と同じである。ここでは、実施の形態2に係る画像再生処理のステップS109の詳細の処理を画像抽出処理と呼ぶこととして、この画像抽出処理について、図15を参照して説明する。ただし、ステップS108では、画像取得部111は、全ての全方位カメラ200のそれぞれで撮影された、時刻tの画像を全て取得しているものとする。
The image playback process executed by the
なお、実施の形態2に係る画像再生装置100は、予め記憶部120に、各全方位カメラ200の設置位置の情報が記憶されているものとする。また、実施の形態2に係る画像再生処理においては、ステップS101で、作業員Wの真上に全方位カメラ200が存在するとみなす距離(真上カメラ閾値ra(例えば1m))の設定と、作業員Wの真上の全方位カメラ200を用いるか否か(真上カメラの有効/無効)の設定が行われているものとする。真上カメラ閾値ra及び真上カメラの有効/無効は、ステップS102での識別子の取得と同様に、ユーザに入力部132から入力してもらうことによって、設定されるようにしてもよい。
In the
まず、画像抽出部114は、真上カメラが有効(真上の全方位カメラ200を用いる)か否かを判定する(ステップS201)。これは、上述したようにステップS101で設定されている。
First, the
真上カメラが有効でない(真上の全方位カメラ200を用いない)なら(ステップS201;No)、画像抽出部114は、位置情報ログから得られる時刻tの時点における作業員Wの位置情報と、各全方位カメラ200の設置位置の情報と、から、作業員Wとの距離が真上カメラ閾値raよりも離れている全方位カメラ200の中で最も作業員Wに近い全方位カメラ200を、時刻tの全方位カメラ200tとする(ステップS202)。
If the directly above camera is not valid (the directly above
一方、真上カメラが有効なら(ステップS201;Yes)、画像抽出部114は、位置情報ログから得られる時刻tの時点における作業員Wの位置情報と、各全方位カメラ200の設置位置の情報と、から、全方位カメラ200の中で最も作業員Wに近い全方位カメラ200を、時刻tの全方位カメラ200tとする(ステップS203)。
On the other hand, if the directly above camera is valid (step S201; Yes), the
次に、画像抽出部114は、時刻tの時点における作業員Wの位置情報を、時刻tの全方位カメラ200tの設置位置を原点とした極座標(原点からの距離r,原点を中心とした角度θ)に変換する(ステップS204)。
Next, the
そして、画像抽出部114は、ステップS204で取得した極座標に基づいて、時刻tの全方位カメラ200tの画像から、作業員Wが映っている領域の画像を抽出する(ステップS205)。例えば、画像抽出部114は、ステップS204で取得した極座標の角度θの値を用いて、時刻tの全方位カメラ200tの画像から、θを中心とする領域の画像を抽出する。また、ステップS204で取得した極座標の距離rの値も用いて、rの値に応じて拡大率を変化させて画像を抽出してもよい。
Then, the
画像抽出部114は、ステップS205で作業員Wが映っている領域の画像を抽出したら、画像抽出処理を終了し、画像再生処理(図13)のステップS110から処理を続ける。
When the
以上の画像抽出処理により、実施の形態2に係る画像再生装置100は、複数設置された全方位カメラ200の中で、作業員Wとの距離が最も適切と考えられる全方位カメラ200を作業員Wの撮影に適した全方位カメラ200として選択し、選択した全方位カメラ200で撮影された画像の中から、表示すべき画像(作業員Wが映っている画像)を自動的に抽出することができる。
By the above image extraction process, the
(実施の形態3)
実施の形態2では、作業員Wがどちらの方向を向いているかは考慮せずに、作業員Wと全方位カメラ200との距離に基づいて、全方位カメラ200を選択したが、ユーザは作業員Wの正面から撮影した画像を確認したい場合もあると考えられる。そこで、できるだけ作業員Wを正面から捉える全方位カメラ200を作業員Wの撮影に適した全方位カメラ200として選択し、選択した全方位カメラ200が撮影した画像を用いる実施の形態3に係る画像再生システム3について、説明する。
(Embodiment 3)
In the second embodiment, the
実施の形態3に係る画像再生システム3の構成は、図14に示すように、実施の形態2に係る画像再生システム2の構成と同じであるので、各構成要素の説明は省略する。
The configuration of the
実施の形態3では、画像抽出部114は、複数の全方位カメラ200の中から、ユーザが表示させたいと考える作業員Wの正面に存在する全方位カメラ200を選択し、選択した全方位カメラにより撮影され作業員Wが撮影された画像を抽出する。作業員Wの正面に存在する全方位カメラ200が複数存在する場合には、各全方位カメラ200について後述する優先度を算出し、優先度の最も高い全方位カメラ200を選択する。
In the third embodiment, the
ここで、時刻tの時点における作業員Wの正面の求め方について図16を参照して説明する。ここでは、作業員Wが歩いている等、前方に移動している場合を想定する。図16に示すように、作業員Wが、時刻t-1の時点ではP1の位置にいて、時刻tの時点ではP2に移動しているとする。ここで、各位置は作業員Wを真上から見た平面上での位置である。また、時刻t-1と時刻tの実際の時間差は上述した基準時間単位(例えば1秒)である。時刻tでの作業員Wの位置P2を原点として、時刻t-1での作業員Wの位置P1を極座標で表した場合の角度θをθ1とする。この時、原点から見てθ1の反対方向(つまり、θ1+πの方向)に、左右それぞれ角度α(例えば30度)だけ幅を持たせた範囲を、作業員Wの正面とみなす範囲FRとする。 Here, a method for determining the front of the worker W at time t will be described with reference to FIG. 16. Here, it is assumed that the worker W is moving forward, such as walking. As shown in FIG. 16, the worker W is at a position P1 at time t-1, and moves to P2 at time t. Here, each position is a position on a plane viewed from directly above the worker W. The actual time difference between time t-1 and time t is the above-mentioned reference time unit (for example, 1 second). The position P2 of the worker W at time t is set as the origin, and the angle θ when the position P1 of the worker W at time t-1 is expressed in polar coordinates is set as θ 1. At this time, a range that has a width of an angle α (for example, 30 degrees) on both the left and right sides in the opposite direction of θ 1 (i.e., the direction of θ 1 +π) from the origin is set as a range FR that is regarded as the front of the worker W.
実施の形態3に係る画像再生装置100の制御部110が実行する画像再生処理は、ステップS109の処理(画像抽出処理)を除けば、実施の形態2に係る画像再生処理と同じである。そこで、実施の形態3に係る画像再生処理のステップS109の詳細の処理(画像抽出処理)について、図17及び図18を参照して説明する。ただし、ステップS108では、画像取得部111は、全ての全方位カメラ200のそれぞれで撮影された、時刻tの画像を全て取得しているものとする。
The image playback process executed by the
なお、実施の形態3に係る画像再生装置100は、実施の形態2に係る画像再生装置100と同様に予め記憶部120に、各全方位カメラ200の設置位置の情報が記憶されているものとする。また、実施の形態3に係る画像再生処理においては、実施の形態2に係る画像再生処理と同様に、ステップS101で、作業員Wの真上に全方位カメラ200が存在するとみなす距離(真上カメラ閾値ra)の設定と、作業員Wの真上の全方位カメラ200を用いるか否か(真上カメラの有効/無効)の設定が行われているものとする。また、ステップS101では、作業員Wが移動しているか否かを判定するための閾値(移動閾値rv)の設定も行われる。
In the
まず、画像抽出部114は、位置情報ログに、時刻t-1の時点における位置情報が存在するか否かを判定する(ステップS301)。時刻t-1の時点における位置情報が存在しないなら(ステップS301;No)、ステップS201に進む。時刻t-1の時点における位置情報が存在しないなら、正面とみなす範囲を算出することができないので、実施の形態2と同様に作業員Wとの距離に基づいて全方位カメラ200を選択することになる。ステップS201以降の処理は、実施の形態2の画像抽出処理と同じ処理になるので、説明を省略する。
First, the
時刻t-1の時点における位置情報が存在するなら(ステップS301;Yes)、画像抽出部114は、作業員Wの時刻t-1の時点における位置と時刻tの時点における位置との距離が移動閾値rv(例えば1m)以上であるか否かを判定する(ステップS302)。作業員Wの時刻t-1の時点における位置と時刻tの時点における位置との距離が移動閾値rv未満なら(ステップS302;No)、画像抽出部114は、時刻t-1の全方位カメラ200が存在するか否かを判定する(ステップS303)。時刻t-1の全方位カメラ200とは、前回、時刻tの全方位カメラ200tとして用いた全方位カメラ200である。
If position information for time t-1 exists (step S301; Yes), the
時刻t-1の全方位カメラ200が存在するなら(ステップS303;Yes)、画像抽出部114は時刻t-1の全方位カメラ200を時刻tの全方位カメラ200tとし(ステップS304)、ステップS204に進む。一方、時刻t-1の全方位カメラ200が存在しないなら(ステップS303;No)、ステップS201に進む。
If an
作業員Wがほとんど動かずに作業している場合は、ステップS302での判定がNoとなるが、このような場合は、作業員Wが直近で移動した方向に基づいて設定された、過去の時点における全方位カメラ200tを用いるようにするために、ステップS303及びステップS304の処理が行われる。 If the worker W is working without moving much, the determination in step S302 will be No. In such a case, the processes in steps S303 and S304 are performed to use the omnidirectional camera 200t at a past point in time that was set based on the direction in which the worker W most recently moved.
一方、ステップS302で、作業員Wの時刻t-1の時点における位置と時刻tの時点における位置との距離が移動閾値rv以上なら(ステップS302;Yes)、画像抽出部114は、作業員Wの時刻t-1の時点における位置P1と時刻tの時点における位置P2とから、図16を参照して説明したようにして、正面とみなす範囲FRを算出する(ステップS305)。
On the other hand, in step S302, if the distance between the position of worker W at time t-1 and the position at time t is equal to or greater than the movement threshold rv (step S302; Yes), the
そして、画像抽出部114は、正面とみなす範囲FRに含まれる全ての全方位カメラ200のリスト(候補カメラリスト)を作成する(ステップS306)。次に、画像抽出部114は、真上カメラが有効(真上の全方位カメラ200を用いる)か否かを判定する(ステップS307)。真上カメラが有効でないなら(ステップS307;No)、画像抽出部114は、ステップS306で作成した候補カメラリストの中で、作業員Wとの距離がra以下の全方位カメラ200を、候補カメラリストから削除する(ステップS308)。一方、真上カメラが有効なら(ステップS307;Yes)、ステップS309に進む。
Then, the
そして、画像抽出部114は、候補カメラリストが空(候補カメラリストに全方位カメラ200が全く含まれていない)か否かを判定する(ステップS309)。候補カメラリストが空なら(ステップS309;Yes)、ステップS201に進む。候補カメラリストが空でないなら(ステップS309;No)、画像抽出部114は、候補カメラリストに含まれている全方位カメラ200の中で、後述する優先度が最も高い全方位カメラ200を、時刻tの全方位カメラ200tとし(ステップS310)、ステップS204に進む。
Then, the
ここで、候補カメラリストに含まれている全方位カメラ200の優先度について、図19を参照して説明する。基本的な考え方としては、できるだけ作業員Wの真正面で、できるだけ作業員Wとの距離が近い全方位カメラ200の優先度が高くなるように優先度を設定する。
Here, the priority of the
図19に示すように、全方位カメラ200の位置が、作業員Wの位置を原点とする極座標表現で、距離rc、角度θcであったとする。この時、この全方位カメラ200の優先度PRは以下の式(1)で表される。なお、このPRの値が大きければ、当該全方位カメラ200の優先度が高いことを示す。
PR=cos(θc-(θ1+π))/rc …(1)
19, assume that the position of the
PR=cos(θ c −(θ 1 +π))/r c (1)
なお、式(1)は、優先度を算出する数式の一例に過ぎず、上述の基本的な考え方に基づいて優先度が算出されるならば、どのように算出しても構わない。 Note that formula (1) is merely one example of a formula for calculating the priority, and any calculation method may be used as long as the priority is calculated based on the basic concept described above.
上述の画像抽出処理により、実施の形態3に係る画像再生装置100は、複数設置された全方位カメラ200の中で、できるだけ作業員Wを正面から撮影できる全方位カメラ200を作業員Wの撮影に適した全方位カメラ200として選択し、選択した全方位カメラ200で撮影された画像の中から、表示すべき画像(作業員Wが映っている画像)を自動的に抽出することができる。
By the above-mentioned image extraction process, the
(実施の形態4)
上述の実施の形態では、測位装置600は、各作業員Wの位置を常に位置情報ログに記録していた。しかし、作業員Wのうち、通常の作業エリアと異なる位置にいる作業員Wの様子を重点的に確認したい場合も考えられる。そこで、作業員Wが(作業外のエリアにいる等)通常の存在位置と異なる位置に存在している場合にのみ、位置情報ログが記録される実施の形態4に係る画像再生システム4について、説明する。
(Embodiment 4)
In the above-described embodiment, the
実施の形態4に係る画像再生システム4の構成は、上述の実施の形態(図1に示す実施の形態1や、図14に示す実施の形態2,3)の構成と基本的には同じであるが、測位装置600の処理内容が少し異なるので、この点について説明する。
The configuration of the image replay system 4 in the fourth embodiment is basically the same as the configuration of the above-mentioned embodiments (the first embodiment shown in FIG. 1 and the second and third embodiments shown in FIG. 14), but the processing content of the
実施の形態4に係る測位装置600は、各作業員Wの通常の作業エリアの情報を通常位置情報として予め記憶部に保存している。この通常位置情報は、各作業員Wの所定の時間帯毎の通常の存在位置である。ここで、所定の時間帯としては、1時間単位で細かく各作業員Wの通常の存在位置が定められていてもよいし、1日単位、1週間単位等、ある程度まとまった時間帯毎に各作業員Wの通常の存在位置が定められていてもよい。
The
測位装置600は、この通常位置情報を参照することにより、各作業員Wが通常の作業エリアにいるか否かを判定することができる。そして、測位装置600は、作業員Wが所持するビーコン送信機400の位置を算出したら、通常位置情報を参照して、作業員Wが通常の作業エリアにいるか否かを判定し、作業員Wが通常の作業エリアにいない場合だけ、その位置の情報を、ビーコン送信機400の識別情報(送信機ID)及び時刻情報とともに位置情報ログとして、記憶部に保存する。
By referring to this normal position information, the
以上の点以外は、実施の形態4に係る画像再生システム4は、上述の実施の形態と同様であるので、説明を省略する。なお、測位装置600の動作を変更せずに、画像再生装置100において、通常位置情報を記憶部120に保存しておき、位置情報取得部112において、作業員Wの位置が通常の存在位置でない位置情報ログのみを取得する(通常の存在位置の位置情報ログは読み捨てる)ようにしてもよい。この場合、記憶部120は、作業員Wの通常の存在位置を記憶する通常位置記憶手段としても機能する。
Apart from the above, the image reproducing system 4 according to the fourth embodiment is similar to the above-mentioned embodiments, and therefore a description thereof will be omitted. It is also possible to store normal position information in the
実施の形態4に係る画像再生システム4では、作業員Wが通常の作業エリアを離れている場合に作業員Wが映っている画像を再生することができる。作業員Wが通常の作業エリアを離れているということは、何らかの問題が発生している可能性が高い。したがって、実施の形態4に係る画像再生システム4では、ユーザは、問題が発生した場合の作業状況をより効率的に確認することができる。 In the image replay system 4 according to the fourth embodiment, an image showing the worker W can be replayed when the worker W has left the normal work area. When the worker W has left the normal work area, it is highly likely that some kind of problem has occurred. Therefore, in the image replay system 4 according to the fourth embodiment, the user can more efficiently check the work status when a problem has occurred.
(変形例)
上述の実施の形態では、画像再生処理のステップS102で、ユーザは任意の作業員Wの識別子を入力できるが、ここで入力できる作業員Wの識別子を制限してもよい。例えば、画像再生装置100は、実施の形態4と同様にして、各作業員Wの通常の作業エリアを通常位置情報として予め記憶部120に保存しておく。そして、ステップS102では、位置情報ログ及び通常位置情報に基づいて、通常の作業エリアから逸脱している作業員Wをリストにして表示部131に表示し、ユーザがそのリストの中からいずれかを選択することによって、識別子取得部113が作業員Wの識別子を取得するようにしてもよい。
(Modification)
In the above embodiment, in step S102 of the image reproduction process, the user can input any identifier of the worker W, but the identifiers of the worker W that can be input here may be restricted. For example, the
同様に、画像再生処理のステップS103で入力できる再生日時の制限を行ってもよい。例えば、画像再生装置100は、実施の形態4と同様にして、各作業員Wの通常の作業エリアを通常位置情報として予め記憶部120に保存しておく。そして、ステップS102及びステップS103では、位置情報ログ及び通常位置情報に基づいて、通常の作業エリアから逸脱している作業員W及びその逸脱している日時(逸脱を開始した日時及び通常の作業エリアに復帰した日時)をリストにして表示部131に表示し、ユーザがそのリストの中からいずれかを選択することによって、識別子取得部113は作業員Wの識別子を取得し、制御部110は逸脱を開始した日時を再生開始日時として取得し、通常の作業エリアに復帰した日時を再生終了日時として取得するようにしてもよい。
Similarly, the playback date and time that can be input in step S103 of the image playback process may be limited. For example, the
(その他の変形例)
本発明は、上述した実施の形態及び変形例に限定されるわけではなく、その他の種々の変更が可能である。例えば、全方位カメラ200と画像再生装置100とをネットワークNWで接続して、画像再生装置100に録画装置300の機能を包含させてもよい。また、ビーコン受信機500と画像再生装置100とをネットワークNWで接続して、画像再生装置100にビーコン受信機500の機能を包含させてもよい。
(Other Modifications)
The present invention is not limited to the above-described embodiment and modified examples, and various other modifications are possible. For example, the
また、上述の実施の形態では、画像抽出部114が、表示すべき画像(作業員Wが映っている画像)を自動的に抽出するが、ユーザはそれ以外の画像を確認したい場合もありうる。そこで、例えば、図12に示すように、画像抽出部114が表示すべき画像として抽出した画像を表示部131の中央に大きく表示するとともに、他の方向の画像も子画面として表示させておき、ユーザからの指示(例えば選択したい画像が映っている子画面部分をユーザがタッチしたりクリックしたりする)により、中央に大きく表示する画像を切り替えられるようにしてもよい。
In the above embodiment, the
また、上述の実施の形態や変形例では、表示対象(作業員W)がビーコン送信機400を所持し、ビーコン送信機400からの情報を受信したビーコン受信機500が受信情報を測位装置600に送信することにより、測位装置600は各作業員Wの位置を測位した。しかし、作業員Wの位置を測位する方法はこの方法に限定されない。例えば、GPS(Global Positioning System)により、各表示対象の位置を測位するようにしてもよい。
In the above-described embodiment and modified example, the display object (worker W) carries a
また、上記の実施の形態において、画像再生装置100の動作を規定する各種処理(画像再生処理、画像抽出処理等)を実行させるための制御プログラムは、記憶部120に記憶されているものとして説明した。しかしながら、本発明は、これに限定されず、上記の各種処理を実行させるための制御プログラムを、通常のPC(Personal Computer)等のコンピュータに実装することにより、通常のPCを上記の実施の形態に係る画像再生装置100に相当する装置として機能させてもよい。
In addition, in the above embodiment, the control programs for executing the various processes (image playback process, image extraction process, etc.) that define the operation of the
このようなプログラムの提供方法は任意であり、例えば、コンピュータが読取可能な記録媒体(フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical Disc)、メモリカード、USB(Universal Serial Bus)メモリ等)に格納して配布してもよいし、インターネットをはじめとするネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより提供してもよい。 Such programs may be provided in any manner, and may be distributed by storing them on a computer-readable recording medium (such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc), a MO (Magneto-Optical Disc), a memory card, or a USB (Universal Serial Bus) memory), or may be provided by storing the programs in storage on a network such as the Internet and downloading them.
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。 The above describes a preferred embodiment of the present invention, but the present invention is not limited to the specific embodiment, and the present invention includes the inventions described in the claims and their equivalents.
100…画像再生装置、101…CPU、102…ROM、103…RAM、104…HDD、105…ディスプレイ、106…入力装置、107…通信I/F、110…制御部、111…画像取得部、112…位置情報取得部、113…識別子取得部、114…画像抽出部、115…画像再生部、120…記憶部、131…表示部、132…入力部、133…通信部、200,200t…全方位カメラ、300…録画装置、400…ビーコン送信機、500,500A,500B…ビーコン受信機、600…測位装置、BL…バスライン、FR…正面とみなす範囲、NW…ネットワーク、P1,P2…位置、R1,R2,R3,R4,R5,R6,R7,R8,R9…領域、W…作業員 100...image playback device, 101...CPU, 102...ROM, 103...RAM, 104...HDD, 105...display, 106...input device, 107...communication I/F, 110...control unit, 111...image acquisition unit, 112...position information acquisition unit, 113...identifier acquisition unit, 114...image extraction unit, 115...image playback unit, 120...storage unit, 131...display unit, 132... Input unit, 133...communication unit, 200, 200t...omnidirectional camera, 300...recording device, 400...beacon transmitter, 500, 500A, 500B...beacon receiver, 600...positioning device, BL...bus line, FR...area considered to be the front, NW...network, P1, P2...position, R1, R2, R3, R4, R5, R6, R7, R8, R9...area, W...worker
Claims (8)
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
前記表示対象の通常の存在位置を記憶する通常位置記憶手段と、
を備え、
前記位置情報取得手段は、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶手段に記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する、
画像再生装置。 an image acquisition means for acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
a position information acquiring means for acquiring position information for each identifier of the display object together with the time information;
an identifier acquisition means for acquiring an identifier of the display object;
an image extraction means for extracting an image of the display target from the images acquired by the image acquisition means, based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means;
an image reproducing means for reproducing the image extracted by the image extracting means;
A normal position storage means for storing a normal position of the display object;
Equipped with
The location information acquisition means
acquiring location information for each of the identifiers of the display objects together with the time information from a positioning device that measures a position of the display objects based on reception information from a beacon receiver that receives information of the identifiers transmitted from a beacon transmitter carried by the display objects;
When the position information of each identifier of the display object measured by the positioning device is not the normal location stored in the normal location storage means, the position information is acquired together with the time information.
Image reproduction device.
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
を備え、
前記画像取得手段は、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、
前記画像抽出手段は、前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得手段が取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する、
画像再生装置。 an image acquisition means for acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
a position information acquiring means for acquiring position information for each identifier of the display object together with the time information;
an identifier acquisition means for acquiring an identifier of the display object;
an image extraction means for extracting an image of the display target from the images acquired by the image acquisition means, based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means;
an image reproducing means for reproducing the image extracted by the image extracting means;
Equipped with
The image acquisition means acquires images captured by a plurality of omnidirectional cameras together with time information,
the image extraction means selects, from the plurality of omnidirectional cameras, an omnidirectional camera located in front of the display target as an omnidirectional camera suitable for photographing the display target based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means , and extracts, from the images acquired by the image acquisition means, an image of the display target photographed by the omnidirectional camera located in front of the display target.
Image reproduction device.
前記画像再生装置は、
前記表示対象が前記全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、
前記測位装置が測位した前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、
前記表示対象の識別子を取得する識別子取得手段と、
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を再生する画像再生手段と、
前記表示対象の通常の存在位置を記憶する通常位置記憶手段と、
を備え、
前記位置情報取得手段は、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶手段に記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する、
画像再生システム。 An image playback system including one or more omnidirectional cameras, a positioning device that measures the position of a display object, and an image playback device,
The image reproduction device comprises:
an image acquisition means for acquiring an image of the display target captured by the omnidirectional camera together with time information;
a position information acquisition means for acquiring position information for each identifier of the display object whose position has been determined by the positioning device together with the time information;
an identifier acquisition means for acquiring an identifier of the display object;
an image extraction means for extracting an image of the display target from the images acquired by the image acquisition means, based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means;
an image reproducing means for reproducing the image extracted by the image extracting means;
A normal position storage means for storing a normal position of the display object;
Equipped with
The location information acquisition means
acquiring location information for each of the identifiers of the display objects together with the time information from a positioning device that measures a position of the display objects based on reception information from a beacon receiver that receives information of the identifiers transmitted from a beacon transmitter carried by the display objects;
When the position information of each identifier of the display object measured by the positioning device is not the normal location stored in the normal location storage means, the position information is acquired together with the time information.
Image playback system.
前記画像再生装置は、The image reproduction device comprises:
前記表示対象が前記全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得手段と、an image acquisition means for acquiring an image of the display target captured by the omnidirectional camera together with time information;
前記測位装置が測位した前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得手段と、a position information acquisition means for acquiring position information for each identifier of the display object whose position has been determined by the positioning device together with the time information;
前記表示対象の識別子を取得する識別子取得手段と、an identifier acquisition means for acquiring an identifier of the display object;
前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記画像取得手段が取得した画像から前記表示対象が撮影された画像を抽出する画像抽出手段と、an image extraction means for extracting an image of the display target from the images acquired by the image acquisition means, based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means;
前記画像抽出手段が抽出した画像を再生する画像再生手段と、an image reproducing means for reproducing the image extracted by the image extracting means;
を備え、Equipped with
前記画像取得手段は、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、The image acquisition means acquires images captured by a plurality of omnidirectional cameras together with time information,
前記画像抽出手段は、前記位置情報取得手段が取得した前記位置情報及び前記時刻情報と前記識別子取得手段が取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得手段が取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する、the image extraction means selects, from the plurality of omnidirectional cameras, an omnidirectional camera located in front of the display target as an omnidirectional camera suitable for photographing the display target based on the location information and the time information acquired by the location information acquisition means and the identifier acquired by the identifier acquisition means, and extracts, from the images acquired by the image acquisition means, an image of the display target photographed by the omnidirectional camera located in front of the display target.
画像再生システム。Image playback system.
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップと、
前記表示対象の識別子を取得する識別子取得ステップと、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップと、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップと、
前記表示対象の通常の存在位置を記憶する通常位置記憶ステップと、
を備え、
前記位置情報取得ステップでは、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶ステップで記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する、
画像再生方法。 an image acquisition step of acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
a position information acquisition step of acquiring position information for each identifier of the display object together with the time information;
an identifier acquisition step of acquiring an identifier of the display object;
an image extraction step of extracting an image of the display target from the images acquired in the image acquisition step, based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step;
an image reproducing step of reproducing the image extracted in the image extracting step;
a normal position storage step of storing a normal position of the display object;
Equipped with
In the position information acquisition step,
acquiring location information for each of the identifiers of the display objects together with the time information from a positioning device that measures a position of the display objects based on reception information from a beacon receiver that receives information of the identifiers transmitted from a beacon transmitter carried by the display objects;
acquiring the position information for each identifier of the display object measured by the positioning device together with the time information when the position information is not the normal location stored in the normal location storage step;
Image playback methods.
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップと、a position information acquisition step of acquiring position information for each identifier of the display object together with the time information;
前記表示対象の識別子を取得する識別子取得ステップと、an identifier acquisition step of acquiring an identifier of the display object;
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップと、an image extraction step of extracting an image of the display target from the images acquired in the image acquisition step, based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step;
前記画像抽出ステップで抽出した画像を再生する画像再生ステップと、an image reproducing step of reproducing the image extracted in the image extracting step;
を備え、Equipped with
前記画像取得ステップでは、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、In the image acquisition step, images captured by a plurality of omnidirectional cameras are acquired together with time information;
前記画像抽出ステップでは、前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得ステップで取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する、In the image extraction step, an omnidirectional camera located in front of the display target is selected from the plurality of omnidirectional cameras as an omnidirectional camera suitable for photographing the display target based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step, and an image of the display target photographed by the omnidirectional camera located in front of the display target is extracted from the images acquired in the image acquisition step.
画像再生方法。Image playback methods.
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップ、
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップ、
前記表示対象の識別子を取得する識別子取得ステップ、
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップ、
前記画像抽出ステップで抽出した画像を再生する画像再生ステップ、及び、
前記表示対象の通常の存在位置を記憶する通常位置記憶ステップ、
を実行させるためのプログラムであって、
前記位置情報取得ステップでは、
前記表示対象が所持するビーコン送信機から送信された前記識別子の情報を受信するビーコン受信機からの受信情報に基づいて前記表示対象の位置を測位する測位装置から、前記表示対象の前記識別子毎の位置情報を前記時刻情報とともに取得し、
前記測位装置が測位した前記表示対象の識別子毎の位置情報が前記通常位置記憶ステップで記憶された前記通常の存在位置ではない場合に、前記位置情報を前記時刻情報とともに取得する、
プログラム。 On the computer,
an image acquisition step of acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
a position information acquisition step of acquiring position information for each identifier of the display object together with the time information;
an identifier acquisition step of acquiring an identifier of the display object;
an image extraction step of extracting an image in which the display target is photographed from the images acquired in the image acquisition step, based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step;
an image reproducing step of reproducing the image extracted in the image extracting step; and
a normal position storage step of storing a normal position of the display object;
A program for executing
In the position information acquisition step,
acquiring location information for each of the identifiers of the display objects together with the time information from a positioning device that measures a position of the display objects based on reception information from a beacon receiver that receives information of the identifiers transmitted from a beacon transmitter carried by the display objects;
When the position information of each of the identifiers of the display objects measured by the positioning device is not the normal location stored in the normal location storage step, the position information is acquired together with the time information.
program.
表示対象が1つ又は複数の全方位カメラにより撮影された画像を時刻情報とともに取得する画像取得ステップ、an image acquisition step of acquiring images of a display object captured by one or more omnidirectional cameras together with time information;
前記表示対象の識別子毎の位置情報を前記時刻情報とともに取得する位置情報取得ステップ、a position information acquisition step of acquiring position information for each identifier of the display object together with the time information;
前記表示対象の識別子を取得する識別子取得ステップ、an identifier acquisition step of acquiring an identifier of the display object;
前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記画像取得ステップで取得した画像から前記表示対象が撮影された画像を抽出する画像抽出ステップ、及び、an image extraction step of extracting an image of the display target from the images acquired in the image acquisition step based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step; and
前記画像抽出ステップで抽出した画像を再生する画像再生ステップ、an image reproduction step of reproducing the image extracted in the image extraction step;
を実行させるためのプログラムであって、A program for executing
前記画像取得ステップでは、複数の全方位カメラにより撮影された画像を時刻情報とともに取得し、In the image acquisition step, images captured by a plurality of omnidirectional cameras are acquired together with time information,
前記画像抽出ステップでは、前記位置情報取得ステップで取得した前記位置情報及び前記時刻情報と前記識別子取得ステップで取得した識別子とに基づいて、前記複数の全方位カメラから前記表示対象の撮影に適した全方位カメラとして前記表示対象の正面に存在する前記全方位カメラを選択し、前記画像取得ステップで取得した画像から、前記表示対象の正面に存在する前記全方位カメラで撮影され前記表示対象が撮影された画像を抽出する、In the image extraction step, an omnidirectional camera located in front of the display target is selected from the plurality of omnidirectional cameras as an omnidirectional camera suitable for photographing the display target based on the location information and the time information acquired in the location information acquisition step and the identifier acquired in the identifier acquisition step, and an image of the display target photographed by the omnidirectional camera located in front of the display target is extracted from the images acquired in the image acquisition step.
プログラム。program.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016000A JP7497162B2 (en) | 2020-02-03 | 2020-02-03 | IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM |
JP2024067226A JP2024086939A (en) | 2020-02-03 | 2024-04-18 | IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016000A JP7497162B2 (en) | 2020-02-03 | 2020-02-03 | IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024067226A Division JP2024086939A (en) | 2020-02-03 | 2024-04-18 | IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021125729A JP2021125729A (en) | 2021-08-30 |
JP7497162B2 true JP7497162B2 (en) | 2024-06-10 |
Family
ID=77459577
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020016000A Active JP7497162B2 (en) | 2020-02-03 | 2020-02-03 | IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM |
JP2024067226A Pending JP2024086939A (en) | 2020-02-03 | 2024-04-18 | IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024067226A Pending JP2024086939A (en) | 2020-02-03 | 2024-04-18 | IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7497162B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011114610A1 (en) | 2010-03-18 | 2011-09-22 | パナソニック株式会社 | Omnidirectional image processing device and omnidirectional image processing method |
JP2016171382A (en) | 2015-03-11 | 2016-09-23 | パナソニックIpマネジメント株式会社 | Server device, automatic imaging system and automatic imaging method |
JP2017033184A (en) | 2015-07-30 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Flow line analysis system, camera device, and flow line analysis method |
JP2018137608A (en) | 2017-02-22 | 2018-08-30 | 株式会社日立国際八木ソリューションズ | Monitoring camera system |
JP2018142834A (en) | 2017-02-27 | 2018-09-13 | パナソニックIpマネジメント株式会社 | Monitor camera system and monitoring method |
JP2019174164A (en) | 2018-03-27 | 2019-10-10 | Kddi株式会社 | Device, program and method for estimating terminal position using model pertaining to object recognition information and received electromagnetic wave information |
-
2020
- 2020-02-03 JP JP2020016000A patent/JP7497162B2/en active Active
-
2024
- 2024-04-18 JP JP2024067226A patent/JP2024086939A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011114610A1 (en) | 2010-03-18 | 2011-09-22 | パナソニック株式会社 | Omnidirectional image processing device and omnidirectional image processing method |
JP2016171382A (en) | 2015-03-11 | 2016-09-23 | パナソニックIpマネジメント株式会社 | Server device, automatic imaging system and automatic imaging method |
JP2017033184A (en) | 2015-07-30 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Flow line analysis system, camera device, and flow line analysis method |
JP2018137608A (en) | 2017-02-22 | 2018-08-30 | 株式会社日立国際八木ソリューションズ | Monitoring camera system |
JP2018142834A (en) | 2017-02-27 | 2018-09-13 | パナソニックIpマネジメント株式会社 | Monitor camera system and monitoring method |
JP2019174164A (en) | 2018-03-27 | 2019-10-10 | Kddi株式会社 | Device, program and method for estimating terminal position using model pertaining to object recognition information and received electromagnetic wave information |
Also Published As
Publication number | Publication date |
---|---|
JP2024086939A (en) | 2024-06-28 |
JP2021125729A (en) | 2021-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11721040B2 (en) | Imaging system, calibration method, and calibrator | |
JP6387468B2 (en) | Navigation method, apparatus, program, and recording medium | |
US9736368B2 (en) | Camera in a headframe for object tracking | |
US20180286098A1 (en) | Annotation Transfer for Panoramic Image | |
US10187571B2 (en) | Image management apparatus, image communication system, method for controlling display of captured image, and non-transitory computer-readable medium | |
US9432802B2 (en) | Communication device and communication system | |
US20200045239A1 (en) | Control device of movable type imaging device, control method of movable type imaging device, and program | |
US20170054907A1 (en) | Safety equipment, image communication system, method for controlling light emission, and non-transitory recording medium | |
US20130328858A9 (en) | Three dimensional image data models | |
US11956547B2 (en) | Omnidirectional camera system with improved point of interest selection | |
US10896327B1 (en) | Device with a camera for locating hidden object | |
JP2008227894A (en) | Imaging apparatus, imaging method and program | |
JP2019153274A (en) | Position calculation device, position calculation program, position calculation method, and content addition system | |
US10609259B2 (en) | Image displaying system, communication system, and method for image displaying | |
JP2016110245A (en) | Display system, display method, computer program, computer readable recording medium | |
JP4860723B2 (en) | Route guidance system, route guidance device and route guidance method | |
CN103763470A (en) | Portable scene shooting device | |
JP2017212510A (en) | Image management device, program, image management system, and information terminal | |
KR102120786B1 (en) | Method of providing location based video content and apparatus therefor | |
JP7497162B2 (en) | IMAGE REPRODUCTION DEVICE, IMAGE REPRODUCTION SYSTEM, IMAGE REPRODUCTION METHOD, AND PROGRAM | |
TWI764366B (en) | Interactive method and system based on optical communication device | |
US20090015677A1 (en) | Beyond Field-of-View Tracked Object Positional Indicators for Television Event Directors and Camera Operators | |
CN115439635B (en) | Method and equipment for presenting marking information of target object | |
CN204046707U (en) | A kind of Portable scene camera arrangement | |
JP2017108356A (en) | Image management system, image management method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240529 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7497162 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |