JP2018026104A - Annotation method, annotation system, and program - Google Patents
Annotation method, annotation system, and program Download PDFInfo
- Publication number
- JP2018026104A JP2018026104A JP2017090612A JP2017090612A JP2018026104A JP 2018026104 A JP2018026104 A JP 2018026104A JP 2017090612 A JP2017090612 A JP 2017090612A JP 2017090612 A JP2017090612 A JP 2017090612A JP 2018026104 A JP2018026104 A JP 2018026104A
- Authority
- JP
- Japan
- Prior art keywords
- image
- annotation
- fisheye
- converted
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 122
- 238000013500 data storage Methods 0.000 claims description 56
- 238000011161 development Methods 0.000 claims description 8
- 241000251468 Actinopterygii Species 0.000 claims 1
- 238000004891 communication Methods 0.000 description 55
- 230000004048 modification Effects 0.000 description 33
- 238000012986 modification Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000012508 change request Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
本開示は、魚眼画像へのアノテーション付与方法等に関する。 The present disclosure relates to a method for giving annotations to fisheye images and the like.
機械学習を行うための学習データの構築等において、画像データの認識のためにラベル等のアノテーションが、画像データに付与される。例えば、特許文献１には、画像データにラベリングを行う技術が開示されている。
In construction of learning data for machine learning, an annotation such as a label is added to the image data for recognition of the image data. For example,
アノテーションは、画像に含まれる人物、物等の対象物に付与される。アノテーションが付与される画像データには、魚眼レンズを介して撮影された画像データが、用いられることがある。魚眼レンズで撮影された画像は、同心円状の画像になる。これにより、魚眼レンズで撮影された画像内の対象物は、同心円の中心からの放射方向を基準する向きで指向されるため、様々な向きで位置する。このため、上記画像上で、アノテーションを付与すべき対象物の領域を画定する処理に、手間がかかる。 An annotation is given to an object such as a person or an object included in the image. In some cases, image data captured through a fisheye lens is used as image data to which an annotation is added. An image taken with a fisheye lens is a concentric image. Thereby, the object in the image photographed with the fisheye lens is oriented in a direction based on the radial direction from the center of the concentric circles, and thus is positioned in various directions. For this reason, it takes time and effort to define the region of the object to be annotated on the image.
そこで、本開示は、魚眼レンズで撮影された画像である魚眼画像上でのアノテーション付与を簡易にするアノテーション付与方法、アノテーション付与システム及びプログラムを提供する。 Therefore, the present disclosure provides an annotation providing method, an annotation providing system, and a program that make it easy to assign an annotation on a fisheye image that is an image taken with a fisheye lens.
本開示の一態様に係るアノテーション付与方法は、魚眼画像へのアノテーション付与方法であって、魚眼画像を取得し、魚眼画像を透視投影変換した変換画像を生成し、変換画像を処理者に提示し、処理者から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、入力されたアノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として記録する。 An annotation providing method according to an aspect of the present disclosure is a method for adding an annotation to a fisheye image, obtains a fisheye image, generates a converted image obtained by perspective projection conversion of the fisheye image, and converts the converted image into a processor. The annotation information regarding the annotation added to the converted image is received from the processor, and the annotation coordinate information in the converted image included in the input annotation information is converted into the coordinates in the fisheye image. Then, the converted annotation information is recorded as annotation information in the fisheye image.
本開示の一態様に係るアノテーション付与システムは、魚眼画像へのアノテーション付与システムであって、第一データ格納部に格納された魚眼画像を取得する取得部と、魚眼画像を透視投影変換した変換画像を生成する画像変換部と、変換画像を処理者の装置に送る提示部と、処理者の装置で変換画像に付与されたアノテーションに関するアノテーション情報を、処理者の装置から受け取る受取部と、アノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換する座標変換部と、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として第二データ格納部に記録する記録部とを備える。 An annotation providing system according to an aspect of the present disclosure is an annotation providing system for a fisheye image, an acquisition unit that acquires a fisheye image stored in a first data storage unit, and perspective projection conversion of the fisheye image An image conversion unit that generates the converted image, a presentation unit that sends the converted image to the processor's device, a receiving unit that receives annotation information about the annotation given to the converted image by the processor's device from the processor's device, and A coordinate conversion unit that converts the coordinate information of the annotation in the converted image included in the annotation information into coordinates in the fisheye image, and the second data storage unit that uses the converted annotation information as annotation information in the fisheye image And a recording unit for recording.
本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、魚眼画像を取得し、魚眼画像を透視投影変換した変換画像を生成し、変換画像を処理者の装置に提示し、処理者の装置から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、入力されたアノテーション情報に含まれる変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を魚眼画像におけるアノテーション情報として記録する。 A program according to an aspect of the present disclosure is a program that is executed by a computer, acquires a fisheye image, generates a converted image obtained by perspective projection conversion of the fisheye image, and presents the converted image to a processor device. , Accepting the input of annotation information related to the annotation given to the converted image from the processor device, converting the coordinate information of the annotation in the converted image included in the input annotation information into the coordinates in the fisheye image, The converted annotation information is recorded as annotation information in the fisheye image.
本開示に係るアノテーション付与方法等によれば、魚眼画像上でのアノテーションの付与を簡易にすることができる。 According to the annotation assignment method and the like according to the present disclosure, it is possible to simplify the assignment of an annotation on a fisheye image.
［発明者による知見］
本開示に係る発明者ら、つまり本発明者らは、画像において人物をはじめとする対象物の認識及び検出の精度を向上するために、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（深層学習）等のニューラルネットワークを用いた技術を用いることを検討した。Ｄｅｅｐ Ｌｅａｒｎｉｎｇでの対象物の認識には大量の学習用の画像データが必要となる。そして、学習用の画像データでは、対象物に対して、対象物の内容、位置、領域等を含む情報が、アノテーション情報として付与される、つまりアノテーションされる。なお、通常、アノテーションでは、画像上で対象物を囲む等による対象物の領域の設定が、画像に人が入力することによって実施される。
[Knowledge by the inventor]
Inventors according to the present disclosure, that is, the inventors of the present disclosure, use a neural network such as deep learning to improve the accuracy of recognition and detection of an object such as a person in an image. The use of was considered. A large amount of image data for learning is required for recognition of an object by deep learning. In the learning image data, information including the content, position, region, and the like of the object is given to the object as annotation information, that is, annotated. Normally, in annotation, setting of a region of an object such as surrounding the object on an image is performed by a person inputting the image.
本発明者らは、アノテーションする大量の画像データとして、デジタル動画から切り出されるデジタル画像データを採用することを検討した。特に、本発明者らは、大量の画像データを得るために、監視カメラ、車載カメラ等の長時間にわたる動画を撮影する撮影装置による動画の採用を検討した。監視カメラ及び車載カメラには、広範囲の領域の撮影を可能にするために、全方位カメラが用いられる場合がある。全方位カメラは、魚眼レンズ、円錐ミラー、多角錐ミラー、球面ミラー又は双曲面ミラーのような光学系を備え、これらを用いて３６０°の全方位を同時に撮影することができるカメラである。 The present inventors examined adopting digital image data cut out from a digital moving image as a large amount of image data to be annotated. In particular, in order to obtain a large amount of image data, the present inventors examined the use of a moving image by a photographing device that shoots a moving image over a long period of time, such as a surveillance camera or an in-vehicle camera. An omnidirectional camera may be used for the surveillance camera and the in-vehicle camera in order to enable photographing of a wide area. The omnidirectional camera is a camera that includes an optical system such as a fisheye lens, a conical mirror, a polygonal pyramid mirror, a spherical mirror, or a hyperboloidal mirror, and can photograph 360 ° omnidirectional images at the same time.
例えば、図１には、魚眼レンズを備える全方位ビデオカメラによる撮影画像の一例が示されている。なお、図１は、室内の天井に取り付けられた全方位ビデオカメラによる室内の撮影画像の一例を示す。また、魚眼レンズとは、中心射影方式ではない射影方式を採用するレンズである。図１の円形状の撮影画像Ａは、同心円状の画像を形成し、撮影対象物は、撮影画像Ａの中心Ａｃを中心する円周に沿うように歪んでいる。全方位ビデオカメラは、魚眼レンズを下方に向けて配置され、上方から下方に向かって室内を撮影するが、例えば、撮影画像Ａ内で同じ床面上に立っている人はそれぞれ、中心Ａｃから半径方向外側へ放射状に横たわるように映し出されている。 For example, FIG. 1 shows an example of an image taken by an omnidirectional video camera having a fisheye lens. FIG. 1 shows an example of a captured image of the room by an omnidirectional video camera attached to the ceiling of the room. The fisheye lens is a lens that employs a projection method that is not a central projection method. 1 forms a concentric image, and the object to be photographed is distorted along a circumference centering on the center Ac of the photographed image A. The omnidirectional video camera is disposed with the fisheye lens facing downward, and images the room from above to below. For example, each person standing on the same floor in the captured image A has a radius from the center Ac. It is projected to lie radially outward.
アノテーションの処理者は、撮影画像Ａに、その中の人Ｃ１のアノテーションを付与する場合、撮影画像Ａが表示される図示しないコンピュータの表示装置等の画面上で、人Ｃ１の領域を設定する。この際、一般的に、領域の設定を容易にし且つ領域の位置及び範囲の特定を容易にするために、人Ｃ１全体を囲み且つ各辺が水平方向又は鉛直方向に沿う矩形枠Ｄ１を用いて、人Ｃ１の領域が設定される。なお、上記水平方向は、コンピュータの表示装置等の画面を画面に沿って側方に横断する方向であり、図１のＸ軸方向である。上記鉛直方向は、コンピュータの表示装置等の画面に沿い且つ上記水平方向と垂直な方向であり、図１のＹ軸方向である。また、人Ｃ１、矩形枠Ｄ１等の位置は、図１のＸ軸及びＹ軸を座標軸とする直交座標系で表わされてもよく、中心Ａｃを原点とした動径の長さ及び角度を用いる極座標系で表わされてもよい。 When the annotation processor adds the annotation of the person C1 in the captured image A, the annotation processor sets the area of the person C1 on a screen of a computer display device (not shown) on which the captured image A is displayed. At this time, in general, in order to facilitate the setting of the region and to easily specify the position and range of the region, a rectangular frame D1 that surrounds the entire person C1 and whose sides are in the horizontal direction or the vertical direction is used. The area of the person C1 is set. The horizontal direction is a direction that crosses a screen of a computer display device or the like laterally along the screen, and is the X-axis direction in FIG. The vertical direction is a direction along the screen of a computer display device or the like and perpendicular to the horizontal direction, and is the Y-axis direction in FIG. Further, the positions of the person C1, the rectangular frame D1, and the like may be represented by an orthogonal coordinate system having the X axis and the Y axis of FIG. 1 as coordinate axes, and the length and angle of the moving radius with the center Ac as the origin. It may be expressed in the polar coordinate system used.
矩形枠Ｄ１の各辺の方向と、人Ｃ１の直立方向つまり身長方向とが斜めに交差するため、矩形枠Ｄ１は、人Ｃ１以外の領域も多く含む。このため、矩形枠Ｄ１内の領域がコンピュータによる画像データの認識のために用いられると、画像データ内の人が人と認識されないこと、及び画像データ内の人以外の要素が人と認識されることが発生するおそれがある。 Since the direction of each side of the rectangular frame D1 and the upright direction of the person C1, that is, the height direction, obliquely intersect, the rectangular frame D1 includes many areas other than the person C1. For this reason, when the area in the rectangular frame D1 is used for recognizing image data by a computer, a person in the image data is not recognized as a person, and elements other than the person in the image data are recognized as a person. May occur.
このため、本発明者らは、矩形枠を用いて人等の対象物の領域を設定する場合でも、対象物以外の要素が矩形枠に含まれることを低減する技術を検討した。そこで、本発明者らは、撮影画像Ａを透視投影変換することによって、撮影画像Ａ内の要素の向きを概ね揃える、例えば、同じ床面上に立っている人及び物の起立方向を略鉛直方向つまり略Ｙ軸方向に揃えることができることを見出した。 For this reason, the present inventors have studied a technique for reducing the inclusion of elements other than the object in the rectangular frame even when the region of the object such as a person is set using the rectangular frame. Therefore, the present inventors perform perspective projection conversion on the captured image A to substantially align the orientation of elements in the captured image A. For example, the standing direction of a person and an object standing on the same floor surface is substantially vertical. It has been found that it can be aligned in the direction, that is, substantially in the Y-axis direction.
撮影画像Ａを透視投影変換した結果である変換画像Ｂが、図２に示されている。図２は、図１の撮影画像Ａを透視投影変換した一例の変換画像Ｂを示す図である。図２を参照すると、パノラマ画像状の変換画像Ｂでは、人Ｃ１を含む複数の人、棚Ｅの縦支柱、扉Ｆの縦枠等が、略鉛直方向に直立している。このため、人Ｃ１を囲む矩形枠Ｄ２は、人Ｃ１に沿って延在し、その内側に含む人Ｃ１以外の要素を低減するように設定されることができる。また、図２の変換画像Ｂに対して、変換画像Ｂの長手方向側方にＸ１軸が設定され、変換画像Ｂに沿い且つＸ１軸に垂直な方向にＹ１軸が設定され、Ｘ１軸及びＹ１軸を座標軸とする直交座標系が設定される。そして、矩形枠Ｄ２は、各辺をＸ１軸又はＹ１軸に沿うようにさせつつ、容易に形成され得る。 A converted image B, which is the result of perspective projection conversion of the captured image A, is shown in FIG. FIG. 2 is a diagram illustrating an example of a converted image B obtained by perspective projection conversion of the captured image A of FIG. Referring to FIG. 2, in the panoramic image-like converted image B, a plurality of people including the person C1, the vertical column of the shelf E, the vertical frame of the door F, and the like stand upright in a substantially vertical direction. For this reason, the rectangular frame D2 surrounding the person C1 extends along the person C1, and can be set so as to reduce elements other than the person C1 included therein. Further, with respect to the converted image B of FIG. 2, the X1 axis is set on the side in the longitudinal direction of the converted image B, the Y1 axis is set along the converted image B and perpendicular to the X1 axis, and the X1 axis and Y1 An orthogonal coordinate system having the axes as coordinate axes is set. The rectangular frame D2 can be easily formed with each side extending along the X1 axis or the Y1 axis.
ここで、撮影画像Ａから変換画像Ｂへの透視投影変換について、説明する。撮影画像Ａから変換画像Ｂへの透視投影変換では、撮影画像Ａがその周囲を囲む円筒面上に投影されるように変換されることによってパノラマ画像を形成し、このパノラマ画像が変換画像Ｂに該当する。撮影画像Ａを円筒面上に投影することを、パノラマ展開とも呼ばれる。パノラマ展開では、極座標−直交座標変換が用いられ、様々な極座標−直交座標変換が既知であるが、いかなる極座標−直交座標変換が用いられてもよい。 Here, the perspective projection conversion from the captured image A to the converted image B will be described. In the perspective projection conversion from the captured image A to the converted image B, a panoramic image is formed by converting the captured image A so as to be projected onto a cylindrical surface surrounding the captured image A, and this panoramic image is converted into the converted image B. Applicable. Projecting the captured image A on a cylindrical surface is also called panoramic development. In panoramic development, polar coordinate-orthogonal coordinate transformation is used, and various polar coordinate-orthogonal coordinate transformations are known, but any polar coordinate-orthogonal coordinate transformation may be used.
例えば、図３に示されるように、単純な極座標−直交座標変換では、極座標表現（ｒ，θ）とする撮影画像Ａの極座標上で、半径ｒ方向と円周θ方向とのそれぞれについて、等間隔に画素がサンプリングされる。さらに、サンプリングされた画素が、θをＸ１軸方向としてその値に従い且つｒをＹ１軸方向としてその値に従って、格子状に再配置されることによって、パノラマ展開された変換画像Ｂを形成する。よって、撮影画像Ａを中心Ａｃを通る半径部分Ｒ１で展開し、破線の円で示される中心Ａｃ側の部位を拡張するようにして、変換画像Ｂが形成される。 For example, as shown in FIG. 3, in simple polar coordinate-orthogonal coordinate conversion, each of the radius r direction and the circumferential θ direction, etc. on the polar coordinates of the captured image A with polar coordinate representation (r, θ), etc. Pixels are sampled at intervals. Further, the sampled pixels are rearranged in a grid pattern according to the value of θ as the X1 axis direction and according to the value of r as the Y1 axis direction, thereby forming a panoramic developed converted image B. Therefore, the converted image B is formed by expanding the photographed image A at the radius portion R1 passing through the center Ac and expanding the portion on the side of the center Ac indicated by a broken-line circle.
また、上記の極座標−直交座標変換において、Ｌоｇ−Ｐоｌａｒ変換を適用してもよい。具体的には、撮影画像Ａからサンプリングされた画素は、θをＸ１軸方向としてのその値に従うが、ｒをＹ１軸方向としてｒの対数の値に従って、格子状に再配置されることによって、変換画像Ｂを形成する。これにより、変換画像Ｂにおける縦横比の実物に対する精度が向上する。 In addition, in the polar coordinate-orthogonal coordinate conversion described above, the L-Polar conversion may be applied. Specifically, the pixels sampled from the captured image A follow their values with θ as the X1 axis direction, but are rearranged in a grid according to the logarithm value of r with r as the Y1 axis direction. A converted image B is formed. Thereby, the precision with respect to the real thing of the aspect ratio in the conversion image B improves.
また、本発明者らは、上述のようにして撮影画像Ａを変換画像Ｂにする場合、撮影画像Ａの中心Ａｃ付近の領域では、変換画像Ｂでの拡大率が大きくなり画像の歪みが大きくなるため、中心Ａｃから径方向外方に離れた円Ａａよりも径方向外側の部分を展開することが好適であるという知見にも至った。 Further, when the photographed image A is converted to the converted image B as described above, the enlargement ratio in the converted image B increases and the image distortion increases in the region near the center Ac of the photographed image A. Therefore, the inventors have also found that it is preferable to develop a portion radially outside the circle Aa that is radially outward from the center Ac.
また、本発明者らは、撮影画像Ａの外縁付近の領域の画像は歪みが大きく、撮影対象物を判別できない場合がある。さらに、撮影画像Ａの外縁付近の領域の画像は、透視投影変換の際に撮影画像Ａの外側の影響も受ける。このため、上述のようにして撮影画像Ａを変換画像Ｂにする場合、撮影画像Ａの外縁から径方向内方に離れた円Ａｂよりも径方向内側の部分を展開することが好適であるという知見にも至った。 In addition, the inventors of the present invention may not be able to discriminate the object to be photographed because the image in the region near the outer edge of the photographed image A has a large distortion. Furthermore, the image in the region near the outer edge of the captured image A is also affected by the outside of the captured image A during perspective projection conversion. For this reason, when the captured image A is converted into the converted image B as described above, it is preferable to expand a portion radially inward from the circle Ab that is radially inward from the outer edge of the captured image A. It also led to knowledge.
以下、上述の種々の知見に基づき本発明者らが開示する実施の形態について、図面を参照しつつ具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、並びにステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、第１、第２及び第３などの序数が、構成要素などに対して、表現上、適宜付け加えられてもよい。 Hereinafter, embodiments disclosed by the present inventors based on the various findings described above will be specifically described with reference to the drawings. It should be noted that each of the embodiments described below shows a comprehensive or specific example. Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present disclosure. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements. In addition, ordinal numbers such as first, second, and third may be appropriately added to the components and the like in terms of expression.
また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。 In the following description of the embodiments, expressions with “substantially” such as substantially parallel and substantially orthogonal may be used. For example, “substantially parallel” not only means completely parallel, but also means substantially parallel, that is, including a difference of, for example, several percent. The same applies to expressions involving other “abbreviations”. Each figure is a mimetic diagram and is not necessarily illustrated strictly. Furthermore, in each figure, the same code | symbol is attached | subjected to the substantially same component, and the overlapping description may be abbreviate | omitted or simplified.
［実施の形態］
［アノテーション付与システムの構成］
図４を参照して、実施の形態に係るアノテーション付与システム１００の構成を説明する。なお、図４は、実施の形態に係るアノテーション付与システム１００の概略的な構成を示すブロック図である。アノテーション付与システム１００は、アノテーション中継装置１０と、サーバ装置２０と、アノテーション付与装置３０とを備える。サーバ装置２０は、種々のデータを蓄積する要素である。アノテーション付与装置３０は、画像にアノテーションを付与する装置である。アノテーション中継装置１０は、サーバ装置２０からアノテーションを付与すべき画像を取得し変換してアノテーション付与装置３０に送信すること、付与されたアノテーションに関する情報をアノテーション付与装置３０から受け取り、画像に対応付けてサーバ装置２０に送信すること等を実施する要素である。つまり、アノテーション中継装置１０は、サーバ装置２０及びアノテーション付与装置３０の間で、情報に変更を加えつつ情報の流れを中継する。
[Embodiment]
[Configuration of Annotation System]
With reference to FIG. 4, the structure of the
サーバ装置２０は、アノテーション中継装置１０と通信するように構成されている。サーバ装置２０、コンピュータ等の情報処理装置でもよい。サーバ装置２０は、１つ以上のサーバ装置を含んでもよく、クラウドシステムを構成してもよい。サーバ装置２０は、サーバ装置２０の全体を制御する制御部２１と、アノテーション中継装置１０と通信する通信部２２と、種々のデータを蓄積するデータ蓄積部２３とを備える。通信部２２は、インターネット等の通信網を介してアノテーション中継装置１０と通信する。通信部２２は、通信インタフェースを含む通信回路であってもよい。例えば、通信部２２とアノテーション中継装置１０との間の通信には、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などの無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）が適用されてもよく、ケーブルを用いた有線通信が適用されてもよく、その他の無線通信又は有線通信が適用されてもよい。
The
データ蓄積部２３は、例えば、ハードディスクにより構成され、変換前画像データ蓄積部２４とパノラマ変換データ蓄積部２５とアノテーションデータ蓄積部２６とを備える。変換前画像データ蓄積部２４には、種々の撮影装置で撮影された画像が格納されており、具体的には、魚眼レンズを備える撮影装置で撮影された魚眼画像が格納されている。魚眼画像は、全周魚眼レンズで撮影された画像であってもよく、対角線魚眼レンズで撮影された画像であってもよい。対角線魚眼レンズでは、レンズを通った光が結像する円形範囲であるイメージサークルの径の方が、矩形状の撮影画像の対角線よりも大きくなる。全周魚眼レンズでは、イメージサークルの径が、撮影画像の水平方向及び鉛直方向の寸法よりも大きくなる。
The
パノラマ変換データ蓄積部２５は、変換前画像データ蓄積部２４の魚眼画像に対して実施する透視投影変換の内容、例えば、透視投影変換に用いるパラメータ、テーブル、データ等をパノラマ変換データとして、格納する。又は、パノラマ変換データ蓄積部２５は、魚眼画像に対して透視投影変換を行って得られる変換画像を格納してもよく、パノラマ変換データ及び変換画像の両方を格納してもよい。本実施の形態では、変換画像は、魚眼画像に対してパノラマ展開を行うことによって得られるパノラマ画像である。また、パノラマ変換データ蓄積部２５は、魚眼画像に対して実施する透視投影変換の逆変換、つまり、パノラマ画像から魚眼画像への変換の内容も格納してもよい。アノテーションデータ蓄積部２６には、魚眼画像等に対して実施されたアノテーションに関する情報が、格納されている。
The panorama conversion
制御部２１は、通信部２２及びデータ蓄積部２３を制御する。制御部２１は、通信部２２を介して、アノテーション中継装置１０からデータ蓄積部２３の変換前画像データ蓄積部２４、パノラマ変換データ蓄積部２５及びアノテーションデータ蓄積部２６への対応するデータの格納を実施する。また、制御部２１は、通信部２２を介して、アノテーション中継装置１０からの要求に応じて、変換前画像データ蓄積部２４、パノラマ変換データ蓄積部２５及びアノテーションデータ蓄積部２６からのデータの取り出し及び送信を実施する。
The
アノテーション中継装置１０は、これ単独で一つの装置を構成してもよく、コンピュータなどの情報処理装置又はその他の装置に組み込まれてもよい。アノテーション中継装置１０は、制御部１１、第一通信部１２、第二通信部１３、画像変換部１４、座標変換部１５及び入力部１６を備える。制御部１１は、アノテーション中継装置１０の全体を制御する。入力部１６は、指令等の種々の入力を受け付ける要素である。
The
第一通信部１２は、インターネット等の通信網を介してサーバ装置２０の通信部２２と通信する。第一通信部１２は、通信インタフェースを含む通信回路であってもよい。例えば、第一通信部１２とサーバ装置２０との間の通信には、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮが適用されてもよく、ケーブルを用いた有線通信が適用されてもよく、その他の無線通信又は有線通信が適用されてもよい。第一通信部１２と通信部２２との間に、これらの間の通信を中継する通信装置であるルータが設けられてもよい。ルータは、第一通信部１２と通信網との間の通信を中継してもよい。
The
第二通信部１３は、アノテーション付与装置３０と通信する。第二通信部１３は、通信インタフェースを含む通信回路であってもよい。第二通信部１３とアノテーション付与装置３０との通信は、第一通信部１２と同様にインターネット等の通信網を介した通信であってもよく、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、又はＬＴＥ（登録商標）等のような移動通信システムで利用されるモバイル通信規格が適用されてもよい。
The
画像変換部１４は、制御部１１の制御を受けて、魚眼画像を透視投影変換することによって、パノラマ画像を生成する。座標変換部１５は、制御部１１の制御を受けて、アノテーションに関する情報を、魚眼画像に対応するように座標変換する又はパノラマ画像に対応するように座標変換する。例えば、座標変換部１５は、パノラマ画像に設定されたアノテーションに関する情報を、このパノラマ画像の変換前の元画像である魚眼画像の座標系に対応するように座標変換し、当該魚眼画像に対応付ける。この場合、座標変換部１５は、制御部１１の制御のもとで、サーバ装置２０の変換前画像データ蓄積部２４から魚眼画像データを取得すること、並びに、パノラマ画像及び／又は透視投影変換の内容をサーバ装置２０のパノラマ変換データ蓄積部２５へ送ることを実施する。
Under the control of the
アノテーション付与装置３０は、アノテーション中継装置１０と情報の送受信が可能な要素である。アノテーション付与装置３０は、コンピュータ等の情報処理装置であってもよく、携帯電話でもよく、スマートフォン、スマートウォッチ、タブレット、小型パーソナルコンピュータ等の携帯端末であってもよい。アノテーション付与装置３０は、制御部３１、通信部３２、表示部３３及び入力部３４を備える。制御部３１は、アノテーション付与装置３０の全体を制御する。通信部３２は、通信インタフェースを含む通信回路であってもよい。通信部３２は、アノテーション中継装置１０の第二通信部１３と通信し、これらの間の通信は、上述したとおりである。
The
表示部３３は、例えば、液晶パネル、又は有機若しくは無機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルにより構成されてよい。入力部３４は、指令等の種々の入力を受け付ける要素である。入力部３４は、表示部３３と別個に設けられた構成であってもよく、タッチパネルのように表示部３３に触れることによって入力可能である表示部３３と一体である構成を有してもよい。
The
また、サーバ装置２０の制御部２１、アノテーション中継装置１０の制御部１１、画像変換部１４及び座標変換部１５、並びにアノテーション付与装置３０の制御部３１の各構成要素は、専用のハードウェアで構成されてもよく、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。この場合、各構成要素は、例えば、演算処理部（図示せず）と、制御プログラムを記憶する記憶部（図示せず）とを備えてもよい。演算処理部としては、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が例示される。記憶部としては、半導体メモリなどのメモリ等が例示される。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。ソフトウェアプログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
Each component of the
また、各構成要素は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）、システムＬＳＩ等の回路でもよい。複数の構成要素が、全体として１つの回路を構成してもよく、それぞれ別々の回路を構成してもよい。また、回路は、それぞれ、汎用的な回路でもよく、専用の回路でもよい。 Each component may be a circuit such as an LSI (Large Scale Integration), a system LSI, or the like. A plurality of components may constitute one circuit as a whole, or may constitute separate circuits. Each circuit may be a general-purpose circuit or a dedicated circuit.
システムＬＳＩは、複数の構成部を１つのチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。システムＬＳＩ及びＬＳＩは、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよく、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブルプロセッサを含んでもよい。 The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on one chip. Specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory) and the like are included. It is a computer system comprised including. A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program. The system LSI and the LSI may be a field programmable gate array (FPGA) that can be programmed after manufacturing the LSI, and may include a reconfigurable processor that can reconfigure the connection and setting of circuit cells in the LSI. .
また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。 In addition, some or all of the above-described components may be configured from a removable IC (Integrated Circuit) card or a single module. The IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like. The IC card or module may include the above-described LSI or system LSI. The IC card or the module achieves its function by the microprocessor operating according to the computer program. These IC cards and modules may have tamper resistance.
［アノテーション付与システムの動作］
図４及び図５を参照して、アノテーション付与システム１００の動作を説明する。図５は、実施の形態に係るアノテーション付与システム１００の動作の流れを示すフローチャートである。
[Operation of annotation system]
The operation of the
本実施の形態では、アノテーション中継装置１０は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇをはじめとするニューラルネットワーク等の機械学習のための大量の学習用の画像データの構築者によって、運用される。サーバ装置２０は、上記構築者によって運用されもよく、上記構築者以外によって運用されてもよい。上記構築者以外によって運用される場合、サーバ装置２０は、クラウドシステムを構成してもよい。
In the present embodiment, the
サーバ装置２０の変換前画像データ蓄積部２４には、アノテーション中継装置１０とは別個の装置によって、魚眼画像が格納される。例えば、アノテーション付与システム１００において、上記構築者と契約する画像提供者によって、監視カメラ、車載カメラなどの動画等による魚眼画像が、変換前画像データ蓄積部２４に送られる。この場合、サーバ装置２０がクラウドシステムを構成することによって、魚眼画像の格納が容易になる。
A fisheye image is stored in the pre-conversion image
アノテーション付与装置３０は、上記構築者以外によって運用される。アノテーション付与装置３０の操作者は、上記構築者とアノテーションの付与処理の契約をしており、上記構築者から提供される画像にアノテーションを付与する。つまり、アノテーション付与装置３０の操作者は、アノテーションの処理者である。
The
アノテーション付与システム１００の動作に関して、アノテーション付与装置３０は、操作者によって入力部３４に入力される指令に従い、アノテーション中継装置１０に、アノテーションを付与すべき画像を要求する（ステップＳ１０１）。要求を受けたアノテーション中継装置１０の制御部１１は、サーバ装置２０の変換前画像データ蓄積部２４に、魚眼画像とこの魚眼画像に設定された画像ＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉоｎ）とを要求すると共に、パノラマ変換データ蓄積部２５に、上記画像ＩＤに対応するパノラマ変換データを要求し、これらを取得する（ステップＳ１０２）。
Regarding the operation of the
アノテーション中継装置１０の制御部１１は、画像変換部１４に、パノラマ変換データに基づき魚眼画像を透視投影変換してパノラマ画像を生成させる（ステップＳ１０３）。例えば、画像変換部１４は、図１に示される魚眼画像を、図２に示されるパノラマ画像に変換する。さらに、画像変換部１４は、変換後のパノラマ画像と、変換前の魚眼画像に設定された画像ＩＤとを関連付ける。次いで、制御部１１は、画像ＩＤと関連付けられたパノラマ画像を、アノテーション付与装置３０に送信する（ステップＳ１０４）。
The
アノテーション付与装置３０は、アノテーション中継装置１０から受け取ったパノラマ画像を表示部３３に表示する（ステップＳ１０５）。処理者は、入力部３４を操作し、表示部３３に表示されるパノラマ画像上で、この画像に含まれる対象物にアノテーションを付与する（ステップＳ１０６）。対象物は、例えば、人物であり得る。そして、例えば、図２に示されるように、処理者は、人物の周囲を矩形状の枠で囲み、アノテーションを付与する対象物の領域を設定する。入力部３４がタッチパネルであっても、マウス又はキーボードを使用する構成であっても、矩形状の枠の設定は、容易に実施することができる。なお、矩形状の枠内には、対象とする人物以外のものが含まれない方が望ましい。
The
処理者は、パノラマ画像内の人物をそれぞれ矩形状枠で囲む度に、当該矩形状枠に関する情報、つまりアノテーション情報を、アノテーションを付与したパノラマ画像の画像ＩＤと共に、アノテーション中継装置１０に送信する（ステップＳ１０７）。アノテーションを付与する対象物に設定される領域は、矩形状に限定されず、いかなる形状であってもよい。また、領域の設定動作も、領域を囲む動作に限定されず、いかなる動作であってもよい。例えば、処理者が４つの角の位置を設定することによって、四角形の領域が設定されてもよい。
Each time the processor encloses a person in the panoramic image with a rectangular frame, the processor transmits information about the rectangular frame, that is, annotation information, to the
送信されるアノテーション情報は、図２のパノラマ画像の場合、このパノラマ画像に設定されるＸ１軸及びＹ１軸による座標系を用いた情報である。例えば、アノテーション情報は、矩形枠に含まれる人物の属性と、矩形状枠の左上部の角の点Ｐの座標と、Ｘ１軸方向での点Ｐからの矩形状枠の幅と、Ｙ１方向での点Ｐからの矩形状枠の高さとを含み得る。人物の属性は、人物の性別、体格、年齢層等を含み得る。例えば、アノテーション情報は、（属性，点Ｐの座標，幅，高さ）の各要素を記号化又は数値化して含み得る。 In the case of the panoramic image shown in FIG. 2, the transmitted annotation information is information using a coordinate system based on the X1 axis and the Y1 axis set in this panoramic image. For example, the annotation information includes the attributes of the person included in the rectangular frame, the coordinates of the point P at the upper left corner of the rectangular frame, the width of the rectangular frame from the point P in the X1 axis direction, and the Y1 direction. And the height of the rectangular frame from the point P. The attributes of a person can include the gender, physique, age group, etc. of the person. For example, the annotation information may include each element (attribute, coordinate of point P, width, height) symbolized or numerically.
アノテーション情報及び対応する画像ＩＤを受け取ったアノテーション中継装置１０の制御部１１は、座標変換部１５に、パノラマ画像に対応するアノテーション情報を、魚眼画像に対応するように座標変換させる。この際、座標変換部１５は、受け取った画像ＩＤに対応するパノラマ変換データを、サーバ装置２０のパノラマ変換データ蓄積部２５から取得する（ステップＳ１０８）。
Upon receiving the annotation information and the corresponding image ID, the
次いで、座標変換部１５は、取得したパノラマ変換データに基づき、アノテーション情報内のパノラマ画像の座標系、例えばＸ１軸及びＹ１軸による座標系に関連する情報を、魚眼画像の座標系による情報に変換する（ステップＳ１０９）。魚眼画像の座標系は、図３に示すように中心Ａｃを原点とする極座標であってもよく、直交する２つの直線軸による直交座標であってもよい。この際、座標変換部１５は、座標変換後のアノテーション情報を画像ＩＤと関連付ける。なお、ステップＳ１０８で取得されたパノラマ変換データは、魚眼画像からパノラマ画像への変換に関するデータであってもよく、パノラマ画像から魚眼画像への変換に関するデータであってもよい。パノラマ変換データが魚眼画像からパノラマ画像への変換に関するデータであれば、座標変換部１５は、パノラマ変換データを使用して逆変換することによって、パノラマ画像の座標系から魚眼画像の座標系へ変換してもよい。
Next, the coordinate
制御部１１は、座標変換部１５による座標変換後のアノテーション情報を、画像ＩＤと共に、サーバ装置２０のアノテーションデータ蓄積部２６に送信し格納つまり記録させる（ステップＳ１１０）。これにより、アノテーションデータ蓄積部２６には、魚眼画像に対応したアノテーション情報が蓄積される。よって、魚眼画像及びそのアノテーション情報を、そのままニューラルネットワークのための学習用の画像データとして用いることが可能になる。
The
なお、パノラマ変換データ蓄積部２５がパノラマ画像を格納する場合、ステップＳ１０２及びＳ１０３において、アノテーション中継装置１０の制御部１１は、パノラマ変換データ蓄積部２５からパノラマ画像を取得してもよい。また、アノテーション中継装置１０の座標変換部１５は、ステップＳ１０８において、パノラマ画像及びこれに対応する魚眼画像を取得し、ステップＳ１０９において、パノラマ画像及び魚眼画像の関係に基づき、座標変換を実施してもよい。
When the panorama conversion
［アノテーション付与システムの動作の変形例１］
以下、アノテーション付与システム１００の動作の変形例１を説明する。アノテーション付与装置３０がアノテーションを付与すべき画像を要求したとき、実施の形態では、アノテーション中継装置１０はパノラマ画像を提供していたが、本変形例では、アノテーション付与装置３０が、魚眼画像及びパノラマ画像のうちから提供を受ける画像を選択することができる。以下に、本変形例について、実施の形態と異なる点を中心に説明する。
[Modification Example 1 of Operation of Annotation System]
Hereinafter,
図６及び図７を参照すると、魚眼画像及びそのパノラマ画像において、同一の対象物に、対象物の領域を囲む枠を用いて付与されるアノテーションの例が示されている。なお、図６及び図７において、対象物は、自動車の駐車スペースである。図６は、全方位ビデオカメラである車載カメラにより撮影された駐車場の魚眼画像に付与されるアノテーションを示す図である。図７は、図６の魚眼画像を透視投影変換したパノラマ画像に付与される図６と同一のアノテーションを示す図である。 Referring to FIGS. 6 and 7, an example of annotation given to the same object using a frame surrounding the area of the object in the fisheye image and its panoramic image is shown. 6 and 7, the object is a parking space for a car. FIG. 6 is a diagram illustrating annotations attached to a fish-eye image of a parking lot taken by an in-vehicle camera that is an omnidirectional video camera. FIG. 7 is a diagram illustrating the same annotations as those in FIG. 6 which are given to a panoramic image obtained by perspective projection conversion of the fisheye image of FIG.
図６の魚眼画像において、アノテーションが付与される駐車スペースの領域Ｓ１は、台形形状を有している。図７のパノラマ画像において、アノテーションが付与される駐車スペースの領域Ｓ２は、領域Ｓ１よりも大幅に小さく幅狭の台形形状を有している。よって、アノテーションの処理者が、アノテーションを付与するために画像上で駐車スペースの領域を囲む等により特定するためには、パノラマ画像を用いるよりも、魚眼画像を用いる方が容易である。よって、本変形例では、アノテーションの処理者は、アノテーションの付与処理を実施する際、アノテーション付与装置３０の表示部３３に表示される画像を、魚眼画像及びパノラマ画像の間で切り替えつつ選択することができる。具体的には、アノテーション付与システム１００は、図８に示すように、アノテーション付与動作を実施する。なお、図８は、アノテーション付与システム１００における変形例１に係る動作の流れを示すフローチャートである。
In the fish-eye image of FIG. 6, the parking space area S <b> 1 to which the annotation is given has a trapezoidal shape. In the panoramic image of FIG. 7, the area S2 of the parking space to which the annotation is given has a trapezoidal shape that is significantly smaller than the area S1 and narrow. Therefore, it is easier for an annotation processor to use a fisheye image than to use a panoramic image in order to specify an annotation by surrounding an area of a parking space on the image. Therefore, in this modification, the annotation processor selects the image displayed on the
まず、アノテーション中継装置１０及びアノテーション付与装置３０が、実施の形態と同様に、ステップＳ１０１〜Ｓ１０５の処理を実施する。これにより、アノテーション付与装置３０の表示部３３には、パノラマ画像が表示されている。ステップＳ１０５に続くステップＳ２０１において、アノテーション付与装置３０は、アノテーション付与装置３０の入力部３４に、パノラマ画像から魚眼画像への表示画像の変更要求があれば（ステップＳ２０１でＹｅｓ）、ステップＳ２０２の処理へと進み、変更要求がなければ（ステップＳ２０１でＮｏ）、ステップＳ１０６の処理へと進む。アノテーション中継装置１０及びアノテーション付与装置３０は、ステップＳ１０６以降は、実施の形態と同様に、ステップＳ１０７〜Ｓ１１０の処理を実施する。
First, the
ステップＳ２０２では、アノテーション付与装置３０は、アノテーション中継装置１０に、先に受け取ったパノラマ画像に対応する魚眼画像を要求する。次いで、アノテーション中継装置１０の制御部１１は、サーバ装置２０の変換前画像データ蓄積部２４に、当該魚眼画像を要求して取得し、アノテーション付与装置３０に送信する（ステップＳ２０３）。なお、アノテーション中継装置１０の制御部１１は、ステップＳ１０２で取得した魚眼画像を、自身の図示しないメモリ等に一時的に記憶していてもよく、ステップＳ２０３で、この記憶している魚眼画像を使用してもよい。そして、アノテーション付与装置３０は、アノテーション中継装置１０から受け取った魚眼画像を表示部３３に表示する（ステップＳ２０４）。
In step S202, the
ステップＳ２０４に続くステップＳ２０５において、アノテーション付与装置３０は、アノテーション付与装置３０の入力部３４に、魚眼画像からパノラマ画像への表示画像の変更要求があれば（ステップＳ２０５でＹｅｓ）、ステップＳ２０６の処理へと進み、変更要求がなければ（ステップＳ２０５でＮｏ）、ステップＳ２０７の処理へと進む。
In step S205 following step S204, if there is a request for changing the display image from the fisheye image to the panoramic image in the
ステップＳ２０６では、アノテーション付与装置３０は、アノテーション中継装置１０にパノラマ画像を要求する。ステップＳ２０６に続くステップＳ１０４では、アノテーション中継装置１０は、自身の図示しないメモリ等に一時的に記憶しているパノラマ画像を、アノテーション付与装置３０に送信する。しかしながら、アノテーション中継装置１０は、パノラマ画像を一時的に記憶していない場合、ステップＳ１０２及びＳ１０３の処理を再び実施してパノラマ画像を生成してもよい。
In step S206, the
ステップＳ２０７では、処理者は、アノテーション付与装置３０の入力部３４を操作し、表示部３３に表示される魚眼画像上で、この画像に含まれる対象物にアノテーションを付与する。次いで、処理者は、魚眼画像内の対象物にアノテーションを付与する度に、アノテーション情報を、アノテーションを付与した魚眼画像の画像ＩＤと共に、アノテーション中継装置１０に送信する（ステップＳ２０８）。さらに、アノテーション中継装置１０は、受け取ったアノテーション情報を、画像ＩＤと共に、サーバ装置２０のアノテーションデータ蓄積部２６に送信し格納つまり記録させる（ステップＳ２０９）。
In step S <b> 207, the processor operates the
なお、上記変形例１に係るアノテーション付与システム１００の動作において、アノテーション中継装置１０は、ステップＳ１０４において、最初の送信画像としてパノラマ画像をアノテーション付与装置３０に送信していたが、これに限定されない。アノテーション中継装置１０は、魚眼画像を最初に送信し、アノテーション付与装置３０に魚眼画像を表示させてもよく、魚眼画像及びパノラマ画像を最初に送信し、アノテーション付与装置３０に魚眼画像及びパノラマ画像を一緒に表示させてもよい。
In the operation of the
また、上記変形例１に係るアノテーション付与システム１００の動作において、ステップＳ１０６及びステップＳ２０７それぞれでのアノテーションの付与処理が完了するまでの間で、アノテーション付与装置３０の入力部３４を介して、ステップＳ２０１又はＳ２０５と同様の処理が割り込まれてもよい。さらに、アノテーション付与装置３０の表示部３３に表示される画像が、パノラマ画像から魚眼画像へ、又はこの反対へ切り替えられたとき、切り替え後の画像に、当該切り替えまでに対象物に設定されたアノテーションの領域、例えば、図６及び図７の領域Ｓ１又はＳ２が、表示されてもよい。これにより、処理者は、対象物に応じて、アノテーションの付与処理を実施する画像を選択し、アノテーションの付与を重複することなく実施することができる。
In addition, in the operation of the
［アノテーション付与システムの動作の変形例２］
以下、アノテーション付与システム１００の動作の変形例２を説明する。変形例２に係るアノテーション付与システム１００の動作では、変形例１におけるステップＳ１０６及びステップＳ２０７それぞれでのアノテーションの付与処理に対して、アノテーションを付与する際に設定する対象物の領域の適否を、アノテーション付与装置３０が判定する。以下に、本変形例について、実施の形態及び変形例１と異なる点を中心に説明する。
[Modification Example 2 of Operation of Annotation System]
Hereinafter, a second modification of the operation of the
図６を参照すると、この図に示される魚眼画像は、矩形状の外形を有しており、対角線魚眼レンズで撮影された画像である。このような魚眼画像をパノラマ画像に変換した場合、図７に示されるパノラマ画像が得られる。このパノラマ画像では、例えば、２つの領域Ｎｂ１及びＮｂ２において画素が存在しない、つまり画像が映し出されない。領域Ｎｂ１は、図６の魚眼画像の頂部中央の領域Ｎａ１に対応する領域である。魚眼画像からパノラマ画像への透視投影変換の際、領域Ｎｂ１は、魚眼画像内の領域Ｎａ１と、領域Ｎａ１の周辺の魚眼画像外の領域とを含んで形成され、その情報量を大きく低下させるため、パノラマ画像では画素が存在しないように表示される。同様に、領域Ｎｂ２は、図６の魚眼画像のうちの撮影画像が映し出される部分とその周囲の映し出されない部分との境界付近の領域Ｎａ２に対応する領域である。よって、魚眼画像からパノラマ画像への透視投影変換の際、領域Ｎｂ２は、領域Ｎａ２とその周囲の映し出されない領域Ｎａ３とを含んで形成され、その情報量を大きく低下させるため、パノラマ画像では画素が存在しないように表示される。よって、パノラマ画像の領域Ｎｂ１及びＮｂ２は、魚眼画像では映し出されている可能性がある。 Referring to FIG. 6, the fish-eye image shown in this figure has a rectangular outer shape and is an image taken with a diagonal fish-eye lens. When such a fisheye image is converted into a panoramic image, the panoramic image shown in FIG. 7 is obtained. In this panoramic image, for example, there are no pixels in the two regions Nb1 and Nb2, that is, no image is displayed. The region Nb1 is a region corresponding to the region Na1 at the center of the top of the fisheye image in FIG. At the time of perspective projection conversion from a fisheye image to a panoramic image, the region Nb1 is formed including a region Na1 in the fisheye image and a region outside the fisheye image around the region Na1, and the amount of information is increased. In order to reduce this, the panoramic image is displayed so that no pixel exists. Similarly, the region Nb2 is a region corresponding to a region Na2 in the vicinity of the boundary between the portion where the captured image of the fisheye image shown in FIG. 6 is projected and the portion around the portion where the captured image is not projected. Therefore, at the time of perspective projection conversion from a fisheye image to a panoramic image, the region Nb2 is formed including the region Na2 and the surrounding region Na3 that is not projected, and the amount of information is greatly reduced. Displayed as if there were no pixels. Therefore, there is a possibility that areas Nb1 and Nb2 of the panorama image are projected in the fisheye image.
これにより、アノテーション付与装置３０の制御部３１は、図８のステップＳ１０６において、処理者が、パノラマ画像上で、図７の領域Ｎｂ１又はＮｂ２のような領域にアノテーションの付与処理を実施すると、当該パノラマ画像の魚眼画像を表示部３３に表示する処理を実施する。パノラマ画像から魚眼画像への表示変更処理は、変形例１に記載した処理と同様である。
As a result, when the
また、アノテーション付与装置３０の制御部３１は、図８のステップＳ２０７において、処理者が、魚眼画像上で、図７の領域Ｎａ３のような領域にアノテーションの付与処理を実施すると、表示部３３及び／又は図示しない音声発生装置を介して警告を発する。上述したように、パノラマ画像で映し出されない領域は、魚眼画像で映し出される可能性があるが、魚眼画像で映し出されない領域は、パノラマ画像でも映し出されない。また、アノテーション付与装置３０の制御部３１は、領域Ｎａ３の近傍の撮影画像が映し出される領域である領域Ｎａ２を、近似値候補として指し示してもよい。なお、領域Ｎａ２は、魚眼画像の中心Ｃを中心として領域Ｎａ３に半径方向内側で隣接する領域であり、領域Ｎａ３の近似領域である。
Further, in step S207 of FIG. 8, the
［効果等］
上述したように、実施の形態に係るアノテーション付与システム１００は、魚眼画像へのアノテーション付与システムである。アノテーション付与システム１００は、第一データ格納部としての変換前画像データ蓄積部２４に格納された魚眼画像を取得する取得部としての制御部１１と、魚眼画像を透視投影変換した変換画像を生成する画像変換部１４と、変換画像を処理者の装置としてのアノテーション付与装置３０に送る提示部としての制御部１１と、アノテーション付与装置３０で変換画像に付与されたアノテーションに関するアノテーション情報を、アノテーション付与装置３０から受け取る受取部としての制御部１１と、アノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換する座標変換部１５と、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として第二データ格納部としてのアノテーションデータ蓄積部２６に記録する記録部としての制御部１１とを備える。なお、変換画像は、魚眼画像をパノラマ展開する変換によって得られるパノラマ画像であってもよい。
[Effects]
As described above, the
上述の構成において、魚眼画像は、一旦、変換画像にされ、この変換画像上でアノテーションが付与される。さらに、付与されたアノテーション情報は、魚眼画像の座標に対応するように変換される。これにより、アノテーションの付与が、変換画像上でなされるため、容易になり得る。魚眼画像の座標に対応するように変換されたアノテーション情報は、魚眼画像を対象とした対象物の認識及び検出のための学習用の画像データ等の情報として、そのまま使用することができる。よって、魚眼画像上でのアノテーションの付与が簡易になり、且つ、付与したアノテーションの利用が容易になる。 In the above-described configuration, the fish-eye image is once converted into a converted image, and an annotation is given on the converted image. Furthermore, the given annotation information is converted so as to correspond to the coordinates of the fisheye image. Thereby, since the annotation is given on the converted image, it can be facilitated. The annotation information converted so as to correspond to the coordinates of the fisheye image can be used as it is as information such as image data for learning for recognition and detection of the object for the fisheye image. Therefore, it is easy to add an annotation on a fisheye image, and it is easy to use the provided annotation.
実施の形態に係るアノテーション付与システム１００は、変換前画像データ蓄積部２４及びアノテーションデータ蓄積部２６を含み且つ取得部及び記録部としての制御部１１と通信するサーバ装置２０をさらに備える。さらに、実施の形態に係るアノテーション付与システム１００は、変換前画像データ蓄積部２４、アノテーションデータ蓄積部２６及びアノテーション付与装置３０の間で、情報の流れを中継するアノテーション中継装置１０をさらに備える。アノテーション中継装置１０は、取得部、提示部、受取部及び記録部としての制御部１１と、画像変換部１４と、座標変換部１５とを含む。
The
上述の構成において、大量のデータを蓄積する変換前画像データ蓄積部２４及びアノテーションデータ蓄積部２６を、制御部１１と別個にすることにより、制御部１１を含む装置としてのアノテーション中継装置１０の小型化が可能になる。さらに、アノテーション付与システム１００を用いる画像データの構築者は、アノテーション付与装置３０及びサーバ装置２０を自身以外の者の装置とすることができる。例えば、アノテーション付与装置３０を構築者とのアノテーション処理の契約者の装置とすることができ、サーバ装置２０をクラウドサーバとすることができる。これにより、アノテーション付与システム１００の構成の簡略化が可能になる。
In the above configuration, the pre-conversion image
実施の形態の変形例に係るアノテーション付与システム１００において、提示部としての制御部１１は、アノテーション付与装置３０から、魚眼画像及び変換画像のうちで提示する画像を選択する指令を受け取り、アノテーション付与装置３０に、選択された画像を送り、受取部としての制御部１１は、アノテーション付与装置３０で選択された画像に付与されたアノテーションに関するアノテーション情報を、アノテーション付与装置３０から受け取る。座標変換部１５は、選択された画像が変換画像の場合、アノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、記録部としての制御部１１は、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報としてアノテーションデータ蓄積部２６に記録する。座標変換部１５は、選択された画像が魚眼画像の場合、アノテーション情報を魚眼画像におけるアノテーション情報とし、記録部としての制御部１１は、アノテーション情報をアノテーションデータ蓄積部２６に記録する。
In the
上述の構成において、アノテーション付与装置３０を用いてアノテーションの付与を行う処理者は、魚眼画像及び変換画像のうちからアノテーションの付与が容易な画像を選択することができる。よって、アノテーションの付与処理の簡易化が可能になる。
In the above-described configuration, a processor that performs annotation assignment using the
実施の形態の変形例に係るアノテーション付与システム１００は、通知部としての制御部１１を備える。制御部１１は、選択された画像としての変換画像に付与されたアノテーションに関するアノテーション情報が、変換画像の第一の領域を含む場合、変換画像に代わり魚眼画像をアノテーション付与装置３０に送る。制御部１１は、選択された画像としての魚眼画像に付与されたアノテーションに関するアノテーション情報が、魚眼画像の第二の領域を含む場合、アノテーション付与装置３０に、警告又はアノテーションの近似領域を通知する。なお、第一の領域は、魚眼画像には映出されるが変換画像には不映出である領域であり、第二の領域は、魚眼画像における不映出な領域であってもよい。
An
上述の構成において、魚眼画像から変換画像に透視投影変換する場合、変換画像には、魚眼画像から著しい歪みを伴って形成される部分が含まれる。このような部分は、魚眼画像では映出されるが、変換画像で映出されない場合がある。つまり、魚眼画像よりも変換画像の方が、狭い映出領域を有する可能性がある。よって、変換画像に付与されたアノテーションに関するアノテーション情報が、変換画像の第一の領域を含む場合、アノテーション付与装置３０に表示する画像を、変換画像から魚眼画像にすることによって、第一の領域が不映出であっても魚眼画像で映出され、アノテーションの付与が可能になる場合がある。また、魚眼画像に付与されたアノテーションに関するアノテーション情報が、魚眼画像の第二の領域を含む場合、第二の領域が不映出であれば、変換画像でも不映出である。よって、魚眼画像において、アノテーションで設定する領域内に、不映出な部分が含まれる場合に、警告又はアノテーションの近似領域を通知することによって、アノテーションで設定する領域内に、不映出な部分が含まれないようにすることができる。なお、アノテーションで設定する領域内に不映出な部分が含まれると、対象物が画像上で正確に認識されないおそれがある。
In the above configuration, when perspective projection conversion is performed from a fisheye image to a converted image, the converted image includes a portion formed from the fisheye image with significant distortion. Such a portion may be projected in the fisheye image but may not be projected in the converted image. That is, the converted image may have a narrower projection area than the fisheye image. Therefore, when the annotation information related to the annotation given to the converted image includes the first area of the converted image, the image displayed on the
また、実施の形態に係るアノテーション付与方法は、魚眼画像へのアノテーション付与方法である。この方法では、魚眼画像を取得し、魚眼画像を透視投影変換した変換画像を生成し、変換画像を処理者に提示し、処理者から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、入力されたアノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として記録する。さらに、変換画像は、魚眼画像をパノラマ展開する変換によって得られるパノラマ画像であってもよい。 The annotation assigning method according to the embodiment is an annotation assigning method to a fisheye image. In this method, a fish-eye image is acquired, a converted image obtained by perspective projection conversion of the fish-eye image is generated, the converted image is presented to the processor, and annotation information about the annotation to be given to the converted image is input from the processor. Is received, the coordinate information of the annotation in the converted image included in the input annotation information is converted into the coordinates in the fisheye image, and the converted annotation information is recorded as annotation information in the fisheye image. Further, the converted image may be a panoramic image obtained by converting panoramic development of a fisheye image.
また、実施の形態の変形例に係るアノテーション付与方法では、処理者から、魚眼画像及び変換画像のうちで提示する画像を選択する入力を受け付け、処理者に、選択された画像を提示し、処理者から、選択された画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、選択された画像が変換画像の場合、入力されたアノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として記録し、選択された画像が魚眼画像の場合、入力されたアノテーション情報を、魚眼画像におけるアノテーション情報として記録する。 Further, in the annotation giving method according to the modification of the embodiment, an input for selecting an image to be presented from the fisheye image and the converted image is received from the processor, and the selected image is presented to the processor. When the processor receives an input of annotation information related to the annotation attached to the selected image, and the selected image is a converted image, the coordinate information of the annotation in the converted image included in the input annotation information, Converts the coordinates in the fisheye image, records the converted annotation information as annotation information in the fisheye image, and if the selected image is a fisheye image, converts the input annotation information into the annotation in the fisheye image Record as information.
また、実施の形態の変形例に係るアノテーション付与方法では、処理者から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付けた際、入力されたアノテーション情報が、変換画像の第一の領域を含む場合、変換画像に代わり魚眼画像を処理者に提示し、処理者から、魚眼画像に付与されるアノテーションに関するアノテーション情報の入力を受け付けた際、入力されたアノテーション情報が、魚眼画像の第二の領域を含む場合、処理者に警告又はアノテーションの近似領域を提示する。さらに、第一の領域は、魚眼画像には映出されるが変換画像には不映出である領域であり、第二の領域は、魚眼画像における不映出な領域であってもよい。 Further, in the annotation assigning method according to the modification of the embodiment, when an input of annotation information related to the annotation attached to the converted image is received from the processor, the input annotation information is the first region of the converted image. In the case where a fisheye image is presented to the processor instead of the converted image, and the annotation information regarding the annotation added to the fisheye image is received from the processor, the input annotation information is converted to the fisheye image. If the second area is included, the warning or annotation approximate area is presented to the processor. Furthermore, the first region may be a region that is displayed in the fisheye image but is not displayed in the converted image, and the second region may be a region that is not displayed in the fisheye image. .
上記方法によって、実施の形態及び変形例に係るアノテーション付与システム１００の効果と同様の効果が得られる。なお、上記方法は、ＭＰＵ、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
By the above method, the same effect as that of the
また、実施の形態及び変形例での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。例えば、実施の形態での処理は、次のようなプログラムによって、実現される。 Further, the processing in the embodiment and the modification may be realized by a software program or a digital signal composed of a software program. For example, the processing in the embodiment is realized by the following program.
すなわち、このプログラムは、魚眼画像を取得し、魚眼画像を透視投影変換した変換画像を生成し、変換画像を処理者の装置に提示し、処理者の装置から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、入力されたアノテーション情報に含まれる変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を魚眼画像におけるアノテーション情報として記録する。 That is, this program obtains a fisheye image, generates a converted image obtained by perspective projection conversion of the fisheye image, presents the converted image to the processor device, and is given to the converted image from the processor device. Accepts input of annotation information related to annotation, converts the coordinate information of the annotation in the converted image included in the input annotation information into coordinates in the fisheye image, and uses the converted annotation information as annotation information in the fisheye image Record.
なお、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。 The program and the digital signal composed of the program are recorded on a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray (registered). (Trademark) Disc), recorded in a semiconductor memory or the like.
また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。 The program and the digital signal composed of the program may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。 Further, the program and the digital signal composed of the program may be implemented by another independent computer system by being recorded on a recording medium and transferred, or transferred via a network or the like. .
［その他の変形例］
以上のように、本出願において開示する技術の例示として、実施の形態及び変形例を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態の変形例又は他の実施の形態にも適用可能である。また、実施の形態及び変形例で説明する各構成要素を組み合わせて、新たな実施の形態又は変形例とすることも可能である。
[Other variations]
As described above, the embodiments and the modifications have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to these, and can be applied to modified examples of the embodiments in which modifications, replacements, additions, omissions, and the like are appropriately performed, or other embodiments. Moreover, it is also possible to combine each component demonstrated by embodiment and a modification, and it can also be set as a new embodiment or a modification.
実施の形態及び変形例では、アノテーションの対象とする撮影画像が、魚眼レンズを備える撮影装置で撮影された魚眼画像であった。そして、適用される魚眼レンズは、全周魚眼レンズ及び対角線魚眼レンズによって例示されていたが、これらに限定されず、いかなる魚眼レンズであってもよい。例えば、魚眼レンズは、自由曲面レンズであってもよい。 In the embodiment and the modification, the photographed image to be the annotation target is a fisheye image photographed by a photographing device including a fisheye lens. And although the fisheye lens applied was illustrated by the all-around fisheye lens and the diagonal fisheye lens, it is not limited to these, What kind of fisheye lens may be sufficient. For example, the fisheye lens may be a free-form surface lens.
実施の形態及び変形例に係るアノテーション付与システム１００では、アノテーション中継装置１０の画像変換部１４は、魚眼画像を透視投影変換することによって、パノラマ画像を生成していた。透視投影変換は、上述したような魚眼画像をその周囲を囲む円筒面上に投影するようにパノラマ展開する変換に限定されない。例えば、透視投影変換は、魚眼画像の撮影装置のレンズパラメータを変換することによる歪み補正であってもよい。
In the
実施の形態及び変形例に係るアノテーション付与システム１００では、サーバ装置２０と、アノテーション中継装置１０と、アノテーション付与装置３０とは、別個の要素であり、互いに離れて配置されていたが、これに限定されない。例えば、サーバ装置２０とアノテーション中継装置１０とが、１つの装置を構成してもよく、アノテーション中継装置１０とアノテーション付与装置３０とが、１つの装置を構成してもよい。
In the
実施の形態及び変形例に係るアノテーション付与システム１００は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ等のニューラルネットワークでの大量の学習用の画像データを構築するために用いられていたが、これに限定されず、画像データを構築するいかなる構成に適用されてもよい。
Although the
実施の形態及び変形例に係るアノテーション付与システム１００では、変換前の画像データとして、魚眼画像を用いていたが、これに限定されず、例えば、全方位カメラで撮影された画像であってもよい。
In the
なお、本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 The comprehensive or specific aspect of the present disclosure may be realized by a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM. The comprehensive or specific aspect of the present disclosure may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a recording medium.
以上のように、本開示における技術の例示として、実施の形態及び変形例を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態及び変形例は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 As described above, the embodiments and the modifications have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided. Accordingly, among the components described in the attached drawings and detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to exemplify the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description. Moreover, since the above-mentioned embodiment and modification are for illustrating the technique in the present disclosure, various modifications, replacements, additions, omissions, and the like may be performed within the scope of the claims or an equivalent scope thereof. it can.
本開示は、魚眼画像へアノテーションを付与する技術に利用可能である。 The present disclosure can be used for a technique for adding an annotation to a fisheye image.
１０ アノテーション中継装置
１１ 制御部（取得部、提示部、受取部、記録部、通知部）
１４ 画像変換部
１５ 座標変換部
２０ サーバ装置
２４ 変換前画像データ蓄積部（第一データ格納部）
２６ アノテーションデータ蓄積部（第二データ格納部）
３０ アノテーション付与装置（処理者の装置）
１００ アノテーション付与システム
10
14
26 Annotation data storage (second data storage)
30 Annotation giving device (processor's device)
100 Annotation system
Claims (13)
魚眼画像を取得し、
前記魚眼画像を透視投影変換した変換画像を生成し、
前記変換画像を処理者に提示し、
前記処理者から、前記変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、
入力された前記アノテーション情報に含まれる、前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換し、
変換後の前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として記録する
アノテーション付与方法。 An annotation method for fisheye images,
Get a fisheye image,
Generating a transformed image obtained by perspective projection transformation of the fisheye image;
Presenting the converted image to a processor;
Accepting input of annotation information related to the annotation given to the converted image from the processor,
The coordinate information of the annotation in the converted image included in the input annotation information is converted into the coordinates in the fisheye image,
An annotation adding method for recording the converted annotation information as annotation information in the fisheye image.
前記処理者に、選択された画像を提示し、
前記処理者から、前記選択された画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、
前記選択された画像が前記変換画像の場合、入力された前記アノテーション情報に含まれる、前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換し、
変換後の前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として記録し、
前記選択された画像が前記魚眼画像の場合、入力された前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として記録する
請求項１に記載のアノテーション付与方法。 From the processor, an input for selecting an image to be presented from the fisheye image and the converted image is received,
Presenting the selected image to the processor;
Accepting input of annotation information related to the annotation given to the selected image from the processor,
If the selected image is the converted image, the coordinate information of the annotation in the converted image included in the input annotation information is converted into the coordinates in the fisheye image,
The annotation information after conversion is recorded as annotation information in the fisheye image,
The annotation providing method according to claim 1, wherein when the selected image is the fisheye image, the input annotation information is recorded as annotation information in the fisheye image.
前記処理者から、前記魚眼画像に付与されるアノテーションに関するアノテーション情報の入力を受け付けた際、入力された前記アノテーション情報が、前記魚眼画像の第二の領域を含む場合、前記処理者に警告又は前記アノテーションの近似領域を提示する
請求項２に記載のアノテーション付与方法。 When an input of annotation information related to the annotation given to the converted image is received from the processor, if the input annotation information includes a first region of the converted image, the fish instead of the converted image Presenting an eye image to the processor;
When an input of annotation information related to the annotation given to the fisheye image is received from the processor, if the input annotation information includes the second region of the fisheye image, the processor is warned Alternatively, the annotation assigning method according to claim 2, wherein an approximate region of the annotation is presented.
前記第二の領域は、前記魚眼画像における不映出な領域である
請求項３に記載のアノテーション付与方法。 The first region is a region that is displayed in the fisheye image but is not displayed in the converted image;
The annotation providing method according to claim 3, wherein the second region is a non-projected region in the fisheye image.
請求項１〜４のいずれか一項に記載のアノテーション付与方法。 The annotation assigning method according to any one of claims 1 to 4, wherein the converted image is a panoramic image obtained by converting panoramic development of the fisheye image.
第一データ格納部に格納された魚眼画像を取得する取得部と、
前記魚眼画像を透視投影変換した変換画像を生成する画像変換部と、
前記変換画像を処理者の装置に送る提示部と、
前記処理者の装置で前記変換画像に付与されたアノテーションに関するアノテーション情報を、前記処理者の装置から受け取る受取部と、
前記アノテーション情報に含まれる、前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換する座標変換部と、
変換後の前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として第二データ格納部に記録する記録部とを備える
アノテーション付与システム。 An annotation system for fisheye images,
An acquisition unit for acquiring a fisheye image stored in the first data storage unit;
An image conversion unit that generates a converted image obtained by perspective projection conversion of the fisheye image;
A presentation unit for sending the converted image to a processor device;
A receiving unit that receives annotation information about the annotation given to the converted image in the processor device from the processor device;
A coordinate conversion unit that converts the coordinate information of the annotation in the converted image included in the annotation information into coordinates in the fisheye image;
An annotation assigning system comprising: a recording unit that records the converted annotation information as annotation information in the fisheye image in a second data storage unit.
請求項６に記載のアノテーション付与システム。 The annotation assignment system according to claim 6, further comprising a server device that includes the first data storage unit and the second data storage unit and communicates with the acquisition unit and the recording unit.
前記アノテーション中継装置は、前記取得部、前記画像変換部、前記提示部、前記受取部、前記座標変換部及び前記記録部を含む
請求項６または７に記載のアノテーション付与システム。 An annotation relay device that relays the flow of information between the first data storage unit, the second data storage unit, and the processor device,
The annotation giving system according to claim 6 or 7, wherein the annotation relay device includes the acquisition unit, the image conversion unit, the presentation unit, the receiving unit, the coordinate conversion unit, and the recording unit.
前記受取部は、前記処理者の装置で前記選択された画像に付与されたアノテーションに関するアノテーション情報を、前記処理者の装置から受け取り、
前記座標変換部は、前記選択された画像が前記変換画像の場合、前記アノテーション情報に含まれる、前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換し、
前記記録部は、変換後の前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として前記第二データ格納部に記録し、
前記座標変換部は、前記選択された画像が前記魚眼画像の場合、前記アノテーション情報を前記魚眼画像におけるアノテーション情報とし、
前記記録部は、前記アノテーション情報を前記第二データ格納部に記録する
請求項６〜８のいずれか一項に記載のアノテーション付与システム。 The presentation unit receives an instruction to select an image to be presented from the fisheye image and the converted image from the processor device, and sends the selected image to the processor device.
The receiving unit receives annotation information related to the annotation given to the selected image by the processor device from the processor device,
When the selected image is the converted image, the coordinate conversion unit converts the coordinate information of the annotation in the converted image, which is included in the annotation information, into coordinates in the fisheye image,
The recording unit records the converted annotation information in the second data storage unit as annotation information in the fisheye image,
The coordinate conversion unit, when the selected image is the fisheye image, the annotation information as annotation information in the fisheye image,
The annotation adding system according to any one of claims 6 to 8, wherein the recording unit records the annotation information in the second data storage unit.
前記通知部は、
前記選択された画像としての前記変換画像に付与されたアノテーションに関するアノテーション情報が、前記変換画像の第一の領域を含む場合、前記変換画像に代わり前記魚眼画像を前記処理者の装置に送り、
前記選択された画像としての前記魚眼画像に付与されたアノテーションに関するアノテーション情報が、前記魚眼画像の第二の領域を含む場合、前記処理者の装置に、警告又は前記アノテーションの近似領域を通知する
請求項９に記載のアノテーション付与システム。 A notification section,
The notification unit
If the annotation information related to the annotation given to the converted image as the selected image includes the first region of the converted image, the fisheye image is sent to the processor device instead of the converted image,
When the annotation information related to the annotation given to the fisheye image as the selected image includes the second region of the fisheye image, a warning or an approximate region of the annotation is notified to the processor device The annotation giving system according to claim 9.
前記第二の領域は、前記魚眼画像における不映出な領域である
請求項１０に記載のアノテーション付与システム。 The first region is a region that is displayed in the fisheye image but is not displayed in the converted image;
The annotation assigning system according to claim 10, wherein the second region is a non-projected region in the fisheye image.
請求項６〜１１のいずれか一項に記載のアノテーション付与システム。 The annotation assigning system according to any one of claims 6 to 11, wherein the converted image is a panoramic image obtained by converting panoramic development of the fisheye image.
魚眼画像を取得し、
前記魚眼画像を透視投影変換した変換画像を生成し、
前記変換画像を処理者の装置に提示し、
前記処理者の装置から、前記変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、
入力された前記アノテーション情報に含まれる前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換し、
変換後の前記アノテーション情報を前記魚眼画像におけるアノテーション情報として記録する
プログラム。 A program to be executed by a computer,
Get a fisheye image,
Generating a transformed image obtained by perspective projection transformation of the fisheye image;
Presenting the converted image to a processor device;
Accepting input of annotation information related to the annotation given to the converted image from the processor device,
Annotation coordinate information in the converted image included in the input annotation information is converted into coordinates in the fisheye image,
A program that records the converted annotation information as annotation information in the fisheye image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710544924.1A CN107689027A (en) | 2016-08-04 | 2017-07-06 | Annotation adding method, annotation imparting system and the recording medium having program stored therein |
| US15/644,859 US20180040153A1 (en) | 2016-08-04 | 2017-07-10 | Annotation method, annotation system, and recording medium storing program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016154059 | 2016-08-04 | ||
| JP2016154059 | 2016-08-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018026104A true JP2018026104A (en) | 2018-02-15 |
Family
ID=61195308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017090612A Pending JP2018026104A (en) | 2016-08-04 | 2017-04-28 | Annotation method, annotation system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018026104A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019117577A (en) * | 2017-12-27 | 2019-07-18 | 本田技研工業株式会社 | Program, learning processing method, learning model, data structure, learning device and object recognition device |
| KR20200042629A (en) * | 2018-10-16 | 2020-04-24 | 주식회사 키센스 | Method for generating annotation and image based on touch of mobile device to learn artificial intelligence and apparatus therefor |
| CN111429518A (en) * | 2020-03-24 | 2020-07-17 | 浙江大华技术股份有限公司 | Labeling method, labeling device, computing equipment and storage medium |
| JP2020170437A (en) * | 2019-04-05 | 2020-10-15 | Ｍｉｌ株式会社 | Content providing system and program |
| JP2020173763A (en) * | 2019-08-22 | 2020-10-22 | Ｍｉｌ株式会社 | Content providing system and program |
| JPWO2021186672A1 (en) * | 2020-03-19 | 2021-09-23 | ||
| JPWO2022091215A1 (en) * | 2020-10-27 | 2022-05-05 | ||
| WO2022137979A1 (en) * | 2020-12-21 | 2022-06-30 | 日本電気株式会社 | Image processing device, image processing method, and program recording medium |
-
2017
- 2017-04-28 JP JP2017090612A patent/JP2018026104A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019117577A (en) * | 2017-12-27 | 2019-07-18 | 本田技研工業株式会社 | Program, learning processing method, learning model, data structure, learning device and object recognition device |
| US10733705B2 (en) | 2017-12-27 | 2020-08-04 | Honda Motor Co., Ltd. | Information processing device, learning processing method, learning device, and object recognition device |
| KR20200042629A (en) * | 2018-10-16 | 2020-04-24 | 주식회사 키센스 | Method for generating annotation and image based on touch of mobile device to learn artificial intelligence and apparatus therefor |
| KR102144707B1 (en) * | 2018-10-16 | 2020-08-14 | 주식회사 키센스 | Method for generating annotation and image based on touch of mobile device to learn artificial intelligence and apparatus therefor |
| JP2020170437A (en) * | 2019-04-05 | 2020-10-15 | Ｍｉｌ株式会社 | Content providing system and program |
| JP2020173763A (en) * | 2019-08-22 | 2020-10-22 | Ｍｉｌ株式会社 | Content providing system and program |
| JPWO2021186672A1 (en) * | 2020-03-19 | 2021-09-23 | ||
| WO2021186672A1 (en) * | 2020-03-19 | 2021-09-23 | 日本電気株式会社 | Image processing method |
| JP7459927B2 (en) | 2020-03-19 | 2024-04-02 | 日本電気株式会社 | Image Processing Method |
| CN111429518A (en) * | 2020-03-24 | 2020-07-17 | 浙江大华技术股份有限公司 | Labeling method, labeling device, computing equipment and storage medium |
| CN111429518B (en) * | 2020-03-24 | 2023-10-03 | 浙江大华技术股份有限公司 | Labeling method, labeling device, computing equipment and storage medium |
| JPWO2022091215A1 (en) * | 2020-10-27 | 2022-05-05 | ||
| JP7208695B2 (en) | 2020-10-27 | 2023-01-19 | Ａｍａｔｅｌｕｓ株式会社 | Video distribution device, video distribution system, video distribution method, and program |
| WO2022137979A1 (en) * | 2020-12-21 | 2022-06-30 | 日本電気株式会社 | Image processing device, image processing method, and program recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018026104A (en) | Annotation method, annotation system, and program | |
| US20180040153A1 (en) | Annotation method, annotation system, and recording medium storing program | |
| JP2019526874A (en) | Method and apparatus for performing mapping to a spherical panoramic image | |
| US11595376B2 (en) | Surveillance camera setting method, method of controlling an installation of a surveillance camera and surveillance camera system | |
| US20160071294A1 (en) | Apparatus and method for constructing indoor map using cloud point | |
| JP6646208B2 (en) | Display control method, display control program, and information processing device | |
| EP3448020A1 (en) | Method and device for three-dimensional presentation of surveillance video | |
| JP2020144864A (en) | Image processing method, apparatus, and computer-readable storage medium | |
| US20140003657A1 (en) | Setting apparatus and setting method | |
| EP3962090A1 (en) | Communication terminal, image communication system, method for displaying image, and carrier means | |
| US20170017821A1 (en) | Control system, terminal, information setting method, and program | |
| JP7367812B2 (en) | Information processing system, information processing method and program | |
| JPWO2017014126A1 (en) | Image management system, image management method and program | |
| KR20230124878A (en) | Real Estate Information Providing Method and the Application Performing thereof | |
| JP2017163195A (en) | Image processing system, program, and image processing method | |
| KR102505951B1 (en) | Apparatus and method for providing image, and computer program recorded on computer readable medium for excuting the method | |
| JP6115113B2 (en) | Predetermined area management system, predetermined area management method, and program | |
| WO2018055659A1 (en) | Screen sharing system, screen sharing method, and program | |
| JP2018005091A (en) | Display control program, display control method and display controller | |
| JP2017182681A (en) | Image processing system, information processing device, and program | |
| KR102505705B1 (en) | Image analysis server, object counting method using the same and object counting system | |
| JP2016025625A (en) | Information processor, information processing method, and program | |
| JP2018041201A (en) | Display control program, display control method and information processing device | |
| JP6851337B2 (en) | Imaging device, control method and control program | |
| JP6805858B2 (en) | Transmission control program, transmission control method and transmission control device |