JP2022106386A - Dimension measuring device and dimension measuring method - Google Patents

Dimension measuring device and dimension measuring method Download PDF

Info

Publication number
JP2022106386A
JP2022106386A JP2021001333A JP2021001333A JP2022106386A JP 2022106386 A JP2022106386 A JP 2022106386A JP 2021001333 A JP2021001333 A JP 2021001333A JP 2021001333 A JP2021001333 A JP 2021001333A JP 2022106386 A JP2022106386 A JP 2022106386A
Authority
JP
Japan
Prior art keywords
measurement object
dimensional
camera
measured
transparent member
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021001333A
Other languages
Japanese (ja)
Inventor
広生 辻
Hiroo Tsuji
則雄 野村
Norio Nomura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glory Ltd
Original Assignee
Glory Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd filed Critical Glory Ltd
Priority to JP2021001333A priority Critical patent/JP2022106386A/en
Priority to PCT/JP2021/035531 priority patent/WO2022149315A1/en
Publication of JP2022106386A publication Critical patent/JP2022106386A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

To provide a technique that can accurately measure the dimensions of more various measurement objects.SOLUTION: A dimension measuring device 10 comprises: a three-dimensional camera 20 for acquiring information on the three-dimensional position of a surface of a measurement object 80; and a holding unit 50 (transparent member 51 or the like) that holds the measurement object 80. The holding unit 50 holds the measurement object 80 while being separated from a predetermined surface 61 present in a vicinity area of the measurement object 80 in the field of view of the three-dimensional camera 20, by a predetermined distance B or more toward the three-dimensional camera in a visual line direction of the three-dimensional camera 20. The dimension measuring device 10 calculates the dimensions of the measurement object 80 based on the information on the three-dimensional position of the surface of the measurement object 80 held by the holding unit 50.SELECTED DRAWING: Figure 1

Description

本発明は、測定対象物(荷物等)の寸法を測定する寸法測定装置およびそれに関連する技術に関する。 The present invention relates to a dimension measuring device for measuring the dimensions of an object to be measured (baggage, etc.) and a technique related thereto.

測定対象物(荷物等)の寸法を測定する寸法測定技術が存在する。たとえば、特許文献1には、3次元カメラ(距離画像カメラ)の情報を用いて、載置面に載置された荷物の寸法を測定する寸法測定装置が記載されている。 There is a dimensional measurement technique for measuring the dimensions of an object to be measured (baggage, etc.). For example, Patent Document 1 describes a dimension measuring device that measures the dimensions of a load placed on a mounting surface using information from a three-dimensional camera (distance image camera).

特開2019-46309号公報JP-A-2019-46309

しかしながら、上述のような寸法測定装置においては、たとえば、測定対象物が比較的分厚いもの(通常のダンボール箱等)ではなく比較的薄いもの(紙袋等)である場合等においては、測定対象物の寸法を正確に測定できないことがある。詳細には、測定対象物を載置した載置面と当該測定対象物の上面(上面端部等)との両者の高さ方向の位置の差が非常に小さい場合、測定誤差の影響等により、当該両者の高さ方向の位置の差異を用いた両者の区別を正確に行えないことがある。その場合、水平平面内にて測定対象物と測定対象物の周辺部分とを正確に分離できず、測定対象物の平面的な大きさを正確に測定できない。 However, in the above-mentioned dimension measuring device, for example, when the object to be measured is not a relatively thick object (such as a normal cardboard box) but a relatively thin object (such as a paper bag), the object to be measured is a relatively thin object. It may not be possible to measure the dimensions accurately. Specifically, if the difference in height position between the mounting surface on which the measurement object is placed and the upper surface (upper surface end, etc.) of the measurement object is very small, due to the influence of measurement error, etc. , It may not be possible to accurately distinguish between the two by using the difference in the position in the height direction of the two. In that case, the object to be measured and the peripheral portion of the object to be measured cannot be accurately separated in the horizontal plane, and the planar size of the object to be measured cannot be accurately measured.

そこで、この発明は、より多様な測定対象物の寸法を正確に測定することが可能な技術を提供することを課題とする。 Therefore, it is an object of the present invention to provide a technique capable of accurately measuring the dimensions of a wider variety of measurement objects.

上記課題を解決すべく、本発明に係る寸法測定装置は、測定対象物の表面の3次元位置情報を取得するための3次元カメラと、前記3次元カメラの視野内にて前記測定対象物の近傍領域に存在する所定面から、前記3次元カメラの視線方向において前記3次元カメラ側に所定の距離以上離間した状態で、前記測定対象物を保持する保持手段と、前記3次元位置情報に基づき前記測定対象物の寸法を算出する制御手段と、を備えることを特徴とする。 In order to solve the above problems, the dimension measuring device according to the present invention includes a three-dimensional camera for acquiring three-dimensional position information on the surface of the object to be measured, and the object to be measured within the field of view of the three-dimensional camera. Based on the holding means for holding the measurement object and the three-dimensional position information in a state of being separated from the predetermined surface existing in the vicinity region to the three-dimensional camera side by a predetermined distance or more in the line-of-sight direction of the three-dimensional camera. It is characterized by comprising a control means for calculating the dimensions of the object to be measured.

前記所定面は、所定の模様を有していてもよい。 The predetermined surface may have a predetermined pattern.

前記3次元カメラの前記視線方向と前記測定対象物の載置面の法線方向とは相対的に傾斜しており、前記保持手段は、前記載置面と前記載置面に垂直な且つ前記視線方向に対して傾斜した支持面とに前記測定対象物が接触した状態で前記測定対象物を保持してもよい。 The line-of-sight direction of the three-dimensional camera and the normal direction of the mounting surface of the measurement object are relatively inclined, and the holding means is perpendicular to the pre-described mounting surface and the pre-described mounting surface and said. The measurement object may be held in a state where the measurement object is in contact with a support surface inclined with respect to the line-of-sight direction.

前記3次元カメラは、前記測定対象物を斜め上方から撮影してもよい。 The three-dimensional camera may photograph the measurement object from diagonally above.

前記保持手段は、前記測定対象物の背面側と左側方側と右側方側とのうちの少なくとも1つに設けられ、前記測定対象物のはみ出しを防止するガイド部、を備えてもよい。 The holding means may be provided on at least one of the back side, the left side side, and the right side side of the measurement object, and may be provided with a guide portion for preventing the measurement object from protruding.

前記制御手段は、前記測定対象物の表面の点群を各射影面に射影した複数の射影画像に基づき、前記測定対象物の寸法を算出してもよい。 The control means may calculate the dimensions of the measurement object based on a plurality of projection images obtained by projecting a point cloud on the surface of the measurement object onto each projection surface.

前記寸法測定装置は、前記測定対象物の種別と前記測定対象物に関する運搬サービスの種類との少なくとも一方を入力する入力手段、をさらに備えてもよい。 The dimension measuring device may further include an input means for inputting at least one of the type of the measurement object and the type of transportation service related to the measurement object.

上記課題を解決すべく、本発明に係る寸法測定方法は、測定対象物の表面の3次元位置情報を取得するための3次元カメラを用いた寸法測定方法であって、a)前記3次元カメラの視野内にて前記測定対象物の近傍領域に存在する所定面から、前記3次元カメラの視線方向において前記3次元カメラ側に所定の距離以上離間した状態で保持された前記測定対象物を、前記3次元カメラで撮影し、前記測定対象物の表面の前記3次元位置情報を取得するステップと、b)前記3次元位置情報に基づき前記測定対象物の寸法を算出するステップと、を備えることを特徴とする。 In order to solve the above problems, the dimensional measurement method according to the present invention is a dimensional measurement method using a three-dimensional camera for acquiring three-dimensional position information on the surface of an object to be measured, and a) the three-dimensional camera. A measurement object held in a state of being separated from a predetermined surface existing in a region near the measurement object in the field of view of the three-dimensional camera by a predetermined distance or more in the line-of-sight direction of the three-dimensional camera. It includes a step of acquiring the three-dimensional position information of the surface of the measurement object by taking a picture with the three-dimensional camera, and b) a step of calculating the size of the measurement object based on the three-dimensional position information. It is characterized by.

本発明によれば、測定対象物が薄いものであっても当該測定対象物の寸法を正確に測定することが可能である。 According to the present invention, even if the object to be measured is thin, the dimensions of the object to be measured can be accurately measured.

第1実施形態に係る寸法測定装置を示す概略外観図である。It is a schematic external view which shows the dimension measuring apparatus which concerns on 1st Embodiment. 寸法測定装置の機能ブロックを示す図である。It is a figure which shows the functional block of a dimension measuring apparatus. 測定対象物付近をカメラ視線方向から見た図である。It is the figure which looked at the vicinity of the measurement object from the direction of the camera line-of-sight. 測定対象物付近の縦断面と当該縦断面における測定対象物の表面までの距離情報等とを示す図である。It is a figure which shows the vertical cross section in the vicinity of the measurement object, the distance information to the surface of the measurement object in the vertical cross section, and the like. 寸法算出装置における処理を示すフローチャートである。It is a flowchart which shows the processing in the dimension calculation apparatus. 変形例に係る寸法測定装置を示す図である。It is a figure which shows the dimension measuring apparatus which concerns on the modification. 測定対象物付近の上面図である。It is a top view of the vicinity of the object to be measured. 第2実施形態に係る寸法測定装置を示す側面図である。It is a side view which shows the dimension measuring apparatus which concerns on 2nd Embodiment. 3次元カメラから見た測定対象物付近の様子を示す図である。It is a figure which shows the state of the vicinity of the measurement object seen from the 3D camera. 第2実施形態に係る寸法測定装置において、縦長の紙袋が起立状態で載置された様子を示す側面図である。FIG. 5 is a side view showing a state in which a vertically long paper bag is placed in an upright state in the dimension measuring device according to the second embodiment. 3次元カメラの視線方向から紙袋等を見た斜視図である。It is a perspective view which looked at the paper bag and the like from the line-of-sight direction of a three-dimensional camera. XY平面への射影画像を示す図である。It is a figure which shows the projection image on the XY plane. XZ平面への射影画像を示す図である。It is a figure which shows the projection image on the XZ plane. XZ平面への射影画像(画像処理後)を示す図である。It is a figure which shows the projection image (after image processing) on the XZ plane. 紙袋の他の載置例を示す図である。It is a figure which shows the other placement example of a paper bag. XY平面への射影画像を示す図である。It is a figure which shows the projection image on the XY plane. XY平面への射影画像(画像処理後)を示す図である。It is a figure which shows the projection image (after image processing) on the XY plane. 測定対象物の右側面を支持する透明部材等を示す図である。It is a figure which shows the transparent member which supports the right side surface of the object of measurement. さらに傾斜した保持部を示す図である。It is a figure which shows the holding part which was further inclined. カラー射影画像を用いた寸法算出処理等を示す概念図である。It is a conceptual diagram which shows the dimension calculation process using a color projection image. 変形例に係る保持部付近を示す図である。It is a figure which shows the vicinity of the holding part which concerns on a modification. 別の変形例に係る保持部付近を示す図である。It is a figure which shows the vicinity of the holding part which concerns on another modification. 第1の比較例を示す図である。It is a figure which shows the 1st comparative example. 第2の比較例を示す図である。It is a figure which shows the 2nd comparative example.

以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

<1.第1実施形態>
<1-1.装置概要>
図1は、第1実施形態に係る寸法測定装置10(10Aとも称する)(詳細にはその一部)を示す概略外観図であり、図2は寸法測定装置10の機能ブロックを示す図である。寸法測定装置10は、測定対象物(荷物等)80の表面の3次元位置情報等に基づき、測定対象物80の寸法を算出する装置である。寸法測定装置10は、3次元寸法測定装置あるいは3次元測定装置とも称される。
<1. First Embodiment>
<1-1. Equipment overview>
FIG. 1 is a schematic external view showing a dimension measuring device 10 (also referred to as 10A) (partially a part thereof in detail) according to the first embodiment, and FIG. 2 is a diagram showing a functional block of the dimension measuring device 10. .. The dimension measuring device 10 is a device that calculates the dimensions of the object to be measured 80 based on the three-dimensional position information of the surface of the object to be measured (baggage or the like) 80. The dimension measuring device 10 is also referred to as a three-dimensional dimension measuring device or a three-dimensional measuring device.

図1に示されるように、寸法測定装置10は、測定対象物80を保持する保持部50と、当該保持部50に保持された測定対象物80の表面の3次元位置情報を取得するための3次元カメラ20とを備える。また、寸法測定装置10は、3次元カメラ20を用いて取得された3次元位置情報等に基づく寸法算出処理等を実行する寸法算出装置30(図2参照)をも備える。寸法算出装置30は、3次元位置情報に基づき測定対象物の寸法を算出する。さらに、寸法測定装置10は、重量計(重量測定部)40をも備えており、測定対象物80の寸法のみならず、保持部50に保持された測定対象物80の重量をも測定することが可能である。なお、後に詳述するように、保持部50は、透明部材51等を備えて構成される。 As shown in FIG. 1, the dimension measuring device 10 is for acquiring the three-dimensional position information of the holding portion 50 holding the measurement object 80 and the surface of the measuring object 80 held by the holding portion 50. A three-dimensional camera 20 is provided. Further, the dimension measuring device 10 also includes a dimension calculating device 30 (see FIG. 2) that executes a dimension calculation process or the like based on the three-dimensional position information or the like acquired by using the three-dimensional camera 20. The dimension calculation device 30 calculates the dimensions of the object to be measured based on the three-dimensional position information. Further, the dimension measuring device 10 also includes a weighing scale (weight measuring unit) 40, and measures not only the dimensions of the measuring object 80 but also the weight of the measuring object 80 held by the holding unit 50. Is possible. As will be described in detail later, the holding portion 50 is configured to include a transparent member 51 and the like.

寸法測定装置10は、たとえば、宅配センター等に配置され、顧客により持ち込まれた配送対象物等(測定対象物80)の寸法および重量等を測定する作業等に利用される。測定対象物80としては、ダンボール箱、紙袋、封筒などが例示される。このうち、特に薄い形状のもの(封筒類、および一端側が薄い紙袋等)の寸法測定においては、後述するような問題が顕著に生じ得る。 The dimension measuring device 10 is arranged in, for example, a home delivery center or the like, and is used for work such as measuring the dimensions and weight of a delivery object or the like (measurement object 80) brought in by a customer. Examples of the measurement object 80 include a cardboard box, a paper bag, and an envelope. Of these, in the dimensional measurement of particularly thin shapes (envelopes, paper bags having a thin end side, etc.), problems as described later may occur remarkably.

3次元カメラ20は、測定対象物80が保持部50に保持されている状態(たとえば、透明部材51の上面(載置面)51aに載置されている状態)において、当該測定対象物80を上方から見た撮影画像を撮影することが可能である。具体的には、3次元カメラ20は、測定対象物80の上面よりも更に上方に離間した位置において鉛直下向きに固定されている。3次元カメラ20は、カメラ固定部材27,28によって固定されている。カメラ固定部材27は、床面に固定され鉛直方向に伸延する支柱部材であり、カメラ固定部材28は、支柱部材27の最上部付近から測定対象物80の上方位置に向けて水平方向に伸延する梁(はり)部材である。3次元カメラ20は、カメラ固定部材28の先端部付近(且つ測定対象物80の上方且つ上面視中央付近)において鉛直下向きに固定されている。 The three-dimensional camera 20 holds the measurement object 80 on the holding portion 50 (for example, the measurement object 80 is mounted on the upper surface (mounting surface) 51a of the transparent member 51). It is possible to take a photographed image viewed from above. Specifically, the three-dimensional camera 20 is fixed vertically downward at a position further above the upper surface of the object to be measured 80. The three-dimensional camera 20 is fixed by camera fixing members 27 and 28. The camera fixing member 27 is a strut member that is fixed to the floor surface and extends in the vertical direction, and the camera fixing member 28 extends horizontally from the vicinity of the uppermost portion of the strut member 27 toward the upper position of the measurement object 80. It is a beam member. The three-dimensional camera 20 is fixed vertically downward near the tip of the camera fixing member 28 (and above the measurement object 80 and near the center of the top view).

なお、測定対象物が「保持される」状態は、測定対象物が把持される状態に限定されず、摩擦力の作用等によって測定対象物が透明部材51(載置面)上の特定位置に存在し続ける状態(特定位置での存在が維持される状態)等をも含むものとする。 The state in which the measurement object is "held" is not limited to the state in which the measurement object is gripped, and the measurement object is placed at a specific position on the transparent member 51 (mounting surface) due to the action of frictional force or the like. It shall also include a state in which it continues to exist (a state in which its existence at a specific position is maintained).

3次元カメラ20は、ここでは、ステレオ視方式の3次元カメラであり、詳細には、赤外光照射を伴うステレオ視方式の3次元カメラである。3次元カメラ20は、深度情報(距離情報)付き撮影画像を取得する。詳細には、3次元カメラ20は、その赤外光照射部(赤外線投射器)から赤外光(赤外線)を測定対象物80に照射して、当該測定対象物80からの反射光(赤外光)を2つの赤外線画像センサで受光して2枚の赤外光画像(撮影画像)を撮像する。そして、3次元カメラ20は、当該2枚の赤外線画像センサの視差を利用して、一の赤外線画像(撮影画像)の各画素の深度情報(奥行き距離情報)を取得する。 Here, the three-dimensional camera 20 is a stereo-viewing three-dimensional camera, and more specifically, a stereo-viewing three-dimensional camera accompanied by infrared light irradiation. The three-dimensional camera 20 acquires a captured image with depth information (distance information). Specifically, the three-dimensional camera 20 irradiates the measurement object 80 with infrared light (infrared rays) from its infrared light irradiation unit (infrared projector), and reflects light (infrared rays) from the measurement object 80. Light) is received by two infrared image sensors to capture two infrared light images (captured images). Then, the three-dimensional camera 20 acquires the depth information (depth distance information) of each pixel of one infrared image (photographed image) by utilizing the parallax of the two infrared image sensors.

深度情報(奥行き距離情報)の算出処理は、ここでは、3次元カメラ20内に組み込まれたコントローラ等によって実行される。当該コントローラは、コントローラ31(後述)等と同様のハードウエア構成(CPU等)を備える。ただし、これに限定されず、3次元カメラ20内部の当該コントローラではなく、3次元カメラ20外部のコントローラ31(図1)等が、2枚の撮影画像に基づいて奥行き距離情報等を算出してもよい。 The calculation process of the depth information (depth distance information) is executed here by a controller or the like incorporated in the three-dimensional camera 20. The controller has the same hardware configuration (CPU or the like) as the controller 31 (described later) or the like. However, the present invention is not limited to this, and instead of the controller inside the 3D camera 20, the controller 31 (FIG. 1) outside the 3D camera 20 calculates the depth distance information and the like based on the two captured images. May be good.

このようにして、3次元カメラ20は、被写体物体(測定対象物80である荷物等)の撮影画像(赤外光画像)を撮像するとともに、当該撮影画像内の各画素の深度情報(奥行き距離情報)を取得する。なお、撮影画像内の各画素の深度情報は、撮影画像内の各画素に対応する被写体物体までの距離(3次元カメラ20からの距離)の情報であって当該撮影画像に垂直な方向における距離の情報である。換言すれば、当該深度情報は、撮影画像平面の法線方向における距離情報(奥行き距離情報)である。 In this way, the three-dimensional camera 20 captures a captured image (infrared light image) of the subject object (such as a luggage that is the measurement object 80) and depth information (depth distance) of each pixel in the captured image. Information) is acquired. The depth information of each pixel in the captured image is information on the distance to the subject object (distance from the three-dimensional camera 20) corresponding to each pixel in the captured image, and is the distance in the direction perpendicular to the captured image. Information. In other words, the depth information is distance information (depth distance information) in the normal direction of the captured image plane.

また、この3次元カメラ20は、画像センサとして、2つの赤外線画像センサのみならず1つのRGBカラー画像センサをも備えており、2枚の赤外光画像に加えて、可視光画像(カラー画像等)をも撮像する。可視光画像は、たとえば一の赤外線画像の撮影範囲に相当する範囲を撮影した画像である。可視光画像の各画素は当該一の赤外線画像の各画素に対応づけられ、可視光画像の各画素の深度情報もが取得される。なお、可視光画像として、カラー画像ではなく、グレースケール画像等が撮像されてもよい。 Further, the three-dimensional camera 20 includes not only two infrared image sensors but also one RGB color image sensor as an image sensor, and in addition to the two infrared light images, a visible light image (color image). Etc.) are also imaged. The visible light image is, for example, an image obtained by photographing a range corresponding to the photographing range of one infrared image. Each pixel of the visible light image is associated with each pixel of the one infrared image, and depth information of each pixel of the visible light image is also acquired. As the visible light image, a grayscale image or the like may be captured instead of a color image.

なお、ここでは、3次元カメラ20として、赤外光(測定光)を測定対象物に照射して赤外線画像センサーで取得された2つの赤外光画像を用いるステレオ視方式の3次元カメラを例示するが、これに限定されない。たとえば、3次元カメラ20は、測定光として可視光を用いるステレオ視方式の3次元カメラであってもよい。詳細には、当該3次元カメラは、測定対象物にて反射された可視光(自然光の反射光、あるいは白色光源等からの照射光の反射光)による光像を2つのRGBカラー画像センサでそれぞれ撮像した2つのカラー画像(可視光画像)を取得する。そして、当該2つのRGBカラー画像センサの視差を利用して、一の可視光画像(撮影画像)の各画素の深度情報(奥行き距離情報)が取得される。3次元カメラ20は、このような可視光画像を用いるステレオ視方式の3次元カメラであってもよい。あるいは、3次元カメラ20は、ステレオ視方式以外の3次元カメラ、たとえば、TOF(Time of Flight)方式の3次元カメラ等、その他の任意の方式の3次元カメラであってもよい。 Here, as the three-dimensional camera 20, a stereoscopic three-dimensional camera using two infrared light images acquired by an infrared image sensor by irradiating an object to be measured with infrared light (measurement light) is exemplified. However, it is not limited to this. For example, the three-dimensional camera 20 may be a stereo-viewing three-dimensional camera that uses visible light as the measurement light. Specifically, the three-dimensional camera uses two RGB color image sensors to capture an optical image of visible light (reflected natural light or reflected light from a white light source, etc.) reflected by the object to be measured. Two captured color images (visible light images) are acquired. Then, the depth information (depth distance information) of each pixel of one visible light image (captured image) is acquired by utilizing the parallax of the two RGB color image sensors. The three-dimensional camera 20 may be a stereo-viewing three-dimensional camera that uses such a visible light image. Alternatively, the three-dimensional camera 20 may be a three-dimensional camera other than the stereoscopic viewing method, for example, a three-dimensional camera of any other type such as a TOF (Time of Flight) type three-dimensional camera.

3次元カメラ20と寸法算出装置30とは有線接続されており、3次元カメラ20で取得された情報(撮影画像情報および深度情報等)は、所定の接続ケーブルを介して3次元カメラ20から寸法算出装置30に送信される。なお、これに限定されず、3次元カメラ20と寸法算出装置30とは無線接続されてもよい。 The 3D camera 20 and the dimension calculation device 30 are connected by wire, and the information (photographed image information, depth information, etc.) acquired by the 3D camera 20 is dimensioned from the 3D camera 20 via a predetermined connection cable. It is transmitted to the calculation device 30. Not limited to this, the three-dimensional camera 20 and the dimension calculation device 30 may be wirelessly connected.

図2に示されるように、寸法算出装置30は、コントローラ(制御部とも称する)31と記憶部32と操作部35とを備える。 As shown in FIG. 2, the dimension calculation device 30 includes a controller (also referred to as a control unit) 31, a storage unit 32, and an operation unit 35.

コントローラ31は、寸法算出装置30に内蔵される装置であり、3次元カメラ20、重量計40、および寸法算出装置30の動作を制御する装置である。 The controller 31 is a device built into the dimension calculation device 30, and is a device that controls the operations of the three-dimensional camera 20, the weight scale 40, and the dimension calculation device 30.

コントローラ31は、1又は複数のハードウェアプロセッサ(例えば、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit))等を備えるコンピュータシステムとして構成される。コントローラ31は、CPU等において、記憶部(ROMおよび/またはハードディスクなどの不揮発性記憶部)32内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて寸法算出装置30にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて寸法算出装置30にインストールされるようにしてもよい。 The controller 31 is configured as a computer system including one or more hardware processors (for example, a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit)). The controller 31 is various by executing a predetermined software program (hereinafter, also simply referred to as a program) stored in the storage unit (nonvolatile storage unit such as ROM and / or hard disk) 32 in the CPU or the like. Achieve the processing of. The program (specifically, a program module group) may be recorded on a portable recording medium such as a USB memory, read from the recording medium, and installed in the dimension calculation device 30. Alternatively, the program may be downloaded via a communication network or the like and installed in the dimension calculation device 30.

コントローラ31は、測定対象物80に関する撮影画像情報および深度情報を3次元カメラ20から取得する。また、コントローラ31は、撮影画像情報および深度情報に基づき、測定対象物80の表面に関する3Dクラウドデータ(点群データ)(換言すれば、測定対象物80の表面に関する3次元位置情報)を生成(取得)する。そして、コントローラ31は、当該3次元位置情報に基づき、測定対象物80の寸法(幅、奥行き、高さ)を算出する。 The controller 31 acquires the captured image information and the depth information regarding the measurement object 80 from the three-dimensional camera 20. Further, the controller 31 generates 3D cloud data (point group data) (in other words, three-dimensional position information regarding the surface of the measurement object 80) regarding the surface of the measurement object 80 based on the captured image information and the depth information (in other words, the three-dimensional position information regarding the surface of the measurement object 80). get. Then, the controller 31 calculates the dimensions (width, depth, height) of the measurement object 80 based on the three-dimensional position information.

また、コントローラ31は、重量計40によって測定された測定対象物80の重量を取得する。さらに、コントローラ31は、測定対象物80(配送対象物)を配送する際の配送料金等を算出する。 Further, the controller 31 acquires the weight of the measurement object 80 measured by the weight scale 40. Further, the controller 31 calculates a delivery fee and the like when delivering the measurement object 80 (delivery object).

記憶部32は、ハードディスクドライブ(HDD)あるいはソリッドステートドライブ(SSD)等の記憶装置で構成される。記憶部32は、データベース33等を有している。データベース33には、配送サービスの種類、各配送サービスにおける配送対象物のサイズ区分、および当該サイズ区分に応じた料金等が登録されている。 The storage unit 32 is composed of a storage device such as a hard disk drive (HDD) or a solid state drive (SSD). The storage unit 32 has a database 33 and the like. In the database 33, the type of delivery service, the size classification of the delivery object in each delivery service, the charge according to the size classification, and the like are registered.

操作部35は、寸法算出装置30に対する操作入力を受け付ける操作入力部35aと、各種情報の表示出力を行う表示部35bとを備えている。たとえば、操作入力部35a(受付部とも称される)は、配送サービスの種類等の情報の入力を受け付ける。また、表示部35bは、配送対象物の寸法と重量とに関する測定結果、ならびに当該測定結果に基づいて算出された配送料金等を表示する。操作入力部35aとしてはマウス、キーボード等が用いられ、表示部35bとしてはディスプレイ(液晶ディスプレイ等)が用いられる。また、操作入力部35aの一部としても機能し且つ表示部35bの一部としても機能するタッチパネルが設けられてもよい。 The operation unit 35 includes an operation input unit 35a for receiving an operation input to the dimension calculation device 30, and a display unit 35b for displaying and outputting various information. For example, the operation input unit 35a (also referred to as a reception unit) receives input of information such as the type of delivery service. In addition, the display unit 35b displays a measurement result regarding the dimensions and weight of the delivery object, a delivery charge calculated based on the measurement result, and the like. A mouse, keyboard, or the like is used as the operation input unit 35a, and a display (liquid crystal display or the like) is used as the display unit 35b. Further, a touch panel that also functions as a part of the operation input unit 35a and also as a part of the display unit 35b may be provided.

なお、寸法算出装置30は、撮影画像等に基づく処理を実行する装置であることから、画像処理装置であるとも表現される。 Since the dimension calculation device 30 is a device that executes processing based on a captured image or the like, it is also expressed as an image processing device.

<1-2.保持部50等>
図1に示されるように、保持部50は、板状の透明部材51を備えて構成される。透明部材51は、たとえば、透明のアクリル樹脂で形成された板状部材(端的に言えば、透明アクリル板)である。透明部材51は、所定値B以上(たとえば、1cm~数cm)の厚みを有する。透明部材51の上面(平面)51aには測定対象物80が載置される。当該上面51aは、測定対象物80の載置面(載置平面)であるとも表現される。測定対象物80は、透明部材51の上面51a(水平面)に載置されることによって、保持部50に保持される。
<1-2. Holding part 50 etc.>
As shown in FIG. 1, the holding portion 50 includes a plate-shaped transparent member 51. The transparent member 51 is, for example, a plate-shaped member (in short, a transparent acrylic plate) made of a transparent acrylic resin. The transparent member 51 has a thickness of a predetermined value B or more (for example, 1 cm to several cm). The object to be measured 80 is placed on the upper surface (flat surface) 51a of the transparent member 51. The upper surface 51a is also expressed as a mounting surface (mounting plane) of the measurement object 80. The object to be measured 80 is held by the holding portion 50 by being placed on the upper surface 51a (horizontal plane) of the transparent member 51.

第1実施形態では、3次元カメラ20の視野内にて測定対象物80の近傍領域(図3の破線で囲まれる領域等)に存在する所定面61(視野内近傍面(後述))として、重量計40の上面42を例示する。なお、図3は、保持部50および当該保持部50に保持されている測定対象物80等を上から見た上面図である。換言すれば、図3は、測定対象物80付近をカメラ視線方向から見た図である。 In the first embodiment, as a predetermined surface 61 (near surface in the field of view (described later)) existing in a region near the object to be measured 80 (area surrounded by a broken line in FIG. 3 or the like) in the field of view of the three-dimensional camera 20. The upper surface 42 of the weighing scale 40 is illustrated. Note that FIG. 3 is a top view of the holding portion 50 and the measurement object 80 or the like held by the holding portion 50 as viewed from above. In other words, FIG. 3 is a view of the vicinity of the object to be measured 80 as viewed from the direction of the line of sight of the camera.

図1に示されるように、透明部材51は重量計40の上に配置される。具体的には、透明部材51は、重量計40と測定対象物80との間、詳細には、重量計40の上面42と測定対象物80の下面83との間に設けられる。これによって、図4等に示されるように、所定の距離B(たとえば、1cm~数cm)以上の間隙(光学上の間隙(測定光の光路差))が、重量計40の上面42と測定対象物80の下面83との間に生じる。換言すれば、測定対象物80は、重量計40の上面42に接していない。測定対象物80は、3次元カメラ20の視線方向において所定面61(ここでは重量計40の上面42)から3次元カメラ20側に所定の距離B以上離間した状態で、透明部材51(その上面51a)上に載置(保持)される。透明部材51は、重量計40の上面42(視野内近傍面61)と測定対象物80の下面83との間に間隙を形成するための部材であり、間隙部材とも称される。なお、図4の上段には、測定対象物80付近の縦断面(YZ平面に平行な縦断面)が示されており、図4の下段には、当該縦断面における測定対象物80の表面までの距離情報E等が示されている。 As shown in FIG. 1, the transparent member 51 is placed on the weighing scale 40. Specifically, the transparent member 51 is provided between the weighing scale 40 and the measuring object 80, specifically, between the upper surface 42 of the weighing scale 40 and the lower surface 83 of the measuring object 80. As a result, as shown in FIG. 4 and the like, a gap (optical gap (optical path difference of measurement light)) of a predetermined distance B (for example, 1 cm to several cm) or more is measured with the upper surface 42 of the weighing scale 40. It occurs between the object 80 and the lower surface 83. In other words, the object to be measured 80 is not in contact with the upper surface 42 of the weighing scale 40. The object to be measured 80 is a transparent member 51 (upper surface thereof) in a state of being separated from a predetermined surface 61 (here, the upper surface 42 of the weight scale 40) by a predetermined distance B or more on the 3D camera 20 side in the line-of-sight direction of the three-dimensional camera 20. 51a) Placed (held) on. The transparent member 51 is a member for forming a gap between the upper surface 42 (near surface 61 in the field of view) of the weighing scale 40 and the lower surface 83 of the object to be measured 80, and is also referred to as a gap member. The upper part of FIG. 4 shows a vertical cross section (vertical cross section parallel to the YZ plane) near the measurement object 80, and the lower part of FIG. 4 shows the surface of the measurement object 80 in the vertical cross section. Distance information E and the like are shown.

所定面61は、3次元カメラ20の視野内(図3参照)にて測定対象物の近傍領域(隣接領域)に存在する(配置される)面であり、視野内近傍面(ないし近傍配置面)61とも称される。視野内近傍面61は、3次元カメラ20の視野内において、測定対象物80までの距離を測定するための光(赤外光あるいは可視光等)を3次元カメラ20へと向けて反射し得る位置(特に測定対象物の近傍領域)に存在する面である、とも表現される。また、視野内近傍面61は、測定対象物80までの距離を測定するための光を、上面視等における測定対象物80の近傍領域内にて3次元カメラ20へと向けて反射し得る面である、とも表現される。 The predetermined surface 61 is a surface existing (arranged) in the vicinity region (adjacent region) of the object to be measured in the field of view (see FIG. 3) of the three-dimensional camera 20, and is a near surface in the field of view (or a nearby arrangement surface). ) 61. The near surface 61 in the field of view can reflect light (infrared light, visible light, etc.) for measuring the distance to the object to be measured 80 toward the three-dimensional camera 20 in the field of view of the three-dimensional camera 20. It is also expressed as a surface existing at a position (particularly a region near an object to be measured). Further, the in-field near surface 61 is a surface capable of reflecting light for measuring the distance to the measurement object 80 toward the three-dimensional camera 20 within the vicinity region of the measurement object 80 in top view or the like. It is also expressed as.

ここで比較例(第1および第2の比較例)に係る技術について説明する。 Here, the techniques related to the comparative examples (first and second comparative examples) will be described.

図23は、第1の比較例に係る技術を示す図である。この第1の比較例では、図23の上側に示すように、(図4等と比較すると判るように)透明部材51が設けられておらず、重量計40の上面42に測定対象物80が直接載置されている。 FIG. 23 is a diagram showing a technique according to the first comparative example. In this first comparative example, as shown in the upper side of FIG. 23, the transparent member 51 is not provided (as can be seen in comparison with FIG. 4 and the like), and the measurement object 80 is placed on the upper surface 42 of the weight scale 40. It is placed directly.

また、図23の下側のグラフは、YZ平面に平行な縦断面における距離データ(3次元カメラ20からの距離E)を示している。当該グラフに示されるように、基本的には、測定対象物80の存在部分における距離Eは、測定対象物80の非存在部分における距離Eよりも小さい。ただし、当該グラフに示されるように、測定対象物80の近傍領域(特に測定対象物80の右外側)付近において、測定対象物80の上面右側端部における測定距離Eと重量計40の上面42における測定距離Eとの差は小さい(微差である)。また、3次元カメラ20による測距誤差(たとえば数ミリ~十数ミリ程度)が測距結果に含まれることがある。第1の比較例においては、当該近傍領域付近にて測距誤差等が存在する場合、測定対象物80の右側上面端部と重量計40の上面42とを適切に区別することが困難である。 The lower graph of FIG. 23 shows the distance data (distance E from the three-dimensional camera 20) in the vertical cross section parallel to the YZ plane. As shown in the graph, basically, the distance E in the existing portion of the measurement object 80 is smaller than the distance E in the non-existing portion of the measurement object 80. However, as shown in the graph, in the vicinity of the area near the measurement object 80 (particularly the right outer side of the measurement object 80), the measurement distance E at the upper right end of the measurement object 80 and the upper surface 42 of the weight scale 40. The difference from the measurement distance E in is small (a slight difference). Further, the distance measurement error by the three-dimensional camera 20 (for example, about several millimeters to a dozen millimeters) may be included in the distance measurement result. In the first comparative example, when a distance measurement error or the like exists in the vicinity of the vicinity region, it is difficult to properly distinguish the right upper surface end portion of the measurement object 80 and the upper surface 42 of the weight scale 40. ..

あるいは、図24に示される第2の比較例においても同様の問題が生じ得る。第2の比較例では、3次元カメラ20の視線方向に垂直な平面910であって3次元カメラ20から所定距離H0離れた平面910が、重量計40の上面42とみなされる。そして、当該平面910よりも所定程度(たとえば数mm(ミリメートル))以上上方に存在する物体が測定対象物80とみなされる。このような技術において、図24に示されるように、3次元カメラ20の視線方向が鉛直方向に対して微少角度(たとえば1度~3度)傾斜している(若干の誤差を有している)ことがある。このような場合、平面910の右側が重量計40の上面42よりも下側にまで食い込むため、上面42のうち測定対象物80の右側近傍領域を測定対象物80の一部であると誤判定することが生じ得る。すなわち、測定対象物80の上面右側端部と重量計40の上面42とを適切に区別することが困難である。 Alternatively, a similar problem may occur in the second comparative example shown in FIG. 24. In the second comparative example, the plane 910 perpendicular to the line-of-sight direction of the three-dimensional camera 20 and the plane 910 separated from the three-dimensional camera 20 by a predetermined distance H0 is regarded as the upper surface 42 of the weighing scale 40. Then, an object existing above the plane surface 910 by a predetermined degree (for example, several mm (millimeters)) or more is regarded as the measurement object 80. In such a technique, as shown in FIG. 24, the line-of-sight direction of the three-dimensional camera 20 is tilted by a slight angle (for example, 1 degree to 3 degrees) with respect to the vertical direction (having a slight error). )Sometimes. In such a case, since the right side of the plane 910 bites into the lower side of the upper surface 42 of the weighing scale 40, it is erroneously determined that the region near the right side of the measurement object 80 on the upper surface 42 is a part of the measurement object 80. Can occur. That is, it is difficult to properly distinguish the right end of the upper surface of the object to be measured 80 and the upper surface 42 of the weighing scale 40.

これらの比較例における上述の問題は、3次元カメラの視線方向において、視野内近傍面61(上面42)と測定対象物80の上面82内の右側端部とが非常に近接していること(図23等参照)等に起因して生じる。 The above-mentioned problem in these comparative examples is that the near surface 61 (upper surface 42) in the field of view and the right end portion in the upper surface 82 of the measurement object 80 are very close to each other in the line-of-sight direction of the three-dimensional camera ( It is caused by (see FIG. 23, etc.) and the like.

一方、この実施形態では、図4に示されるように、測定対象物80は、視野内近傍面61(ここでは重量計40の上面42)から、3次元カメラ20の視線方向において3次元カメラ20側に所定の距離B以上離間した状態で、保持部50に保持されている。端的に言えば、測定対象物80は、カメラ視線方向手前側に向かって視野内近傍面61から浮いた状態で保持部50に保持されている。なお、所定の距離Bは、測距誤差の大きさ等に応じて適宜の値(たとえば、1cm~数cm(センチメートル))に定められればよい。 On the other hand, in this embodiment, as shown in FIG. 4, the measurement object 80 is the three-dimensional camera 20 in the line-of-sight direction of the three-dimensional camera 20 from the in-field near surface 61 (here, the upper surface 42 of the weight scale 40). It is held by the holding portion 50 in a state of being separated from the side by a predetermined distance B or more. To put it simply, the object to be measured 80 is held by the holding portion 50 in a state of being floated from the near surface 61 in the field of view toward the front side in the camera line-of-sight direction. The predetermined distance B may be set to an appropriate value (for example, 1 cm to several cm (centimeter)) according to the magnitude of the distance measurement error and the like.

換言すれば、視野内近傍面61は、3次元カメラ20の視線方向において当該視線方向奥側に向けて測定対象物80の上面右側端部および下面83から所定の距離B以上離間した状態で、配置されている。具体的には、重量計40の上面42が、視野内近傍面61として、測定対象物80の載置面(透明部材51の上面51a)よりも更に(一定程度の距離を空けた状態で)下方に設けられている。謂わば、視野内近傍面61は、測定対象物80よりも3次元カメラ20の視線方向奥側(図4の下側)において、測定対象物80(詳細には、当該視線方向における測定対象物80の最も奥側の部分(下面83))に対して段差を有する状態で配置されている。なお、視野内近傍面61のうち、このような段差を有する状態で配置される視野内近傍面61は、段差配置面とも称される。 In other words, the in-field near surface 61 is separated from the upper right end of the measurement object 80 and the lower surface 83 by a predetermined distance B or more toward the back side in the line-of-sight direction of the three-dimensional camera 20. Have been placed. Specifically, the upper surface 42 of the weigh scale 40 serves as a near surface 61 in the field of view, and is further than the mounting surface of the object to be measured 80 (upper surface 51a of the transparent member 51) (with a certain distance). It is provided below. So to speak, the near-field 61 in the field of view is a measurement object 80 (specifically, a measurement object in the line-of-sight direction) on the back side (lower side of FIG. 4) of the three-dimensional camera 20 in the line-of-sight direction of the measurement object 80. It is arranged so as to have a step with respect to the innermost portion (lower surface 83) of the 80. Of the in-field near surfaces 61, the in-field near surface 61 arranged with such a step is also referred to as a step arrangement surface.

このような態様においては、重量計40の上面42(視野内近傍面61)と測定対象物80の下面83とは所定の距離B以上離間している。それ故、視野内近傍面61と測定対象物80の上面右側端部との間に一定程度以上のギャップ(測定光の光路差)を形成することが可能である(図4参照)。したがって、当該ギャップを利用して測定誤差等の影響(図23および図24参照)を抑制し、測定対象物80の上面右側端部と重量計40の上面42とを適切に区別することが可能である。たとえば、透明部材51の厚み方向中央位置を通る平面(XY平面)51pよりも上側(視線方向手前側)に存在する点群のみが、測定対象物80の上面82内の点群として判定されればよい。これによれば、たとえば値Bの半分程度の大きさまでの測定誤差等の影響(図23および図24参照)を抑制し、測定対象物80の上面82と重量計40の上面42とを適切に区別することが可能である。ひいては、測定対象物80の上面領域を正確に抽出し、測定対象物80の寸法を正確に測定することが可能である。 In such an embodiment, the upper surface 42 of the weigh scale 40 (near surface 61 in the field of view) and the lower surface 83 of the object to be measured 80 are separated by a predetermined distance B or more. Therefore, it is possible to form a gap (optical path difference of the measurement light) of a certain degree or more between the near surface in the visual field 61 and the right end of the upper surface of the object to be measured 80 (see FIG. 4). Therefore, it is possible to suppress the influence of measurement error and the like (see FIGS. 23 and 24) by using the gap, and appropriately distinguish the upper right end of the measurement object 80 from the upper surface 42 of the weight scale 40. Is. For example, only the point cloud existing above the plane (XY plane) 51p passing through the center position in the thickness direction of the transparent member 51 (front side in the line-of-sight direction) is determined as the point cloud in the upper surface 82 of the measurement object 80. Just do it. According to this, for example, the influence of measurement error up to about half the size of the value B (see FIGS. 23 and 24) is suppressed, and the upper surface 82 of the measurement object 80 and the upper surface 42 of the weighing scale 40 are appropriately aligned. It is possible to distinguish. As a result, it is possible to accurately extract the upper surface region of the measurement object 80 and accurately measure the dimensions of the measurement object 80.

<1-3.コントローラ31等における処理等>
図5は、寸法算出装置30(詳細にはコントローラ31)等における処理を示すフローチャートである。以下、図5を参照しつつ当該処理について説明する。なお、保持部50に固定された座標系Σ2(後述)に関するキャリブレーション(透明部材51の上面51aの3次元位置等に関するキャリブレーション)は、図5の処理開始前において既に実行されている(完了している)ものとする。
<1-3. Processing in controller 31 etc.>
FIG. 5 is a flowchart showing processing in the dimension calculation device 30 (specifically, the controller 31) and the like. Hereinafter, the process will be described with reference to FIG. The calibration for the coordinate system Σ2 (described later) fixed to the holding portion 50 (calibration for the three-dimensional position of the upper surface 51a of the transparent member 51) has already been executed before the start of the process of FIG. 5 (completed). It is assumed that it is.

ステップS11において、寸法算出装置30(コントローラ31)は、測定対象物80(ここでは、配送対象の荷物)の種類、および配送サービスの種類等の情報に関する操作入力(ユーザによる操作入力)を受け付ける。たとえば、一般荷物、精密機器、要冷蔵物、要冷凍物、ゴルフ用品、スキー用品などの荷物種類に関する情報、ならびに、片道配送、往復配送、冷蔵配送、冷凍配送などの配送サービス種類に関する情報が入力される。あるいは、荷物種類と配送サービス種類との一定の組み合わせに係る情報が入力されてもよい。 In step S11, the dimension calculation device 30 (controller 31) receives an operation input (operation input by the user) regarding information such as the type of the measurement object 80 (here, the package to be delivered) and the type of the delivery service. For example, enter information about luggage types such as general luggage, precision equipment, refrigerated items, frozen items, golf equipment, ski equipment, and delivery service types such as one-way delivery, round-trip delivery, refrigerated delivery, and frozen delivery. Will be done. Alternatively, information relating to a certain combination of the package type and the delivery service type may be input.

次に、ステップS12において、3次元カメラ20は、保持部50に保持された測定対象物80に関する撮影画像および深度情報を生成し、コントローラ31に受け渡す。コントローラ31は、このような撮影画像および深度情報に基づいて、測定対象物80の表面(ひょうめん)に関する3次元データ(ポイントクラウドデータ(点群データ))を生成する。換言すれば、コントローラ31は、被写体物体(測定対象物80)の各部分(各表面部分)の撮影画像内での平面位置に関する情報と当該各部分までの距離情報(奥行き情報)とに基づいて、各部分の3次元位置情報(実空間内での3次元位置情報)を取得する。 Next, in step S12, the three-dimensional camera 20 generates a photographed image and depth information regarding the measurement object 80 held by the holding unit 50, and delivers the captured image and depth information to the controller 31. The controller 31 generates three-dimensional data (point cloud data (point cloud data)) regarding the surface (hyomen) of the measurement object 80 based on such captured images and depth information. In other words, the controller 31 is based on information on the plane position of each part (each surface part) of the subject object (measurement object 80) in the captured image and distance information (depth information) to each part. , Acquires three-dimensional position information (three-dimensional position information in real space) of each part.

詳細には、コントローラ31は、各部分の3次元位置情報(実空間内での3次元位置情報)を、座標系Σ2で表現された情報として取得する。具体的には、コントローラ31は、カメラ座標系Σ1での位置情報(撮影画像内での平面位置および撮影画像の法線方向における奥行き位置)を、作業空間(たとえば透明部材51の上面51a)に対して固定された座標系Σ2での3次元位置情報へと変換する。カメラ座標系Σ1は、たとえば、撮影画像平面に平行な直交2軸と当該撮影画像平面に垂直な方向に伸びる1軸との直交3軸を基準とする3次元直交座標系である。また、変換後の座標系Σ2は、たとえば、透明部材51の上面51aに平行な直交2軸(XY軸)と当該直交2軸に垂直な方向(高さ方向)に伸びる1軸(Z軸)との直交3軸を基準とする3次元直交座標系である。図1および図3等においては、変換後の座標系Σ2の一例として、透明部材51の上面51aに固定されたXYZ直交座標系が示されている。 Specifically, the controller 31 acquires the three-dimensional position information (three-dimensional position information in the real space) of each part as the information expressed by the coordinate system Σ2. Specifically, the controller 31 transfers the position information in the camera coordinate system Σ1 (the plane position in the captured image and the depth position in the normal direction of the captured image) to the work space (for example, the upper surface 51a of the transparent member 51). On the other hand, it is converted into three-dimensional position information in the fixed coordinate system Σ2. The camera coordinate system Σ1 is, for example, a three-dimensional orthogonal coordinate system based on three orthogonal axes of two orthogonal axes parallel to the captured image plane and one axis extending in a direction perpendicular to the captured image plane. Further, the coordinate system Σ2 after conversion is, for example, two orthogonal axes (XY axes) parallel to the upper surface 51a of the transparent member 51 and one axis (Z axis) extending in a direction perpendicular to the two orthogonal axes (height direction). It is a three-dimensional Cartesian coordinate system based on three axes orthogonal to and. In FIGS. 1 and 3, and the like, an XYZ Cartesian coordinate system fixed to the upper surface 51a of the transparent member 51 is shown as an example of the coordinate system Σ2 after conversion.

このようにして、コントローラ31は、測定対象物80の各部分の3次元位置情報を取得(算出)する。具体的には、ポイントクラウドデータ(点群データ)における各微小領域(撮影画像の各画素に対応する微小部分(微小領域))の3次元位置の情報が取得される。この際、上述したように、測定対象物80の各部分と当該測定対象物80の近傍領域(測定対象物80ではない領域)とが、透明部材51の厚みによって生成された間隙(ギャップ)によって良好に区別される。これにより、測定対象物80の各部分の点群データ(換言すれば、測定対象物80の表面の3次元位置情報)が、当該測定対象物80の近傍領域の点群データから良好に区別された状態で取得される。 In this way, the controller 31 acquires (calculates) the three-dimensional position information of each part of the measurement object 80. Specifically, information on the three-dimensional position of each minute region (small portion (micro region) corresponding to each pixel of the captured image) in the point cloud data (point cloud data) is acquired. At this time, as described above, each part of the measurement object 80 and the region near the measurement object 80 (the region other than the measurement object 80) are separated by the gap created by the thickness of the transparent member 51. Well distinguished. As a result, the point group data of each part of the measurement object 80 (in other words, the three-dimensional position information of the surface of the measurement object 80) is well distinguished from the point group data of the vicinity region of the measurement object 80. It is acquired in the state of being.

次のステップS13において、コントローラ31は、測定対象物80の表面の3次元位置情報に基づき、測定対象物80の寸法を算出する。 In the next step S13, the controller 31 calculates the dimensions of the measurement object 80 based on the three-dimensional position information on the surface of the measurement object 80.

具体的には、まず、コントローラ31は、測定対象物80のポイントクラウドデータ(点群データ)を射影変換した射影画像221(不図示)を生成する。射影画像221は、当該ポイントクラウドデータを透明部材51の上面51aの法線方向に沿って当該上面51a(詳細には、上面51aを含む平面)に対して平行射影した画像である。 Specifically, first, the controller 31 generates a projected image 221 (not shown) obtained by projecting and transforming the point cloud data (point cloud data) of the measurement object 80. The projected image 221 is an image in which the point cloud data is projected in parallel to the upper surface 51a (specifically, a plane including the upper surface 51a) along the normal direction of the upper surface 51a of the transparent member 51.

そして、コントローラ31は、この射影画像221に基づいて、測定対象物80の寸法のうち、上面51aに平行な2つの成分(たとえば、幅W(X方向成分)および奥行きD(Y方向成分))を算出する(図3参照)。より詳細には、たとえば、射影画像221の外接矩形が求められるとともに、当該外接矩形の大きさ(幅Wおよび奥行きD)が算出される。 Then, based on the projected image 221 the controller 31 has two components (for example, width W (X direction component) and depth D (Y direction component)) parallel to the upper surface 51a of the dimensions of the object to be measured 80. Is calculated (see FIG. 3). More specifically, for example, the circumscribed rectangle of the projected image 221 is obtained, and the sizes (width W and depth D) of the circumscribed rectangle are calculated.

さらに、コントローラ31は、測定対象物80のポイントクラウドデータのうち、透明部材51の上面51aから最も上側に離れて存在するデータのZ方向位置を求め、当該Z方向位置と上面51aのZ方向位置との差分値を測定対象物80の高さHとして算出する。なお、これに限定されず、たとえば、当該ポイントクラウドデータのうち、上面51aからの距離が上位10%の点群が求められ、当該点群の上面51aからの距離の平均値が高さHとして算出されてもよい。上面51aは、測定対象物80のZ方向の大きさ(高さH)を決定する際の基準面として機能する。 Further, the controller 31 obtains the Z-direction position of the data existing at the uppermost side from the upper surface 51a of the transparent member 51 among the point cloud data of the measurement object 80, and the Z-direction position and the Z-direction position of the upper surface 51a. The difference value with and is calculated as the height H of the object to be measured 80. The point cloud is not limited to this, and for example, a point cloud having a distance from the upper surface 51a of the top 10% is obtained from the point cloud data, and the average value of the distances from the upper surface 51a of the point cloud is defined as the height H. It may be calculated. The upper surface 51a functions as a reference surface for determining the size (height H) of the object to be measured 80 in the Z direction.

このようにして、測定対象物80(配送対象物)の寸法(サイズ情報)(W,D,H)が測定されて取得される。 In this way, the dimensions (size information) (W, D, H) of the measurement object 80 (delivery object) are measured and acquired.

次のステップS14において、コントローラ31は、重量計40による測定結果(測定対象物80の重量)を取得する。 In the next step S14, the controller 31 acquires the measurement result (weight of the object to be measured 80) by the weight scale 40.

そして、ステップS15において、コントローラ31は、ステップS11で入力された種類情報等とステップS13で算出された寸法情報とステップS14で取得された重量情報とに基づき、配送サービス料金を算出する。より具体的には、データベース33内に記憶された料金情報(サービス種類および荷物種類ごとに、寸法および重量に応じて定められた料金情報)と測定対象物80の寸法および重量等に基づき、配送サービス料金が算出される。 Then, in step S15, the controller 31 calculates the delivery service charge based on the type information and the like input in step S11, the dimensional information calculated in step S13, and the weight information acquired in step S14. More specifically, delivery is based on the charge information (charge information determined according to the dimensions and weight for each service type and baggage type) stored in the database 33 and the dimensions and weight of the measurement object 80. The service fee is calculated.

さらに、ステップS16において、コントローラ31は、配送サービス種類および荷物種類、測定対象物80(配送対象物)の寸法情報(W,H,D)および重量、ならびに配送サービス料金等を表示部35bに表示する。 Further, in step S16, the controller 31 displays the delivery service type and the package type, the dimensional information (W, H, D) and the weight of the measurement object 80 (delivery object), the delivery service charge, and the like on the display unit 35b. do.

以上のような処理が寸法測定装置10において行われる。これによれば、上述したように、測定対象物80が、紙袋あるいは封筒等のような薄いものであっても、当該測定対象物80の寸法を正確に測定することが可能である。換言すれば、より多様な測定対象物の寸法を正確に測定することが可能である。 The above processing is performed in the dimension measuring device 10. According to this, as described above, even if the measurement object 80 is a thin object such as a paper bag or an envelope, the dimensions of the measurement object 80 can be accurately measured. In other words, it is possible to accurately measure the dimensions of a wider variety of measurement objects.

<1-4.変形例等>
上記第1実施形態では、視野内近傍面61として、重量計40の上面42を例示した。この上面42には、所定の模様(ランダムドットあるいはランダム模様(図7参照))が施されてもよい。当該模様が施された面は、模様面61aとも称される。なお、図7は、保持部50および当該保持部50に保持されている測定対象物80等を上から見た図(上面図)である。
<1-4. Modification example>
In the first embodiment, the upper surface 42 of the weighing scale 40 is illustrated as the near surface 61 in the field of view. A predetermined pattern (random dots or a random pattern (see FIG. 7)) may be applied to the upper surface 42. The surface on which the pattern is applied is also referred to as a pattern surface 61a. Note that FIG. 7 is a top view (top view) of the holding portion 50 and the measurement object 80 or the like held by the holding portion 50.

ここにおいて、仮に視野内近傍面61が無模様である場合、ステレオ視方式の3次元カメラ20では、視野内近傍面61のステレオ画像相互間での各画素の対応関係が不正確になり、当該無模様の部分の3次元位置の測定が不安定になることがある。 Here, if the in-field near-plane surface 61 is unpatterned, in the stereoscopic three-dimensional camera 20, the correspondence between the stereo images of the in-field near-plane 61 becomes inaccurate, and the correspondence is inaccurate. The measurement of the three-dimensional position of the unpatterned part may become unstable.

これに対して、視野内近傍面61(模様面61a)に所定の模様が施されることによれば、ステレオ画像相互間での各画素の対応関係がより正確になり、視野内近傍面61(模様面61a)までの奥行き距離をより正確に取得することが可能である。それ故、測定対象物80までの奥行き距離と模様面61aまでの奥行き距離とが明確に互いに異なる状態で取得され、模様面61aと測定対象物80の上面82とをより適切に分離することが可能である。ひいては、測定対象物80の寸法を更に正確に測定することが可能である。なお、図7では、外観の意匠性を考慮した大理石調の模様が例示されているが、これに限定されず、木目調の模様、あるいはランダムドット模様等であってもよい。 On the other hand, when a predetermined pattern is applied to the near-field surface 61 (pattern surface 61a) in the field of view, the correspondence relationship of each pixel between the stereo images becomes more accurate, and the near-field surface 61 in the field of view 61. It is possible to more accurately acquire the depth distance to (pattern surface 61a). Therefore, the depth distance to the measurement object 80 and the depth distance to the pattern surface 61a are obtained in clearly different states, and the pattern surface 61a and the upper surface 82 of the measurement object 80 can be separated more appropriately. It is possible. As a result, the dimensions of the object to be measured 80 can be measured more accurately. Note that FIG. 7 exemplifies a marble-like pattern in consideration of the design of the appearance, but the present invention is not limited to this, and a wood-grain pattern, a random dot pattern, or the like may be used.

あるいは、視野内近傍面61は、透明部材51の下面51b(図1)であってもよい。たとえば、透明部材51の下面51bに所定の模様が施されてもよい。換言すれば、透明部材51の下面51bが模様面61aであってもよい。 Alternatively, the near-viewing surface 61 may be the lower surface 51b (FIG. 1) of the transparent member 51. For example, a predetermined pattern may be applied to the lower surface 51b of the transparent member 51. In other words, the lower surface 51b of the transparent member 51 may be the pattern surface 61a.

あるいは、図6に示されるように、重量計40の上面42と透明部材51の下面51bとの間に配置された板状部材54(図6参照)(あるいは膜状部材(シート))の上面が、視野内近傍面61であってもよい。たとえば、当該板状部材54の上面等に所定の模様が施されてもよい。換言すれば、板状部材54の上面等が模様面61aであってもよい。 Alternatively, as shown in FIG. 6, the upper surface of the plate-shaped member 54 (see FIG. 6) (or the film-like member (sheet)) arranged between the upper surface 42 of the weighing scale 40 and the lower surface 51b of the transparent member 51. However, it may be the near surface 61 in the visual field. For example, a predetermined pattern may be applied to the upper surface of the plate-shaped member 54 or the like. In other words, the upper surface of the plate-shaped member 54 or the like may be the pattern surface 61a.

<2.第2実施形態>
第2実施形態は、第1実施形態の変形例である。以下では、第1実施形態との相違点を中心に説明する。
<2. Second Embodiment>
The second embodiment is a modification of the first embodiment. Hereinafter, the differences from the first embodiment will be mainly described.

上記第1実施形態においては、3次元カメラ20の視線方向と測定対象物80の載置面(透明部材51の上面51a)とが垂直、換言すれば、3次元カメラ20の視線方向と測定対象物80の載置面(透明部材51の上面51a)の法線方向とが平行である。その結果、基本的には、当該載置面に載置された測定対象物80の上面82の3次元位置情報(ポイントクラウドデータ)が取得される。換言すれば、測定対象物80(たとえば略直方体形状の測定対象物80)の4つの側面84c~84f(図8および図9参照)および下面83(底面)の表面の3次元位置情報(ポイントクラウドデータ)は取得されない。 In the first embodiment, the line-of-sight direction of the three-dimensional camera 20 and the mounting surface of the measurement object 80 (upper surface 51a of the transparent member 51) are vertical, in other words, the line-of-sight direction of the three-dimensional camera 20 and the measurement target. The normal direction of the mounting surface of the object 80 (the upper surface 51a of the transparent member 51) is parallel. As a result, basically, the three-dimensional position information (point cloud data) of the upper surface 82 of the measurement object 80 placed on the mounting surface is acquired. In other words, the three-dimensional position information (point cloud) of the four side surfaces 84c to 84f (see FIGS. 8 and 9) and the surface of the lower surface 83 (bottom surface) of the measurement object 80 (for example, the measurement object 80 having a substantially rectangular cuboid shape). Data) is not acquired.

一方、この第2実施形態においては、図8に示されるように、3次元カメラ20の視線方向と測定対象物80の載置面(透明部材71の上面71a)の法線方向とが相対的に傾斜している構成について例示する。このような構成においては、測定対象物80の上面82の点群の3次元位置情報のみならず、測定対象物80の4つの側面84c~84fのうちの一の側面84c(図9も参照)の点群の3次元位置情報もが、3次元カメラ20等によって取得される。そして、測定対象物80に関する2つの面82,84cの3次元位置情報に基づき、測定対象物80の寸法が測定される。このような態様によれば、異なる2つの方向からの異なる2つの射影画像を生成すること等が可能であり、より正確に寸法を測定することが可能である。 On the other hand, in the second embodiment, as shown in FIG. 8, the line-of-sight direction of the three-dimensional camera 20 and the normal direction of the mounting surface (upper surface 71a of the transparent member 71) of the measurement object 80 are relative to each other. An example of a configuration inclined to. In such a configuration, not only the three-dimensional position information of the point group of the upper surface 82 of the measurement object 80 but also the side surface 84c of one of the four side surfaces 84c to 84f of the measurement object 80 (see also FIG. 9). The three-dimensional position information of the point group of is also acquired by the three-dimensional camera 20 or the like. Then, the dimensions of the measurement object 80 are measured based on the three-dimensional position information of the two surfaces 82 and 84c with respect to the measurement object 80. According to such an aspect, it is possible to generate two different projected images from two different directions, and it is possible to measure the dimensions more accurately.

なお、図8は、第2実施形態に係る寸法測定装置10(10Bとも称する)を示す側面図である。また、図9は、第2実施形態に係る3次元カメラ20(20B)から見た測定対象物80付近の様子を示す図である。第2実施形態でも保持部50(50B)に固定されたXYZ直交座標系(Σ2)が採用されるものとする。ただし、図8に示されるように、第2実施形態におけるXYZ直交座標系(Σ2)は、第1実施形態におけるXYZ直交座標系(Σ2)をX軸周りに(反時計回りに)回転した座標系である。図8等においては、座標系Σ2におけるX軸、Y軸およびZ軸の各方向を示すことに主眼を置いて図示しており、座標系Σ2の原点位置は正確ではない。座標系Σ2の原点は適宜の位置に設けられればよい。 Note that FIG. 8 is a side view showing the dimension measuring device 10 (also referred to as 10B) according to the second embodiment. Further, FIG. 9 is a diagram showing a state in the vicinity of the measurement object 80 as seen from the three-dimensional camera 20 (20B) according to the second embodiment. It is assumed that the XYZ Cartesian coordinate system (Σ2) fixed to the holding portion 50 (50B) is also adopted in the second embodiment. However, as shown in FIG. 8, the XYZ Cartesian coordinate system (Σ2) in the second embodiment is the coordinates obtained by rotating the XYZ Cartesian coordinate system (Σ2) in the first embodiment around the X axis (counterclockwise). It is a system. In FIG. 8 and the like, the illustration is made with a focus on showing the directions of the X-axis, the Y-axis, and the Z-axis in the coordinate system Σ2, and the origin position of the coordinate system Σ2 is not accurate. The origin of the coordinate system Σ2 may be provided at an appropriate position.

第2実施形態における3次元カメラ20の視線方向は、鉛直方向に対して(図8の時計回りに)所定程度(たとえば15度)傾いている。具体的には、3次元カメラ20は、測定対象物80よりも上方(詳細には、測定対象物80の斜め上方)の位置に取り付けられている。より具体的には、3次元カメラ20は、図8の斜め右上から、斜め左下の測定対象物80を撮影するように配置されている。 The line-of-sight direction of the three-dimensional camera 20 in the second embodiment is tilted by a predetermined degree (for example, 15 degrees) with respect to the vertical direction (clockwise in FIG. 8). Specifically, the three-dimensional camera 20 is attached at a position above the measurement object 80 (specifically, diagonally above the measurement object 80). More specifically, the three-dimensional camera 20 is arranged so as to photograph the measurement object 80 at the lower left diagonally from the upper right diagonally in FIG.

また、第2実施形態の寸法測定装置10Bの保持部50(50Bとも称する)は、透明部材71,72を備えている。透明部材71,72は、それぞれ第1実施形態に係る透明部材51と同様の部材である。透明部材71の上面71aは、測定対象物80が載置される面であることから、測定対象物80の載置面とも表現される。 Further, the holding portion 50 (also referred to as 50B) of the dimension measuring device 10B of the second embodiment includes transparent members 71 and 72. The transparent members 71 and 72 are the same members as the transparent member 51 according to the first embodiment, respectively. Since the upper surface 71a of the transparent member 71 is a surface on which the measurement object 80 is placed, it is also expressed as a mounting surface of the measurement object 80.

透明部材71は、水平面に対してX軸周りに(図8では反時計回りに)所定角度傾斜した状態で配置されている。換言すれば、透明部材71の上面71a(測定対象物80の載置面)の法線方向は、鉛直方向に対してX軸周りに(図8では反時計回りに)所定角度傾斜した状態で配置されている。具体的には、図8等に示されるように、重量計40の上面42(水平面)には傾斜台75が固定されており、傾斜台75は、X軸周りに所定角度(たとえば10度)傾斜した上面(傾斜上面)を有している。そして、透明部材71は、傾斜台75の上面に固定されている。 The transparent member 71 is arranged so as to be inclined by a predetermined angle about the X-axis (counterclockwise in FIG. 8) with respect to the horizontal plane. In other words, the normal direction of the upper surface 71a (mounting surface of the object to be measured 80) of the transparent member 71 is tilted by a predetermined angle around the X axis (counterclockwise in FIG. 8) with respect to the vertical direction. Have been placed. Specifically, as shown in FIG. 8 and the like, an inclined table 75 is fixed to the upper surface 42 (horizontal plane) of the weighing scale 40, and the inclined table 75 has a predetermined angle (for example, 10 degrees) around the X axis. It has an inclined upper surface (inclined upper surface). The transparent member 71 is fixed to the upper surface of the tilting table 75.

このように第2実施形態では、3次元カメラ20の視線方向が鉛直方向に対して傾斜することによって、3次元カメラ20の視線方向と測定対象物80の載置面の法線方向とが相対的に傾斜している。さらに、透明部材71の上面71a(測定対象物80の載置面)の法線方向が鉛直方向に対して傾斜することによって、3次元カメラ20の視線方向と測定対象物80の載置面の法線方向との相対角度(傾斜角度)が大きくなるように構成されている。換言すれば、3次元カメラ20の視線方向と測定対象物80の載置面(透明部材71の上面71a)の法線方向との双方が鉛直方向に対して傾斜することによって、3次元カメラ20の視線方向と測定対象物80の載置面の法線方向とが相対的に傾斜している。ただし、これに限定されず、たとえば、3次元カメラ20の視線方向と測定対象物80の載置面の法線方向とのうちの一方のみが鉛直方向に対して傾斜してもよい。 As described above, in the second embodiment, the line-of-sight direction of the three-dimensional camera 20 is inclined with respect to the vertical direction, so that the line-of-sight direction of the three-dimensional camera 20 and the normal direction of the mounting surface of the measurement object 80 are relative to each other. Is inclined. Further, the normal direction of the upper surface 71a (the mounting surface of the measurement target 80) of the transparent member 71 is inclined with respect to the vertical direction, so that the line-of-sight direction of the three-dimensional camera 20 and the mounting surface of the measurement target 80 It is configured so that the relative angle (tilt angle) with respect to the normal direction becomes large. In other words, both the line-of-sight direction of the three-dimensional camera 20 and the normal direction of the mounting surface (upper surface 71a of the transparent member 71) of the measurement object 80 are inclined with respect to the vertical direction, so that the three-dimensional camera 20 The line-of-sight direction of the object 80 and the normal direction of the mounting surface of the object to be measured 80 are relatively inclined. However, the present invention is not limited to this, and for example, only one of the line-of-sight direction of the three-dimensional camera 20 and the normal direction of the mounting surface of the measurement object 80 may be inclined with respect to the vertical direction.

また、透明部材72は、略矩形形状の透明部材71(詳細にはその上面71a)に対して垂直に設けられており、2つの透明部材71,72等は、断面L字型の保持部50Bを構成している。透明部材72は、図9にも示すように、ユーザが保持部50B(透明部材71等)にアクセスする方向(図8の右側)(およびカメラ視線方向)から見て、測定対象物80の背面側(透明部材71の奥側)(-Y側)に設けられている。 Further, the transparent member 72 is provided perpendicular to the substantially rectangular transparent member 71 (specifically, the upper surface 71a thereof), and the two transparent members 71, 72 and the like are the holding portions 50B having an L-shaped cross section. Consists of. As shown in FIG. 9, the transparent member 72 is the back surface of the object to be measured 80 when viewed from the direction in which the user accesses the holding portion 50B (transparent member 71 or the like) (right side in FIG. 8) (and the camera line-of-sight direction). It is provided on the side (the back side of the transparent member 71) (-Y side).

操作ユーザは、水平面に対して傾斜した上面71aに沿って測定対象物80を透明部材72側に移動し、測定対象物80の背面(図9にて奥側の面(図8にて左側の面))が透明部材72の表面(支持面)72aに接するように測定対象物80を配置する。測定対象物80の背面側の支持面72aは、透明部材71に対して垂直に起立した面(上面71aに垂直な面)であり、透明部材72の起立面72a等とも称される。また、重力(詳細には、重力のうち透明部材72の起立面72aの法線方向における分力)も作用することによって、測定対象物80は、透明部材72に押しつけられた状態で保持部50Bに保持されている。 The operating user moves the measurement object 80 toward the transparent member 72 along the upper surface 71a inclined with respect to the horizontal plane, and moves the back surface of the measurement object 80 (the back surface in FIG. 9 (the left side in FIG. 8). The measurement object 80 is arranged so that the surface)) is in contact with the surface (support surface) 72a of the transparent member 72. The support surface 72a on the back surface side of the object to be measured 80 is a surface that stands upright with respect to the transparent member 71 (a surface perpendicular to the upper surface 71a), and is also referred to as an upright surface 72a of the transparent member 72. Further, by the action of gravity (specifically, the component force of the transparent member 72 in the normal direction of the upright surface 72a of the gravity), the object to be measured 80 is pressed against the transparent member 72 and the holding portion 50B is pressed. It is held in.

また、測定対象物80の下面(底面)83は、透明部材71の上面71a(測定対象物80の載置面)に接している。詳細には、測定対象物80は、重力の作用等によって、透明部材71に押しつけられた状態で保持部50Bに保持されている。 Further, the lower surface (bottom surface) 83 of the measurement object 80 is in contact with the upper surface 71a (placement surface of the measurement object 80) of the transparent member 71. Specifically, the object to be measured 80 is held by the holding portion 50B in a state of being pressed against the transparent member 71 by the action of gravity or the like.

第2実施形態においても第1実施形態と同様の処理(図5参照)が行われる。たとえば、ステップS12の処理等によって、測定対象物80の各部分の点群データ(換言すれば、測定対象物80の表面の3次元位置情報)が、当該測定対象物80の近傍領域の点群データから良好に区別された状態で取得される。端的に言えば、測定対象物80の表面の3次元位置情報が良好に取得される。なお、座標系Σ2のキャリブレーション(換言すれば、透明部材71の上面71aの3次元位置と透明部材72の起立面72aの3次元位置とに関するキャリブレーション)は、図5の処理開始前において既に実行されているものとする。 In the second embodiment, the same processing as in the first embodiment (see FIG. 5) is performed. For example, by the processing of step S12 or the like, the point cloud data of each part of the measurement object 80 (in other words, the three-dimensional position information of the surface of the measurement object 80) is the point cloud in the vicinity region of the measurement object 80. Obtained in a well-distinguished state from the data. In short, the three-dimensional position information of the surface of the object to be measured 80 is satisfactorily acquired. The calibration of the coordinate system Σ2 (in other words, the calibration regarding the three-dimensional position of the upper surface 71a of the transparent member 71 and the three-dimensional position of the upright surface 72a of the transparent member 72) has already been performed before the start of the process of FIG. It is assumed that it is being executed.

ただし、ステップS13においては、第1実施形態とは若干異なる処理が実行される。 However, in step S13, a process slightly different from that of the first embodiment is executed.

上記第1実施形態では、常に射影画像221が利用されて、測定対象物80の寸法情報(W,H,D)が算出されている。射影画像221は、測定対象物80の表面のポイントクラウドデータ(点群)を測定対象物80の載置面(詳細には、透明部材51の上面51aの延長面)に対して平行射影した射影画像である。 In the first embodiment, the projected image 221 is always used to calculate the dimensional information (W, H, D) of the measurement object 80. The projected image 221 projects the point cloud data (point cloud) on the surface of the measurement object 80 in parallel with the mounting surface of the measurement object 80 (specifically, an extension surface of the upper surface 51a of the transparent member 51). It is an image.

これに対して、第2実施形態では、状況に応じて射影画像222が利用される。射影画像222は、当該ポイントクラウドデータを測定対象物80の背面側の保持面(透明部材72の起立面72a)(詳細にはその延長面)の法線方向に沿って当該保持面(射影面)に対して平行射影した射影画像である。なお、射影画像221はXY平面への射影画像であり、射影画像222はXZ平面への射影画像である、とも表現される。 On the other hand, in the second embodiment, the projected image 222 is used depending on the situation. The projected image 222 captures the point cloud data along the normal direction of the holding surface (upright surface 72a of the transparent member 72) (specifically, its extension surface) on the back side of the measurement object 80. ) Is a projected image projected in parallel. It is also expressed that the projected image 221 is a projected image on the XY plane, and the projected image 222 is a projected image on the XZ plane.

まず、図15に示すような状況、具体的には、取っ手付きの紙袋が測定対象物80(配送対象物)であり、当該紙袋が透明部材71の上面71aに横たえられて載置される状況を想定する。ここでは、紙袋の配送料金は、取っ手部分を除外した紙袋本体の寸法に基づいて算出され、取っ手部分を除外して紙袋本体の寸法を測定することを要するものとする。このような状況においては、(XY平面への)射影画像221の利用が有用である。 First, the situation as shown in FIG. 15, specifically, the situation where the paper bag with the handle is the measurement object 80 (delivery object), and the paper bag is laid down on the upper surface 71a of the transparent member 71. Is assumed. Here, it is assumed that the delivery charge of the paper bag is calculated based on the dimensions of the paper bag main body excluding the handle portion, and it is necessary to measure the dimensions of the paper bag main body excluding the handle portion. In such a situation, the use of the projected image 221 (on the XY plane) is useful.

図16は、射影画像221の一例を示す図である。図16においては、紙袋(測定対象物80)の表面を示す点の集合が白色で示されており、それ以外の部分(測定対象物80の表面上の点が存在しない部分)は黒色で示されている。 FIG. 16 is a diagram showing an example of the projected image 221. In FIG. 16, a set of points indicating the surface of the paper bag (measurement object 80) is shown in white, and the other parts (parts where no points on the surface of the measurement object 80 do not exist) are shown in black. Has been done.

図16における射影画像221のうち、左側付近には取っ手部分に対応する領域が存在する。当該取っ手部分に対応する領域は、射影画像221から適宜の画像処理によって比較的容易に除去される。たとえば、任意の方向における所定幅(たとえば3cm相当)未満の連続画素群を削除する画像処理等が行われることによって、細い幅の領域(取っ手およびノイズ等)が除去される。この結果、射影画像221は、図17のような画像に修正される。この場合、図17の射影画像221に基づいて、測定対象物80のX方向の長さ(幅W)およびY方向の長さ(奥行きD)が良好に算出される。 In the projected image 221 in FIG. 16, there is a region corresponding to the handle portion near the left side. The region corresponding to the handle portion is relatively easily removed from the projected image 221 by appropriate image processing. For example, a narrow region (handle, noise, etc.) is removed by performing image processing or the like for deleting a continuous pixel group having a width less than a predetermined width (for example, equivalent to 3 cm) in an arbitrary direction. As a result, the projected image 221 is modified to an image as shown in FIG. In this case, the length (width W) in the X direction and the length (depth D) in the Y direction of the measurement object 80 are satisfactorily calculated based on the projected image 221 of FIG.

一方、図11に示すような状況、具体的には、取っ手付きの紙袋(80C)が透明部材72の起立面72aに立てかけられて載置される状況においては、図12のような射影画像221が取得される。 On the other hand, in the situation shown in FIG. 11, specifically, in the situation where the paper bag (80C) with the handle is placed against the upright surface 72a of the transparent member 72, the projected image 221 as shown in FIG. Is obtained.

しかしながら、射影画像221に基づいて測定対象物80のX方向の長さ(幅W)およびY方向の長さ(奥行きD)が算出される場合、測定対象物80に関して取っ手部分を除去した後のZ方向の長さ(高さH)を正確に算出することは容易ではない。たとえば、第1実施形態と同様の手法で高さHを算出すると、当該高さHに取っ手部分の高さが含まれてしまう。また、射影画像221には取っ手部分が現れていないので、射影画像221のみを利用しても、紙袋本体の上部からさらに上方に突出している取っ手部分の高さを正確に除去することはできない。 However, when the length (width W) in the X direction and the length (depth D) in the Y direction of the measurement object 80 are calculated based on the projected image 221 after removing the handle portion of the measurement object 80. It is not easy to accurately calculate the length (height H) in the Z direction. For example, if the height H is calculated by the same method as in the first embodiment, the height H includes the height of the handle portion. Further, since the handle portion does not appear in the projected image 221, the height of the handle portion protruding further upward from the upper part of the paper bag main body cannot be accurately removed by using only the projected image 221.

そこで、この第2実施形態では、別の射影画像222(図13参照)を利用する。射影画像222は、測定対象物80のポイントクラウドデータを測定対象物80の背面側の支持面72a(図11参照)(を含む射影平面72f(図10))に平行射影した画像である。図13に示されるように、射影画像221とは異なる射影平面に射影された射影画像222には、取っ手が現れている。 Therefore, in this second embodiment, another projected image 222 (see FIG. 13) is used. The projected image 222 is an image in which the point cloud data of the measurement object 80 is projected in parallel on the support surface 72a (see FIG. 11) (including the projection plane 72f (FIG. 10)) on the back side of the measurement object 80. As shown in FIG. 13, a handle appears in the projected image 222 projected on a projective plane different from the projected image 221.

当該取っ手部分に対応する領域は、射影画像222から適宜の画像処理によって除去される。たとえば、任意の方向における所定幅(たとえば3cm相当)未満の連続画素群を削除する画像処理等が行われることによって、細い幅の領域(取っ手およびノイズ等)が除去される。この結果、図13の射影画像222は、図14のような射影画像222に修正される。この場合、図14の射影画像222に基づいて、測定対象物80のX方向の長さ(幅W)およびZ方向の長さ(高さH)が良好に算出される。 The region corresponding to the handle portion is removed from the projected image 222 by appropriate image processing. For example, a narrow region (handle, noise, etc.) is removed by performing image processing or the like for deleting a continuous pixel group having a width less than a predetermined width (for example, equivalent to 3 cm) in an arbitrary direction. As a result, the projected image 222 of FIG. 13 is modified to the projected image 222 as shown in FIG. In this case, the length (width W) in the X direction and the length (height H) in the Z direction of the measurement object 80 are satisfactorily calculated based on the projected image 222 of FIG.

なお、一般的には、紙袋の把持部(取っ手)は、測定対象物の寸法のうち最も大きな寸法の方向に突出するように取り付けられている。以下では、そのような性質を考慮して、適切な射影方向(射影画像)が利用される態様について、さらに詳細に説明する。 In general, the grip portion (handle) of the paper bag is attached so as to project in the direction of the largest dimension of the dimensions of the object to be measured. In the following, a mode in which an appropriate projection direction (projection image) is used in consideration of such a property will be described in more detail.

まず、第1実施形態と同様に、XY平面への射影画像221を利用して測定対象物80の寸法の3成分(W,D,H)が暫定的に算出される。 First, as in the first embodiment, the three components (W, D, H) of the dimensions of the object to be measured 80 are tentatively calculated using the projected image 221 on the XY plane.

詳細には、測定対象物80の表面の三次元位置情報に基づきXY平面への射影画像221が生成される。そして、当該射影画像221に基づいて、測定対象物80のX方向の長さ(幅W)およびY方向の長さ(奥行きD)が算出される。換言すれば、測定対象物80の寸法のうち、透明部材71の上面71aに平行な成分(奥行きD(Y方向長さ)および幅W(X方向長さ))が算出される。この際、取っ手部分の存在可能性を考慮して、上述のような画像処理が施される。また、測定対象物80のZ方向の長さ(高さH)は、次のようにして算出される。たとえば、測定対象物80のポイントクラウドデータのうち、透明部材71の上面71aからの距離が上位10%の点群が求められ、当該点群に関する上面71aからの距離の平均値が高さHとして算出される。 Specifically, the projected image 221 on the XY plane is generated based on the three-dimensional position information of the surface of the measurement object 80. Then, the length (width W) in the X direction and the length (depth D) in the Y direction of the measurement object 80 are calculated based on the projected image 221. In other words, among the dimensions of the object to be measured 80, the components parallel to the upper surface 71a of the transparent member 71 (depth D (length in the Y direction) and width W (length in the X direction)) are calculated. At this time, the image processing as described above is performed in consideration of the possibility of the existence of the handle portion. Further, the length (height H) of the measurement object 80 in the Z direction is calculated as follows. For example, in the point cloud data of the object to be measured 80, a point cloud in which the distance from the upper surface 71a of the transparent member 71 is the top 10% is obtained, and the average value of the distances from the upper surface 71a with respect to the point cloud is assumed to be the height H. It is calculated.

そして、算出された3成分のうちの最大成分がW,D,Hのいずれであるかに応じて追加処理を行うべきか否かが判定される。 Then, it is determined whether or not the additional processing should be performed according to which of W, D, and H is the maximum component among the calculated three components.

測定対象物80の寸法の3成分(W,D,H)のうち幅Wあるいは奥行きDが最も大きい場合(図15参照)には、XY平面への射影画像221を用いて算出された値W,D,Hが、寸法算出装置30の寸法として確定される。 When the width W or the depth D is the largest among the three components (W, D, H) of the dimensions of the object to be measured 80 (see FIG. 15), the value W calculated using the projected image 221 on the XY plane. , D, H are determined as the dimensions of the dimension calculation device 30.

一方、測定対象物80の寸法の3成分(W,D,H)のうち高さH(Z方向成分)が最も大きい場合(図10および図11参照)には、XZ平面への射影画像222を用いた追加処理が行われる。 On the other hand, when the height H (Z direction component) is the largest among the three components (W, D, H) of the dimensions of the object to be measured 80 (see FIGS. 10 and 11), the projected image 222 on the XZ plane. Additional processing is performed using.

この追加処理においては、測定対象物80の表面の三次元位置情報に基づきXZ平面への射影画像222が生成される。そして、射影画像222に基づいて、測定対象物80のX方向の長さ(幅W)およびZ方向の長さ(高さH)が算出される。換言すれば、射影画像222に基づいて、測定対象物80の寸法のうち、透明部材72の起立面72aに平行な成分(高さH(Z方向長さ)および幅W(X方向長さ))が算出される。この際、取っ手部分の存在可能性を考慮して、上述のような画像処理が施される。また、測定対象物80のY方向の長さ(奥行きD)は、次のようにして算出される。たとえば、ポイントクラウドデータのうち、透明部材72の起立面72aからの距離が上位10%の点群が求められ、当該点群に関する起立面72aからの距離の平均値が奥行きDとして算出される。起立面(支持面)72aおよびその延長面72fは、測定対象物80のY方向の大きさ(奥行きD)を決定する際の基準面として機能する。 In this additional process, a projected image 222 on the XZ plane is generated based on the three-dimensional position information of the surface of the measurement object 80. Then, based on the projected image 222, the length (width W) in the X direction and the length (height H) in the Z direction of the measurement object 80 are calculated. In other words, based on the projected image 222, among the dimensions of the object to be measured 80, the components parallel to the upright surface 72a of the transparent member 72 (height H (length in the Z direction) and width W (length in the X direction)). ) Is calculated. At this time, the image processing as described above is performed in consideration of the possibility of the existence of the handle portion. Further, the length (depth D) of the measurement object 80 in the Y direction is calculated as follows. For example, in the point cloud data, a point cloud in which the distance from the upright surface 72a of the transparent member 72 is the top 10% is obtained, and the average value of the distances from the upright surface 72a regarding the point group is calculated as the depth D. The upright surface (support surface) 72a and its extension surface 72f function as a reference surface for determining the size (depth D) of the measurement object 80 in the Y direction.

そして、XZ平面への射影画像222を用いて算出された値W,D,Hが、寸法算出装置30の寸法として確定される。 Then, the values W, D, and H calculated using the projected image 222 on the XZ plane are determined as the dimensions of the dimension calculation device 30.

このように、測定対象物80の表面の点群(3次元位置を有する)を複数(ここでは2つ)の射影面にそれぞれ射影した複数の射影画像(ここでは2つの射影画像221,222)に基づき、測定対象物80の寸法が算出される。詳細には、射影画像221を用いて暫定的な寸法が暫定的に算出され、当該暫定的な寸法の3成分のうち最も大きな成分が高さHである場合にのみ、追加処理(射影画像222を用いた寸法算出処理)が実行される。 In this way, a plurality of projected images (here, two projected images 221 and 222) in which a group of points (having three-dimensional positions) on the surface of the object to be measured 80 are projected onto a plurality of (here, two) projection planes, respectively. Based on the above, the dimensions of the object to be measured 80 are calculated. Specifically, the provisional dimensions are tentatively calculated using the projected image 221 and additional processing (projected image 222) is performed only when the largest component among the three components of the provisional dimensions is the height H. Dimension calculation process using) is executed.

<第2実施形態の効果等>
上記第2実施形態における透明部材71は、(測定対象物80を)視野内近傍面61から、3次元カメラ20の視線方向29において3次元カメラ20側に所定の距離B(ここではB2)以上離間した状態で、測定対象物80を保持している(図8参照)。なお、視野内近傍面61(透明部材71の下面、あるいは、傾斜台75の上面等)は、3次元カメラ20の視野内にて測定対象物80の近傍領域(特に前面84cの下端に隣接する領域)に存在する面である(図9参照)。
<Effects of the second embodiment, etc.>
The transparent member 71 in the second embodiment has a predetermined distance B (here, B2) or more from the near surface 61 in the field of view (the object to be measured 80) to the 3D camera 20 side in the line-of-sight direction 29 of the 3D camera 20. The object to be measured 80 is held in a separated state (see FIG. 8). The near surface 61 in the field of view (the lower surface of the transparent member 71, the upper surface of the tilting table 75, etc.) is adjacent to the vicinity region of the object to be measured 80 (particularly, the lower end of the front surface 84c) in the field of view of the three-dimensional camera 20. It is a surface existing in the area) (see FIG. 9).

また、透明部材72は、(測定対象物80を)視野内近傍面62(次述)から、3次元カメラ20の視線方向29において3次元カメラ側に所定の距離B(ここではB2)以上離間した状態で、測定対象物80を保持している(図8参照)。なお、視野内近傍面62(透明部材72の背面(-Y側の面))は、3次元カメラ20の視野内にて測定対象物80の近傍領域(特に上面82の奥側端に隣接する領域)に存在する(配置される)面である(図9等も参照)。このような視野内近傍面62が、3次元カメラ20の視線方向29において当該視線方向奥側に向けて測定対象物80の背面84dから所定の距離B2以上離間した状態で、配置されている。 Further, the transparent member 72 is separated from the near surface 62 (described later) in the field of view (the object to be measured 80) by a predetermined distance B (here, B2) or more on the three-dimensional camera side in the line-of-sight direction 29 of the three-dimensional camera 20. The object to be measured 80 is held in this state (see FIG. 8). The near surface 62 in the field of view (the back surface of the transparent member 72 (the surface on the −Y side)) is adjacent to the area near the object to be measured 80 (particularly, the inner end of the upper surface 82) in the field of view of the three-dimensional camera 20. It is a surface that exists (is arranged) in the area) (see also FIG. 9 and the like). Such a near-field surface 62 in the field of view is arranged in a state of being separated from the back surface 84d of the measurement object 80 by a predetermined distance B2 or more toward the back side in the line-of-sight direction 29 in the line-of-sight direction 29 of the three-dimensional camera 20.

このような構成においては、測定対象物80の2つの面(前面(手前側側面)84cおよび上面82)は、それぞれの周辺(近傍)の背景面(視野内近傍面61および/または62)よりもカメラ側に浮き上がっている。特に、前面84cの下端は、当該下端の周辺領域(近傍領域)に存在する視野内近傍面61から、カメラ側に一定程度以上離間している。また、上面82の奥側端は、当該奥側端の周辺の近傍領域に存在する視野内近傍面62から、カメラ視線方向手前側に一定程度以上離間している。 In such a configuration, the two surfaces (front surface (front side surface) 84c and upper surface 82) of the object to be measured 80 are from the background surfaces (near surfaces 61 and / or 62 in the field of view) of their respective periphery (nearby). Is also floating on the camera side. In particular, the lower end of the front surface 84c is separated from the near surface 61 in the field of view existing in the peripheral region (near region) of the lower end to the camera side by a certain degree or more. Further, the back end of the upper surface 82 is separated from the near surface 62 in the field of view existing in the vicinity of the vicinity of the back end to the front side in the camera line-of-sight direction by a certain degree or more.

そして、このような状態で透明部材71,72によって保持された測定対象物80の表面の3次元位置情報が、3次元カメラ20の撮影画像および距離情報等に基づいて取得される。それ故、測定対象物80の2つの面(前面84cおよび上面82)の表面の3次元位置情報は、それぞれの周辺の背景面(視野内近傍面61および/または62)から良好に分離された状態で取得される。具体的には、前面84cの点群データと測定対象物80の上面82の点群データとの双方が、カメラ視野内における測定対象物80の近傍領域の点群データから良好に区別された状態で取得される。より具体的には、測定対象物80の前面84cの点群データは、視野内近傍面61の点群データ等から良好に区別され、測定対象物80の上面82の点群データは、視野内近傍面62の点群データ等から良好に区別される。 Then, the three-dimensional position information of the surface of the measurement object 80 held by the transparent members 71 and 72 in such a state is acquired based on the captured image and the distance information of the three-dimensional camera 20. Therefore, the three-dimensional position information of the surfaces of the two surfaces (front surface 84c and top surface 82) of the object to be measured 80 is well separated from the surrounding background surfaces (near surfaces 61 and / or 62 in the field of view). Obtained in the state. Specifically, both the point cloud data on the front surface 84c and the point cloud data on the upper surface 82 of the measurement object 80 are well distinguished from the point cloud data in the vicinity region of the measurement object 80 in the camera field of view. Obtained at. More specifically, the point cloud data of the front surface 84c of the measurement object 80 is well distinguished from the point cloud data of the near surface 61 in the field of view, and the point cloud data of the upper surface 82 of the measurement object 80 is in the field of view. It is well distinguished from the point cloud data of the neighboring surface 62 and the like.

端的に言えば、カメラ視線方向29において、測定対象物80の2つの面(前面84cおよび上面82)がそれぞれの周辺の背景(視野内近傍面61,62)よりも手前側に浮き上がっているので、当該2つの面の3次元位置情報を正確に取得することが可能である。 In short, in the camera line-of-sight direction 29, the two surfaces (front surface 84c and top surface 82) of the measurement object 80 are raised to the front side of the surrounding backgrounds (near surfaces 61 and 62 in the field of view). , It is possible to accurately acquire the three-dimensional position information of the two surfaces.

ここにおいて、図8に示されるように、視野内近傍面61,62は、カメラ視線方向29において測定対象物80よりも奥側に距離B2以上離間して配置される。このような配置によって、カメラ視野内においてカメラ視野内の中央位置(センター位置)から離れた周辺位置でも、測定対象物80が手前側に浮いた状態が実現される。具体的には、測定対象物80は、カメラ視線方向29に対して傾斜角度θを有する方向(二点鎖線で示す)において、視野内近傍面61,62から一定程度(たとえば、第1実施形態の距離B(B1))以上カメラ手前側に離間した状態を有している。逆に言えば、第2実施形態に係る距離B(B2)は、このような状態を実現できるような値(たとえば、上記第1実施形態の距離B(B1)よりも大きな値)であることが好ましい。 Here, as shown in FIG. 8, the in-field neighborhood surfaces 61 and 62 are arranged at a distance B2 or more behind the measurement object 80 in the camera line-of-sight direction 29. With such an arrangement, the state in which the measurement object 80 floats toward the front side is realized even at a peripheral position in the camera field of view that is far from the center position (center position) in the camera field of view. Specifically, the object to be measured 80 has a certain degree (for example, the first embodiment) from the near-field surfaces 61 and 62 in the direction having the inclination angle θ with respect to the camera line-of-sight direction 29 (indicated by the alternate long and short dash line). It has a state of being separated toward the front side of the camera by the distance B (B1)) or more. Conversely, the distance B (B2) according to the second embodiment is a value that can realize such a state (for example, a value larger than the distance B (B1) of the first embodiment). Is preferable.

なお、透明部材72は、Z方向において必ずしも測定対象物80よりも大きい(高い)ことを要しない。図10等に示されるように、透明部材72は、測定対象物80の高さよりも低く(短く)てもよい。詳細には、測定対象物80の上部付近においては、透明部材72が存在せず、(背後の)支柱部材27および居室内の壁面(不図示)等が視野内近傍面(カメラ視野内において測定対象物80の近傍領域に存在する面)として存在する。ただし、支柱部材27および居室内の壁面等は、測定対象物80の上部付近の背後側(図10の左側)(カメラ視線方向奥側)の空間79(カメラ視線方向にて距離B2に亘る空間)の更に背後側(奥側)に存在する。すなわち、測定対象物80は、カメラ視野内において測定対象物80の近傍領域に存在する視野内近傍面(面61,62、支柱部材27の表面、および壁面等)から、カメラ視線方向29においてカメラ側に所定の距離B2以上離間した状態で保持されている。測定対象物80は、このような状態で保持されてもよい。 The transparent member 72 does not necessarily have to be larger (higher) than the object to be measured 80 in the Z direction. As shown in FIG. 10 and the like, the transparent member 72 may be lower (shorter) than the height of the measurement object 80. Specifically, the transparent member 72 does not exist near the upper part of the object to be measured 80, and the support column member 27 (behind), the wall surface (not shown) in the living room, and the like are measured in the vicinity of the field of view (in the camera field of view). It exists as a surface) existing in the vicinity region of the object 80. However, the support column member 27 and the wall surface of the living room are the space 79 (the space extending over the distance B2 in the camera line-of-sight direction) on the back side (left side in FIG. 10) (back side in the camera line-of-sight direction) near the upper part of the measurement object 80. ) Is further behind (back side). That is, the measurement object 80 is the camera in the camera line-of-sight direction 29 from the in-field near surface (surfaces 61, 62, the surface of the support column member 27, the wall surface, etc.) existing in the vicinity region of the measurement object 80 in the camera field of view. It is held on the side at a predetermined distance of B2 or more. The object to be measured 80 may be held in such a state.

また、上記第2実施形態においては、3次元カメラ20の視線方向29と測定対象物80の載置面(透明部材71の上面71a)の法線方向との両方向は相対的に傾斜している。より詳細には、当該両方向は、(X軸周りの相対回転角度(傾斜角度)を有する状態で)YZ平面内において相対的に傾斜している。これにより、3次元カメラ20は、測定対象物80の上面82のみならず測定対象物80の他の面(たとえば前面84c)の3次元位置情報(点群データ)をも取得することが可能である。すなわち、測定対象物80の複数の面(ここでは2面)の3次元位置情報を同時に測定することが可能である。換言すれば、1つの方向からの1台の3次元カメラ20(最小台数の3次元カメラ20)によって、測定対象物80の2つの面(上面82および前面84c)(図9参照)の表面の3次元位置情報が取得され得る。 Further, in the second embodiment, both the line-of-sight direction 29 of the three-dimensional camera 20 and the normal direction of the mounting surface (upper surface 71a of the transparent member 71) of the measurement object 80 are relatively inclined. .. More specifically, both directions are relatively tilted in the YZ plane (with a relative rotation angle (tilt angle) around the X-axis). As a result, the three-dimensional camera 20 can acquire not only the upper surface 82 of the measurement object 80 but also the three-dimensional position information (point cloud data) of the other surface (for example, the front surface 84c) of the measurement object 80. be. That is, it is possible to simultaneously measure the three-dimensional position information of a plurality of surfaces (here, two surfaces) of the object to be measured 80. In other words, one 3D camera 20 (minimum number of 3D cameras 20) from one direction covers the surfaces of the two surfaces (top surface 82 and front surface 84c) (see FIG. 9) of the object 80 to be measured. Three-dimensional position information can be acquired.

さらに、上記第2実施形態においては、測定対象物80が、透明部材71の上面71aに接触して支持(載置)されるとともに透明部材72の起立面72aにも接触して支持されている。換言すれば、保持部50Bは、測定対象物80の載置面(上面71a)と当該載置面に垂直な起立面72aとに対して測定対象物80が接触した状態で測定対象物80を保持する。なお、上面71aおよび起立面72aは、それぞれ、測定対象物80を支持(ないしガイド)する支持面(ないしガイド面)とも表現される。また、上面71aおよび起立面72aも、それぞれ、3次元カメラ20の視線方向に対して傾斜している。 Further, in the second embodiment, the measurement object 80 is in contact with (placed) the upper surface 71a of the transparent member 71 and is also in contact with and supported by the upright surface 72a of the transparent member 72. .. In other words, the holding portion 50B holds the measurement object 80 in contact with the mounting surface (upper surface 71a) of the measurement object 80 and the upright surface 72a perpendicular to the mounting surface. Hold. The upper surface 71a and the upright surface 72a are also referred to as support surfaces (or guide surfaces) that support (or guide) the measurement object 80, respectively. Further, the upper surface 71a and the upright surface 72a are also inclined with respect to the line-of-sight direction of the three-dimensional camera 20, respectively.

また、上述のように、測定対象物80のうちの6つの面のうち2つの面(具体的には、上面71aに対向する上面82、および起立面72aに対向する前面84c)の点群データが取得されている。一方、測定対象物80のうちの6つの面のうち当該2つの面82,84cに対向する面(すなわち、下面83および背面84d)の点群データは取得されていない。ただし、測定対象物80の下面83は上面71aに接触して支持され、測定対象物80の背面84dは起立面72aに接触して支持されている。また、上面71aおよび起立面72aの3次元位置は、キャリブレーションによって予め取得されている。 Further, as described above, the point cloud data of two of the six surfaces of the object to be measured 80 (specifically, the upper surface 82 facing the upper surface 71a and the front surface 84c facing the upright surface 72a). Has been obtained. On the other hand, of the six surfaces of the object to be measured 80, the point cloud data of the surfaces facing the two surfaces 82 and 84c (that is, the lower surface 83 and the back surface 84d) has not been acquired. However, the lower surface 83 of the measurement object 80 is in contact with and supported by the upper surface 71a, and the back surface 84d of the measurement object 80 is in contact with and supported by the upright surface 72a. Further, the three-dimensional positions of the upper surface 71a and the upright surface 72a have been acquired in advance by calibration.

それ故、たとえば、測定対象物80の上面82のZ方向位置と透明部材71の上面71aのZ方向位置との差分値として高さHが正確に求められる。また、測定対象物80の前面84cのY方向位置と透明部材72の起立面72aのY方向位置との差分値として奥行きDが正確に求められる。なお、上面71aは、Z方向のサイズを測定するための基準面などとも表現され、起立面72aは、Y方向のサイズを測定するための基準面であるとも表現される。 Therefore, for example, the height H can be accurately obtained as a difference value between the Z-direction position of the upper surface 82 of the measurement object 80 and the Z-direction position of the upper surface 71a of the transparent member 71. Further, the depth D is accurately obtained as a difference value between the Y-direction position of the front surface 84c of the measurement object 80 and the Y-direction position of the upright surface 72a of the transparent member 72. The upper surface 71a is also expressed as a reference surface for measuring the size in the Z direction, and the upright surface 72a is also expressed as a reference surface for measuring the size in the Y direction.

ここにおいて、測定対象物80の背面側に設けられた透明部材72(起立面72a)は、測定対象物80が起立面72aから-Y方向に「はみ出す」こと(測定対象物80のはみ出し)を防止するガイド部(面状ガイド部材)として機能している。同様に、測定対象物80の下面(底面)側に設けられた透明部材71(上面71a)は、測定対象物80が上面71aから-Z方向へ「はみ出す」ことを防止するガイド部として機能している。 Here, the transparent member 72 (upright surface 72a) provided on the back surface side of the measurement object 80 prevents the measurement object 80 from “protruding” from the upright surface 72a in the −Y direction (protrusion of the measurement object 80). It functions as a guide part (plane guide member) to prevent. Similarly, the transparent member 71 (upper surface 71a) provided on the lower surface (bottom surface) side of the measurement object 80 functions as a guide portion for preventing the measurement object 80 from “protruding” from the upper surface 71a in the −Z direction. ing.

このように、測定対象物80が透明部材72(測定対象物80の背面の支持部材)等を超えてはみ出すことが防止される。したがって、測定対象物80の膨張部分(理想的な直方体形状に対する膨張部分)、たとえば測定対象物80の背面84dから更に背後側に突出した膨張部分(凸状部分)がカメラの死角に存在する場合であっても、当該膨張部分を含む寸法をより正確に測定することが可能である。 In this way, the measurement object 80 is prevented from protruding beyond the transparent member 72 (the support member on the back surface of the measurement object 80) and the like. Therefore, when an inflated portion of the object to be measured 80 (an inflated portion with respect to an ideal rectangular cuboid shape), for example, an inflated portion (convex portion) protruding further back from the back surface 84d of the object to be measured 80 is present in the blind spot of the camera. Even so, it is possible to measure the dimensions including the expanded portion more accurately.

また、上記第2実施形態においては、重力が作用すること等によって、透明部材71および透明部材72は、いずれも水平面に対して傾斜している。これによれば、測定対象物80は、透明部材71と透明部材72とに押しつけられた状態で保持部50Bに保持されている。したがって、測定対象物80の高さHと奥行きDとを正確に測定することが可能である。 Further, in the second embodiment, both the transparent member 71 and the transparent member 72 are inclined with respect to the horizontal plane due to the action of gravity or the like. According to this, the object to be measured 80 is held by the holding portion 50B in a state of being pressed against the transparent member 71 and the transparent member 72. Therefore, it is possible to accurately measure the height H and the depth D of the measurement object 80.

また、上述のように、取っ手部を有する紙袋が図10のように配置された場合であっても、射影画像222等を用いることによって、当該取っ手部を除外した高さH(紙袋本体の高さH)をより正確に測定することが可能である。 Further, as described above, even when the paper bag having the handle portion is arranged as shown in FIG. 10, by using the projected image 222 or the like, the height H excluding the handle portion (height of the paper bag main body). It is possible to measure H) more accurately.

なお、上記においては、測定対象物80の寸法算出にあたって、射影画像222は必要に応じて用いられているが、これに限定されず、射影画像221,222の双方が常に利用されてもよい。たとえば、射影画像221に基づいて測定対象物80の幅Wおよび奥行きDが算出されるとともに、射影画像222に基づいて測定対象物80の高さHが算出されてもよい。あるいは、射影画像221に基づいて測定対象物80の奥行きDが算出されるとともに、射影画像222に基づいて測定対象物80の幅Wおよび高さHが算出されてもよい。 In the above, the projected image 222 is used as necessary in calculating the dimensions of the measurement object 80, but the present invention is not limited to this, and both the projected images 221, 222 may always be used. For example, the width W and the depth D of the measurement object 80 may be calculated based on the projected image 221 and the height H of the measurement object 80 may be calculated based on the projected image 222. Alternatively, the depth D of the measurement object 80 may be calculated based on the projected image 221 and the width W and height H of the measurement object 80 may be calculated based on the projected image 222.

あるいは、測定対象物80の幅Wのみが射影画像221あるいは射影画像222を用いて算出され、測定対象物80の奥行きDおよび高さHは射影画像を用いずに算出されてもよい。たとえば、測定対象物80のポイントクラウドデータのうち、透明部材72の起立面72aからの距離が上位10%の点群(測定対象物80の手前側側面(前面)84cの点群に相当)が求められ、当該点群に関する起立面72aからの距離の平均値が測定対象物80の奥行きDとして算出されてもよい。同様に、測定対象物80のポイントクラウドデータのうち、透明部材71の上面71aからの距離が上位10%(所定割合)の点群(測定対象物80の上面82の点群に相当)が求められ、当該点群に関する上面71aからの距離の平均値が測定対象物80の高さHとして算出されてもよい。このようにして、測定対象物80に関する2つの面(82,84c)の3次元位置情報に基づき、測定対象物80の寸法が測定されてもよい。 Alternatively, only the width W of the measurement object 80 may be calculated using the projected image 221 or the projected image 222, and the depth D and the height H of the measurement object 80 may be calculated without using the projected image. For example, among the point cloud data of the measurement object 80, the point cloud in which the distance from the upright surface 72a of the transparent member 72 is the top 10% (corresponding to the point cloud on the front side surface (front surface) 84c of the measurement object 80). The average value of the distances from the upright surface 72a with respect to the point cloud may be calculated as the depth D of the measurement object 80. Similarly, among the point cloud data of the measurement object 80, a point cloud (corresponding to the point cloud of the upper surface 82 of the measurement object 80) having a distance from the upper surface 71a of the transparent member 71 of the top 10% (predetermined ratio) is obtained. The average value of the distances from the upper surface 71a with respect to the point cloud may be calculated as the height H of the measurement object 80. In this way, the dimensions of the object to be measured 80 may be measured based on the three-dimensional position information of the two surfaces (82, 84c) with respect to the object 80 to be measured.

ただし、上記第2実施形態のように射影画像221,222を用いることによれば、紙袋の取っ手部分を除外した紙袋本体の寸法を良好に測定することが可能である。 However, by using the projected images 221 and 222 as in the second embodiment, it is possible to satisfactorily measure the dimensions of the paper bag body excluding the handle portion of the paper bag.

また、上記第2実施形態において、視野内近傍面61,62は、模様が施された面(模様面)等として構成されてもよい。 Further, in the second embodiment, the in-field neighborhood surfaces 61 and 62 may be configured as a patterned surface (patterned surface) or the like.

また、上記第2実施形態においては、2つの透明部材71,72が設けられているが、これに限定されない。たとえば、2つの透明部材71,72のうち透明部材71のみが設けられ、透明部材72の位置にはいずれの部材も設けられなくてもよい。 Further, in the second embodiment, the two transparent members 71 and 72 are provided, but the present invention is not limited to this. For example, of the two transparent members 71 and 72, only the transparent member 71 may be provided, and none of the members may be provided at the position of the transparent member 72.

また、視野内近傍面(61,62等)は、必ずしも測定対象物80の全周囲に亘って存在することを要しない。たとえば、測定対象物80の全周囲の一部(たとえば上方部分)には視野内近傍面が存在しなくてもよい。 Further, the near surface in the visual field (61, 62, etc.) does not necessarily have to exist over the entire circumference of the measurement object 80. For example, the near surface in the visual field may not exist in a part of the entire circumference (for example, the upper part) of the object to be measured 80.

<3.他の変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
<3. Other variants>
Although the embodiments of the present invention have been described above, the present invention is not limited to the contents described above.

<3つの支持面等>
たとえば、上記第2実施形態では、測定対象物80の下面83および奥側側面(背面)84dをそれぞれ支持する透明部材71(上面71a)および透明部材72(起立面72a)が設けられている(図8および図9等参照)が、これに限定されない。図18に示されるように、保持部50は、測定対象物80の右側面84fを支持(ガイド)する透明部材74(起立面74a)を更に有してもよい。すなわち、透明部材71の上面71aと透明部材72の起立面72aとの2面のみならず更に透明部材74の起立面74aをも加えた3面で測定対象物80が支持されてもよい。なお、透明部材74は、透明部材72と同様に、透明部材71に対して垂直に起立する板状部材である。ただし、透明部材74は、透明部材72とは異なり、透明部材71の右側(-X側)において、YZ平面に平行に設けられる。換言すれば、透明部材74は、測定対象物80の右側方側に設けられ、起立面74aからの測定対象物80のはみ出しを防止するガイド部である。
<Three support surfaces, etc.>
For example, in the second embodiment, the transparent member 71 (upper surface 71a) and the transparent member 72 (upright surface 72a) that support the lower surface 83 and the back side surface (back surface) 84d of the measurement object 80 are provided (upright surface 72a). (See FIGS. 8 and 9 and the like), but the present invention is not limited to this. As shown in FIG. 18, the holding portion 50 may further have a transparent member 74 (upright surface 74a) that supports (guides) the right side surface 84f of the measurement object 80. That is, the object to be measured 80 may be supported not only by two surfaces of the upper surface 71a of the transparent member 71 and the upright surface 72a of the transparent member 72, but also by three surfaces including the upright surface 74a of the transparent member 74. The transparent member 74 is a plate-shaped member that stands upright with respect to the transparent member 71, like the transparent member 72. However, unlike the transparent member 72, the transparent member 74 is provided on the right side (−X side) of the transparent member 71 in parallel with the YZ plane. In other words, the transparent member 74 is provided on the right side side of the measurement object 80, and is a guide portion for preventing the measurement object 80 from protruding from the upright surface 74a.

透明部材74は、(測定対象物80を)視野内近傍面64(次述)から、3次元カメラ20の視線方向29において3次元カメラ側に所定の距離B(ここではB2)以上離間した状態で、測定対象物80を保持することが好ましい。なお、視野内近傍面64(透明部材74の右側面(-X側の面))は、3次元カメラ20の視野内にて測定対象物80の近傍領域(特に上面82の右端に隣接する領域)に存在する(配置される)面である。このような視野内近傍面64が、3次元カメラ20の視線方向29において当該視線方向奥側に向けて測定対象物80の右側面84fから所定の距離B2以上離間した状態で、配置されることが好ましい。視野内近傍面64は、模様が施された面(模様面)等として構成されてもよい。 The transparent member 74 is separated from the near surface 64 in the field of view (the object to be measured 80) by a predetermined distance B (here, B2) or more in the line-of-sight direction 29 of the three-dimensional camera 20. Therefore, it is preferable to hold the object to be measured 80. The near surface 64 in the field of view (the right side surface (-X side surface) of the transparent member 74) is a region near the object to be measured 80 (particularly a region adjacent to the right end of the upper surface 82) in the field of view of the three-dimensional camera 20. ) Is a surface that exists (is arranged). Such a near-field surface 64 in the field of view is arranged in a state of being separated from the right side surface 84f of the measurement object 80 by a predetermined distance B2 or more toward the back side in the line-of-sight direction 29 in the line-of-sight direction 29 of the three-dimensional camera 20. Is preferable. The near-field 64 in the field of view may be configured as a patterned surface (patterned surface) or the like.

また、図19に示されるように、これらの3つの透明部材71,72,74は、Y軸周りにも回転(図18において時計回りに)されて配置されてもよい。換言すれば、透明部材71が水平に配置された状態から、これらの透明部材71,72,74が、X,Y,Z軸のうちの2軸周りに回転されてもよい。これによれば、3次元カメラ20は、測定対象物80の3面(上面82、前面84c、左側面84e)を撮影することが可能である。また、これに加えて或いはこれに代えて、3次元カメラ20が、測定対象物80の斜め上方(詳細には、左手前斜め上方)に配置され、右奥斜め下方の測定対象物80を(左手前斜め上方から)撮影してもよい。このような配置においては、起立面74aも、3次元カメラ20の視線方向に対して傾斜している。 Further, as shown in FIG. 19, these three transparent members 71, 72, 74 may be arranged so as to be rotated around the Y axis (clockwise in FIG. 18). In other words, from the state where the transparent members 71 are arranged horizontally, these transparent members 71, 72, 74 may be rotated around two of the X, Y, and Z axes. According to this, the three-dimensional camera 20 can photograph three surfaces (upper surface 82, front surface 84c, left side surface 84e) of the measurement object 80. Further, in addition to or instead of this, a three-dimensional camera 20 is arranged diagonally above the measurement object 80 (specifically, diagonally above the left front), and the measurement object 80 diagonally below the right back is placed (specifically, diagonally above the left front). You may take a picture (from diagonally above the left front). In such an arrangement, the upright surface 74a is also inclined with respect to the line-of-sight direction of the three-dimensional camera 20.

また、図18あるいは図19のような態様において、透明部材74等に代えて、測定対象物80の左側面84eを支持(ガイド)する透明部材73(および起立面73a)(不図示)等が設けられてもよい。透明部材73は、透明部材74と同様の部材である。ただし、透明部材73は、透明部材74とは異なり、透明部材71の左側(+X側)に(換言すれば、測定対象物80の左側方側に)設けられる。 Further, in the embodiment shown in FIG. 18 or 19, instead of the transparent member 74 or the like, the transparent member 73 (and the upright surface 73a) (not shown) or the like that supports (guides) the left side surface 84e of the measurement object 80 is provided. It may be provided. The transparent member 73 is the same member as the transparent member 74. However, unlike the transparent member 74, the transparent member 73 is provided on the left side (+ X side) of the transparent member 71 (in other words, on the left side side of the measurement object 80).

図18あるいは図19のような態様において透明部材73等が設けられる場合には、Y軸周りの回転方向、および3次元カメラ20と測定対象物80との相対位置関係等は左右逆転されればよい。 When the transparent member 73 or the like is provided in the manner shown in FIG. 18 or FIG. 19, if the rotation direction around the Y axis and the relative positional relationship between the three-dimensional camera 20 and the measurement object 80 are reversed left and right. good.

また、透明部材73(あるいは透明部材74)が用いられる態様においては、射影画像223(あるいは射影画像224)が用いられてもよい。射影画像223は、測定対象物80のポイントクラウドデータを測定対象物80の左側の起立面73a(を含む射影平面)に平行射影した画像である。射影画像224は、測定対象物80のポイントクラウドデータを測定対象物80の右側の支持面74a(を含む射影平面)に平行射影した画像である。 Further, in the embodiment in which the transparent member 73 (or the transparent member 74) is used, the projected image 223 (or the projected image 224) may be used. The projected image 223 is an image in which the point cloud data of the measurement object 80 is projected in parallel to the upright surface 73a (including the projective plane) on the left side of the measurement object 80. The projected image 224 is an image in which the point cloud data of the measurement object 80 is projected in parallel to the support surface 74a (including the projective plane) on the right side of the measurement object 80.

また、上記各実施形態等では、模様面61aが透明部材51(,71)の上面に対して平行に設けられているが、これに限定されない。模様面61aは透明部材51(,71)の上面に対して傾斜して設けられてもよい。たとえば、傾斜台75(図8参照)もが透明材料で構成されるとともに、傾斜台75の底部において重量計40の上面に対して平行な模様面61aが設けられてもよい。 Further, in each of the above embodiments, the pattern surface 61a is provided parallel to the upper surface of the transparent member 51 (, 71), but the present invention is not limited to this. The pattern surface 61a may be provided so as to be inclined with respect to the upper surface of the transparent member 51 (, 71). For example, the tilting table 75 (see FIG. 8) may also be made of a transparent material, and a pattern surface 61a parallel to the upper surface of the weighing scale 40 may be provided at the bottom of the tilting table 75.

また、上記第2実施形態等においては、3次元カメラ20の視線方向と透明部材71の上面71a(測定対象物80の載置面)の法線方向とが相対的に傾斜した状態で、透明部材72等が更に設けられているが、これに限定されない。たとえば、3次元カメラ20の視線方向が透明部材71の上面71a(測定対象物80の載置面)の法線方向に対して平行であり、且つ、透明部材72~74(支持面72a~74a)のうちの2つ以上が設けられてもよい。 Further, in the second embodiment or the like, the three-dimensional camera 20 is transparent in a state where the line-of-sight direction and the normal direction of the upper surface 71a of the transparent member 71 (the mounting surface of the measurement object 80) are relatively inclined. Members 72 and the like are further provided, but the present invention is not limited to this. For example, the line-of-sight direction of the three-dimensional camera 20 is parallel to the normal direction of the upper surface 71a (mounting surface of the measurement object 80) of the transparent member 71, and the transparent members 72 to 74 (support surfaces 72a to 74a). ) May be provided.

<周辺領域除去>
3次元カメラ20は、2枚の赤外光画像に加えてカラー画像をも撮影する。測定対象物80の表面の各点(3次元位置情報を有する)に対して当該カラー画像(可視光画像)内の対応点のテクスチャ情報(色情報)を割り当てることによって、カラー画像の3次元モデルが生成される。
<Removal of peripheral area>
The three-dimensional camera 20 captures a color image in addition to the two infrared light images. A three-dimensional model of a color image by assigning texture information (color information) of corresponding points in the color image (visible light image) to each point (having three-dimensional position information) on the surface of the measurement object 80. Is generated.

そして、この3次元モデル(カラーモデル)をXY平面に平行射影することによって、カラー情報を有する射影画像(カラー射影画像)241(図20上段参照)が生成される。この射影画像241は、射影画像221内の各点に対して色情報が付与された画像に相当する。また、同様に、当該3次元モデル(カラーモデル)をXZ平面に平行射影することによって、カラー情報を有する射影画像242(不図示)が生成される。この射影画像242は、射影画像222内の各点に対して色情報(濃淡情報)が付与された画像に相当する。同様に、射影画像223,224に対応する射影画像243,244も生成され得る。なお、これに限定されず、射影画像241~244は、色情報を有するカラー画像ではなく、濃淡情報を有するグレースケール画像(濃淡画像)として生成されてもよい。 Then, by projecting the three-dimensional model (color model) in parallel on the XY plane, a projected image (color projected image) 241 having color information (see the upper part of FIG. 20) is generated. The projected image 241 corresponds to an image in which color information is added to each point in the projected image 221. Similarly, by projecting the three-dimensional model (color model) in parallel on the XZ plane, a projected image 242 (not shown) having color information is generated. The projected image 242 corresponds to an image in which color information (shade information) is added to each point in the projected image 222. Similarly, projected images 243 and 244 corresponding to projected images 223 and 224 can also be generated. Not limited to this, the projected images 241 to 244 may be generated as grayscale images (shading images) having shading information instead of color images having color information.

このような射影画像241を用いて、測定対象物80の寸法(たとえば、W,D)が算出されてもよい。同様に、射影画像242を用いて、測定対象物80の寸法(たとえば、W,H)が算出されてもよい。以下では、射影画像241を利用した寸法算出処理について主に説明するが、他の射影画像242(,243,244)を利用した寸法算出処理についても同様である。 The dimensions (for example, W, D) of the object to be measured 80 may be calculated using such a projected image 241. Similarly, the projected image 242 may be used to calculate the dimensions (for example, W, H) of the object to be measured 80. Hereinafter, the dimension calculation process using the projected image 241 will be mainly described, but the same applies to the dimension calculation process using the other projected images 242 (, 243, 244).

図20は、このような技術について説明する図である。図20の上段においては、測定対象物80(たとえば封筒)の表面の射影画像(カラー射影画像)241が示されている。図20の中段においては、画像処理によって抽出された直線(エッジ直線)248が射影画像241に対して(仮想的に)重畳して示されている。また、図20の下段においては、測定対象物80に隣接する外部領域(非表面部分249)が当該直線248に基づき除去された後の射影画像241が示されている。 FIG. 20 is a diagram illustrating such a technique. In the upper part of FIG. 20, a projected image (color projected image) 241 of the surface of the measurement object 80 (for example, an envelope) is shown. In the middle part of FIG. 20, a straight line (edge straight line) 248 extracted by image processing is shown (virtually) superimposed on the projected image 241. Further, in the lower part of FIG. 20, a projected image 241 is shown after the external region (non-surface portion 249) adjacent to the measurement object 80 has been removed based on the straight line 248.

図20の上段に示されるように、本来の測定対象物80の4辺のエッジ周辺の非表面部分249(実際には測定対象物80の表面ではないにもかかわらず、測定誤差等に起因して誤検出された部分)が3次元モデルおよびその射影画像に残存していることがある。図20の上段においては、本来の測定対象物80が灰色(グレー)で示されており、測定対象物80のエッジ周辺の非表面部分249には模様面61aの模様が黒色等で示されている。 As shown in the upper part of FIG. 20, the non-surface portion 249 around the edges of the four sides of the original measurement object 80 (although it is not actually the surface of the measurement object 80, it is caused by a measurement error or the like. The part that was erroneously detected) may remain in the 3D model and its projected image. In the upper part of FIG. 20, the original measurement object 80 is shown in gray, and the pattern of the pattern surface 61a is shown in black or the like on the non-surface portion 249 around the edge of the measurement object 80. There is.

ここでは、測定対象物80(封筒等)が直線のエッジ部分を有することを前提として、当該エッジ部分付近に残存する非表面部分249(たとえば数mm幅)を測定対象物80の表面部分から除外する。 Here, assuming that the object to be measured 80 (envelope, etc.) has a straight edge portion, the non-surface portion 249 (for example, a width of several mm) remaining in the vicinity of the edge portion is excluded from the surface portion of the object to be measured 80. do.

具体的には、まず、コントローラ31は、射影画像241のエッジ付近においてエッジ抽出処理等(画像処理)を実行する。より詳細には、カラー画像である射影画像241が2値画像(あるいはグレースケール画像)に変換され、変換後の画像に対してエッジ抽出処理が施される。そして、エッジ抽出処理によって抽出された複数のエッジに最も近い直線248(複数のエッジに基づく近似直線(推定直線エッジ))が求められる(図20の中段参照)。そして、当該直線よりも外側にある部分が、測定対象物80以外の領域(外部領域)として、射影画像241から除去される。これにより、非表面部分249を除去した後の射影画像241が得られる(図20の下段参照)。 Specifically, first, the controller 31 executes edge extraction processing or the like (image processing) in the vicinity of the edge of the projected image 241. More specifically, the projected image 241 which is a color image is converted into a binary image (or a grayscale image), and the converted image is subjected to edge extraction processing. Then, a straight line 248 (approximate straight line based on the plurality of edges (estimated straight line edge)) closest to the plurality of edges extracted by the edge extraction process is obtained (see the middle part of FIG. 20). Then, the portion outside the straight line is removed from the projected image 241 as a region (external region) other than the measurement target 80. As a result, a projected image 241 after removing the non-surface portion 249 can be obtained (see the lower part of FIG. 20).

このような処理によれば、測定対象物80の寸法をさらに精度よく検出することが可能である。 According to such a process, the dimension of the object to be measured 80 can be detected more accurately.

<他の保持部>
上記第1実施形態等においては、所定の厚み(長さB以上の厚み)を有する透明部材51等が設けられることによって、測定対象物80が3次元カメラ20の視線方向にて視野内近傍面61から当該カメラ側に所定の距離以上離間した状態で保持されている。より詳細には、透明部材51が重量計40の上面42の全体を覆うように設けられている。換言すれば、カメラ視野内において(換言すれば、平面視等において)測定対象物80よりも広い範囲に亘る領域に透明部材51が設けられている。しかしながら、本発明は、これに限定されない。
<Other holding parts>
In the first embodiment or the like, by providing the transparent member 51 or the like having a predetermined thickness (thickness of length B or more), the object to be measured 80 is a near surface in the field of view in the line-of-sight direction of the three-dimensional camera 20. It is held in a state of being separated from 61 to the camera side by a predetermined distance or more. More specifically, the transparent member 51 is provided so as to cover the entire upper surface 42 of the weighing scale 40. In other words, the transparent member 51 is provided in a region wider than the measurement object 80 in the field of view of the camera (in other words, in a plan view or the like). However, the present invention is not limited to this.

具体的には、図21に示されるように、所定の厚み(長さB以上の厚み)を有する部材(スペーサー)55が平面視において測定対象物80よりも狭い領域(小さな領域)に設けられてもよい。部材55は、円柱状部材でもよく、あるいは角柱状部材等でもよい。また、部材55は、透明部材でもよく、非透明部材でもよい。このような部材55が、視野内近傍面61(上面42等)と測定対象物80の下面83との間に設けられることによって、測定対象物80が3次元カメラの視線方向において視野内近傍面61から当該カメラ側に所定の距離以上離間した状態で保持されてもよい。なお、測定対象物80が柔軟物である場合等には、上記各実施形態のような保持部50(カメラ視野内において測定対象物80よりも広い範囲に亘る透明部材51等を有する保持部50)が設けられることが好ましい。 Specifically, as shown in FIG. 21, a member (spacer) 55 having a predetermined thickness (thickness of length B or more) is provided in a region (small region) narrower than the measurement object 80 in a plan view. You may. The member 55 may be a columnar member, a prismatic member, or the like. Further, the member 55 may be a transparent member or a non-transparent member. By providing such a member 55 between the near surface in the field of view 61 (upper surface 42 or the like) and the lower surface 83 of the object to be measured 80, the object 80 to be measured is placed near the surface in the field of view in the line-of-sight direction of the three-dimensional camera. It may be held in a state of being separated from 61 to the camera side by a predetermined distance or more. When the object to be measured 80 is a flexible object, the holding unit 50 (the holding unit 50 having a transparent member 51 or the like over a wider range than the object to be measured 80 in the field of view of the camera) as in each of the above embodiments. ) Is preferably provided.

あるいは、図22に示されるように、重量計40の上面42の端部付近(たとえば上面視における四隅のそれぞれ)に支持部材(支柱部材)57が立設されるとともに、当該支持部材57で固定支持された薄板状の透明部材56が設けられてもよい。換言すれば、透明部材56と上面42との間に中空部58が設けられてもよい。このような中空部58等によって、測定対象物80が3次元カメラ20の視線方向にて視野内近傍面61(上面42)から当該カメラ側に所定の距離以上離間した状態で保持されてもよい。 Alternatively, as shown in FIG. 22, a support member (post member) 57 is erected near the end of the upper surface 42 of the weighing scale 40 (for example, each of the four corners in the top view) and fixed by the support member 57. A supported thin plate-shaped transparent member 56 may be provided. In other words, the hollow portion 58 may be provided between the transparent member 56 and the upper surface 42. Such a hollow portion 58 or the like may hold the object to be measured 80 in a state of being separated from the near surface 61 (upper surface 42) in the field of view by a predetermined distance or more in the line-of-sight direction of the three-dimensional camera 20. ..

このように、測定対象物80を3次元カメラ20の視線方向にて視野内近傍面61から当該カメラ側に所定の距離以上離間した状態で保持する各種の保持部(保持手段)が採用されてもよい。 As described above, various holding portions (holding means) for holding the measurement object 80 in the line-of-sight direction of the three-dimensional camera 20 from the near surface 61 in the field of view to the camera side at a predetermined distance or more are adopted. May be good.

また、このような改変は、第2実施形態等に対して施されてもよい。 Moreover, such a modification may be made to the second embodiment and the like.

<赤外光吸収面>
また、上記各実施形態等においては、視野内近傍面61は模様面61aとして構成されてもよいことについて説明したが、これに限定されず、視野内近傍面61は、赤外光吸収面61b(不図示)として構成されてもよい。特に、3次元カメラ20としてTOF(Time of Flight)方式の装置が用いられる場合に特に有用である。他の視野内近傍面62~64についても同様である。
<Infrared light absorption surface>
Further, in each of the above embodiments, it has been described that the in-field near surface 61 may be configured as a pattern surface 61a, but the present invention is not limited to this, and the in-field near surface 61 is an infrared light absorbing surface 61b. It may be configured as (not shown). In particular, it is particularly useful when a TOF (Time of Flight) type device is used as the three-dimensional camera 20. The same applies to the other in-field neighborhood surfaces 62 to 64.

TOF方式の3次元カメラ20においては、3次元カメラ20から測定対象物80へと向かう測定光(時間測定用の光(赤外光等))が照射され、その反射光が3次元カメラ20に戻るまでの時間の計測結果に基づき測定対象物80までの距離が測定される。 In the TOF type 3D camera 20, measurement light (light for time measurement (infrared light, etc.)) directed from the 3D camera 20 toward the measurement object 80 is irradiated, and the reflected light is transmitted to the 3D camera 20. The distance to the measurement object 80 is measured based on the measurement result of the time until returning.

しかしながら、当該3次元カメラ20の視野内における測定対象物80の上面82等の辺縁部の測距において、誤差が生じ易いという問題が存在する。これは、3次元カメラ20から出射された測定光のうち、測定対象物80の上面82内の辺縁部での反射光のみならず、3次元カメラ20の視野内における上面82の周辺領域(当該辺縁部に隣接する外部近傍領域)での反射光もが3次元カメラ20に戻ること等に起因する。 However, there is a problem that an error is likely to occur in the distance measurement of the peripheral portion such as the upper surface 82 of the measurement object 80 in the field of view of the three-dimensional camera 20. Of the measurement light emitted from the 3D camera 20, not only the reflected light at the edge portion in the upper surface 82 of the measurement object 80, but also the peripheral region of the upper surface 82 in the field of view of the 3D camera 20 ( This is due to the fact that the reflected light in the outer vicinity region adjacent to the peripheral portion also returns to the three-dimensional camera 20 and the like.

これに対して、視野内近傍面61等が赤外光吸収面61bとして構成されることによれば、このような問題を解消することが可能である。具体的には、3次元カメラ20から出射された測定光のうち、3次元カメラ20の視野内における測定対象物80の上面82の周辺領域(図3の破線楕円領域等参照)に到達した光は、当該周辺領域に存在する赤外光吸収面61bによって吸収される。それ故、当該周辺領域から3次元カメラ20へと戻ってくる測定光は大幅に(理想的にはゼロに)低減され、当該周辺領域(外部近傍領域)からの反射光に起因する測距誤差の発生を回避ないし抑制することが可能である。赤外光吸収面61bは、たとえば、赤外光を吸収し易い黒色面として構成されてもよく、赤外光吸収インクが塗布された面として構成されてもよい。 On the other hand, if the near-field surface 61 or the like in the visual field is configured as the infrared light absorbing surface 61b, such a problem can be solved. Specifically, among the measurement light emitted from the three-dimensional camera 20, the light that reaches the peripheral region of the upper surface 82 of the measurement object 80 in the field of view of the three-dimensional camera 20 (see the dashed elliptical region in FIG. 3 and the like). Is absorbed by the infrared light absorbing surface 61b existing in the peripheral region. Therefore, the measurement light returning from the peripheral region to the 3D camera 20 is significantly reduced (ideally to zero), and the distance measurement error due to the reflected light from the peripheral region (external neighborhood region) is reduced. It is possible to avoid or suppress the occurrence of. The infrared light absorbing surface 61b may be configured as, for example, a black surface that easily absorbs infrared light, or may be configured as a surface coated with infrared light absorbing ink.

なお、この改変例においては、3次元カメラ20の視野内にて測定対象物80の近傍領域に存在する赤外光吸収面61bから、3次元カメラの視線方向において3次元カメラ側に所定の距離以上離間した状態で、測定対象物80が保持されている。しかしながら、これに限定されない。たとえば、赤外光吸収面61bの上に直に(距離Bを空けることなく)測定対象物80が載置されてもよい。赤外光を測定光として用いるTOF方式の3次元カメラ20は、その視野内における測定対象物80の近傍領域(周辺領域)からの反射光を受光せずに済むので、測定対象物80の表面の3次元位置情報を正確に取得することが可能である。 In this modified example, a predetermined distance from the infrared light absorbing surface 61b existing in the vicinity region of the measurement object 80 in the field of view of the 3D camera 20 to the 3D camera side in the line-of-sight direction of the 3D camera. The object to be measured 80 is held in a state of being separated from each other. However, it is not limited to this. For example, the measurement object 80 may be placed directly on the infrared light absorbing surface 61b (without leaving a distance B). The TOF type three-dimensional camera 20 that uses infrared light as the measurement light does not have to receive the reflected light from the vicinity region (peripheral region) of the measurement object 80 in the field of view, so that the surface of the measurement object 80 does not have to be received. It is possible to accurately acquire the three-dimensional position information of.

<その他>
また、各実施形態等においては、寸法測定装置10は重量計40を備え、重量計40の上に保持部50が配置されているが、これに限定されない。たとえば、寸法測定装置10は、重量計40を備えなくてもよい。保持部50は、重量計40以外の部材(寸法測定装置10の底面部材等)の上に配置されてもよい。
<Others>
Further, in each embodiment and the like, the dimension measuring device 10 includes a weight scale 40, and the holding portion 50 is arranged on the weight scale 40, but the present invention is not limited to this. For example, the dimension measuring device 10 does not have to include the weighing scale 40. The holding portion 50 may be arranged on a member other than the weighing scale 40 (such as a bottom member of the dimension measuring device 10).

10 寸法測定装置
20 3次元カメラ
27,28 カメラ固定部材
29 カメラ視線方向
30 寸法算出装置
40 重量計
50 保持部
51,71~74 透明部材
55 スペーサ
58 中空部
61~64 視野内近傍面
61a 模様面
61b 赤外光吸収面
75 傾斜台
79 空間
80 測定対象物
221~224,241~244 射影画像
10 Dimension measuring device 20 3D camera 27, 28 Camera fixing member 29 Camera line-of-sight direction 30 Dimension calculation device 40 Weighing scale 50 Holding part 51, 71-74 Transparent member 55 Spacer 58 Hollow part 61-64 Near-field surface 61a Pattern surface 61b Infrared light absorption surface 75 Inclined table 79 Space 80 Measurement target 221 to 224, 241 to 244 Projected image

Claims (8)

測定対象物の表面の3次元位置情報を取得するための3次元カメラと、
前記3次元カメラの視野内にて前記測定対象物の近傍領域に存在する所定面から、前記3次元カメラの視線方向において前記3次元カメラ側に所定の距離以上離間した状態で、前記測定対象物を保持する保持手段と、
前記3次元位置情報に基づき前記測定対象物の寸法を算出する制御手段と、
を備えることを特徴とする寸法測定装置。
A 3D camera for acquiring 3D position information on the surface of the object to be measured,
The object to be measured is separated from a predetermined surface existing in a region near the object to be measured in the field of view of the three-dimensional camera by a predetermined distance or more from the predetermined surface in the line-of-sight direction of the three-dimensional camera to the side of the three-dimensional camera. And the holding means to hold
A control means for calculating the dimensions of the object to be measured based on the three-dimensional position information, and
A dimensional measuring device comprising.
前記所定面は、所定の模様を有していることを特徴とする、請求項1に記載の寸法測定装置。 The dimension measuring device according to claim 1, wherein the predetermined surface has a predetermined pattern. 前記3次元カメラの前記視線方向と前記測定対象物の載置面の法線方向とは相対的に傾斜しており、
前記保持手段は、前記載置面と前記載置面に垂直な且つ前記視線方向に対して傾斜した支持面とに前記測定対象物が接触した状態で前記測定対象物を保持することを特徴とする、請求項1または請求項2に記載の寸法測定装置。
The line-of-sight direction of the three-dimensional camera and the normal direction of the mounting surface of the measurement object are relatively inclined.
The holding means is characterized in that the measurement object is held in a state where the measurement object is in contact with the front-described mounting surface and the support surface perpendicular to the front-state placement surface and inclined with respect to the line-of-sight direction. The dimensional measuring device according to claim 1 or 2.
前記3次元カメラは、前記測定対象物を斜め上方から撮影することを特徴とする、請求項1から請求項3のいずれかに記載の寸法測定装置。 The dimension measuring device according to any one of claims 1 to 3, wherein the three-dimensional camera captures the object to be measured from obliquely above. 前記保持手段は、
前記測定対象物の背面側と左側方側と右側方側とのうちの少なくとも1つに設けられ、前記測定対象物のはみ出しを防止するガイド部、
を備えることを特徴とする、請求項1から請求項4のいずれかに記載の寸法測定装置。
The holding means is
A guide portion provided on at least one of the back side, the left side side, and the right side side of the measurement object to prevent the measurement object from protruding.
The dimensional measuring device according to any one of claims 1 to 4, wherein the dimensional measuring device is provided.
前記制御手段は、前記測定対象物の表面の点群を各射影面に射影した複数の射影画像に基づき、前記測定対象物の寸法を算出することを特徴とする、請求項1から請求項5のいずれかに記載の寸法測定装置。 Claims 1 to 5 are characterized in that the control means calculates the dimensions of the measurement object based on a plurality of projection images obtained by projecting a group of points on the surface of the measurement object onto each projection surface. The dimensional measuring device according to any one of. 前記測定対象物の種別と前記測定対象物に関する運搬サービスの種類との少なくとも一方を入力する入力手段、
をさらに備えることを特徴とする、請求項1から請求項6のいずれかに記載の寸法測定装置。
An input means for inputting at least one of the type of the measurement object and the type of transportation service related to the measurement object.
The dimensional measuring device according to any one of claims 1 to 6, further comprising.
測定対象物の表面の3次元位置情報を取得するための3次元カメラを用いた寸法測定方法であって、
a)前記3次元カメラの視野内にて前記測定対象物の近傍領域に存在する所定面から、前記3次元カメラの視線方向において前記3次元カメラ側に所定の距離以上離間した状態で保持された前記測定対象物を、前記3次元カメラで撮影し、前記測定対象物の表面の前記3次元位置情報を取得するステップと、
b)前記3次元位置情報に基づき前記測定対象物の寸法を算出するステップと、
を備えることを特徴とする寸法測定方法。
It is a dimensional measurement method using a three-dimensional camera for acquiring three-dimensional position information on the surface of an object to be measured.
a) It was held in a state of being separated from a predetermined surface existing in a region near the object to be measured in the field of view of the 3D camera to the 3D camera side by a predetermined distance or more in the line-of-sight direction of the 3D camera. A step of photographing the measurement object with the three-dimensional camera and acquiring the three-dimensional position information on the surface of the measurement object, and
b) A step of calculating the dimensions of the object to be measured based on the three-dimensional position information, and
A dimensional measurement method comprising.
JP2021001333A 2021-01-07 2021-01-07 Dimension measuring device and dimension measuring method Pending JP2022106386A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021001333A JP2022106386A (en) 2021-01-07 2021-01-07 Dimension measuring device and dimension measuring method
PCT/JP2021/035531 WO2022149315A1 (en) 2021-01-07 2021-09-28 Dimension-measuring device and dimension-measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021001333A JP2022106386A (en) 2021-01-07 2021-01-07 Dimension measuring device and dimension measuring method

Publications (1)

Publication Number Publication Date
JP2022106386A true JP2022106386A (en) 2022-07-20

Family

ID=82357881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021001333A Pending JP2022106386A (en) 2021-01-07 2021-01-07 Dimension measuring device and dimension measuring method

Country Status (2)

Country Link
JP (1) JP2022106386A (en)
WO (1) WO2022149315A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023037107A (en) * 2021-09-03 2023-03-15 Necプラットフォームズ株式会社 Package measurement device and package measurement method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334680A (en) * 1994-06-02 1995-12-22 Mitsubishi Heavy Ind Ltd Three-dimensional shape processing device
JP5493105B2 (en) * 2010-03-19 2014-05-14 オプテックス株式会社 Object dimension measuring method and object dimension measuring apparatus using range image camera
EP2573526B1 (en) * 2011-09-20 2013-11-13 Neopost Technologies Apparatus for sizing parcel
CN106152947B (en) * 2015-03-31 2019-11-29 北京京东尚科信息技术有限公司 Measure equipment, the method and apparatus of dimension of object
JP6542574B2 (en) * 2015-05-12 2019-07-10 株式会社豊田中央研究所 forklift

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023037107A (en) * 2021-09-03 2023-03-15 Necプラットフォームズ株式会社 Package measurement device and package measurement method

Also Published As

Publication number Publication date
WO2022149315A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
US9971455B2 (en) Spatial coordinate identification device
US10156937B2 (en) Determining a segmentation boundary based on images representing an object
TWI498580B (en) Length measuring method and length measuring apparatus
JP5480914B2 (en) Point cloud data processing device, point cloud data processing method, and point cloud data processing program
CN101739567B (en) Terminal apparatus and display control method
US20110267264A1 (en) Display system with multiple optical sensors
US10379680B2 (en) Displaying an object indicator
TWI546719B (en) Projection screen for specularly reflecting infrared light
JP5518321B2 (en) Laser radar installation position verification apparatus, laser radar installation position verification method, and laser radar installation position verification apparatus program
JP2007036482A (en) Information projection display and program
CN110398215A (en) Image processing apparatus and method, system, article manufacturing method, storage medium
WO2022149315A1 (en) Dimension-measuring device and dimension-measuring method
CN107025003A (en) Input unit
JP6528964B2 (en) INPUT OPERATION DETECTING DEVICE, IMAGE DISPLAY DEVICE, PROJECTOR DEVICE, PROJECTOR SYSTEM, AND INPUT OPERATION DETECTING METHOD
US10725586B2 (en) Presentation of a digital image of an object
Moller et al. An automatic evaluation procedure for 3-D scanners in robotics applications
JP6427981B2 (en) Image display device
JP2022191000A (en) Dimension measurement device and dimension measurement method
Palka et al. 3D object digitization devices in manufacturing engineering applications and services
JP2005061886A (en) Volume-measuring method and volume-measuring instrument
US20240212269A1 (en) Information processing apparatus, information processing method, program, and information processing system
KR102026699B1 (en) Method for providing an interactive human contents service using spatial projection
JP2023005398A (en) Measurement device
JP2021148432A (en) Tunnel photographed image processing device and program
JP2022028196A (en) Information processing apparatus, system, detection method, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231116