JP2003028614A - Method and apparatus for detection of position, industrial vehicle, mark, pallet, shelf and system for materials handling and pasting agent - Google Patents
Method and apparatus for detection of position, industrial vehicle, mark, pallet, shelf and system for materials handling and pasting agentInfo
- Publication number
- JP2003028614A JP2003028614A JP2001212095A JP2001212095A JP2003028614A JP 2003028614 A JP2003028614 A JP 2003028614A JP 2001212095 A JP2001212095 A JP 2001212095A JP 2001212095 A JP2001212095 A JP 2001212095A JP 2003028614 A JP2003028614 A JP 2003028614A
- Authority
- JP
- Japan
- Prior art keywords
- mark
- pattern
- patterns
- cargo handling
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Pallets (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、マークを撮影して
得た画像データを画像認識処理することにより位置を検
出する位置検出方法、位置検出装置、産業車両、マー
ク、荷役用パレット、荷役用棚、貼付用シート及び荷役
システムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a position detecting method, a position detecting device, an industrial vehicle, a mark, a pallet for cargo handling, and a cargo handling for detecting a position by performing image recognition processing on image data obtained by photographing a mark. The present invention relates to a shelf, a sticking sheet, and a cargo handling system.
【０００２】[0002]
【従来の技術】従来、この種の位置検出方法として、例
えば一定間隔を開けたカメラ２台を使って同一の物体を
認識し、それぞれの画像上での物体の２次元座標を利用
して実際の物体の３次元座標を求める手法（ステレオカ
メラ）が知られている。しかし、この手法ではカメラを
２台使用しており、処理系も複雑になるので、高コスト
になってしまう。2. Description of the Related Art Conventionally, as a position detecting method of this type, the same object is recognized by using, for example, two cameras spaced apart from each other, and the two-dimensional coordinates of the object on each image are actually used. A method (stereo camera) for obtaining the three-dimensional coordinates of the object is known. However, in this method, two cameras are used and the processing system is complicated, resulting in high cost.
【０００３】また特開平１１−８５３８５号公報には、
複数の発光体を設置して、複数の発光体の点灯を認識し
て位置を検出する装置が開示されている。しかし、この
位置検出方法では、これらの発光体をタイミングをずら
して発光させたりしなければならず、こちらも複雑なシ
ステムになってしまう。また発光体を利用するので明る
い場所では位置検出をすることができない。また発光体
ではなく黒点などの点を表示しておけば、明るい場所で
も検出することはできるが、点であると、ある程度距離
が離れるとその点を認識するのが困難となり、比較的近
距離での位置検出にしか使用できない。Further, Japanese Patent Laid-Open No. 11-85385 discloses that
An apparatus has been disclosed in which a plurality of light emitters are installed and the lighting of the plurality of light emitters is recognized to detect the position. However, in this position detection method, it is necessary to shift the timings of these light emitters to cause them to emit light, which also results in a complicated system. Further, since the light emitter is used, the position cannot be detected in a bright place. In addition, if a dot such as a black dot is displayed instead of the light emitter, it can be detected even in a bright place, but if it is a dot, it becomes difficult to recognize that point if it is separated by a certain distance, and the distance is relatively short. Can only be used for position detection in.
【０００４】さらに丸や四角などの図形のパターンをマ
ークに使い、パターンマッチングによりマークを認識し
て位置を検出する手法も知られている。すなわち、所定
の図形のマークをパターンマッチングにより認識し、画
面上におけるマークの位置座標と大きさを求めて、これ
らの値を基に幾何学的な相似関係からマークとカメラと
の相対位置座標を計算する。There is also known a method in which a pattern of a figure such as a circle or a square is used as a mark, and the mark is recognized by pattern matching to detect the position. That is, the mark of a predetermined figure is recognized by pattern matching, the position coordinate and size of the mark on the screen are obtained, and the relative position coordinate between the mark and the camera is calculated from the geometrical similarity based on these values. calculate.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、マーク
とカメラの距離の違いによって画面上におけるマークの
大きさが異なるため、マークがどんな大きさであっても
認識されるようにするため、大きさの異なる多数のテン
プレートを用意する必要があった。例えば図１９に示す
ように、マーク９０が丸形「●」のパターンであると
き、撮影されたマーク９０が遠近の違いにより大きさが
まちまちであっても、それがマーク９０であると確実に
認識されるように、同図に示すように種々の大きさの多
数のテンプレート９１を用意しておく必要があった。そ
して、種々の大きさのテンプレート９１の１つずつにつ
いてパターンマッチング処理を行い、画像データ中にテ
ンプレート９１と一致したパターンがあると、その位置
からマーク９０の位置を算出するとともに、その一致し
たテンプレート９１の大きさからマーク９０の大きさを
認識する。しかし、このようなスケール処理は、多数の
テンプレート９１を用意するとともに、テンプレート９
１の１つずつについてパターンマッチング処理をする必
要があるため、マークを認識するまでにかなり長い処理
時間がかかるという問題があった。However, since the size of the mark on the screen differs depending on the distance between the mark and the camera, the size of the mark must be changed so that the mark can be recognized regardless of its size. It was necessary to prepare many different templates. For example, as shown in FIG. 19, when the mark 90 has a circular “●” pattern, even if the photographed mark 90 varies in size due to the difference in perspective, it is sure that the mark 90 is the mark 90. As can be appreciated, it was necessary to prepare a large number of templates 91 of various sizes as shown in the figure. Then, pattern matching processing is performed on each of the templates 91 of various sizes, and if there is a pattern in the image data that matches the template 91, the position of the mark 90 is calculated from that position, and the matching template is also calculated. The size of the mark 90 is recognized from the size of 91. However, such scale processing requires a large number of templates 91 and the template 9
Since it is necessary to perform the pattern matching process for each one, there is a problem that it takes a considerably long processing time to recognize the mark.
【０００６】例えば米国特許５５８６６２０号には、フ
ォークリフトなどの産業車両の分野において、フォーク
を高所で位置合わせする操作を支援する目的で、キャリ
ッジにフォーク前方を撮影するカメラを取り付け、カメ
ラで撮影した画像を運転席から表示装置の画面を通して
見られるようにした技術が開示されている。For example, in US Pat. No. 5,586,620, in the field of industrial vehicles such as forklifts, a camera for photographing the front of the fork is attached to the carriage for the purpose of supporting the operation of aligning the fork at a high place, and the image is taken by the camera. A technique is disclosed in which an image can be viewed from a driver's seat through a screen of a display device.
【０００７】このような技術にさらに位置検出機能を追
加することも考えられる。すなわち、例えば棚やパレッ
トに位置検出用のマークを設け、フォーク前方を撮影し
た画像データを画像認識処理することでマークの位置お
よび大きさを算出し、これらの算出値を基に求めたフォ
ークの目標位置に対するずれ量などの情報を、数値表示
や音声アナウンスなどで運転者に知らせる技術を導入す
る。It is possible to add a position detection function to such a technique. That is, for example, a mark for position detection is provided on a shelf or a pallet, the position and size of the mark are calculated by performing image recognition processing on image data of the front of the fork, and the fork of the fork obtained based on these calculated values is calculated. We will introduce technology that informs the driver of information such as the amount of deviation from the target position by numerical display or voice announcement.
【０００８】この場合、フォークを上昇させるときにカ
メラも一緒に移動しながら撮影され、画面上で動いてゆ
くマークを位置検出することになる。しかし、スケール
処理に時間がかかり位置検出結果が遅れるタイムラグが
生じると、フォークとマークの現実の位置関係と、画像
処理上の位置関係がずれてしまう。このような画像処理
上の位置関係が現実のものとずれることが原因で、フォ
ークの位置合わせを的確に支援できなくなるという問題
が発生する。このため、マークの位置をほぼリアルタイ
ムに検出できるようにするため、スケール処理など処理
時間の長くかかる技術を用いなくても、マークを認識で
きる画像処理技術が必要であった。In this case, when the fork is lifted, the camera is also moved together with the image, and the position of the moving mark is detected on the screen. However, if there is a time lag in which the scale processing takes time and the position detection result is delayed, the actual positional relationship between the fork and the mark deviates from the positional relationship in image processing. Due to the positional relationship in image processing deviating from the actual one, there arises a problem that the fork alignment cannot be accurately supported. Therefore, in order to detect the position of the mark almost in real time, there is a need for an image processing technique capable of recognizing the mark without using a technique such as a scale process that takes a long processing time.
【０００９】本発明は前記課題を解決するためになされ
たものであって、その目的は、マークの認識処理速度を
速くすることができ、位置の検出時間を短くすることが
できる位置検出方法、位置検出装置、産業車両、マー
ク、荷役用パレット、荷役用棚、貼付用シート及び荷役
システムを提供することにある。The present invention has been made to solve the above problems, and an object thereof is a position detection method capable of increasing the mark recognition processing speed and shortening the position detection time. An object is to provide a position detection device, an industrial vehicle, a mark, a cargo pallet, a cargo rack, a sticking sheet, and a cargo system.
【００１０】第２の目的は、第１の目的を達成するとと
もに、撮影位置とマークとの実座標系における相対位置
を効率よく検出することにある。A second object is to achieve the first object and efficiently detect the relative position between the photographing position and the mark in the real coordinate system.
【００１１】[0011]
【課題を解決するための手段】上記目的を達成するため
に請求項１に記載の発明は、マークをカメラで撮影して
得た画像データをパターンマッチング処理することで、
前記マークのパターンを画像認識して位置を割り出す位
置検出方法であって、前記マークは、連続的に拡大して
も常にそのパターンの模様の中に元のサイズのパターン
が一つだけ含まれる模様のパターンをもつことを要旨と
する。In order to achieve the above object, the invention according to claim 1 performs pattern matching processing on image data obtained by photographing a mark with a camera,
A position detecting method for recognizing an image of a pattern of the mark to determine a position, wherein the mark is such that even if it is continuously enlarged, only one pattern of an original size is included in the pattern of the pattern. The point is to have a pattern of.
【００１２】この発明によれば、撮影距離の違いなどに
より撮影されたマークの大きさが変わっても、そのパタ
ーンの中にはテンプレートと同サイズのパターンが含ま
れるので、パターンマッチング処理するときに用いるテ
ンプレートが少なく済む。このため、画像認識の処理速
度が速くなり、位置検出の処理時間が短縮される。According to the present invention, even if the size of the imaged mark changes due to the difference in the shooting distance or the like, the pattern includes the pattern of the same size as the template. Uses fewer templates. Therefore, the processing speed of image recognition is increased, and the processing time of position detection is shortened.
【００１３】請求項２に記載の発明は、請求項１に記載
の位置検出方法において、前記マークは、一点を中心に
放射状に真っ直ぐ延びる複数本の境界線のみによって色
分けされたパターンをもつことを要旨とする。According to a second aspect of the present invention, in the position detecting method according to the first aspect, the mark has a pattern that is color-coded only by a plurality of boundary lines extending straight in a radial pattern about one point. Use as a summary.
【００１４】この発明によれば、請求項１に記載の発明
と同様の作用が得られる。請求項３に記載の発明は、請
求項２に記載の位置検出方法において、前記マークは、
一点を中心に放射状に真っ直ぐ延びる３本以上の境界線
のみによって色分けされたパターンをもつことを要旨と
する。According to this invention, the same effect as that of the invention described in claim 1 can be obtained. According to a third aspect of the present invention, in the position detecting method according to the second aspect, the mark is
The gist is to have a pattern that is color-coded only by three or more boundary lines extending straight in a radial pattern with one point as the center.
【００１５】この発明によれば、請求項２の発明の作用
に加え、境界線が２本の場合に比べてマーク以外のもの
をパターンと認識する誤認識が減る。請求項４に記載の
発明は、請求項２又は３に記載の位置検出方法におい
て、前記マークは前記パターンを１つだけ有し、該１つ
のパターンを画像認識して該パターンの放射中心点を算
出して撮影画面上における前記マークの位置を割り出す
ことを要旨とする。According to the present invention, in addition to the effect of the invention of claim 2, erroneous recognition of recognizing objects other than marks as patterns is reduced as compared with the case of two boundary lines. According to a fourth aspect of the present invention, in the position detecting method according to the second or third aspect, the mark has only one pattern, and the one pattern is image-recognized to determine a radiation center point of the pattern. The gist is to calculate and determine the position of the mark on the photographing screen.
【００１６】この発明によれば、請求項２又は３の発明
の作用に加え、パターン１つだけのマークにより、撮影
画面上におけるマークの位置が割り出される。請求項５
に記載の発明は、請求項２又は請求項３に記載の位置検
出方法において、前記マークは、各々の放射中心間の距
離が既知の値に定められた２つの前記パターンを有し、
該２つのパターンを画像認識して該パターンの各々の放
射中心点と該二点間の距離とを算出して、これらの値を
基に撮影画面上における前記マークの位置と大きさを割
り出すことを要旨とする。According to this invention, in addition to the operation of the invention of claim 2 or 3, the position of the mark on the photographing screen is determined by the mark having only one pattern. Claim 5
In the position detecting method according to claim 2 or claim 3, the mark has two patterns in which a distance between respective radiation centers is set to a known value.
Image-recognizing the two patterns, calculating the radiation center point of each of the patterns and the distance between the two points, and determining the position and size of the mark on the photographing screen based on these values. Is the gist.
【００１７】この発明によれば、既知の距離だけ離れた
２つのパターンの位置（放射中心点）とその距離が分か
るため、これらの値を基にマークの位置と大きさを求め
ることが可能となる。According to the present invention, since the positions (radiation center points) of two patterns separated by a known distance and their distances are known, the position and size of the mark can be obtained based on these values. Become.
【００１８】請求項６に記載の発明は、請求項２又は３
に記載の位置検出方法において、前記マークは、各々の
放射中心間の距離が既知の値に定められた２つの前記パ
ターンを有し、該２つのパターンを画像認識して該パタ
ーンの各々の放射中心点と該二点間の距離とを算出し
て、これらの値を基に前記カメラと前記マークの相対位
置を算出することを要旨とする。The invention according to claim 6 is the invention according to claim 2 or 3.
In the position detection method according to the item 1, the mark has two patterns in which a distance between respective radiation centers is set to a known value, and the two patterns are image-recognized to emit each of the patterns. The gist is to calculate the center point and the distance between the two points and to calculate the relative position of the camera and the mark based on these values.
【００１９】この発明によれば、既知の距離だけ離れた
２つのパターンの位置（放射中心点）とその距離が分か
るため、これらの値を基にカメラとマークの実座標系に
おける相対位置が算出される。According to the present invention, since the positions (radiation center points) of the two patterns separated by a known distance and the distances between them are known, the relative positions of the camera and the mark in the actual coordinate system are calculated based on these values. To be done.
【００２０】請求項７に記載の発明は、請求項５又は６
に記載の位置検出方法において、前記２つのパターン
は、同一の模様であることを要旨とする。この発明によ
れば、２つのパターンを認識するのにテンプレートが１
つで済む。The invention according to claim 7 is the invention according to claim 5 or 6.
In the position detection method described in [1], the gist is that the two patterns are the same pattern. According to the present invention, one template is used to recognize two patterns.
One is enough.
【００２１】請求項８に記載の発明は、請求項２〜７の
いずれか一項に記載の位置検出方法において、前記パタ
ーンは、４本以上の偶数本の前記境界線によって前記一
点を中心とする周方向に交互に濃淡で色分けされている
ことを要旨とする。According to an eighth aspect of the present invention, in the position detecting method according to any one of the second to seventh aspects, the pattern is centered on the one point by an even number of four or more boundary lines. The gist is that the colors are alternately shaded in the circumferential direction.
【００２２】この発明によれば、パターンがさほど単純
ではない模様であることと、濃淡で比較的コントラスト
がはっきりしたパターンなので、パターン以外のものを
パターンと認識する誤認識や、パターンをパターンとし
て認識できない認識漏れが減る。According to the present invention, since the pattern is not so simple and the contrast is relatively clear due to light and shade, misrecognition of recognizing a pattern other than the pattern and recognition of the pattern as the pattern. The recognition omission that cannot be done is reduced.
【００２３】請求項９に記載の発明は、請求項１〜８の
いずれか一項に記載の位置検出方法において、前記パタ
ーンマッチング処理で用いられるテンプレートは、前記
画像データ上に映し出されるマークが認識されなければ
ならない最小サイズにあるときのそのパターンサイズ以
下のサイズに設定されていることを要旨とする。According to a ninth aspect of the present invention, in the position detecting method according to any one of the first to eighth aspects, the template used in the pattern matching processing recognizes a mark projected on the image data. The gist is that the size is set to be equal to or smaller than the pattern size when the size is the minimum size that must be set.
【００２４】この発明によれば、認識されなければなら
ないサイズのマークのパターンは全て認識可能となる。
請求項１０に記載の発明は、請求項１〜９のいずれか一
項に記載の位置検出方法において、前記カメラは、産業
車両に設けられたマストに沿って昇降するキャリッジに
対し荷役具の荷役作業エリアを撮影可能な向きに取付け
られており、前記マークは前記荷役具の荷役作業対象で
ある棚とパレットのうち少なくとも一方に付されてお
り、前記カメラで撮影した前記荷役作業エリアの画像デ
ータから前記マークの位置を検出することを要旨とす
る。According to the present invention, it is possible to recognize all the patterns of marks having the size that must be recognized.
According to a tenth aspect of the present invention, in the position detecting method according to any one of the first to ninth aspects, the camera is a cargo handling tool for a carriage that moves up and down along a mast provided on an industrial vehicle. The work area is attached so that it can be photographed, and the mark is attached to at least one of a shelf and a pallet, which are objects of the cargo handling work of the cargo handling tool, and image data of the cargo handling work area photographed by the camera. From the above, the gist is to detect the position of the mark.
【００２５】この発明によれば、荷役具と共に昇降する
カメラが荷役作業エリアを撮影する際に、棚またはパレ
ットのマークがカメラに捕らえられて画像認識されるこ
とにより、荷役作業時の位置決めの標的を位置検出する
ことが可能となる。According to the present invention, when the camera that moves up and down together with the cargo handling tool shoots the cargo handling work area, the marks on the shelves or pallets are captured by the camera and the images are recognized. The position can be detected.
【００２６】請求項１１に記載の発明は、位置検出対象
に設けたマークを撮影する撮影手段と、パターンを連続
的に拡大しても常にそのパターンの模様の中に元のサイ
ズのパターンが一つだけ含まれる模様のパターンからな
るテンプレートを記憶する記憶手段と、前記マークを前
記撮影手段で撮影して得た画像データを前記テンプレー
トを用いたパターンマッチング処理することで前記マー
クのパターンを画像認識する画像認識手段と、前記認識
された前記パターンと前記撮影されたパターンとの一致
する点の位置データを求め、この位置データを基に前記
マークの位置を割り出す位置演算手段とを備えたことを
要旨とする。According to an eleventh aspect of the present invention, a photographing means for photographing the mark provided on the position detection object and the pattern of the original size is always included in the pattern even if the pattern is continuously enlarged. Storage means for storing a template consisting of only one pattern pattern and image recognition of the mark pattern by pattern matching processing of image data obtained by photographing the mark by the photographing means using the template. Image recognizing means, and position calculating means for obtaining position data of a point where the recognized pattern and the photographed pattern coincide with each other and calculating the position of the mark based on the position data. Use as a summary.
【００２７】この発明によれば、パターンマッチング処
理する場合、マークにはテンプレートと同じパターンを
有するものが使用される。撮影距離の違いによって撮影
されたマークの大きさが変わっても、そのマークのパタ
ーン中にはテンプレートと同じ大きさのパターンが含ま
れるため、パターンマッチング処理に必要なテンプレー
トの数が少なく済む。従って、パターンマッチングの処
理時間が短く済み、マークの位置を短時間で割り出すこ
とが可能となる。According to the present invention, when the pattern matching process is performed, the mark having the same pattern as the template is used. Even if the size of the captured mark changes due to the difference in the shooting distance, the pattern of the mark includes a pattern having the same size as the template, and thus the number of templates required for the pattern matching processing can be reduced. Therefore, the processing time of the pattern matching is short, and the position of the mark can be calculated in a short time.
【００２８】請求項１２に記載の発明は、位置検出対象
に設けたマークを撮影する撮影手段と、一点を中心とし
て放射状に真っ直ぐ延びる複数本の境界線のみによって
色分けされたパターンからなるテンプレートを記憶する
記憶手段と、前記マークを前記撮影手段で撮影して得た
画像データを前記テンプレートを用いたパターンマッチ
ング処理することで前記マークのパターンを画像認識す
る画像認識手段と、前記認識されたパターンの放射中心
点を算出して前記マークの位置を割り出す位置演算手段
とを備えたことを要旨とする。According to a twelfth aspect of the present invention, there is stored a template consisting of a photographing means for photographing a mark provided on a position detection target and a pattern color-coded only by a plurality of boundary lines extending straight in a radial pattern around a point. Storing means, image recognition means for recognizing the pattern of the mark by pattern matching processing of the image data obtained by photographing the mark by the photographing means using the template, and of the recognized pattern. The gist of the present invention is to include position calculating means for calculating a radiation center point and calculating the position of the mark.
【００２９】この発明によれば、パターンマッチング処
理する場合、マークにはテンプレートと同じパターンを
有するものが使用される。撮影距離の違いによって撮影
されたマークの大きさが変わっても、そのマークのパタ
ーン中にはテンプレートと同じ大きさのパターンが含ま
れるため、パターンマッチング処理に必要なテンプレー
トの数が少なく済む。従って、パターンマッチング処理
時間が短く済み、マークの位置を短時間で割り出すこと
が可能となる。According to the present invention, when the pattern matching process is performed, the mark having the same pattern as the template is used. Even if the size of the captured mark changes due to the difference in the shooting distance, the pattern of the mark includes a pattern having the same size as the template, and thus the number of templates required for the pattern matching processing can be reduced. Therefore, the pattern matching processing time is short and the mark position can be determined in a short time.
【００３０】請求項１３に記載の発明は、位置検出対象
に設けられるとともに２つのパターンを有するマークを
撮影する撮影手段と、一点を中心として放射状に真っ直
ぐ延びる複数本の境界線のみによって色分けされたパタ
ーンからなるテンプレートを記憶する記憶手段と、前記
マークを撮影手段で撮影して得た画像データを前記テン
プレートを用いたパターンマッチング処理することで前
記マークの２つのパターンを画像認識する画像認識手段
と、前記認識された２つのパターンの各々の放射中心点
と両二点間の距離とを算出して前記マークの位置と大き
さを割り出す位置演算手段とを備えたことを要旨とす
る。According to a thirteenth aspect of the present invention, the color code is provided only by a photographing means which is provided on the position detection target and which photographs a mark having two patterns, and a plurality of boundary lines extending straight in a radial pattern centering on one point. Storage means for storing a template consisting of a pattern; and image recognition means for recognizing the two patterns of the mark by performing pattern matching processing on the image data obtained by photographing the mark by the photographing means using the template. The position calculation means for calculating the position and size of the mark by calculating the radiation center point of each of the two recognized patterns and the distance between the two points is summarized.
【００３１】この発明によれば、パターンマッチング処
理する場合、マークにはテンプレートと同じパターンを
有するものが使用される。撮影距離の違いによって撮影
されたマークの大きさが変わっても、そのマークの各パ
ターン中にはテンプレートと同じ大きさのパターンが含
まれるため、パターンマッチング処理に必要なテンプレ
ートの数が少なく済む。従って、パターンマッチング処
理時間が短く済む。また、マークの２つのパターンの放
射中心点と両二点間距離とが求められ、これらの値を基
にマークの位置と大きさが割り出される。According to the present invention, when the pattern matching process is performed, the mark having the same pattern as the template is used. Even if the size of the captured mark changes due to the difference in the shooting distance, each pattern of the mark includes a pattern having the same size as the template, so that the number of templates required for the pattern matching processing can be reduced. Therefore, the pattern matching processing time can be shortened. Further, the radial center point of the two patterns of the mark and the distance between the two points are obtained, and the position and size of the mark are calculated based on these values.
【００３２】請求項１４に記載の発明は、位置検出対象
に設けられるとともに２つのパターンを有するマークを
撮影する撮影手段と、一点を中心として放射状に真っ直
ぐ延びる複数本の境界線のみによって色分けされたパタ
ーンからなるテンプレートを記憶する記憶手段と、前記
マークを撮影手段で撮影して得た画像データを前記テン
プレートを用いたパターンマッチング処理することで前
記マークの２つのパターンを画像認識する画像認識手段
と、前記認識された２つのパターンの各々の放射中心点
と両二点間の距離とを算出して前記マークと撮影位置と
の相対位置を割り出す位置演算手段とを備えたことを要
旨とする。According to a fourteenth aspect of the present invention, the color code is provided only by a photographing means which is provided on the position detection target and which photographs a mark having two patterns, and a plurality of boundary lines which extend straight in a radial pattern centering on one point. Storage means for storing a template consisting of a pattern; and image recognition means for recognizing the two patterns of the mark by performing pattern matching processing on the image data obtained by photographing the mark by the photographing means using the template. The present invention is characterized in that a position calculating means for calculating a relative position between the mark and the photographing position by calculating a radiation center point of each of the two recognized patterns and a distance between the two points is summarized.
【００３３】この発明によれば、パターンマッチング処
理する場合、マークにはテンプレートと同じパターンを
有するものが使用される。撮影距離の違いによって撮影
されたマークの大きさが変わっても、そのマークの各パ
ターン中にはテンプレートと同じ大きさのパターンが含
まれるため、パターンマッチング処理に必要なテンプレ
ートの数が少なく済む。従って、パターンマッチング処
理時間が短く済む。また、マークの２つのパターンの放
射中心点と両二点間距離とが求められ、これらの値を基
にマークと撮影位置との相対位置が割り出される。According to the present invention, when the pattern matching process is performed, the mark having the same pattern as the template is used. Even if the size of the captured mark changes due to the difference in the shooting distance, each pattern of the mark includes a pattern having the same size as the template, so that the number of templates required for the pattern matching processing can be reduced. Therefore, the pattern matching processing time can be shortened. Further, the radial center point of the two patterns of the mark and the distance between the two points are obtained, and the relative position between the mark and the photographing position is calculated based on these values.
【００３４】請求項１５に記載の発明は、請求項１３又
は請求項１４のいずれか一項に記載の位置検出装置にお
いて、前記２つのパターンは、同一のパターンであるこ
とを要旨とする。A fifteenth aspect of the invention is summarized in that, in the position detecting device according to any one of the thirteenth and fourteenth aspects, the two patterns are the same pattern.
【００３５】この発明によれば、２つのパターンを１つ
のテンプレートで認識することが可能になる。請求項１
６に記載の発明は、請求項１２〜１５のいずれか一項に
記載の位置検出装置において、前記パターンは、４本以
上の偶数本の前記境界線によって前記一点を中心とする
周方向に交互に濃淡で色分けされていることを要旨とす
る。なお、ここでいう「濃淡」とは、淡色には白が含ま
れ、濃色には黒が含まれる。以下の請求項も同様であ
る。According to the present invention, it is possible to recognize two patterns with one template. Claim 1
A sixth aspect of the present invention is the position detection device according to any one of the twelfth to fifteenth aspects, wherein the pattern is alternated in a circumferential direction around the point by the even number of four or more boundary lines. The gist is that they are colored in different shades. The "shading" used here includes white as a light color and black as a dark color. The following claims are also the same.
【００３６】この発明によれば、パターンがさほど単純
ではない模様であるので、パターン以外のものをパター
ンと認識する誤認識が減る。また濃淡の色分けによって
コントラストがはっきりするので、マークのパターンを
認識できない認識漏れが減る。According to the present invention, since the pattern is not so simple, erroneous recognition of recognizing something other than the pattern as a pattern is reduced. Further, since the contrast is made clear by the color coding of the light and shade, the omission of recognition in which the mark pattern cannot be recognized is reduced.
【００３７】請求項１７に記載の発明は、請求項１６に
記載の位置検出装置において、前記濃淡の色分けは、黒
と白の色分けであることを要旨とする。この発明によれ
ば、黒と白の色分けによってコントラストがはっきりす
るので、マークのパターンを認識できない認識漏れが一
層減る。The invention according to claim 17 is, in the position detecting apparatus according to claim 16, characterized in that the color coding of the light and shade is black and white. According to the present invention, since the contrast is made clear by the color distinction between black and white, the omission of recognition in which the mark pattern cannot be recognized is further reduced.
【００３８】請求項１８に記載の発明は、請求項１２〜
１７のいずれか一項に記載の位置検出装置において、前
記マークが位置検出対象に設けられた状態において、前
記パターンは水平線に対し斜めに延びている境界線を有
することを要旨とする。The invention according to claim 18 is the invention according to claims 12 to
17. The position detecting device according to any one of 17 is characterized in that, in a state in which the mark is provided on a position detection target, the pattern has a boundary line extending obliquely with respect to a horizontal line.
【００３９】この発明によれば、境界線が水平線に対し
斜めに走るため、縦と横のみに走る場合に比べ、パター
ン以外のものをパターンと認識するの誤認識が減る。請
求項１９に記載の発明は、請求項１１〜１８のいずれか
一項に記載の位置検出装置において、前記テンプレート
は、前記画像データ上に映し出されるマークが認識され
なければならない最小サイズにあるときのそのパターン
サイズ以下のサイズに設定されている。According to the present invention, since the boundary line runs diagonally with respect to the horizontal line, erroneous recognition of recognizing something other than a pattern as a pattern is reduced as compared with the case of running only in the vertical and horizontal directions. The invention according to claim 19 is the position detecting device according to any one of claims 11 to 18, wherein the template has a minimum size in which a mark projected on the image data must be recognized. Is set to a size equal to or smaller than its pattern size.
【００４０】この発明によれば、認識されなければなら
ないサイズのマークのパターンは全て認識可能となる。
請求項２０に記載の発明は、請求項１１〜１９のいずれ
か一項に記載の位置検出装置は、産業車両に移動可能に
設けられた荷役具を荷役作業先の荷役対象に位置合わせ
するために、前記荷役具の作業エリアを撮影する前記撮
影手段によって荷役作業時に撮影される荷役作業先側の
所定箇所に付された前記マークを撮影可能に該撮影手段
が設けられた産業車両に備えられていることを要旨とす
る。According to the present invention, it is possible to recognize all the mark patterns of the size that must be recognized.
According to a twentieth aspect of the invention, the position detection device according to any one of the eleventh to nineteenth aspects is for aligning a cargo handling tool movably provided on an industrial vehicle with a cargo handling target of a cargo handling work destination. The industrial vehicle provided with the photographing means is capable of photographing the mark attached to a predetermined position on the side of the cargo-handling work destination photographed during the cargo-handling work by the photographing means for photographing the work area of the cargo-handling tool. That is the summary.
【００４１】この発明によれば、荷役具を荷役作業先の
荷役対象に位置合わせする産業車両の位置検出におい
て、請求項１１〜１９のいずれか一項に記載の発明と同
様の作用が得られる。According to the present invention, in the position detection of the industrial vehicle for aligning the cargo handling device with the cargo handling target of the cargo handling work destination, the same action as that of the invention according to any one of claims 11 to 19 can be obtained. .
【００４２】請求項２１に記載の発明は、請求項１１〜
１９のいずれか一項に記載の位置検出装置は、前記撮影
手段が、産業車両に設けられたマストに沿って昇降可能
なキャリッジに対し荷役具の荷役作業エリアを撮影可能
な向きに取付けられており、前記マークは前記荷役具に
よって行われる荷役作業先である棚とパレットのうち少
なくとも一方に付されており、前記撮影手段で撮影した
前記荷役作業エリアの画像から前記マークの位置を検出
することを要旨とする。The invention described in claim 21 is based on claims 11 to 11.
The position detection device according to any one of 19 is characterized in that the photographing means is attached in a direction capable of photographing the cargo handling work area of the cargo handling tool with respect to a carriage that can move up and down along a mast provided on an industrial vehicle. And the mark is attached to at least one of a shelf and a pallet, which is a cargo handling work destination performed by the cargo handling tool, and the position of the mark is detected from an image of the cargo handling work area photographed by the photographing means. Is the gist.
【００４３】この発明によれば、荷役作業エリアにある
棚とパレットのうち少なくとも一方を位置決めの標的と
する産業車両において、請求項１１〜１９のいずれか一
項に記載の発明と同様の作用が得られる。According to the present invention, in an industrial vehicle in which at least one of a shelf and a pallet in the cargo work area is a positioning target, the same operation as that of the invention according to any one of claims 11 to 19 can be achieved. can get.
【００４４】請求項２２に記載の発明では、産業車両
は、請求項１１〜２１のいずれか一項に記載の位置検出
装置を備えている。この発明によれば、位置検出装置を
備えた産業車両により、請求項１１〜２１のいずれか一
項に記載の発明と同様の作用が得られる。According to a twenty-second aspect of the invention, an industrial vehicle is equipped with the position detecting device according to any one of the eleventh to twenty-first aspects. According to this invention, the same operation as that of the invention according to any one of claims 11 to 21 can be obtained by the industrial vehicle equipped with the position detection device.
【００４５】請求項２３に記載の発明は、カメラで撮影
された画像データをパターンマッチング処理することで
パターンを認識するために前記カメラの撮影の標的とし
て使用されるマークは、請求項１〜３、５〜８、１６乃
至１８のいずれか一項に記載の前記パターンを２つもつ
ことを要旨とする。According to a twenty-third aspect of the present invention, the mark used as a target for photographing by the camera for recognizing a pattern by performing pattern matching processing on image data photographed by the camera is one of the first to third aspects. , 5 to 8 and 16 to 18 are the two patterns.
【００４６】この発明によれば、マークはパターンマッ
チング処理によるパターン認識のためのカメラの撮影の
標的として使用される。請求項１〜３、５〜８、１６乃
至１８のいずれか一項に記載のパターンを２つもつこと
により、このマークを位置検出にしようすることで、マ
ークの画面上の位置および大きさ、撮影位置とマークと
の相対位置を割り出すことが可能である。According to the present invention, the mark is used as a shooting target of the camera for pattern recognition by the pattern matching process. By using two patterns according to any one of claims 1 to 3, 5 to 8 and 16 to 18 to detect the position of the mark, the position and size of the mark on the screen, It is possible to determine the relative position between the shooting position and the mark.
【００４７】請求項２４に記載の発明では、荷役用パレ
ットには、請求項１〜３、５〜８、１６、１８乃至２３
のいずれか一項に記載の前記パターンを２つもつマーク
が付されている。In the invention described in claim 24, the cargo handling pallet has claims 1 to 3, 5 to 8, 16, 18 to 23.
A mark having two of the patterns described in any one of 1.
【００４８】この発明によれば、荷役作業時にパレット
の位置を割り出すことが可能である。請求項２５に記載
の発明では、荷役用棚には、請求項１〜３、５〜８、１
６、１８乃至２３のいずれか一項に記載の前記パターン
を２つもつマークが付されている。According to the present invention, it is possible to determine the position of the pallet during the cargo handling work. In the invention according to claim 25, the cargo handling shelves are defined by claims 1 to 3, 5 to 8 and 1.
A mark having two of the patterns described in any one of 6, 18 to 23 is attached.
【００４９】この発明によれば、荷役作業時に棚の位置
を割り出すことが可能である。請求項２６に記載の発明
では、貼付用シートには、請求項２３に記載の前記マー
クが記されている。According to the present invention, it is possible to determine the position of the shelf during the cargo handling work. In the invention according to claim 26, the mark according to claim 23 is written on the sticking sheet.
【００５０】この発明によれば、貼付用シートを位置検
出対象に貼付すれば、マークを簡単に付すことが可能で
ある。例えば位置検出対象の相対位置を検出することが
可能となる。According to the present invention, the mark can be easily attached by attaching the attaching sheet to the position detection target. For example, it becomes possible to detect the relative position of the position detection target.
【００５１】請求項２７に記載の発明では、荷役システ
ムは、請求項２４に記載の前記パレットと請求項２５に
記載の前記棚のうち少なくとも一方と、請求項２２に記
載の産業車両とを備えている。According to a twenty-seventh aspect of the present invention, a cargo handling system comprises at least one of the pallet according to the twenty-fourth aspect and the shelf according to the twenty-fifth aspect, and the industrial vehicle according to the twenty-second aspect. ing.
【００５２】この発明によれば、荷役作業時に、パレッ
トと棚のうち少なくとも一方の位置を割り出すことが可
能である。請求項２８に記載の発明は、請求項２４に記
載の前記パレットと、請求項２５に記載の前記棚と、請
求項２２に記載の産業車両とを備えた荷役システムにお
いて、前記パレットに付されたマークと、前記棚に付さ
れたマークには、異なるパターンが使用されている。According to the present invention, it is possible to determine the position of at least one of the pallet and the shelf during the cargo handling work. The invention according to claim 28 is attached to the pallet in a cargo handling system comprising the pallet according to claim 24, the shelf according to claim 25, and the industrial vehicle according to claim 22. Different patterns are used for the markings and the markings on the shelves.
【００５３】この発明によれば、荷役作業時にパレット
と棚を区別して位置を割り出すことが可能となる。According to the present invention, it is possible to determine the position by distinguishing between the pallet and the shelf during the cargo handling work.
【００５４】[0054]
【発明の実施の形態】以下、本発明をフォークリフトの
位置検出装置に具体化した一実施形態を図面に従って説
明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment in which the present invention is embodied in a forklift position detecting device will be described below with reference to the drawings.
【００５５】図１に示すように、産業車両としてのリー
チ型フォークリフトトラック（以下、フォークリフトと
いう）１は、荷役具としてのフォーク２を用いて荷役作
業をするために使用される。このフォークリフト１で
は、車体３の前部から前方へ延出する左右一対のリーチ
レグ４の先端部に左右の前輪（従動輪）５がそれぞれ取
付けられており、後輪である駆動操舵輪６は、車体３に
配備されたバッテリ７を電源として駆動される走行用モ
ータ８の動力により走行駆動される。車体３の後部右部
分には立席タイプの運転席９が設けられ、ハンドル１０
を操作することで駆動操舵輪６は操舵される。As shown in FIG. 1, a reach-type forklift truck (hereinafter referred to as a forklift) 1 as an industrial vehicle is used to perform a cargo handling operation using a fork 2 as a cargo handling tool. In this forklift 1, left and right front wheels (driven wheels) 5 are attached to the tip ends of a pair of left and right reach legs 4 extending forward from the front of the vehicle body 3, and the drive steered wheels 6 that are rear wheels are The vehicle is driven to travel by the power of a traveling motor 8 driven by a battery 7 provided in the vehicle body 3 as a power source. A standing type driver's seat 9 is provided on the right rear portion of the vehicle body 3, and a steering wheel 10 is provided.
The drive steered wheels 6 are steered by operating.
【００５６】車体３の前側には、荷役装置（マスト装
置）１１がリーチシリンダ１２の駆動により左右のリー
チレグ４に沿って前後方向に移動（リーチ動作）可能に
装備されている。荷役装置１１は多段式（本例では３段
式）マスト１３と、左右一対のリフトシリンダ１４（片
側のみ図示）とを備え、荷役用のキャリッジ１５はリフ
トシリンダ１４が駆動されることによりスライド伸縮す
るマスト１３に沿って昇降する。フォーク２は例えば最
高約６メートルまで上昇する。A cargo handling device (mast device) 11 is mounted on the front side of the vehicle body 3 so as to be movable in the front-rear direction (reach operation) along the left and right reach legs 4 by driving a reach cylinder 12. The cargo handling device 11 includes a multi-stage (three-stage type in this example) mast 13 and a pair of left and right lift cylinders 14 (only one side is shown), and a cargo handling carriage 15 slides and expands when the lift cylinders 14 are driven. It goes up and down along the mast 13. The fork 2 rises, for example, up to about 6 meters.
【００５７】フォークリフト１には、高所（高揚高範
囲）におけるフォーク２の位置合わせ操作を支援する荷
役操作支援装置（フォーク位置決め操作支援装置）２０
が設けられている。荷役操作支援装置２０は、キャリッ
ジ１５を構成するサイドシフタ１６の前面中央部に縦長
に延びた状態に組付けられたカメラ昇降装置２１を備え
る。カメラ昇降装置２１は、キャリッジ１５の前面中央
部に組付けられたハウジング２２内に格納される格納位
置と、ハウジング２２の下端から突出する下降位置間を
昇降する昇降式のカメラユニット２３を備えている。カ
メラユニット２３はその下端部に撮影手段としてのＣＣ
Ｄカメラ２４を内蔵し、撮影部（レンズ部）２４Ａから
フォーク前方の荷役作業エリアの撮影が可能となってい
る。また格納位置からでも、ハウジング２２の前面下部
に形成された撮影窓２２Ａを通してフォーク２の前方の
荷役作業エリアをカメラ２４によって撮影できるように
なっている。つまりカメラ２４によって格納位置と下降
位置の二位置からフォーク２の正面（前方）を撮影でき
る。サイドシフタ１６は左右に移動可能となっており、
そのサイドシフト時はフォーク２とともにカメラ昇降装
置２１も一緒に左右にシフトするようになっている。The forklift 1 includes a cargo handling operation support device (fork positioning operation support device) 20 for assisting the positioning operation of the fork 2 in a high place (high lift range).
Is provided. The cargo handling operation support device 20 includes a camera elevating device 21 assembled in a vertically elongated state at the center of the front surface of the side shifter 16 that constitutes the carriage 15. The camera elevating device 21 includes an elevating type camera unit 23 that elevates between a storage position that is stored in a housing 22 that is assembled in the center of the front surface of the carriage 15 and a lower position that projects from the lower end of the housing 22. There is. The camera unit 23 has a CC as a photographing means at its lower end.
The D camera 24 is built in, and it is possible to take an image of the cargo handling work area in front of the fork from the image taking unit (lens unit) 24A. Further, even from the storage position, the camera 24 can photograph the cargo handling work area in front of the fork 2 through the photographing window 22A formed in the lower front surface of the housing 22. That is, the front (front) of the fork 2 can be photographed by the camera 24 from two positions, the storage position and the lowered position. The side shifter 16 can be moved left and right,
At the time of the side shift, the camera lifting device 21 together with the fork 2 shifts left and right.
【００５８】また、ルーフ２７には運転席９に立つ運転
者からよく見える位置に表示装置（液晶ディスプレイ装
置（ＬＣＤ））２８が取り付けられている。表示装置２
８の画面には、荷役作業時にカメラ２４によって撮影さ
れたフォーク２の前方エリア（棚やパレット）の画像が
映し出されるようになっている。A display device (liquid crystal display device (LCD)) 28 is attached to the roof 27 at a position where it can be easily seen by a driver standing on the driver's seat 9. Display device 2
An image of the front area (shelf or pallet) of the fork 2 taken by the camera 24 during the cargo handling work is displayed on the screen of 8.
【００５９】図２に示すように、フォークリフト１が例
えば工場内に立設された棚３０に対して荷取りまたは荷
置き作業をするときには、まずフォーク２を目標とする
格納部３１の高さまで上昇させる。棚３０の格納部３１
には荷３２を載置したパレット３３が格納されている。
荷取作業時にはフォーク２をパレット３３の差込穴３３
Ａに相対するよう位置合わせをする。一方、荷置作業時
にはフォーク２を格納部３１の棚面（荷置面）３４Ａの
上方所定高さ（棚面３４Ａから例えば１０〜２０ｃｍ上
方の高さ）の位置に位置合わせする。本実施形態では、
このような高所での荷役作業をする際に、カメラ２４が
撮影したフォーク２の前方エリアの画像を表示装置２８
の画面上で見られるとともに、その画像データを画像認
識処理することによりフォーク２の目標位置に対するず
れ量を算出して、フォーク２の位置合わせ作業を支援す
る。As shown in FIG. 2, when the forklift 1 carries out the work of picking up or placing the shelves 30 standing upright in the factory, for example, the fork 2 is first raised to the target height of the storage unit 31. Let Storage section 31 of shelf 30
A pallet 33 on which a load 32 is placed is stored in the.
The fork 2 is inserted into the insertion hole 33 of the pallet 33 during the loading operation.
Align so as to face A. On the other hand, during the loading operation, the fork 2 is positioned at a predetermined height above the shelf surface (loading surface) 34A of the storage section 31 (height 10 to 20 cm above the shelf surface 34A). In this embodiment,
When carrying out cargo handling work at such a high place, an image of the front area of the fork 2 taken by the camera 24 is displayed on the display device 28.
Is displayed on the screen, and the image data is subjected to image recognition processing to calculate the amount of deviation of the fork 2 from the target position, thereby supporting the fork 2 alignment work.
【００６０】図３に示すように、本実施形態では、位置
検出対象である棚３０またはパレット３３に対するフォ
ーク２の相対位置を求めるため、棚３０とパレット３３
には位置合わせの目標とするマークＭ１，Ｍ２が付され
ている。すなわち、パレット３３の側面（正面）には２
つの差込穴３３Ａ間の中央にパレット位置検出用のマー
クＭ１が貼り付けまたは印刷されている。一方、棚３０
の棚部（ビーム）３４にはその正面中央に棚位置検出用
のマークＭ２が貼り付けまたは印刷されている。本実施
形態では、マークＭ１，Ｍ２は貼付用シート３５ででき
ており、この荷役システムを採用するユーザまたはメー
カが、貼付用シート３５を棚３０やパレット３３に貼付
して使用する。ここで、パレット３３に付されたマーク
Ｍ１と、棚３０に付されたマークＭ２は図形は同じだ
が、白黒が反転した模様となっている。このマークＭ
１，Ｍ２の模様の理由など詳しい内容は後述する。As shown in FIG. 3, in this embodiment, since the relative position of the fork 2 with respect to the shelf 30 or the pallet 33, which is the position detection target, is obtained, the shelf 30 and the pallet 33 are determined.
Are marked with marks M1 and M2 as alignment targets. That is, the side surface (front surface) of the pallet 33 is 2
A mark M1 for pallet position detection is attached or printed in the center between the three insertion holes 33A. Meanwhile, shelves 30
The shelf portion (beam) 34 has a shelf position detecting mark M2 attached or printed at the center of the front surface thereof. In this embodiment, the marks M1 and M2 are made of the sticking sheet 35, and the user or the maker adopting this cargo handling system sticks the sticking sheet 35 to the shelf 30 or the pallet 33 for use. Here, the mark M1 attached to the pallet 33 and the mark M2 attached to the shelf 30 have the same figure, but black and white are reversed. This mark M
Detailed contents such as the reasons for the patterns of 1 and M2 will be described later.
【００６１】図４は、カメラ２４で撮影されて表示装置
２８の画面２８Ａに表示された画像を示す。画面２８Ａ
の中央にはマークＭ１，Ｍ２があるべき位置を指す目標
マーク３８が表示される。この目標マーク３８がパレッ
ト３３に付されたマークＭ１に一致するようフォーク２
を移動させることにより、フォーク２は差込穴３３Ａに
一致する。一方、この目標マーク３８が棚部３４に付さ
れたマークＭ２に一致するようフォーク２を移動させる
ことにより、フォーク２は荷置きに最適な位置に位置合
わせされる。本実施形態では、カメラ２４で撮影された
画像データを画像認識処理することで、画像上のマーク
Ｍ１，Ｍ２を位置検出する。FIG. 4 shows an image taken by the camera 24 and displayed on the screen 28A of the display device 28. Screen 28A
A target mark 38 indicating the position where the marks M1 and M2 should be displayed is displayed in the center of. The fork 2 is adjusted so that the target mark 38 coincides with the mark M1 attached to the pallet 33.
By moving the fork 2, the fork 2 coincides with the insertion hole 33A. On the other hand, by moving the fork 2 so that the target mark 38 coincides with the mark M2 attached to the shelf portion 34, the fork 2 is aligned to the optimum position for loading. In this embodiment, the positions of the marks M1 and M2 on the image are detected by performing image recognition processing on the image data captured by the camera 24.
【００６２】図５は、マークとテンプレートを示す。同
図（ａ）はパレット位置検出用のマークＭ１を示し、同
図（ｃ）は棚位置検出用のマークＭ２を示す。また同図
（ｂ）がマークＭ１用のテンプレートＴ１、同図（ｄ）
がマークＭ２用のテンプレートＴ２である。FIG. 5 shows marks and templates. The figure (a) shows the mark M1 for pallet position detection, and the figure (c) shows the mark M2 for shelf position detection. Further, FIG. 7B is a template T1 for the mark M1, and FIG.
Is a template T2 for the mark M2.
【００６３】マークＭ１は同じパターンＰ１，Ｐ１を２
個並べて構成され、マークＭ２は同じパターンＰ２，Ｐ
２を２個並べて構成されている。ここで、マークという
のは、同図（ａ），（ｃ）の全体の模様、パターンとい
うのはマークを構成する２つの模様を指す。画像認識処
理としてパターンマッチング処理を採用する本実施形態
では、パターンマッチング処理で使うテンプレートＴ
１，Ｔ２にはパターンＰ１，Ｐ２と同じ模様が使用され
る。つまりテンプレートＴ１はパターンＰ１と同じ模様
を有し、テンプレートＴ２はパターンＰ２と同じ模様を
有する。The mark M1 has two identical patterns P1 and P1.
The marks M2 are arranged side by side, and the marks M2 have the same pattern P2, P.
It is configured by arranging two 2's. Here, the mark refers to the entire pattern of FIGS. 9A and 9C, and the pattern refers to the two patterns forming the mark. In the present embodiment that employs the pattern matching process as the image recognition process, the template T used in the pattern matching process is used.
The same patterns as the patterns P1 and P2 are used for 1 and T2. That is, the template T1 has the same pattern as the pattern P1, and the template T2 has the same pattern as the pattern P2.
【００６４】パターンＰ１，Ｐ２はいずれも正方形の４
頂点を対角に結ぶ２本の対角線を境界線とする４つの領
域を白と黒で色分けされた模様である。但し、四角形の
辺に相当する外形線は模様の一部ではない。この模様を
言い換えれば、一点を中心として放射状に真っ直ぐ延び
る４本の境界線によって白と黒に色分けされた模様であ
る。パターンＰ１，Ｐ２の境界線はすべて中心（放射中
心）を通る直線である。マークＭ１，Ｍ２のパターンＰ
１，Ｐ２は、互いに白と黒が反転している模様である。The patterns P1 and P2 are square 4
It is a pattern in which four regions having two diagonal lines connecting the vertices diagonally as boundaries are color-coded in white and black. However, the outline corresponding to the side of the quadrangle is not a part of the pattern. In other words, the pattern is divided into white and black by four boundary lines extending straight in a radial pattern with one point as the center. The boundaries of the patterns P1 and P2 are all straight lines passing through the center (radiation center). Pattern P of marks M1 and M2
1 and P2 are patterns in which white and black are reversed from each other.
【００６５】パターンＰ１，Ｐ２の模様の特徴は、連続
的に拡大しても常にそのパターンの中に元のサイズのパ
ターンが含まれる模様である。言い換えれば、模様の大
きさが連続的に変わっても中心部分（放射中心部分）の
パターンが変化しない模様である。このような特徴をも
つパターンＰ１，Ｐ２とテンプレートＴ１，Ｔ２を用い
ていることから、画面２８Ａ上に映し出されるマークＭ
１，Ｍ２のサイズが撮影距離に応じて変化しても、常に
その撮影されたパターンＰ１，Ｐ２の中心部分にはテン
プレートＴ１，Ｔ２と同じサイズのパターンができる。
つまりテンプレートＴ１，Ｔ２と相似な図形でテンプレ
ートＴ１，Ｔ２より大きなものは、その中心部がテンプ
レートＴ１，Ｔ２そのものと同じパターンである。この
ため、マークＭ１，Ｍ２がどのようなサイズで映し出さ
れても、マーク１つにつき１つのテンプレートＴ１，Ｔ
２を用いたパターンマッチングによりマークＭ１，Ｍ２
を認識できることになる。A feature of the patterns P1 and P2 is that the patterns of the original size are always included in the patterns even if they are continuously enlarged. In other words, the pattern of the central portion (radial center portion) does not change even if the size of the pattern continuously changes. Since the patterns P1 and P2 having such characteristics and the templates T1 and T2 are used, the mark M displayed on the screen 28A is displayed.
Even if the sizes of 1 and M2 are changed according to the shooting distance, a pattern of the same size as the templates T1 and T2 is always formed in the central portion of the shot patterns P1 and P2.
In other words, a figure similar to the templates T1 and T2 but larger than the templates T1 and T2 has the same pattern as that of the templates T1 and T2 itself in the central portion. Therefore, even if the marks M1 and M2 are displayed in any size, one template T1 or T1 is used for each mark.
Marks M1, M2 by pattern matching using 2
Can be recognized.
【００６６】またパターンＰ１，Ｐ２の模様は、境界線
が水平線に対して斜め（この例では４５度）に走ってい
る。例えば工場内には、棚３０の柱や棚面３４Ａ、パレ
ット３３の上面や側面、荷物３２の側面や上面など、縦
や横の線（ライン）が比較的多い。しかし、パターンＰ
１，Ｐ２の境界線が水平線に対して斜めに走っているこ
とから、この種の縦や横のラインをマークＭ１，Ｍ２と
誤認識することをより確実に低く抑えることが可能であ
る。In the patterns P1 and P2, the boundary line runs obliquely (45 degrees in this example) with respect to the horizontal line. For example, in the factory, there are relatively many vertical and horizontal lines, such as the pillars of the shelves 30 and the shelf surfaces 34A, the top and side surfaces of the pallets 33, and the side and top surfaces of the luggage 32. However, the pattern P
Since the boundary line of 1 and P2 runs obliquely with respect to the horizontal line, it is possible to more surely suppress the vertical and horizontal lines of this type from being erroneously recognized as the marks M1 and M2.
【００６７】図８は、マーク１つに１つのテンプレート
で済むパターンマッチング処理を説明するものである。
同図（ａ）はテンプレートＴ１を示し、同図（ｂ）〜
（ｄ）は、カメラとマークの距離に応じて画面上に映し
出される種々の大きさのパターンＰ１を示す。同図
（ｂ）は標準サイズの５０％の大きさ、同図（ｃ）は標
準サイズ、同図（ｄ）は標準サイズの２倍の大きさのそ
れぞれパターンＰ１を示す。FIG. 8 illustrates a pattern matching process that requires one template for each mark.
The figure (a) shows the template T1, and the figure (b)-.
(D) shows patterns P1 of various sizes displayed on the screen according to the distance between the camera and the mark. The figure (b) shows the pattern P1 having a size of 50% of the standard size, the figure (c) shows the standard size, and the figure (d) shows the pattern P1 having a size twice the standard size.
【００６８】例えばテンプレートＴ１の大きさを同図
（ａ）に示すように標準の５０％の大きさに設定してお
く。こうすれば、標準の５０％以上の大きさに映ってい
るマークＭ１を、その大きさが標準より大きくても小さ
くても全て認識することが可能になる。このため、テン
プレートＴ１，Ｔ１の大きさを、マークＭ１，Ｍ２が認
識される必要がある最小サイズのときのパターンサイズ
（パターンＰ１，Ｐ２の大きさ）以下の大きさに設定し
ておけば、認識する必要がある大きさのマークＭ１，Ｍ
２を全て認識することが可能となる。本実施形態では、
荷役作業時に画面上に映し出されるマークの大きさを予
測して、上記の点を考慮してテンプレートＴ１，Ｔ２の
大きさが設定してある。For example, the size of the template T1 is set to the standard size of 50% as shown in FIG. By doing so, it becomes possible to recognize all the marks M1 reflected in the size of 50% or more of the standard, whether the size is larger or smaller than the standard. Therefore, if the sizes of the templates T1 and T1 are set to be equal to or smaller than the pattern size (size of the patterns P1 and P2) when the marks M1 and M2 are the minimum size that needs to be recognized, Marks M1 and M of a size that needs to be recognized
All 2 can be recognized. In this embodiment,
The sizes of the marks displayed on the screen during the cargo handling operation are predicted, and the sizes of the templates T1 and T2 are set in consideration of the above points.
【００６９】図８に示すようなパターンＰ１は、１つの
テンプレートＴ１を用いたパターンマッチング処理によ
り認識されるので、画面２８Ａの画像データ上（画面座
標系）においてパターンＰ１の中心（放射中心）の位置
（座標）を計算できる。これによりパターンＰ１の位置
を検出することが可能である。但し、パターン１つで
は、パターンの位置は分かるがその大きさまでは分から
ない。そのため、本実施形態では、図５に示したように
２つのパターンＰ１，Ｐ１（Ｐ２，Ｐ２）を配置したマ
ークＭ１，Ｍ２を採用し、２つのパターンの各位置（座
標）を基にマークの位置および大きさ、さらにはマーク
とカメラとの相対位置関係を求めるようにしている。本
実施形態では、マークの位置・大きさと、マークとカメ
ラの相対位置関係とを求めるため、２つのパターンＰ
１，Ｐ１の位置（中心座標）とこの二点間の距離とを求
めるようにしている。Since the pattern P1 as shown in FIG. 8 is recognized by the pattern matching processing using one template T1, the center (radiation center) of the pattern P1 on the image data of the screen 28A (screen coordinate system) is recognized. The position (coordinates) can be calculated. Thereby, the position of the pattern P1 can be detected. However, with one pattern, the position of the pattern can be known, but it cannot be understood with its size. Therefore, in the present embodiment, as shown in FIG. 5, marks M1 and M2 in which two patterns P1 and P1 (P2 and P2) are arranged are used, and the marks M1 and M2 are arranged based on the respective positions (coordinates) of the two patterns. The position and size of the mark and the relative positional relationship between the mark and the camera are obtained. In the present embodiment, two patterns P are used to obtain the position / size of the mark and the relative positional relationship between the mark and the camera.
The positions (center coordinates) of 1 and P1 and the distance between these two points are obtained.
【００７０】図７は画面上に設定された画面座標系を示
す。画面座標系では座標を画素の単位で取り扱い、同図
におけるＨは画面２８Ａの横方向画素数であり、Ｖは画
面２８Ａの縦方向画素数である。同図に示すような画面
上の画像データに対しテンプレートＴ１を用いてパター
ンマッチング処理をする。そしてマークＭ１の重心
（Ｉ，Ｊ）とパターンの中心間距離Ｄを求める。FIG. 7 shows a screen coordinate system set on the screen. In the screen coordinate system, coordinates are handled in units of pixels, where H is the number of horizontal pixels of the screen 28A and V is the number of vertical pixels of the screen 28A. A pattern matching process is performed using the template T1 on the image data on the screen as shown in FIG. Then, the distance D between the center of gravity (I, J) of the mark M1 and the center of the pattern is obtained.
【００７１】まず図９を用いてマークの位置および大き
さを求める処理方法を説明する。同図（ａ）に示すよう
にパターンＰ１を２個並べたマークＭ１であるため、マ
ークＭ１中の２箇所でマッチングし、２つのパターンＰ
１，Ｐ１の各中心座標が計算される。この２点の座標が
決まると、同図（ｂ）に示すようにパターンＰ１，Ｐ１
の中心間距離Ｄを計算する。距離Ｄが分かると同図
（ｃ）に示すようにマークＭ１の大きさを計算できる。
本実施形態では、パターンＰ１が正方形（但し辺無し）
であり、これを２つ並べたものがマークＭ１であること
から、パターン中心間距離Ｄを用いて、マークＭ１の大
きさは縦Ｄ、横２Ｄと計算できる。また２つのパターン
Ｐ１，Ｐ１の中心座標を基にマークＭ１の重心座標
（Ｉ，Ｊ）を計算する。本実施形態では、算出されたマ
ークＭ１の位置および大きさのデータを基に画面２８Ａ
上に表示されているマークＭ１に輪郭線を強調する表示
処理を施し、認識中のマークＭ１を運転者に視覚的に知
らせる手法を採用している。First, a processing method for obtaining the position and size of the mark will be described with reference to FIG. Since it is the mark M1 in which two patterns P1 are arranged as shown in FIG.
The respective center coordinates of 1 and P1 are calculated. When the coordinates of these two points are determined, as shown in FIG.
The center-to-center distance D of is calculated. When the distance D is known, the size of the mark M1 can be calculated as shown in FIG.
In this embodiment, the pattern P1 is a square (however, there is no side)
Since the mark M1 is formed by arranging two of them, the size of the mark M1 can be calculated as vertical D and horizontal 2D by using the pattern center distance D. The barycentric coordinates (I, J) of the mark M1 are calculated based on the center coordinates of the two patterns P1 and P1. In the present embodiment, the screen 28A is displayed based on the calculated position and size data of the mark M1.
The mark M1 displayed above is subjected to a display process for emphasizing the contour line, and a method of visually informing the driver of the mark M1 being recognized is adopted.
【００７２】また本実施形態では、フォーク２の操作を
支援するためにフォーク２の位置合わせ目標位置に対す
るずれ量を算出し、フォーク１を自動で位置合わせする
フォーク位置決め制御を採用している。この場合、画面
座標系だけでなくカメラ２４とマークＭとの実座標系の
相対位置座標を計算する必要がある。本実施形態では、
図６に示すような実座標系の３次元座標を想定してい
る。すなわち、マークＭの重心を原点Ｏとし、マークＭ
に垂直な方向でカメラ２４と逆の向きにＸ軸、Ｘ軸を水
平面内で反時計回りに９０度回転した方向にＹ軸、鉛直
方向にＺ軸をとる。そしてこの実座標系でカメラ２４の
相対座標（Ｘｃ，Ｙｃ，Ｚｃ）を求め、この相対座標を
基にフォーク２の位置ずれ量を算出する。Further, in the present embodiment, in order to assist the operation of the fork 2, the fork positioning control is adopted in which the amount of deviation of the fork 2 from the target position for alignment is calculated and the fork 1 is automatically aligned. In this case, it is necessary to calculate not only the screen coordinate system but also the relative position coordinates of the camera 24 and the mark M in the actual coordinate system. In this embodiment,
It is assumed that the three-dimensional coordinates in the real coordinate system as shown in FIG. That is, the center of gravity of the mark M is the origin O, and the mark M
In the direction perpendicular to the direction of the camera 24, the X axis is in the direction opposite to the camera 24, the Y axis is the direction in which the X axis is rotated 90 degrees counterclockwise in the horizontal plane, and the Z axis is the vertical direction. Then, the relative coordinates (Xc, Yc, Zc) of the camera 24 are obtained in this real coordinate system, and the positional deviation amount of the fork 2 is calculated based on this relative coordinate.
【００７３】相対座標（Ｘｃ，Ｙｃ，Ｚｃ）を求めるた
めに、図７に示す画面座標系において計算したマークＭ
１の重心座標（Ｉ，Ｊ）とパターンＰ１，Ｐ１の中心間
距離Ｄを使用する。そして画面座標系の座標（Ｉ，Ｊ）
と距離Ｄの値を用いて、幾何変換を行って実座標系の相
対座標（Ｘｃ，Ｙｃ，Ｚｃ）を計算する。この計算方法
については後述する。The mark M calculated in the screen coordinate system shown in FIG. 7 to obtain the relative coordinates (Xc, Yc, Zc).
The barycentric coordinate (1) and the center distance D of the patterns P1 and P1 are used. And the coordinates of the screen coordinate system (I, J)
Using the value of and the distance D, geometric transformation is performed to calculate relative coordinates (Xc, Yc, Zc) in the real coordinate system. This calculation method will be described later.
【００７４】次に、荷役操作支援装置２０の電気的構成
を説明する。図１０に示すように、荷役操作支援装置２
０はコントローラ４０を備える。コントローラ４０は、
カメラ昇降制御部４１，画像制御部４２、荷役制御部４
３、駆動回路４４，４５を備えている。Next, the electrical construction of the cargo handling operation support device 20 will be described. As shown in FIG. 10, the cargo handling operation support device 2
0 includes a controller 40. The controller 40
Camera lift control unit 41, image control unit 42, cargo handling control unit 4
3, drive circuits 44 and 45 are provided.
【００７５】カメラ昇降制御部４１には、電動アクチュ
エータ４７、上限位置検知スイッチ４８，下限位置検知
スイッチ４９が電気的に接続されている。カメラ昇降制
御部４１は、荷役制御部４３からの起動の指示に基づき
電動アクチュエータ４７の制御を行う。上限位置検知ス
イッチ４８はカメラユニット２３が上限位置に達したこ
とを検知するもので、下限位置検知スイッチ４９はカメ
ラユニット２３が下限位置に達したことを検知するもの
である。各位置検知スイッチ４８，４９によって、カメ
ラユニット２３の上限エンドと下限エンドが検知された
ときに、電動アクチュエータ４７の駆動が停止される。An electric actuator 47, an upper limit position detection switch 48, and a lower limit position detection switch 49 are electrically connected to the camera lift control section 41. The camera lift control unit 41 controls the electric actuator 47 based on the activation instruction from the cargo handling control unit 43. The upper limit position detection switch 48 detects that the camera unit 23 has reached the upper limit position, and the lower limit position detection switch 49 detects that the camera unit 23 has reached the lower limit position. The drive of the electric actuator 47 is stopped when the upper limit end and the lower limit end of the camera unit 23 are detected by the position detection switches 48 and 49.
【００７６】ＣＣＤカメラ２４からの映像信号（画像信
号）は、画像制御部４２に入力される。画像制御部４２
は、画像生成部５０および画像処理部５１を備える。画
像生成部５０は映像信号から画像データを生成して表示
装置２８の画面２８Ａに撮影画像を表示させる。また画
像制御部４２は、音声アナウンスなどのための音声合成
処理を行ってスピーカ５３に音声信号を出力する。また
画像処理部５１には画像生成部５０から画像データが入
力される。The video signal (image signal) from the CCD camera 24 is input to the image controller 42. Image control unit 42
Includes an image generation unit 50 and an image processing unit 51. The image generation unit 50 generates image data from the video signal and displays the captured image on the screen 28A of the display device 28. The image control unit 42 also performs a voice synthesis process for a voice announcement and outputs a voice signal to the speaker 53. Image data is input to the image processing unit 51 from the image generation unit 50.
【００７７】画像処理部５１は、画像生成部５０で生成
された画像データを基に画像上のマークＭ１，Ｍ２の位
置を割り出す画像認識処理と、その認識結果に基づきフ
ォーク２の自動位置制御に必要な画面座標系のデータを
計算する演算処理を行う。画像処理部５１は、画像認識
手段としての画像認識処理部５５、記憶手段としてのテ
ンプレート記憶部５６および画像演算部５７を備えてい
る。The image processing unit 51 performs an image recognition process of determining the positions of the marks M1 and M2 on the image based on the image data generated by the image generation unit 50, and an automatic position control of the fork 2 based on the recognition result. Performs arithmetic processing to calculate the required screen coordinate system data. The image processing unit 51 includes an image recognition processing unit 55 as an image recognition unit, a template storage unit 56 as a storage unit, and an image calculation unit 57.
【００７８】画像認識処理部５５はパターンマッチング
処理による画像認識処理を行う。テンプレート記憶部５
６には、パターンマッチング処理に使用するテンプレー
トＴ１，Ｔ２のデータが記憶されている。本実施形態で
は、図５（ｂ），（ｄ）に示すテンプレートＴ１，Ｔ２
が記憶されている。画像認識処理部５５は、画像データ
上にテンプレートＴ１（Ｔ２）と一致するパターンがあ
るかどうかを調べるパターンマッチング処理を行い、テ
ンプレートＴ１（Ｔ２）と一致するパターンがあればそ
れをマークＭ１（Ｍ２）のパターンＰ１（Ｐ２）と認識
する。画像演算部５７は、画像認識されることでパター
ンＰ１（Ｐ２）の位置が決まると、それぞれの位置座標
（Ｉ1，Ｊ1），（Ｉ2，Ｊ2）を基に、マークＭ１（Ｍ
２）に関する重心座標（Ｉ，Ｊ）と中心間距離Ｄを計算
する。画像処理部５１の処理内容については後述する。The image recognition processing section 55 performs image recognition processing by pattern matching processing. Template storage unit 5
6 stores data of templates T1 and T2 used for the pattern matching process. In the present embodiment, the templates T1 and T2 shown in FIGS.
Is remembered. The image recognition processing unit 55 performs pattern matching processing to check whether or not there is a pattern matching the template T1 (T2) on the image data, and if there is a pattern matching the template T1 (T2), mark it as the mark M1 (M2 ) Pattern P1 (P2). When the position of the pattern P1 (P2) is determined by the image recognition, the image calculation unit 57 determines the mark M1 (M1) based on the position coordinates (I1, J1), (I2, J2).
The barycentric coordinates (I, J) and the center-to-center distance D regarding 2) are calculated. The processing contents of the image processing unit 51 will be described later.
【００７９】荷役制御部４３には、荷役用の各レバー６
１〜６４の操作を検知する各センサ６５〜６８、操作ボ
タンスイッチ６９、揚高センサ７０および荷重センサ７
１が電気的に接続されている。また荷役制御部４３は、
駆動回路４４を介して荷役モータ７２、各種電磁比例弁
７３〜７６のソレノイドと電気的に接続されている。各
種電磁比例弁７３〜７６は、オイルコントロールバルブ
７７に組付けられており、これらが比例制御されること
により荷役系の油圧制御が行われる。荷役モータ７２は
荷役ポンプ（油圧ポンプ）７８を駆動するためのもの
で、荷役ポンプ７８の駆動によってオイルコントロール
バルブ７７に作動油を供給する。荷役制御部４３は、各
センサ６５〜６８からの信号を基に電磁比例弁７３〜７
６の電流値制御と荷役モータ７２の駆動制御を行う。各
レバー６１〜６４の操作に応じてそれぞれ対応するシリ
ンダ１２，１４，７９，８０が駆動され、フォーク２の
昇降操作、リーチ操作、サイドシフト操作、ティルト操
作が可能となっている。The cargo handling control section 43 includes the levers 6 for cargo handling.
Each sensor 65 to 68 for detecting the operation of 1 to 64, the operation button switch 69, the lift sensor 70, and the load sensor 7
1 is electrically connected. Further, the cargo handling control unit 43
The cargo handling motor 72 and the solenoids of various electromagnetic proportional valves 73 to 76 are electrically connected via the drive circuit 44. The various solenoid proportional valves 73 to 76 are assembled to the oil control valve 77, and the hydraulic control of the cargo handling system is performed by proportionally controlling these. The cargo handling motor 72 is for driving a cargo handling pump (hydraulic pump) 78, and supplies hydraulic oil to the oil control valve 77 by driving the cargo handling pump 78. The cargo handling control unit 43 uses the electromagnetic proportional valves 73 to 7 based on the signals from the sensors 65 to 68.
The current value control of 6 and the drive control of the cargo handling motor 72 are performed. Corresponding cylinders 12, 14, 79, 80 are driven according to the operation of each lever 61-64, and the lifting operation, reach operation, side shift operation, and tilt operation of the fork 2 are possible.
【００８０】荷役制御部４３は、フォーク位置決め制御
実行中においては画像処理部５１からのデータを基にリ
フト用電磁比例弁７３とサイドシフト用電磁比例弁７５
を電流値制御して、リフトシリンダ１４とサイドシフト
シリンダ７９を駆動制御する。荷役制御部４３は、この
フォーク位置決め制御のために、相対座標算出部８１、
制御量算出部８２、制御量指令部８３および荷役駆動制
御部８４を備えている。相対座標算出部８１は、画像演
算部５７で算出されたデータを基にマークＭを原点とす
る実座標系におけるカメラ２４の相対位置座標（Ｘｃ，
Ｙｃ，Ｚｃ）を計算する。制御量算出部８２は相対位置
座標（Ｘｃ，Ｙｃ，Ｚｃ）から制御量を求める。制御量
指令部８３は荷役駆動制御部８４に制御量を指令する。
荷役駆動制御部８４は、制御量の指令を受けると駆動回
路４４を介してリフト用電磁比例弁７３とサイドシフト
用電磁比例弁７５を電流値制御して、フォーク２の位置
合わせに必要なその制御量だけリフトシリンダ１４とサ
イドシフトシリンダ７９を駆動制御する。なお、各制御
部４１，４２，４３は、マイクロコンピュータおよびメ
モリ（ＲＯＭ）等に格納されたプログラムデータによっ
て構成される。また、画像演算部５７及び相対座標算出
部８１により位置演算手段が構成される。During the execution of the fork positioning control, the cargo handling control section 43, based on the data from the image processing section 51, the lift proportional solenoid valve 73 and the side shift proportional solenoid valve 75.
Is controlled to drive the lift cylinder 14 and the side shift cylinder 79. The cargo handling control unit 43 performs the relative coordinate calculation unit 81,
The control amount calculation part 82, the control amount command part 83, and the cargo handling drive control part 84 are provided. The relative coordinate calculation unit 81 calculates the relative position coordinates (Xc, Xc, X) of the camera 24 in the actual coordinate system with the mark M as the origin on the basis of the data calculated by the image calculation unit 57.
Calculate Yc, Zc). The control amount calculation unit 82 obtains the control amount from the relative position coordinates (Xc, Yc, Zc). The control amount commanding unit 83 commands the cargo handling drive control unit 84 to control the control amount.
When the cargo handling drive control unit 84 receives a command for the control amount, the cargo handling drive control unit 84 controls the current values of the lift electromagnetic proportional valve 73 and the side shift electromagnetic proportional valve 75 via the drive circuit 44, and controls the current for the fork 2. The lift cylinder 14 and the side shift cylinder 79 are drive-controlled by a control amount. Each control unit 41, 42, 43 is composed of program data stored in a microcomputer, a memory (ROM), or the like. Further, the image calculation section 57 and the relative coordinate calculation section 81 constitute a position calculation means.
【００８１】操作ボタンスイッチ６９は、例えばリフト
レバー６１のノブに設けられ、フォーク位置決め制御を
行うときに運転者が操作するものである。荷役制御部４
３は、操作ボタンスイッチ６９が操作された操作信号を
入力すると起動準備モードに入る。本実施形態では、フ
ォーク２が設定揚高（例えば約２メートル）以上の高さ
にあるときに限り、フォーク位置決め制御が行われるよ
うに設定されている。この起動準備モードに入った後、
荷役制御部４３は、揚高センサ７０の検出値から分かる
フォーク２の揚高を基にカメラ昇降制御部４１を起動さ
せるかどうかを判断する。揚高センサ７０の検出値に基
づきフォーク２の検出揚高が設定揚高以上にあるときだ
けフォーク位置決め制御の実行モード（自動位置決めモ
ード）に入る。つまり、揚高が設定高さ以上であるとき
がカメラ昇降制御部４１の起動条件となる。The operation button switch 69 is provided, for example, on the knob of the lift lever 61, and is operated by the driver when performing fork positioning control. Cargo handling control unit 4
3 enters a start preparation mode when an operation signal for operating the operation button switch 69 is input. In the present embodiment, the fork positioning control is set to be performed only when the fork 2 is at a height higher than the set lift (for example, about 2 meters). After entering this boot preparation mode,
The cargo handling control unit 43 determines whether to activate the camera lift control unit 41 based on the lift of the fork 2 which is detected from the detection value of the lift sensor 70. Only when the detected lift of the fork 2 is equal to or higher than the set lift based on the detection value of the lift sensor 70, the fork positioning control execution mode (automatic positioning mode) is entered. That is, when the lift is equal to or higher than the set height, the activation condition of the camera lift control unit 41 is set.
【００８２】そして起動条件成立後、荷重センサ７１の
検出値から分かるフォーク２上の荷重（積載重量）を基
に起動させるときの荷役モードを判断する。ところで、
本実施形態では、荷役モードとして荷取モードと荷置モ
ードを用意し、そのモードに応じてカメラユニット２３
の昇降位置（撮影位置）を切り替えるようにしている。
つまり、フォーク２上に荷の無い荷取り時は、カメラユ
ニット２３が格納位置に保持されたままでも撮影できる
が、フォーク２上に荷がある荷置き時は荷が撮影の邪魔
になるため、カメラユニット２３を下降位置に配置させ
るようにしている。荷取モードか荷置モードかは、荷重
センサ７１の検出信号を基にフォーク２上の荷の有無か
ら判断する。荷役制御部４３は、フォーク２上に荷が無
いと判断したときは荷取モードを設定し、フォーク２上
に荷があると判断したときは荷置モードを設定する。After the start condition is satisfied, the loading / unloading mode at the time of starting is determined based on the load (loading weight) on the fork 2 which is detected from the detection value of the load sensor 71. by the way,
In this embodiment, a loading mode and a loading mode are prepared as the loading / unloading mode, and the camera unit 23 is selected according to the modes.
The up and down position (shooting position) is switched.
In other words, when there is no load on the fork 2, it is possible to take a picture even when the camera unit 23 is held in the storage position, but when there is a load on the fork 2, the load interferes with the shooting. The camera unit 23 is arranged in the lowered position. Whether the loading mode or the loading mode is determined based on the detection signal of the load sensor 71 based on the presence or absence of a load on the fork 2. The cargo handling control unit 43 sets the loading mode when it is determined that there is no load on the fork 2 and sets the loading mode when it is determined that there is a load on the fork 2.
【００８３】カメラ昇降制御部４１は、荷役制御部４３
からの起動の指示に従って電動アクチュエータ４７を制
御し、荷取りモードでの起動の指示を受けたときはカメ
ラユニット２３を格納位置に配置された状態に保持す
る。一方、荷置きモードでの起動の指示を受けたときは
電動アクチュエータ４７を駆動させてカメラユニット２
３を下降位置に配置する。The camera elevating / lowering control section 41 has a cargo handling control section 43.
The electric actuator 47 is controlled in accordance with the activation instruction from, and when the activation instruction in the loading mode is received, the camera unit 23 is held in the storage position. On the other hand, when the start instruction in the loading mode is received, the electric actuator 47 is driven to drive the camera unit 2
Place 3 in the lowered position.
【００８４】また荷役制御部４３は、操作ボタンスイッ
チ６９の操作を検知して起動準備モードに入ると、その
旨を画像制御部４２に伝える。画像処理部５１では、荷
取モードであればパレット位置検出用のマークＭ１を認
識対象とし、荷置モードであれば棚位置検出用のマーク
Ｍ２を認識対象とする画像認識処理を実行する。つまり
画像処理部５１は、パターンマッチング処理時に、荷取
モードであればテンプレートＴ１を使用し、荷置モード
であればテンプレートＴ２を使用する。When the cargo handling control section 43 detects the operation of the operation button switch 69 and enters the start-up preparation mode, the cargo handling control section 43 notifies the image control section 42 to that effect. The image processing unit 51 executes image recognition processing in which the mark M1 for pallet position detection is the recognition target in the load pickup mode, and the mark M2 for shelf position detection is the recognition target in the load placement mode. That is, the image processing unit 51 uses the template T1 in the pickup mode and the template T2 in the loading mode during the pattern matching process.
【００８５】図１２は、画像認識処理からフォーク位置
制御までの制御処理の流れを説明するものである。まず
画像データを取得すると、画像認識処理部５５がテンプ
レート記憶部５６からテンプレートＴを読み出してパタ
ーンマッチング処理を行う。画像演算部５７は、画像認
識処理部５５で認識されたパターンの位置を基にマーク
Ｍの重心座標（Ｉ，Ｊ）とパターン中心間距離Ｄを画面
座標系（画素レベル）で算出する。ここで算出されたデ
ータＩ，Ｊ，Ｄは、相対座標算出部８１に送られる。FIG. 12 illustrates the flow of control processing from image recognition processing to fork position control. First, when the image data is acquired, the image recognition processing unit 55 reads the template T from the template storage unit 56 and performs the pattern matching process. The image calculation unit 57 calculates the barycentric coordinates (I, J) of the mark M and the pattern center distance D on the screen coordinate system (pixel level) based on the position of the pattern recognized by the image recognition processing unit 55. The data I, J, D calculated here are sent to the relative coordinate calculation unit 81.
【００８６】相対座標算出部８１は、データＩ，Ｊ，Ｄ
を基に、実座標系におけるカメラ２４の相対座標ＯＣ
（Ｘc,Ｙc,Ｚc) を算出する。ここで、図１１に示すよ
うに、カメラ位置Ｃ、フォーク位置Ｆ、パレット位置
Ｐ、マーク重心位置（原点）Ｏとすると、ベクトルＦＰ
＝ベクトルＯＰ−ベクトルＯＣ−ベクトルＣＦの関係に
あり、ベクトルＣＦ，ＯＰは既知情報である。制御量算
出部８２は、既知情報（ベクトルＣＦ，ＯＰ）を用いて
ベクトルＦＰを求める。The relative coordinate calculation unit 81 uses the data I, J, D
Based on the relative coordinate OC of the camera 24 in the real coordinate system
Calculate (Xc, Yc, Zc). Here, as shown in FIG. 11, assuming that the camera position C, the fork position F, the pallet position P, and the mark center of gravity position (origin) O, the vector FP
= Vector OP-Vector OC-Vector CF, and the vectors CF and OP are known information. The control amount calculation unit 82 obtains the vector FP using the known information (vectors CF and OP).
【００８７】そして、制御量指令部８３は、ベクトルＦ
Ｐが「０」になるような制御量指令値を荷役駆動制御部
８４に送る。但し、本実施形態では、フォーク２の上下
方向および左右方向についてのみ自動位置制御をするこ
ととしており、前後方向（リーチ方向）については運転
者の操作に任せている。このため、制御量指令部８３
は、ベクトルＦＰのうちＹＺ成分を「０」とするよう算
出したフォーク２の上下方向および左右方向の各シフト
量を制御量指令値として荷役駆動制御部８４に出力す
る。荷役駆動制御部８４はこの制御量指令値を基に駆動
回路４４を介してリフトシリンダ１４およびサイドシフ
トシリンダ７９を駆動制御する。これによりフォーク２
は上下方向および左右方向については自動で位置合わせ
される。この結果、フォーク２は荷取モードの際はパレ
ット３３の差込穴３３Ａに位置決めされ、荷置モードの
際は棚面３４Ａから所定距離上方の目標位置に位置合わ
せされる。なお、フォーク２のリーチ動作も自動制御で
行ってもよい。Then, the controlled variable command unit 83 uses the vector F
The control amount command value such that P becomes “0” is sent to the cargo handling drive control unit 84. However, in the present embodiment, the automatic position control is performed only in the up-down direction and the left-right direction of the fork 2, and the front-rear direction (reach direction) is left to the driver's operation. Therefore, the control amount command unit 83
Outputs to the cargo handling drive control unit 84 the vertical and horizontal shift amounts of the fork 2 calculated so that the YZ component of the vector FP is "0" as control amount command values. The cargo handling drive control unit 84 drives and controls the lift cylinder 14 and the side shift cylinder 79 via the drive circuit 44 based on the control amount command value. This makes fork 2
Is automatically aligned in the vertical and horizontal directions. As a result, the fork 2 is positioned in the insertion hole 33A of the pallet 33 in the loading mode, and is positioned at a target position that is a predetermined distance above the shelf surface 34A in the loading mode. The reach operation of the fork 2 may be automatically controlled.
【００８８】次に、Ｉ，Ｊ，Ｄ値からカメラ２４とマー
クＭ１の相対位置座標（Ｘc，Ｙc，Ｚc）を算出する計
算方法について説明する。図１３は、実座標系でカメラ
とマークを上から見た図を示す。また図１４は、実座標
系と画面座標系について相似関係にあることを示す。同
図左側がＹＺ平面内で、カメラ２４に映っている部分を
示したもので、同図右側が実際にカメラ２４に映ってい
る画像のＩＪ平面を示す。像の歪みを考慮しなければ、
これらの２つの像は相似関係にある。Next, a calculation method for calculating the relative position coordinates (Xc, Yc, Zc) between the camera 24 and the mark M1 from the I, J, D values will be described. FIG. 13 shows a view from above of the camera and marks in the real coordinate system. Further, FIG. 14 shows that the real coordinate system and the screen coordinate system have a similar relationship. The left side of the figure shows a portion of the image captured by the camera 24 in the YZ plane, and the right side of the figure shows the IJ plane of the image actually captured by the camera 24. If you do not consider the image distortion,
These two images are similar.
【００８９】表１は、実座標系と画面座標系の相似関係
を示したものである。Table 1 shows the similar relationship between the real coordinate system and the screen coordinate system.
【００９０】[0090]
【表１】
実座標系において撮影範囲の横幅は、２Ｌ・tanαで示
され、これは画面座標系では画面２８Ａの横方向画素数
Ｈとなる。ここで、図１３に示すように、αは、カメラ
２４の水平画角の２分の１である。またＬは、カメラ２
４とＹＺ平面間の距離であり、｜Ｘc｜に等しい（Ｌ＝
｜Ｘc｜）。また、実座標系におけるマークＭ１内の２
つのパターンＰ１，Ｐ１の中心間距離ｄは、画面座標系
では中心間距離Ｄとなる。つまり実座標系と画面座標系
の相似比は、ｄ：Ｄとなる。また、マークＭ１の中心
（重心）である原点Ｏから像の中心までの横座標につい
ては、実座標系のＹcが、画面座標系のＩ−Ｈ／２に相
当する。マークＭ１の中心（重心）である原点Ｏから像
の中心までの縦座標については、実座標系のＺcが、画
面座標系のＪ−Ｖ／２に相当する。但し、Ｖは、画面２
８Ａの縦方向画素数である。[Table 1] The horizontal width of the photographing range in the real coordinate system is represented by 2L · tan α, which is the horizontal pixel number H of the screen 28A in the screen coordinate system. Here, as shown in FIG. 13, α is one half of the horizontal angle of view of the camera 24. L is the camera 2
4 and the YZ plane, which is equal to | Xc | (L =
| Xc |). In addition, 2 in the mark M1 in the real coordinate system
The center-to-center distance d between the two patterns P1 and P1 is the center-to-center distance D in the screen coordinate system. That is, the similarity ratio between the real coordinate system and the screen coordinate system is d: D. Regarding the abscissa from the origin O, which is the center (center of gravity) of the mark M1, to the center of the image, Yc in the real coordinate system corresponds to I-H / 2 in the screen coordinate system. Regarding the ordinate from the origin O, which is the center (center of gravity) of the mark M1, to the center of the image, Zc in the real coordinate system corresponds to JV / 2 in the screen coordinate system. However, V is screen 2
The number of pixels in the vertical direction is 8A.
【００９１】表１の相似関係を用いれば、カメラの座標
（Ｘc，Ｙc，Ｚc）は次式より算出される。
Ｘc＝−Ｌ＝−Ｈｄ／（２Ｄtanα）
Ｙc＝ｄ／Ｄ（Ｉ−Ｈ／２）
Ｚc＝ｄ／Ｄ（Ｊ−Ｖ／２）
ここで、Ｈ，Ｖ，α，ｄ値は既知の値であるため、Ｉ，
Ｊ，Ｄ値を算出すれば、座標（Ｘｃ，Ｙｃ，Ｚｃ）が求
まる。Using the similarity relationship in Table 1, the camera coordinates (Xc, Yc, Zc) are calculated by the following equation. Xc = -L = -Hd / (2Dtanα) Yc = d / D (I-H / 2) Zc = d / D (J-V / 2) where H, V, α and d values are known values. Therefore, I,
The coordinates (Xc, Yc, Zc) can be obtained by calculating the J and D values.
【００９２】次に図１５を用いて、マーク平面（ＹＺ平
面）内でのマーク回転角θを計算する方法を説明する。
まず画像処理によりマークＭ１内に２つあるパターンＰ
１，Ｐ１の中心座標（Ｉ1，Ｊ1）と（Ｉ2，Ｊ2）が求ま
る。次にパターンＰ１、Ｐ１の中心座標を用いて次の関
係式が成り立つ。すなわち、tanθ＝[（Ｊ2−Ｊ1）／
（Ｉ2−Ｉ1）] である。この関係式を用いてマークＭ
１の回転角θを求める。Next, a method for calculating the mark rotation angle θ in the mark plane (YZ plane) will be described with reference to FIG.
First, there are two patterns P in the mark M1 by image processing.
The center coordinates (I1, J1) and (I2, J2) of 1, P1 are obtained. Next, the following relational expression is established using the center coordinates of the patterns P1 and P1. That is, tan θ = [(J2-J1) /
(I2-I1)]. Mark M using this relation
The rotation angle θ of 1 is obtained.
【００９３】ここで、たとえフォーク２が正規の位置に
位置合わせされても、車体の姿勢に対しパレット３３が
僅か（２，３度）に傾いているだけでフォーク２はパレ
ット３３の差込穴３３Ａに差し込まれない。本実施形態
では、このような理由からフォーク２の上下方向と左右
方向の位置制御は自動で行うが、パレット３３の差込穴
３３Ａにフォーク２を挿入する最後のリーチ動作は運転
者自身が判断して操作するようにしている。このように
パレット３３が僅か（２，３度）に傾いているときに
は、画面２８Ａ上の表示や音声アナウンスによってその
旨を運転者に報知する。Here, even if the fork 2 is aligned to the normal position, the pallet 33 is slightly inclined (2 or 3 degrees) with respect to the posture of the vehicle body, and the fork 2 is inserted into the insertion hole of the pallet 33. Not plugged into 33A. In this embodiment, the vertical and horizontal position control of the fork 2 is automatically performed for this reason, but the driver himself determines the final reach operation for inserting the fork 2 into the insertion hole 33A of the pallet 33. I am trying to operate it. Thus, when the pallet 33 is slightly tilted (2 or 3 degrees), the driver is informed of that fact by the display on the screen 28A or a voice announcement.
【００９４】この実施の形態では、以下の効果が得られ
る。
（１）パターンを連続的に拡大しても常にそのパターン
の中に元のサイズのパターンが含まれることになる模様
をパターンとするテンプレートＴ１，Ｔ２を採用した。
そして、テンプレートＴ１，Ｔ２と同じ模様のパターン
をマークＭ１，Ｍ２に採用した。このため、撮影画像上
のマークＭ１（Ｍ２）の大きさが遠近の違いによって変
化しても、その大きさの異なるパターンＰ１（Ｐ２）を
１つのテンプレートＴ１（Ｔ２）によって認識すること
ができる。従って、パターンＰ１（Ｐ２）を認識する処
理時間がかなり短縮される。この結果、パターンＰ１
（Ｐ２）の位置を短時間で割り出すことができる。In this embodiment, the following effects can be obtained. (1) The templates T1 and T2 having the pattern in which the original size pattern is always included in the pattern even if the pattern is continuously enlarged are adopted.
Then, the patterns having the same patterns as the templates T1 and T2 were adopted for the marks M1 and M2. Therefore, even if the size of the mark M1 (M2) on the captured image changes due to the difference in perspective, the pattern P1 (P2) having different sizes can be recognized by the single template T1 (T2). Therefore, the processing time for recognizing the pattern P1 (P2) is considerably shortened. As a result, the pattern P1
The position of (P2) can be calculated in a short time.
【００９５】（２）マークＭ１（Ｍ２）を２つのパター
ンＰ１（Ｐ２）を並べて形成し、パターンＰ１，Ｐ１
（Ｐ２，Ｐ２）の中心間距離Ｄを算出するようにしたの
で、画面上におけるマークＭ１（Ｍ２）の位置だけでな
くマークＭ１（Ｍ２）の大きさも検出することができ
る。(2) The mark M1 (M2) is formed by arranging two patterns P1 (P2) side by side, and the patterns P1 and P1 are formed.
Since the center-to-center distance D of (P2, P2) is calculated, not only the position of the mark M1 (M2) on the screen but also the size of the mark M1 (M2) can be detected.
【００９６】（３）マークＭ１（Ｍ２）を２つのパター
ンＰ１（Ｐ２）を並べて形成し、パターンＰ１，Ｐ１
（Ｐ２，Ｐ２）の中心間距離Ｄを算出するようにしたの
で、マークＭ１（Ｍ２）とカメラ２４との実座標系の３
次元相対位置座標（Ｘc，Ｙc，Ｚc）を求めることがで
きる。よって、フォーク２とパレット３３の差込穴３３
Ａまたは棚面３４Ａから所定距離上方の目標位置との位
置ずれ量を求めることができる。これによりフォーク２
の目標位置に対する位置合わせを支援する自動制御をす
ることができる。(3) The mark M1 (M2) is formed by arranging two patterns P1 (P2) side by side, and the patterns P1 and P1 are formed.
Since the center-to-center distance D of (P2, P2) is calculated, 3 of the actual coordinate system between the mark M1 (M2) and the camera 24 is calculated.
The dimensional relative position coordinates (Xc, Yc, Zc) can be obtained. Therefore, the fork 2 and the insertion hole 33 of the pallet 33
It is possible to obtain the amount of positional deviation from the target position that is above A or the shelf surface 34A by a predetermined distance. This makes fork 2
It is possible to perform automatic control for assisting alignment of the target position with the target position.
【００９７】（４）また２つのパターンＰ１、Ｐ１（Ｐ
２，Ｐ２）の各中心座標を使ってマークＭ１（Ｍ２）の
傾き（回転角）θを検出することもできる。よって、フ
ォークリフト１の車体３が左右に傾いていたり、パレッ
ト３３が傾いていたときには、フォーク２をパレット３
３の差込穴３３Ａに差し込むことができない旨の警告を
運転者に発することができる。(4) Two patterns P1, P1 (P
It is also possible to detect the inclination (rotation angle) θ of the mark M1 (M2) using each center coordinate of (2, P2). Therefore, when the vehicle body 3 of the forklift 1 is tilted to the left or right or the pallet 33 is tilted, the fork 2 is moved to the pallet 3
It is possible to issue a warning to the driver that it cannot be inserted into the insertion hole 33A of No. 3.
【００９８】（５）マークＭ１，Ｍ２を構成するパター
ンＰ１，Ｐ２は、一点を中心として放射状に真っ直ぐ延
びる複数本の境界線によって色分けされた模様からな
る。よって、撮影されたマークの撮影画像上の大きさが
遠近の違いによって変化しても、そのパターンＰ１（Ｐ
２）の位置を１つのテンプレートＴ１（Ｔ２）によって
認識することができ、パターンＰ１（Ｐ２）を認識する
処理時間がかなり短縮される。また、パターンＰ１，Ｐ
２は、一点を中心とする周方向に交互に白と黒の配色を
付したので、コントラストがはっきりしてパターン以外
のものをパターンと誤認識したり、パターンが認識され
ない認識漏れが減る。(5) The patterns P1 and P2 forming the marks M1 and M2 are formed by color coding by a plurality of boundary lines extending straight in a radial pattern centering on one point. Therefore, even if the size of the captured mark on the captured image changes due to the difference in perspective, the pattern P1 (P
The position of 2) can be recognized by one template T1 (T2), and the processing time for recognizing the pattern P1 (P2) is considerably shortened. In addition, patterns P1 and P
In No. 2, since the white and black color schemes are alternately provided in the circumferential direction centering on one point, the contrast is clear and objects other than the pattern are erroneously recognized as patterns, or the recognition omission in which the patterns are not recognized is reduced.
【００９９】（６）パターンＰ１，Ｐ２は、一点を中心
として放射状に真っ直ぐ延びた４本の境界線によって色
分けされた模様である。このようにパターンＰ１，Ｐ２
は、例えば２本の境界線で色分けされた模様に比べ比較
的複雑な図形となるため、工場内に存在する他の図形を
マークと誤検出することが減る。(6) The patterns P1 and P2 are patterns that are color-coded by four boundary lines extending straight in a radial pattern with one point as the center. In this way, patterns P1 and P2
Is a relatively complicated figure compared to a pattern that is color-coded with, for example, two boundary lines, and therefore false detection of other figures existing in the factory as marks is reduced.
【０１００】（７）マークＭ１（Ｍ２）は、同一のパタ
ーンＰ１（Ｐ２）を２つ並べて形成されている。よっ
て、２つのパターンＰ１（Ｐ２）を共通の１つのテンプ
レートＴ１（Ｔ２）により認識できるので、マークＭ１
（Ｍ２）１つにつき１つのテンプレートＴ１（Ｔ２）を
用意するだけで済む。(7) The mark M1 (M2) is formed by arranging two identical patterns P1 (P2). Therefore, the two patterns P1 (P2) can be recognized by one common template T1 (T2), and therefore the mark M1
(M2) Only one template T1 (T2) is required to be prepared.
【０１０１】（８）テンプレートＴ１，Ｔ２は、画像デ
ータ上に映し出されるマークＭ１，Ｍ２が認識されなけ
ればならない最小サイズにあるときのパターンサイズ以
下のサイズに設定されている。よって、マークＭ１（Ｍ
２）とカメラ２４の距離によって撮影画像上のマークＭ
１（Ｍ２）の大きさが変化しても、その際に最も小さな
マークサイズに合わせてテンプレートＴ１，Ｔ２のサイ
ズを設定しているので、マークＭ１（Ｍ２）１つにつき
テンプレートＴ１（Ｔ２）が１つで済む。(8) The templates T1 and T2 are set to a size equal to or smaller than the pattern size when the marks M1 and M2 displayed on the image data are in the minimum size that must be recognized. Therefore, the mark M1 (M
2) and the distance between the camera 24 and the mark M on the captured image
Even if the size of 1 (M2) changes, the sizes of the templates T1 and T2 are set according to the smallest mark size at that time, so that the template T1 (T2) is set for each mark M1 (M2). One is enough.
【０１０２】（９）マークＭ１，Ｍ２をパレット３３ま
たは棚３０に付した状態において、パターンＰ１，Ｐ２
の境界線が水平線に対し斜めに延びるような模様のパタ
ーンＰ１，Ｐ２を採用したので、工場内に比較的多くあ
る縦や横の線をマークＭ１，Ｍ２と誤検出する恐れをよ
り確実に抑えることができる。(9) With the marks M1 and M2 attached to the pallet 33 or shelf 30, patterns P1 and P2
Since the patterns P1 and P2 having a pattern in which the boundary line of X extends obliquely with respect to the horizontal line, the risk of erroneously detecting the vertical and horizontal lines, which are relatively large in the factory, as the marks M1 and M2 is more reliably suppressed. be able to.
【０１０３】なお、実施の形態は上記に限定されず、次
の態様で実施することもできる。
○ ２つのパターンＰ１，Ｐ１（Ｐ２，Ｐ２）を横に並
べる構成に限定されない。例えば図１６に示すように、
パターンＰ１，Ｐ２を縦方向に２つずつ並べてマークＭ
３，Ｍ４を構成することもできる。マークが付される箇
所の形状や種々の制限などにより縦長の方が都合がよい
場合には同図のようなパターン配列をとることが好まし
い。Note that the embodiment is not limited to the above, and can be implemented in the following modes. The configuration is not limited to the configuration in which the two patterns P1 and P1 (P2 and P2) are arranged side by side. For example, as shown in FIG.
Marks M are formed by arranging two patterns P1 and P2 vertically.
3, M4 can also be configured. When it is more convenient to have a vertically long shape due to the shape of the marked portion and various restrictions, it is preferable to adopt the pattern arrangement shown in FIG.
【０１０４】○ パターンは前記実施形態の模様に限定
されない。例えば図１７に示すようなパターンＰ５〜Ｐ
１０を持つマークＭ５〜Ｍ１０を採用することができ
る。これらどのパターンも、連続的に拡大しても常にそ
のパターンの中に元のサイズのパターンが含まれる模様
である。言い換えれば、パターンの大きさが連続的に変
わっても中心部分のパターンが変化しない模様である。
さらに詳しくは、一点を中心として放射状に真っ直ぐ延
びる複数本の境界線によって色分けされた模様である。
これらの例では色分けは黒と白の二色である。同図
（ａ），（ｂ）は、４本の境界線によって白と黒に色分
けされている。外形形状が（ａ）は四角形、（ｂ）は丸
形である。同図（Ｃ）は、外形が四角形で、８本の境界
線によって白と黒に色分けされている。同図（ｄ）は外
形が六角形で、６本の境界線によって白と黒に色分けさ
れている。同図（ｅ）は外形が丸形で、４本の境界線に
よって白と黒に色分けされている。境界線が水平面に対
して斜め（この例では４５度）に走っている。同図
（ｆ）は外形が四角形で、４本の境界線によって白と黒
に色分けされている。境界線は四角形の対角線を少し回
転させた傾きとなっている。同図（ｃ），（ｄ），
（ｅ），（ｆ）は、境界線が水平線に対して斜めに走っ
ているので、縦や横の線（ライン）が比較的多い工場内
で、パターン以外のものをパターンと誤認識してしまう
不都合を一層確実に抑えることができる。よって、位置
検出の精度を上げることができる。同図では各マークは
パターンを横方向に２つ並ぶ構成であるが、もちろん縦
方向に２つ並ぶ構成でもよい。またテンプレートＴ５〜
Ｔ１０は、前記実施形態と同様に認識しなければならな
い最小サイズ以下のサイズに設定され、例えば標準サイ
ズの５０％サイズに設定してある。The pattern is not limited to the pattern of the above embodiment. For example, patterns P5 to P as shown in FIG.
Marks M5 to M10 having 10 can be adopted. Each of these patterns is such that the pattern of the original size is always included in the pattern even if it is continuously enlarged. In other words, the pattern in the central portion does not change even if the size of the pattern changes continuously.
More specifically, the pattern is color-coded by a plurality of boundary lines extending straight in a radial pattern with one point as the center.
In these examples, the colors are black and white. In the figures (a) and (b), white and black are color-coded by four boundary lines. The outer shape is (a) a quadrangle, and (b) is a round shape. In the same figure (C), the outer shape is a quadrangle, and it is color-coded into white and black by eight boundary lines. In the same figure (d), the outer shape is hexagonal, and is divided into white and black by six boundary lines. In the same figure (e), the outer shape is round, and is divided into white and black by four boundary lines. The boundary line runs diagonally (45 degrees in this example) with respect to the horizontal plane. The figure (f) has a quadrangular outer shape and is color-coded into white and black by four boundary lines. The boundary line is an inclination obtained by slightly rotating the diagonal line of the quadrangle. (C), (d),
In (e) and (f), since the boundary line runs diagonally with respect to the horizontal line, in the factory where there are relatively many vertical and horizontal lines, lines other than the pattern are erroneously recognized as patterns. It is possible to more reliably suppress the inconvenience. Therefore, the accuracy of position detection can be improved. In the figure, each mark has a configuration in which two patterns are lined up in the horizontal direction, but of course, two marks may be lined up in the vertical direction. Also, template T5
T10 is set to a size equal to or smaller than the minimum size that must be recognized as in the above embodiment, and is set to, for example, 50% of the standard size.
【０１０５】○ マークを構成する２つのパターンは隣
接していることに限定されない。例えば図１８に示すよ
うに２つのパターンＰ１，Ｐ１を離して配置することも
できる。２つのパターンの中心間距離（放射中心間距
離）を一定（既知の値）に設定しておけば、座標（Ｘ
ｃ，Ｙｃ，Ｚｃ）は計算できる。例えばパターンを２つ
並べたサイズのマークを貼るだけの十分なスペースを確
保できない場合、このようにパターンを分離配置するこ
とでパターンのサイズを小さくせずに済ませられ、例え
ばマークの認識可能な距離を長く設定することができ
る。The two patterns forming the mark are not limited to being adjacent to each other. For example, as shown in FIG. 18, the two patterns P1 and P1 can be arranged separately. If the distance between the centers of the two patterns (distance between the radiation centers) is set to a constant value (known value), the coordinates (X
c, Yc, Zc) can be calculated. For example, when it is not possible to secure a sufficient space for pasting marks of the size in which two patterns are arranged side by side, it is possible to reduce the size of the patterns by arranging the patterns in this way, and for example, the recognizable distance of the marks. Can be set longer.
【０１０６】○ １つのマークにつきテンプレートは１
つに限定されない。例えば標準サイズと、標準サイズの
５０％の２つ用意しても構わない。テンプレートを複数
用意しても、従来技術で述べたスケール処理に比べテン
プレート数は少なく済むので、認識処理時間は短縮でき
る。もちろん、テンプレートの数は３つ、４つ、５つ以
上でも構わない。○ One template for one mark
Not limited to one. For example, two standard sizes and 50% of the standard size may be prepared. Even if a plurality of templates are prepared, the number of templates is smaller than that of the scale processing described in the related art, and thus the recognition processing time can be shortened. Of course, the number of templates may be three, four, five or more.
【０１０７】○ 境界線は３本でもよい。白と黒など２
色の色分けはできないが、３色の色分けはすることがで
きる。例えば白、黒、灰の３色でもよい。またカラー画
像であれば、なるべく色調の異なる３色を適宜使用でき
る。The number of boundary lines may be three. 2 such as black and white
The colors cannot be classified, but the three colors can be classified. For example, three colors of white, black, and gray may be used. If it is a color image, three colors having different color tones can be appropriately used.
【０１０８】○ 境界線は２本でもよい。境界線が２本
であってもその２本のなす角度が１８０°以外であれ
ば、中心点（放射中心点）が特定され、画像認識をする
ことはできる。白と黒の二色の色分けも可能である。The number of boundary lines may be two. Even if there are two boundary lines, if the angle formed by the two lines is other than 180 °, the center point (radiation center point) is specified and image recognition can be performed. It is also possible to distinguish between two colors, white and black.
【０１０９】○ 前記実施形態では２色で色分けした
が、色分けは２色に限定されない。３色、４色、５色以
上であっても構わない。３色以上であっても色の違いを
認識できる色の組合せであればパターンを認識すること
はできる。In the above-described embodiment, the two colors are used for color coding, but the color coding is not limited to two colors. It may be three colors, four colors, five colors or more. Even if there are three or more colors, the pattern can be recognized as long as the combination of colors allows the color difference to be recognized.
【０１１０】○ マークの２つのパターンは同一である
ことに限定されない。２つのパターンは模様が異なるも
のであっても構わない。この場合、１つのマークの認識
に２つのテンプレートを用意する必要があるが、スケー
ル処理に比べれば処理速度を短くすることはできる。ま
た同じ模様で異なるサイズの２つのパターンを設けても
よい。The two patterns of the O marks are not limited to being the same. The two patterns may have different patterns. In this case, it is necessary to prepare two templates for recognizing one mark, but the processing speed can be shortened as compared with the scale processing. Further, two patterns having the same pattern but different sizes may be provided.
【０１１１】○ 前記実施形態では、境界線が一点で交
わるパターンの中心をパターンの位置座標として計算し
たが、パターンの位置座標はパターンの中心である必要
はない。一点を中心として放射状に真っ直ぐ延びる境界
線の放射中心であればよい。例えば放射中心がパターン
の中心からずれていても構わない。放射中心座標であれ
ば、パターンの大きさが撮影距離に応じて変化しても、
パターンの位置を正確に算出することができる。In the above embodiment, the center of the pattern where the boundary lines intersect at one point is calculated as the position coordinate of the pattern, but the position coordinate of the pattern does not have to be the center of the pattern. It may be a radial center of a boundary line that extends straight in a radial direction around a single point. For example, the emission center may be displaced from the center of the pattern. With the radial center coordinates, even if the size of the pattern changes according to the shooting distance,
The position of the pattern can be calculated accurately.
【０１１２】○ マークの位置はその重心座標に限定さ
れず、２つのパターンの中心座標のうち一方をそのまま
マークの位置座標として採用しても構わない。
○ マークは位置検出対象に付されていることに限定さ
れない。位置検出対象と既知の所定位置関係にあるもの
にマークを付せば、位置検出対象を位置検出することは
できる。前記実施形態では、パレットに付されたマーク
を位置検出することによりパレットを検出し、棚に付さ
れたマークを位置検出することにより棚面上方の所定位
置を検出するようにした。これとは逆に、パレットに付
されたマークを位置検出することにより棚面上方位置を
検出し、棚に付されたマークを位置検出することにより
パレットを位置検出するようにしてもよい。パレットの
棚面上における左右方向の位置のばらつきが許容される
範囲であればこのような構成も可能である。The position of the mark is not limited to the barycentric coordinate, and one of the center coordinates of the two patterns may be directly used as the position coordinate of the mark. ○ The mark is not limited to being attached to the position detection target. The position of the position detection target can be detected by putting a mark on the position detection target in a known predetermined positional relationship. In the above embodiment, the pallet is detected by detecting the position of the mark on the pallet, and the predetermined position above the shelf surface is detected by detecting the position of the mark on the shelf. On the contrary, the position on the shelf surface may be detected by detecting the position of the mark on the pallet, and the position of the pallet may be detected by detecting the position of the mark on the shelf. Such a configuration is also possible as long as the variation in the horizontal position on the shelf surface of the pallet is allowed.
【０１１３】○ 前記実施形態では、マークとカメラの
距離が変わることが前提であるため、２つのパターンを
並べたマークを採用していたが、例えばマークとカメラ
の距離が一定（固定）である場合は、パターン１つのマ
ークを採用し、実座標系におけるマークとカメラとの相
対位置を検出するようにしてもよい。例えば位置検出対
象が列状に並んでいるその列に沿って一定距離を保った
ままカメラを移動させてマークを位置検出する場合、あ
るいはこの逆で固定したカメラから一定距離離れた撮影
域を通過する位置検出対象を位置検出する場合が挙げら
れる。また、例えば距離センサを用いてカメラと位置検
出対象（例えば棚やパレット）との距離を得るようにす
れば、マークとカメラとの実座標系の相対位置座標を求
めることができる。In the above-described embodiment, since it is premised that the distance between the mark and the camera changes, a mark in which two patterns are arranged is adopted, but the distance between the mark and the camera is constant (fixed), for example. In this case, a mark having one pattern may be adopted and the relative position between the mark and the camera in the actual coordinate system may be detected. For example, when the position detection target is arranged in a row and the camera is moved while keeping a certain distance along the row to detect the position of the mark, or vice versa, the camera passes a shooting area that is a certain distance away from the fixed camera. There is a case where the position detection target is detected. Further, for example, if a distance sensor is used to obtain the distance between the camera and the position detection target (eg, shelf or pallet), the relative position coordinates of the mark and the camera in the real coordinate system can be obtained.
【０１１４】○ 産業車両はリーチ型フォークに限定さ
れない。カウンタバランス型フォークリフトでもよい。
また荷役用のマストを備えたフォークリフト以外の産業
車両であってもよい。無人フォークリフトに採用するこ
ともできる。さらに無人搬送車に適用してもよい。また
産業車両や荷役システム以外の分野で、位置検出方法ま
たは位置検出装置を使用しても構わない。The industrial vehicle is not limited to the reach type fork. A counterbalanced forklift may be used.
Further, it may be an industrial vehicle other than a forklift equipped with a mast for cargo handling. It can also be used in unmanned forklifts. Further, it may be applied to an automatic guided vehicle. Further, the position detection method or the position detection device may be used in fields other than industrial vehicles and cargo handling systems.
【０１１５】前記実施形態及び別例等から把握される技
術的思想を、以下に記載する。
（１）請求項１に記載の発明において、前記マークは前
記パターンを１つだけ有し、該１つのパターンを画像認
識して該パターンに一義的に定まる点の位置を撮影画面
上における前記マークの位置として割り出す。The technical idea understood from the above embodiment and other examples will be described below. (1) In the invention according to claim 1, the mark has only one pattern, and the position of a point uniquely defined in the pattern by image-recognizing the one pattern is set on the photographing screen. As the position of.
【０１１６】（２）請求項１に記載の発明において、前
記マークは前記パターンを２つ有し、該２つのパターン
を画像認識して該２つのパターンごとに一義的に定まる
各点とこの二点間の距離とを求め、これらの値を基に前
記カメラと前記マークの相対位置を算出する。(2) In the invention described in claim 1, the mark has two of the patterns, and each of the two patterns is uniquely determined for each of the two patterns by image recognition. The distance between points is obtained, and the relative position of the camera and the mark is calculated based on these values.
【０１１７】（３）請求項１〜１０及び前記（１），
（２）の技術的思想のいずれかに記載の位置検出方法
は、産業車両における位置検出において用いられる。
（４）請求項１１に記載の発明において、前記テンプレ
ートは、一点を中心に放射状に真っ直ぐ延びる複数本の
境界線のみによって色分けされたパターンをもつ。(3) Claims 1 to 10 and (1),
The position detecting method described in any of the technical ideas of (2) is used in position detection in an industrial vehicle. (4) In the invention according to claim 11, the template has a pattern in which the template is color-coded only by a plurality of boundary lines extending straight in a radial pattern centering on one point.
【０１１８】（５）請求項１２〜１９のいずれか一項に
記載の位置検出装置において、前記境界線の本数は３本
以上である。
（６）請求項１２〜１９のいずれか一項に記載の位置検
出装置において、前記境界線が一点で交わる交点は前記
パターンのほぼ中心に位置する。(5) In the position detecting device according to any one of claims 12 to 19, the number of the boundary lines is three or more. (6) In the position detecting device according to any one of claims 12 to 19, the intersection point where the boundary lines intersect at one point is located substantially at the center of the pattern.
【０１１９】（７）請求項１１〜１９及び前記（４）〜
（６）のいずれかに記載の位置検出装置は、産業車両に
おける位置検出において用いられる。
（８）請求項２４に記載の前記パレットと、請求項２５
に記載の前記棚と、請求項２２に記載の産業車両とを備
えた荷役システム。(7) Claims 11 to 19 and (4) to
The position detection device according to any one of (6) is used for position detection in an industrial vehicle. (8) The pallet according to claim 24 and claim 25
A cargo handling system comprising the shelf according to claim 22 and the industrial vehicle according to claim 22.
【０１２０】（９）請求項２８に記載の荷役システムに
おいて、前記パレットに付されたマークのパターンと、
前記棚に付されたマークのパターンは、共に黒と白の二
色からなるパターンで、互いに白と黒が反転したパター
ンである。(9) In the cargo handling system according to claim 28, a pattern of marks attached to the pallet,
The patterns of the marks attached to the shelves are both patterns of two colors, black and white, in which white and black are reversed.
【０１２１】[0121]
【発明の効果】以上詳述したように請求項１〜２８の発
明によれば、マークのパターンの認識処理速度を速くす
ることができ、位置検出の処理時間を短くすることがで
きる。As described in detail above, according to the inventions of claims 1 to 28, the mark pattern recognition processing speed can be increased, and the position detection processing time can be shortened.
【０１２２】請求項６〜１０及び１４〜２１の発明によ
れば、さらに撮影位置とマークとの実座標系における相
対位置を効率よく検出することができる。According to the inventions of claims 6 to 10 and 14 to 21, the relative position between the photographing position and the mark in the actual coordinate system can be detected more efficiently.
【図１】 一実施形態におけるフォークリフトの斜視
図。FIG. 1 is a perspective view of a forklift according to an embodiment.
【図２】 棚に対する荷役作業の様子を示す側面図。FIG. 2 is a side view showing a state of cargo handling work on shelves.
【図３】 格納部の正面図。FIG. 3 is a front view of a storage unit.
【図４】 画面図。FIG. 4 is a screen view.
【図５】 マークとテンプレートを示す正面図。FIG. 5 is a front view showing a mark and a template.
【図６】 実座標系を説明する斜視図。FIG. 6 is a perspective view illustrating a real coordinate system.
【図７】 画面座標系を説明する画面図。FIG. 7 is a screen diagram illustrating a screen coordinate system.
【図８】 テンプレートの説明図。FIG. 8 is an explanatory diagram of a template.
【図９】 位置検出手法を説明する説明図。FIG. 9 is an explanatory diagram illustrating a position detection method.
【図１０】 荷役操作支援装置の電気的構成を示すブロ
ック図。FIG. 10 is a block diagram showing an electrical configuration of a cargo handling operation support device.
【図１１】 位置制御方法を説明する説明図。FIG. 11 is an explanatory diagram illustrating a position control method.
【図１２】 位置制御方法の処理の流れを説明する説明
図。FIG. 12 is an explanatory diagram illustrating a processing flow of a position control method.
【図１３】 実座標系を説明する平面図FIG. 13 is a plan view illustrating a real coordinate system.
【図１４】 実座標系と画面座標系の相似関係を示す説
明図。FIG. 14 is an explanatory diagram showing a similarity relationship between a real coordinate system and a screen coordinate system.
【図１５】 回転角の算出方法を説明する画面図。FIG. 15 is a screen diagram illustrating a method of calculating a rotation angle.
【図１６】 別例のマークを示す正面図。FIG. 16 is a front view showing a mark of another example.
【図１７】 図１６と異なる別例の正面図。FIG. 17 is a front view of another example different from FIG.
【図１８】 別例のマークを付した棚とパレットの正面
図。FIG. 18 is a front view of a shelf and a pallet with marks according to another example.
【図１９】 従来のパターンマッチング処理の説明図。FIG. 19 is an explanatory diagram of conventional pattern matching processing.
１…産業車両としてのフォークリフト、２…荷役具とし
てのフォーク、３…車体、１１…荷役装置、１３…マス
ト、１５…キャリッジ、２３…カメラユニット、２４…
撮影手段としてのカメラ、２８…表示装置、２８Ａ…画
面、３０…位置検出対象としての棚、３３…位置検出対
象としてのパレット、４０…コントローラ、５０…画像
生成部、５１…画像処理部、５５…画像認識手段として
の画像認識処理部、５６…記憶手段としてのテンプレー
ト記憶部、５７…位置演算手段を構成する画像演算部、
８１…位置演算手段を構成する相対座標算出部、Ｍ１〜
Ｍ１０…マーク、Ｐ１〜Ｐ１０…パターン、Ｔ１，Ｔ２
…テンプレート、Ｄ…放射中心間の距離としての中心間
距離。DESCRIPTION OF SYMBOLS 1 ... Forklift as an industrial vehicle, 2 ... Fork as a cargo handling tool, 3 ... Car body, 11 ... Cargo handling equipment, 13 ... Mast, 15 ... Carriage, 23 ... Camera unit, 24 ...
Camera as photographing means, 28 ... Display device, 28A ... Screen, 30 ... Shelf as position detection target, 33 ... Palette as position detection target, 40 ... Controller, 50 ... Image generation unit, 51 ... Image processing unit, 55 ... image recognition processing section as image recognition means, 56 ... template storage section as storage means, 57 ... image calculation section constituting position calculation means,
81 ... Relative coordinate calculation unit, M1 to M1, which constitutes the position calculation means
M10 ... Mark, P1 to P10 ... Pattern, T1, T2
... template, D ... center-to-center distance as a distance between radiation centers.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ｂ６０Ｒ 1/00 Ｂ６０Ｒ 1/00 Ａ Ｆターム(参考） 2F065 AA03 AA04 AA22 AA23 BB13 BB27 BB28 CC02 CC11 DD06 FF04 JJ03 JJ26 QQ03 QQ04 QQ08 QQ25 QQ38 RR08 SS02 SS09 3E063 FF01 3F333 AA02 AB13 AE02 DA10 DB10 FD12 5L096 CA02 FA69 HA08 JA03 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 7 Identification code FI theme code (reference) // B60R 1/00 B60R 1/00 AF term (reference) 2F065 AA03 AA04 AA22 AA23 BB13 BB27 BB28 CC02 CC11 DD06 FF04 JJ03 JJ26 QQ03 QQ04 QQ08 QQ25 QQ38 RR08 SS02 SS09 3E063 FF01 3F333 AA02 AB13 AE02 DA10 DB10 FD12 5L096 CA02 FA69 HA08 JA03
Claims (28)
タをパターンマッチング処理することで、前記マークの
パターンを画像認識して位置を割り出す位置検出方法で
あって、 前記マークは、連続的に拡大しても常にそのパターンの
模様の中に元のサイズのパターンが一つだけ含まれる模
様のパターンをもつことを特徴とする位置検出方法。1. A position detection method for recognizing a pattern of the mark by performing pattern matching processing on image data obtained by photographing the mark with a camera, wherein the mark is continuously formed. A position detection method characterized in that even if the pattern is enlarged, the pattern always has only one pattern of the original size.
て、 前記マークは、一点を中心に放射状に真っ直ぐ延びる複
数本の境界線のみによって色分けされたパターンをもつ
位置検出方法。2. The position detecting method according to claim 1, wherein the mark has a pattern that is color-coded only by a plurality of boundary lines that extend straight in a radial pattern about a point.
て、 前記マークは、一点を中心に放射状に真っ直ぐ延びる３
本以上の境界線のみによって色分けされたパターンをも
つ位置検出方法。3. The position detecting method according to claim 2, wherein the mark extends straight in a radial direction with one point as a center.
A position detection method that has a pattern that is color-coded only by more than one boundary line.
方法において、 前記マークは前記パターンを１つだけ有し、該１つのパ
ターンを画像認識して該パターンの放射中心点を算出し
て撮影画面上における前記マークの位置を割り出す位置
検出方法。4. The position detection method according to claim 2 or 3, wherein the mark has only one pattern, and the one pattern is image-recognized to calculate a radiation center point of the pattern. A position detecting method for calculating the position of the mark on the photographing screen.
方法において、 前記マークは、各々の放射中心間の距離が既知の値に定
められた２つの前記パターンを有し、該２つのパターン
を画像認識して該パターンの各々の放射中心点と該二点
間の距離とを算出して、これらの値を基に撮影画面上に
おける前記マークの位置と大きさを割り出す位置検出方
法。5. The position detecting method according to claim 2, wherein the mark has two patterns in which a distance between respective radiation centers is set to a known value. A position detecting method for recognizing an image of a pattern, calculating a radiation center point of each pattern and a distance between the two points, and calculating the position and size of the mark on the photographing screen based on these values.
方法において、 前記マークは、各々の放射中心間の距離が既知の値に定
められた２つの前記パターンを有し、該２つのパターン
を画像認識して該パターンの各々の放射中心点と該二点
間の距離とを算出して、これらの値を基に前記カメラと
前記マークの相対位置を算出する位置検出方法。6. The position detection method according to claim 2 or 3, wherein the mark has two patterns in which a distance between respective radiation centers is set to a known value. A position detecting method for recognizing an image of a pattern, calculating a radiation center point of each pattern and a distance between the two points, and calculating a relative position between the camera and the mark based on these values.
方法において、 前記２つのパターンは、同一の模様である位置検出方
法。7. The position detecting method according to claim 5, wherein the two patterns have the same pattern.
置検出方法において、 前記パターンは、４本以上の偶数本の前記境界線によっ
て前記一点を中心とする周方向に交互に濃淡で色分けさ
れている位置検出方法。8. The position detection method according to claim 2, wherein the pattern is alternately shaded in the circumferential direction centered on the point by the even number of the four or more boundary lines. The position detection method is color-coded.
置検出方法において、 前記パターンマッチング処理で用いられるテンプレート
は、前記画像データ上に映し出されるマークが認識され
なければならない最小サイズにあるときのそのパターン
サイズ以下のサイズに設定されている位置検出方法。9. The position detecting method according to claim 1, wherein the template used in the pattern matching process has a minimum size in which a mark projected on the image data must be recognized. A position detection method that is set to a size smaller than the pattern size at a given time.
位置検出方法において、 前記カメラは、産業車両に設けられたマストに沿って昇
降するキャリッジに対し荷役具の荷役作業エリアを撮影
可能な向きに取付けられており、前記マークは前記荷役
具の荷役作業対象である棚とパレットのうち少なくとも
一方に付されており、前記カメラで撮影した前記荷役作
業エリアの画像データから前記マークの位置を検出する
位置検出方法。10. The position detection method according to claim 1, wherein the camera captures an image of a cargo handling work area of a cargo handling tool with respect to a carriage that moves up and down along a mast provided on an industrial vehicle. It is attached in a possible orientation, and the mark is attached to at least one of a shelf and a pallet that are objects of the cargo handling work of the cargo handling tool, and the mark of the mark is obtained from image data of the cargo handling work area photographed by the camera. A position detection method for detecting a position.
る撮影手段と、 パターンを連続的に拡大しても常にそのパターンの模様
の中に元のサイズのパターンが一つだけ含まれる模様の
パターンからなるテンプレートを記憶する記憶手段と、 前記マークをカメラで撮影して得た画像データを前記テ
ンプレートを用いたパターンマッチング処理することで
前記マークのパターンを画像認識する画像認識手段と、 前記認識された前記パターンと前記撮影されたパターン
との一致する点の位置データを求め、この位置データを
基に前記マークの位置を割り出す位置演算手段とを備え
た位置検出装置。11. A photographing pattern for photographing a mark provided on a position detection target, and a pattern having a pattern in which only one pattern having an original size is always included in the pattern even if the pattern is continuously enlarged. Storage means for storing a template, and image recognition means for recognizing the pattern of the mark by performing pattern matching processing on the image data obtained by photographing the mark with a camera using the template; A position detecting device comprising: position data of a point at which the pattern and the photographed pattern coincide, and position calculation means for calculating the position of the mark based on the position data.
る撮影手段と、 一点を中心として放射状に真っ直ぐ延びる複数本の境界
線のみによって色分けされたパターンからなるテンプレ
ートを記憶する記憶手段と、 前記マークをカメラで撮影して得た画像データを前記テ
ンプレートを用いたパターンマッチング処理することで
前記マークのパターンを画像認識する画像認識手段と、 前記認識されたパターンの放射中心点を算出して前記マ
ークの位置を割り出す位置演算手段とを備えた位置検出
装置。12. A photographing means for photographing a mark provided on a position detection target, a storage means for storing a template consisting of a pattern color-coded only by a plurality of boundary lines extending straight in a radial pattern about one point, and the mark. Image recognition means for recognizing the pattern of the mark by pattern matching processing of the image data obtained by photographing the image with a camera using the template; and calculating the radiation center point of the recognized pattern to calculate the mark. Position detecting device having position calculating means for calculating the position of the.
つのパターンを有するマークを撮影する撮影手段と、 一点を中心として放射状に真っ直ぐ延びる複数本の境界
線のみによって色分けされたパターンからなるテンプレ
ートを記憶する記憶手段と、 前記マークを前記撮影手段で撮影して得た画像データを
前記テンプレートを用いたパターンマッチング処理する
ことで前記マークの２つのパターンを画像認識する画像
認識手段と、 前記認識された２つのパターンの各々の放射中心点と両
二点間の距離とを算出して前記マークの位置と大きさを
割り出す位置演算手段とを備えた位置検出装置。13. The position detection target is provided as well as 2
Photographing means for photographing a mark having two patterns, storage means for storing a template consisting of a pattern color-coded only by a plurality of boundary lines extending straight in a radial pattern about a point, and the mark for photographing by the photographing means. Image recognition means for image-recognizing the two patterns of the mark by performing pattern matching processing on the obtained image data using the template, and a radiation center point of each of the recognized two patterns and a point between the two points. A position detecting device including position calculating means for calculating the distance of the mark and calculating the position and size of the mark.
つのパターンを有するマークを撮影する撮影手段と、 一点を中心として放射状に真っ直ぐ延びる複数本の境界
線のみによって色分けされたパターンからなるテンプレ
ートを記憶する記憶手段と、 前記マークを前記撮影手段で撮影して得た画像データを
前記テンプレートを用いたパターンマッチング処理する
ことで前記マークの２つのパターンを画像認識する画像
認識手段と、 前記認識された２つのパターンの各々の放射中心点と両
二点間の距離とを算出して前記マークと撮影位置との相
対位置を割り出す位置演算手段とを備えた位置検出装
置。14. The position detection target is provided as well as 2
Photographing means for photographing a mark having two patterns, storage means for storing a template consisting of a pattern color-coded only by a plurality of boundary lines extending straight in a radial pattern about a point, and the mark for photographing by the photographing means. Image recognition means for recognizing the two patterns of the mark by subjecting the obtained image data to pattern matching processing using the template, and a radiation center point of each of the recognized two patterns and a point between the two points. A position detecting device including position calculating means for calculating the distance between the mark and the photographing position.
一項に記載の位置検出装置において、 前記２つのパターンは、同一のパターンである位置検出
装置。15. The position detecting device according to claim 13 or 14, wherein the two patterns are the same pattern.
載の位置検出装置において、 前記パターンは、４本以上の偶数本の前記境界線によっ
て前記一点を中心とする周方向に交互に濃淡で色分けさ
れている位置検出装置。16. The position detecting device according to claim 12, wherein the pattern is alternately shaded in the circumferential direction centered on the one point by four or more even number of the boundary lines. Position detection device color-coded by.
いて、 前記濃淡の色分けは、黒と白の色分けである位置検出装
置。17. The position detection device according to claim 16, wherein the color coding of the light and shade is color coding of black and white.
載の位置検出装置において、 前記マークが位置検出対象に設けられた状態において、
前記パターンは水平線に対し斜めに延びている境界線を
有することを特徴とする位置検出装置。18. The position detecting device according to claim 12, wherein the mark is provided on a position detection target,
The position detecting device according to claim 1, wherein the pattern has a boundary line extending obliquely with respect to a horizontal line.
載の位置検出装置において、 前記テンプレートは、前記画像データ上に映し出される
マークが認識されなければならない最小サイズにあると
きのそのパターンサイズ以下のサイズに設定されている
位置検出装置。19. The position detection device according to claim 11, wherein the template has a pattern size when a mark projected on the image data is in a minimum size that must be recognized. Position detection device set to the following sizes.
具を荷役作業先の荷役対象に位置合わせするために、前
記荷役具の作業エリアを撮影する前記撮影手段によって
荷役作業時に撮影される荷役作業先側の所定箇所に付さ
れた前記マークを撮影可能に該撮影手段が設けられた産
業車両に備えられている請求項１１〜１９のいずれか一
項に記載の位置検出装置。20. Cargo handling which is photographed during the cargo handling work by the photographing means for photographing the work area of the cargo handling tool in order to align the cargo handling tool movably provided on the industrial vehicle with the cargo handling target of the cargo handling work destination. The position detection device according to any one of claims 11 to 19, wherein the position detection device is provided in an industrial vehicle provided with the photographing means capable of photographing the mark attached to a predetermined position on the work destination side.
たマストに沿って昇降可能なキャリッジに対し荷役具の
荷役作業エリアを撮影可能な向きに取付けられており、
前記マークは前記荷役具によって行われる荷役作業先で
ある棚とパレットのうち少なくとも一方に付されてお
り、前記撮影手段で撮影した前記荷役作業エリアの画像
から前記マークの位置を検出することを特徴とする請求
項１１〜１９のいずれか一項に記載の位置検出装置。21. The photographing means is attached to a carriage capable of moving up and down along a mast provided in an industrial vehicle in a direction capable of photographing the cargo handling work area of the cargo handling tool,
The mark is affixed to at least one of a shelf and a pallet, which is a cargo handling work destination performed by the cargo handling tool, and the position of the mark is detected from an image of the cargo handling work area photographed by the photographing means. The position detecting device according to any one of claims 11 to 19.
載の位置検出装置を備えた産業車両。22. An industrial vehicle equipped with the position detection device according to claim 11.
ーンマッチング処理することでパターンを認識するため
に前記カメラの撮影の標的として使用されるマークであ
って、 請求項１〜３、５〜８、１６乃至１８のいずれか一項に
記載の前記パターンを２つもつマーク。23. A mark used as a shooting target of the camera for recognizing a pattern by subjecting image data taken by the camera to pattern matching processing, wherein the mark is used. A mark having two of the patterns according to any one of 16 to 18.
至２３のいずれか一項に記載の前記パターンを２つもつ
マークが付された荷役用パレット。24. A cargo handling pallet provided with a mark having two of the patterns according to any one of claims 1 to 3, 5 to 8, 16, and 18 to 23.
至２３のいずれか一項に記載の前記パターンを２つもつ
マークが付された荷役用棚。25. A cargo handling shelf provided with a mark having two of the patterns according to any one of claims 1 to 3, 5 to 8, 16, 18 to 23.
れた貼付用シート。26. A sticking sheet having the mark according to claim 23.
求項２５に記載の前記棚のうち少なくとも一方と、請求
項２２に記載の産業車両とを備えた荷役システム。27. A cargo handling system comprising the pallet according to claim 24, at least one of the shelves according to claim 25, and the industrial vehicle according to claim 22.
請求項２５に記載の前記棚と、請求項２２に記載の産業
車両とを備えた荷役システムにおいて、 前記パレットに付されたマークと、前記棚に付されたマ
ークには、異なるパターンが使用されている荷役システ
ム。28. The pallet according to claim 24,
A cargo handling system comprising: the shelf according to claim 25; and the industrial vehicle according to claim 22. Different patterns are used for a mark attached to the pallet and a mark attached to the shelf. Cargo handling system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212095A JP3921968B2 (en) | 2001-07-12 | 2001-07-12 | Position detection method and position detection apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212095A JP3921968B2 (en) | 2001-07-12 | 2001-07-12 | Position detection method and position detection apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003028614A true JP2003028614A (en) | 2003-01-29 |
| JP3921968B2 JP3921968B2 (en) | 2007-05-30 |
Family
ID=19047306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001212095A Expired - Lifetime JP3921968B2 (en) | 2001-07-12 | 2001-07-12 | Position detection method and position detection apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3921968B2 (en) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010189130A (en) * | 2009-02-18 | 2010-09-02 | Nippon Yusoki Co Ltd | Cargo handling support device for forklift |
| US7983476B2 (en) | 2008-01-24 | 2011-07-19 | Canon Kabushiki Kaisha | Working apparatus and calibration method thereof |
| JP2011180719A (en) * | 2010-02-26 | 2011-09-15 | Denso Corp | Vehicular image processor |
| CN103148783A (en) * | 2013-03-06 | 2013-06-12 | 江南大学 | Automatic detection method for installing position of valve rocker |
| US8605990B2 (en) | 2007-12-03 | 2013-12-10 | Shimane Prefectural Government | Image recognition device and image recognition method |
| JP2014115281A (en) * | 2012-12-06 | 2014-06-26 | Boeing Co | Multiple-scale digital image correlation pattern and measurement |
| KR101415975B1 (en) | 2012-07-19 | 2014-07-04 | 한국콘베어공업주식회사 | Automatic fork control apparatus and method for forklift |
| JP2015224114A (en) * | 2014-05-29 | 2015-12-14 | ニチユ三菱フォークリフト株式会社 | Safety device of picking lift |
| CN106672859A (en) * | 2017-01-05 | 2017-05-17 | 深圳市有光图像科技有限公司 | Method for visually identifying tray based on forklift and forklift |
| JP2018179831A (en) * | 2017-04-17 | 2018-11-15 | 日鉄住金テックスエンジ株式会社 | Positioning system, device, method and program |
| JP2019048696A (en) * | 2017-09-11 | 2019-03-28 | Ｋｙｂ株式会社 | Information processing device and information processing method |
| KR20190070122A (en) * | 2017-12-12 | 2019-06-20 | 한국기계연구원 | Autonomous working machine and method of measuring displacement of rotating part of autonomous working machine |
| JP2020526735A (en) * | 2017-07-07 | 2020-08-31 | 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． | Pupil distance measurement method, wearable eye device and storage medium |
| CN111960206A (en) * | 2019-05-20 | 2020-11-20 | 东芝电梯株式会社 | Image processing apparatus and marker |
| WO2020240784A1 (en) * | 2019-05-30 | 2020-12-03 | 日揮グローバル株式会社 | Positioning method for use in plant |
| WO2021075541A1 (en) * | 2019-10-18 | 2021-04-22 | 株式会社豊田自動織機 | Cargo handling work assistance device for cargo handling vehicle |
| CN113674212A (en) * | 2021-07-26 | 2021-11-19 | 宁波帅特龙集团有限公司 | Handle assembly detection method and device |
| CN113808188A (en) * | 2021-08-17 | 2021-12-17 | 苏州市路远智能装备有限公司 | Method for photographing element |
| JP2022007511A (en) * | 2020-06-26 | 2022-01-13 | 株式会社豊田自動織機 | Recognition device, recognition method, and marker |
| JP2022186401A (en) * | 2021-06-04 | 2022-12-15 | プライムプラネットエナジー＆ソリューションズ株式会社 | Method and device for measuring displacement amount of object |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110127569A (en) * | 2019-04-08 | 2019-08-16 | 国以贤智能科技（上海）有限公司 | Vision looks for the method and fork truck in hole |
-
2001
- 2001-07-12 JP JP2001212095A patent/JP3921968B2/en not_active Expired - Lifetime
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8605990B2 (en) | 2007-12-03 | 2013-12-10 | Shimane Prefectural Government | Image recognition device and image recognition method |
| US7983476B2 (en) | 2008-01-24 | 2011-07-19 | Canon Kabushiki Kaisha | Working apparatus and calibration method thereof |
| JP2010189130A (en) * | 2009-02-18 | 2010-09-02 | Nippon Yusoki Co Ltd | Cargo handling support device for forklift |
| JP2011180719A (en) * | 2010-02-26 | 2011-09-15 | Denso Corp | Vehicular image processor |
| KR101415975B1 (en) | 2012-07-19 | 2014-07-04 | 한국콘베어공업주식회사 | Automatic fork control apparatus and method for forklift |
| US11455737B2 (en) | 2012-12-06 | 2022-09-27 | The Boeing Company | Multiple-scale digital image correlation pattern and measurement |
| JP2014115281A (en) * | 2012-12-06 | 2014-06-26 | Boeing Co | Multiple-scale digital image correlation pattern and measurement |
| US11100657B2 (en) | 2012-12-06 | 2021-08-24 | The Boeing Company | Multiple-scale digital image correlation pattern and measurement |
| CN103148783A (en) * | 2013-03-06 | 2013-06-12 | 江南大学 | Automatic detection method for installing position of valve rocker |
| JP2015224114A (en) * | 2014-05-29 | 2015-12-14 | ニチユ三菱フォークリフト株式会社 | Safety device of picking lift |
| CN106672859A (en) * | 2017-01-05 | 2017-05-17 | 深圳市有光图像科技有限公司 | Method for visually identifying tray based on forklift and forklift |
| JP2018179831A (en) * | 2017-04-17 | 2018-11-15 | 日鉄住金テックスエンジ株式会社 | Positioning system, device, method and program |
| JP2020526735A (en) * | 2017-07-07 | 2020-08-31 | 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． | Pupil distance measurement method, wearable eye device and storage medium |
| US11534063B2 (en) | 2017-07-07 | 2022-12-27 | Beijing Boe Optoelectronics Technology Co., Ltd. | Interpupillary distance measuring method, wearable ophthalmic device and storage medium |
| JP2019048696A (en) * | 2017-09-11 | 2019-03-28 | Ｋｙｂ株式会社 | Information processing device and information processing method |
| KR20190070122A (en) * | 2017-12-12 | 2019-06-20 | 한국기계연구원 | Autonomous working machine and method of measuring displacement of rotating part of autonomous working machine |
| KR102080578B1 (en) | 2017-12-12 | 2020-02-24 | 한국기계연구원 | Autonomous working machine and method of measuring displacement of rotating part of autonomous working machine |
| CN111960206B (en) * | 2019-05-20 | 2022-02-01 | 东芝电梯株式会社 | Image processing apparatus and marker |
| CN111960206A (en) * | 2019-05-20 | 2020-11-20 | 东芝电梯株式会社 | Image processing apparatus and marker |
| JP2020189713A (en) * | 2019-05-20 | 2020-11-26 | 東芝エレベータ株式会社 | Image processing device and marker |
| JPWO2020240784A1 (en) * | 2019-05-30 | 2020-12-03 | ||
| US11810315B2 (en) | 2019-05-30 | 2023-11-07 | Jgc Corporation | Alignment method for use in plant |
| WO2020240784A1 (en) * | 2019-05-30 | 2020-12-03 | 日揮グローバル株式会社 | Positioning method for use in plant |
| US20220230349A1 (en) * | 2019-05-30 | 2022-07-21 | Jgc Corporation | Alignment method for use in plant |
| JP2021066539A (en) * | 2019-10-18 | 2021-04-30 | 株式会社豊田自動織機 | Cargo handling work support device for cargo handling vehicle |
| JP7415429B2 (en) | 2019-10-18 | 2024-01-17 | 株式会社豊田自動織機 | Cargo handling support device for cargo handling vehicles |
| WO2021075541A1 (en) * | 2019-10-18 | 2021-04-22 | 株式会社豊田自動織機 | Cargo handling work assistance device for cargo handling vehicle |
| JP7351265B2 (en) | 2020-06-26 | 2023-09-27 | 株式会社豊田自動織機 | Recognition device and recognition method |
| JP2022007511A (en) * | 2020-06-26 | 2022-01-13 | 株式会社豊田自動織機 | Recognition device, recognition method, and marker |
| JP2022186401A (en) * | 2021-06-04 | 2022-12-15 | プライムプラネットエナジー＆ソリューションズ株式会社 | Method and device for measuring displacement amount of object |
| JP7414772B2 (en) | 2021-06-04 | 2024-01-16 | プライムプラネットエナジー＆ソリューションズ株式会社 | Method and device for measuring displacement of object |
| CN113674212A (en) * | 2021-07-26 | 2021-11-19 | 宁波帅特龙集团有限公司 | Handle assembly detection method and device |
| CN113674212B (en) * | 2021-07-26 | 2024-05-24 | 宁波帅特龙集团有限公司 | Handle assembly detection method and device |
| CN113808188B (en) * | 2021-08-17 | 2023-09-19 | 苏州市路远智能装备有限公司 | Imaging method for element |
| CN113808188A (en) * | 2021-08-17 | 2021-12-17 | 苏州市路远智能装备有限公司 | Method for photographing element |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3921968B2 (en) | 2007-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3921968B2 (en) | Position detection method and position detection apparatus | |
| EP1408001B1 (en) | Industrial vehicle equipped with material handling work controller | |
| US20040073359A1 (en) | Position control device and position control method of stevedoring apparatus in industrial vehicle | |
| US7204338B2 (en) | Handle knob for industrial vehicle | |
| JP4882176B2 (en) | Cargo handling support notification device and industrial vehicle in industrial vehicle | |
| US11718513B2 (en) | Position and posture estimation system | |
| US20220189055A1 (en) | Item detection device, item detection method, and industrial vehicle | |
| JP7006501B2 (en) | forklift | |
| WO2020039817A1 (en) | Loading operation assistance device for forklift | |
| US20220363528A1 (en) | Operation assisting apparatus for load handling vehicle | |
| JP3900942B2 (en) | Automatic position control device for cargo handling equipment in industrial vehicles, industrial vehicle and automatic position control method for cargo handling equipment | |
| JP2855147B2 (en) | Unmanned car with visual | |
| JP7268575B2 (en) | Operation support device for cargo handling vehicle | |
| Haanpaa et al. | Machine vision algorithms for robust pallet engagement and stacking | |
| JP3858703B2 (en) | Cargo work support device for industrial vehicle and industrial vehicle | |
| JP4961643B2 (en) | Cargo handling control device and industrial vehicle in industrial vehicle | |
| US20220396107A1 (en) | Method for moving a vehicle to a component of an object at a distance therefrom (pre-positioning point) | |
| JP2021066539A (en) | Cargo handling work support device for cargo handling vehicle | |
| JP2021024718A (en) | Position and attitude estimation device | |
| JP3900902B2 (en) | Cargo work support device for industrial vehicle and industrial vehicle | |
| JP2003155199A (en) | Voice annunciator for industrial vehicle and industrial vehicle | |
| JP3900887B2 (en) | Industrial vehicle work mode switching device and industrial vehicle | |
| JP7435432B2 (en) | forklift | |
| JP2022017613A (en) | Remote control system of forklift | |
| JP2003089500A (en) | Loading lever and industrial vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070212 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3921968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |