EA040216B1 - TOOL POSITIONING - Google Patents

Description

Это изобретение относится к определению позиций инструментов и обрабатываемых деталей.This invention relates to determining the positions of tools and workpieces.

В операциях сборки является желательным иметь возможность отслеживать позиции инструментов и обрабатываемых деталей. Это предоставляет возможность поддержания аудита того, какой инструмент был использован на какой обрабатываемой детали. Это предоставляет возможность сбора данных о том, какие операции были выполнены над какой обрабатываемой деталью: например, какой конкретный болт был затянут до конкретного момента затяжки. Это предоставляет возможность конфигурирования инструментов автоматически, чтобы соответствовать конкретной обрабатываемой детали: например, чтобы гарантировать, что правильная настройка момента затяжки выполнена на гайковерте, когда он применяется к гайке в конкретной позиции на детали, которая собирается.In assembly operations, it is desirable to be able to track the positions of tools and workpieces. This provides the ability to maintain an audit trail of which tool was used on which workpiece. This provides the ability to collect data on which operations were performed on which workpiece: for example, which particular bolt was tightened to a particular tightening torque. This provides the ability to configure tools automatically to fit a particular workpiece: for example, to ensure that the correct torque setting is made on a nutrunner when it is applied to a nut at a particular position on the part being assembled.

Одним способом отслеживания позиции инструмента является использование радиопозиционирования. Например, https://www.decawave.com/news/current-news/decawave-featured-2016-bosch-connectedworld описывает использование совместимых со стандартом IEEE802.15.4а сигналов для оценки местоположения инструментов. Радиопозиционирование имеет ряд недостатков. Например, оно может быть подвержено помехам, и оно не может типично определять ориентацию инструмента, пока инструмент не будет снабжен множеством радиопередатчиков или приемников.One way to track the position of the tool is to use radio positioning. For example, https://www.decawave.com/news/current-news/decawave-featured-2016-bosch-connectedworld describes the use of IEEE802.15.4a compliant signals for tool location estimation. Radio positioning has a number of disadvantages. For example, it may be subject to interference, and it may not typically determine the orientation of the tool until the tool is provided with a plurality of radio transmitters or receivers.

Было бы желательным иметь возможность улучшенного способа определения позиций инструментов и обрабатываемых деталей.It would be desirable to have an improved way of determining the positions of tools and workpieces.

Согласно настоящему изобретению предоставляется способ/оборудование, как изложено в сопровождающей формуле изобретения.According to the present invention, a method/equipment is provided as set forth in the accompanying claims.

Настоящее изобретение будет теперь описано посредством примера со ссылкой на сопровождающие чертежи.The present invention will now be described by way of example with reference to the accompanying drawings.

На чертежах:On the drawings:

фиг. 1 показывает окружающую обстановку для сборки, фиг. 2 показывает примеры знаков.fig. 1 shows the assembly environment, FIG. 2 shows examples of signs.

фиг. 3 показывает схему размещения знаков в окружающей обстановке и в кадрах, захватываемых посредством устройства формирования изображения, таким как камера.fig. 3 shows a layout of characters in the environment and in frames captured by an imaging device such as a camera.

Система на фиг. 1 содержит рабочее пространство 1. Потолок 2 протягивается над рабочим пространством.The system in Fig. 1 contains workspace 1. Ceiling 2 extends over the workspace.

На рабочем пространстве оператор 7 работает над обрабатываемой деталью 3. Обрабатываемая деталь является подвижной в рабочем пространстве, например, на колесах 12 или на конвейерной ленте. Обрабатываемая деталь может обрабатываться на производственной линии. Обрабатываемая деталь имеет компоненты 4, которые должны быть обработаны. Они могут быть, например, гайками или болтами, которые должны быть затянуты; вставками, которые должны быть установлены на место; элементами, которые должны быть подогнаны к обрабатываемой детали таким средством как низкотемпературная пайка, высокотемпературная пайка, сварка, зажим или посредством клея; элементами, которые должны быть удалены с обрабатываемой детали. Оператор должен работать над компонентами с помощью инструмента 11. Природа инструмента 11 будет зависеть от природы компонентов, но это может быть, например, гаечный ключ, молоток, гайковерт, дрель, динамометрический ключ, пила или любой другой подходящий инструмент. Он может быть ручным инструментом или инструментом с электроприводом.In the workspace, the operator 7 works on the workpiece 3. The workpiece is movable in the workspace, for example, on wheels 12 or on a conveyor belt. The workpiece can be processed on the production line. The workpiece has 4 components to be machined. They can be, for example, nuts or bolts that must be tightened; inserts that must be installed in place; elements that must be fitted to the workpiece by means such as low-temperature soldering, high-temperature soldering, welding, clamping or glue; elements to be removed from the workpiece. The operator must work on the components with the tool 11. The nature of the tool 11 will depend on the nature of the components, but it could be, for example, a wrench, hammer, wrench, drill, torque wrench, saw, or any other suitable tool. It can be a hand tool or a power tool.

Позиционирующий блок 5 присоединяется к обрабатываемой детали 5. Позиционирующий блок 5 предпочтительно присоединяется к обрабатываемой детали в предварительно определенном местоположении и ориентации, так что позиция и ориентация обрабатываемой детали относительно позиционирующего блока 5 является известной. Альтернативно, одна или обе из позиции и ориентации обрабатываемой детали относительно позиционирующего блока могут быть узнаны, когда обрабатываемая деталь обрабатывается: например, когда она находится в исходной позиции и/или ориентации.The positioning block 5 is attached to the workpiece 5. The positioning block 5 is preferably attached to the workpiece at a predetermined location and orientation so that the position and orientation of the workpiece relative to the positioning block 5 is known. Alternatively, one or both of the position and orientation of the workpiece relative to the positioning block may be known when the workpiece is being machined: for example, when it is in its home position and/or orientation.

Позиционирующий блок 10 присоединяется к инструменту 11. Позиционирующий блок 10 предпочтительно присоединяется к инструменту в предварительно определенном местоположении и ориентации, так что позиция и ориентация инструмента относительно позиционирующего блока 10 является известной. Альтернативно, одна или обе из позиции и ориентации инструмента относительно позиционирующего блока могут быть узнаны, когда инструмент перемещается: например, когда он находится в исходной позиции и/или ориентации.The positioning block 10 is attached to the tool 11. The positioning block 10 is preferably attached to the tool at a predetermined location and orientation such that the position and orientation of the tool relative to the positioning block 10 is known. Alternatively, one or both of the position and orientation of the tool relative to the positioning block may be known when the tool is moved: for example, when it is in the home position and/or orientation.

Позиционирующий блок 9 присоединяется к носимому предмету 8, носимому оператором 7. Носимый предмет может быть, например, каской или очками. Он предпочтительно является носимым традиционным образом на голове оператора. Позиционирующий блок 9 предпочтительно присоединяется к носимому предмету 8 в предварительно определенном местоположении и ориентации, так что позиция и ориентация носимого предмета относительно позиционирующего блока 9 является известной. Альтернативно, одно или оба из позиции и ориентации носимого предмета относительно позиционирующего блока могут быть узнаны, когда носимый предмет перемещается: например, когда он находится в исходной позиции и/или ориентации.The positioning unit 9 is attached to a wearable item 8 worn by the operator 7. The wearable item can be, for example, a helmet or goggles. It is preferably worn in a conventional manner on the operator's head. The positioning unit 9 is preferably attached to the wearable item 8 at a predetermined location and orientation so that the position and orientation of the wearable item relative to the positioning unit 9 is known. Alternatively, one or both of the position and orientation of the wearable with respect to the positioning block may be recognized when the wearable is moved: for example, when it is in its home position and/or orientation.

Позиционирующие блоки 5, 9, 10 предоставляют данные блоку 20 управления по линиям 30, 33, 32 передачи данных соответственно.The positioning units 5, 9, 10 provide data to the control unit 20 via data lines 30, 33, 32, respectively.

Инструмент имеет локальный блок 13 управления. Он связывается с блоком 20 управления по лиThe tool has a local control unit 13. It communicates with the control unit 20 via

- 1 040216 нии 31 передачи данных. Локальный блок управления может выполнять что-либо или все из следующего: (а) передача отчета блоку 20 управления о настройках инструмента (например, его моменте затяжки или ограничениях скорости), (b) передача отчета блоку 20 управления об операциях, выполняемых посредством инструмента (например, что он выполнил операцию затяжки до конкретного момента затяжки), и (с) прием данных от блока 20 управления, командующих, чтобы настройка была применена к инструменту (например, настройка момента затяжки или рабочий режим), и применение этой настройки к инструменту.- 1 040216 data transmission line 31. The local control unit may do any or all of the following: (a) reporting to the control unit 20 about the settings of the tool (for example, its tightening torque or speed limits), (b) reporting to the control unit 20 about the operations performed by the tool ( e.g., that it has performed a tightening operation to a particular tightening torque), and (c) receiving data from the control unit 20 commanding that a setting be applied to the tool (for example, torque setting or operating mode) and applying that setting to the tool.

Позиционирующие системы 5, 9, 10 могут работать, как описано в EP 2962284.Positioning systems 5, 9, 10 can be operated as described in EP 2962284.

Знаки 6 наносятся на объекты в рабочем пространстве 1. В этом примере знаки наносятся на потолок 2 рабочего пространства. Знаки предпочтительно имеют внешний вид, который является легко отличимым от окружающей обстановки. Например, они могут иметь очень высокую отражающую способность (например, из световозвращающего материала) или очень низкую отражающую способность (например, имеющую матовое черное покрытие поверхности), или они могут быть определенного цвета, например, особого зеленого. Когда знаки имеют высокую отражающую способность, предпочтительно каждый знак имеет материал, который отражает предпочтительно в направлении, ортогональном его основной плоскости, как может быть в случае со специализированными световозвращающими материалами. Знаки предпочтительно являются плоскими: например, они могут быть в форме пластинчатых наклеек, наложенных на одну или более поверхностей. Это может делать их легко применяемыми в окружающей обстановке. Знаки предпочтительно не несут маркировок на поверхности (например, чисел или штрих-кодов), по которым каждый знак может быть отличен от других. Это может упрощать задачу применения знаков в окружающей обстановке. Знаки, все могут иметь одинаковый контур (например, круглый или квадратный), или они могут иметь различные контуры. Знаки позиционируются в неупорядоченной схеме размещения. Схема размещения предпочтительно является неповторяющейся. Это может быть осуществлено посредством случайного позиционирования знаков в окружающей обстановке. Позиционирование знаков в неупорядоченной схеме размещения может делать задачу применения знаков более легкой, а также облегчает нахождение местоположений объектов в окружающей обстановке, как будет описано ниже. Знаки все могут быть одинакового размера, что может помогать определять их диапазон, как будет описано дополнительно ниже, или различных размеров. Таким образом, в предпочтительном варианте осуществления знаки предоставляются посредством идентичных световозвращающих наклеек, которые применяются к окружающей обстановке в неупорядоченной или случайной схеме размещения.Signs 6 are applied to objects in workspace 1. In this example, signs are applied to ceiling 2 of workspace. Signs preferably have an appearance that is easily distinguishable from their surroundings. For example, they may be very highly reflective (eg, retroreflective) or very low reflective (eg, matte black surface finish), or they may be a specific color, such as a special green. When signs are highly reflective, preferably each sign has a material that reflects preferably in a direction orthogonal to its main plane, as may be the case with specialized retroreflective materials. The indicia are preferably planar: for example, they may be in the form of plate stickers applied to one or more surfaces. This can make them easy to apply in the environment. The indicia preferably do not carry surface markings (eg numbers or barcodes) by which each indicium can be distinguished from the others. This can make it easier to apply signs in the environment. Signs may all have the same outline (such as round or square), or they may have different outlines. The signs are positioned in an unordered layout. The layout is preferably non-repetitive. This can be done by randomly positioning signs in the environment. The positioning of signs in a random layout can make the task of applying signs easier and also make it easier to find the locations of objects in the environment, as will be described below. The characters may all be the same size, which may help define their range, as will be described further below, or different sizes. Thus, in a preferred embodiment, the signs are provided by identical retroreflective stickers that are applied to the environment in a random or random pattern.

Фиг. 2 показывает примеры знаков. Знаки могут быть круглыми (см. 50), квадратными (см. 51) или других форм. Знаки могут нести маркировку, такую как штрих-код 52, которая предоставляет возможность уникально отличать какой-либо из знаков от других, или они могут не нести такую маркировку. Для удобства знаки могут принимать форму наклеек, имеющих верхнюю поверхность 53 предварительно определенного цвета и/или отражающей способности и нижнюю клейкую поверхность 54, посредством которой они могут быть приклеены к окружающей обстановке.Fig. 2 shows examples of characters. The signs may be round (see 50), square (see 51) or other shapes. The indicia may carry a marking, such as a 52 barcode, that provides the ability to uniquely distinguish one of the indicia from others, or they may not carry such a marking. For convenience, signs may take the form of stickers having a top surface 53 of a predetermined color and/or reflectivity and a bottom adhesive surface 54 whereby they can be adhered to the surroundings.

Знаки могут быть расположены на обращенных вверх, обращенных вниз или обращенных вбок поверхностях окружающей обстановки. Является предпочтительным, чтобы, по меньшей мере, некоторые из знаков располагались на обращенных вниз поверхностях, например потолке 2. Такая обращенная вниз поверхность может быть над местом, где над обрабатываемой деталью 3 ведется работа. Видимость знаков, расположенных над детектором 5, 9, 10, типично является лучшей по сравнению со знаками, расположенными сбоку или снизу детектора, поскольку они менее вероятно будут загорожены другими объектами или людьми.Signs may be located on up-facing, down-facing, or side-facing surfaces of the environment. It is preferred that at least some of the signs are located on downward facing surfaces, such as the ceiling 2. Such a downward facing surface may be above where the workpiece 3 is being worked on. The visibility of signs located above the detector 5, 9, 10 is typically better than signs located on the side or bottom of the detector, since they are less likely to be obstructed by other objects or people.

Как обсуждалось выше, обрабатываемая деталь 3, инструмент 11 и оператор 7, каждый, несут соответствующее позиционирующее устройство 5, 10, 9 соответственно. Каждое позиционирующее устройство содержит устройство формирования изображения, такое как камера. Камера каждого позиционирующего блока конфигурируется, чтобы захватывать изображения в направлении, как правило, от объекта, который ее несет. Каждая камера предпочтительно направлена вверх. Каждая камера предпочтительно обнаруживается так, чтобы иметь возможность изображать, по меньшей мере, некоторые из знаков 6, когда объект, несущий камеру, находится в своей предназначенной ориентации в рабочем пространстве. Изображения, например, видеокадры, снятые посредством камеры, обрабатываются для расчета местоположения соответствующего позиционирующего блока. Из этого местоположения местоположение объекта, несущего соответствующий позиционирующий блок, может быть логически выведено.As discussed above, the workpiece 3, the tool 11 and the operator 7 each carry a respective positioning device 5, 10, 9, respectively. Each positioning device contains an imaging device such as a camera. The camera of each positioning block is configured to capture images in a direction, typically away from the object that carries it. Each chamber is preferably directed upwards. Each camera is preferably detected to be able to display at least some of the characters 6 when the object carrying the camera is in its intended orientation in the workspace. Images, such as video frames taken by the camera, are processed to calculate the location of the corresponding positioning block. From this location, the location of the object carrying the corresponding positioning block can be inferred.

Камера позиционирующего устройства и знаки 6 предоставляют возможность расчета местоположения позиционирующего устройства в рабочем пространстве. Способ, которым это осуществляется, будет сейчас описан со ссылкой на фиг. 3.The positioning device camera and signs 6 provide the ability to calculate the location of the positioning device in the workspace. The manner in which this is done will now be described with reference to FIG. 3.

Камера позиционирующего блока 5, 9, 10 захватывает последовательность кадров. Направление, в котором камера позиционирующего блока указывает, когда она захватывает кадр, зависит от того, как объект, несущий соответствующий позиционирующий блок, располагается в это время. Фиг. 3 показывает знаки 6 в неупорядоченной схеме размещения и множество контуров 31, 32, 33, 34, указывающих границы кадров, захватываемых посредством камеры позиционирующего блока. Позиционирующий блокThe camera positioning block 5, 9, 10 captures a sequence of frames. The direction in which the positioning block's camera points when it captures a frame depends on how the object carrying the respective positioning block is positioned at that time. Fig. 3 shows characters 6 in a random layout and a plurality of outlines 31, 32, 33, 34 indicating the boundaries of the frames captured by the camera of the positioner. Positioning block

- 2 040216 содержит процессор и память. Память хранит в энергонезависимой форме набор инструкций, исполняемых процессором, чтобы выполнять его функции. Процессор принимает последовательные кадры, захватываемые посредством камеры позиционирующего блока. Процессор анализирует каждый кадр, чтобы обнаруживать местоположения знаков 6, которые представлены в кадре. Знаки могут быть обнаружены посредством их характерной яркости, формы, цвета или сочетания этих факторов. Например, в случае световозвращающих знаков, знаки могут быть указаны очень яркими группами пикселов в изображении.- 2 040216 contains the processor and memory. The memory stores in a non-volatile form a set of instructions executable by the processor to perform its functions. The processor receives consecutive frames captured by the camera of the positioner. The processor analyzes each frame to find the locations of characters 6 that are present in the frame. Signs can be detected by their characteristic brightness, shape, color, or a combination of these factors. For example, in the case of retroreflective signs, the signs may be indicated by very bright groups of pixels in an image.

Сравнивая позицию и компоновку знаков, которые обнаружены в последовательных кадрах, процессор может (а) строить карту схемы размещения или расстановки, сформированной знаками, и (b) делать заключение о перемещении позиционирующего блока между кадрами. Для иллюстрации, предположим, что в первый раз камера позиционирующего блока захватывает изображение, указанное по ссылке 31. Процессор идентифицирует знаки 6 в этом изображении. Знаки могут считаться лежащими на векторах, протягивающихся от камеры и пересекающих местоположения знаков, которые представлены в изображении 31. На этой стадии диапазоны знаков от камеры являются неизвестными. Во второй раз камера захватывает изображение, указанное по ссылке 32. Некоторые знаки являются общими для изображений 31 и 32. Поскольку знаки позиционируются случайным образом, можно предположить, что относительные позиции знаков, найденных в каждом кадре, являются уникальными в области знаков. Сравнивая позиции изображений знаков в последовательных кадрах, процессор может строить запись того, где в трехмерном пространстве находятся фактические знаки. Например, поскольку три знака 6 появляются в общем пространственном соотношении в кадрах 31 и 32, может быть сделано заключение, что камера подверглась перемещению меду такими изображениями без поворота или наклона. Сравнение позиций знаков в кадре 33 со знаками в других кадрах 31, 32, чьи поля обзора перекрывают кадр 33, предоставляет возможность процессору делать заключение о том, что позиционирующий блок был повернут вокруг своей основной оси, прежде чем кадр 33 был захвачен. Сравнение позиций знаков в кадре 34 со знаками в других кадрах (например, 32), чьи поля обзора перекрывают кадр 34, предоставляет возможность процессору сделать заключение, что позиционирующий блок был наклонен, прежде чем кадр 33 был захвачен. Аналогично, перемещение позиционирующего блока по направлению к или от поля знаков может быть обнаружено посредством масштабирования обнаруженных позиций знаков между последовательными кадрами.By comparing the position and arrangement of characters that are detected in successive frames, the processor can (a) build a map of the layout or arrangement formed by the characters, and (b) infer movement of the positioning block between frames. To illustrate, suppose that for the first time the camera of the positioner captures the image indicated at link 31. The processor identifies characters 6 in this image. The characters can be considered to lie on vectors extending from the camera and intersecting the character locations that are represented in image 31. At this stage, the character ranges from the camera are unknown. The second time, the camera captures the image referenced at 32. Some characters are common to images 31 and 32. Since the characters are positioned randomly, it can be assumed that the relative positions of the characters found in each frame are unique in the character area. By comparing the positions of character images in successive frames, the processor can build a record of where in 3D space the actual characters are. For example, since the three 6 characters appear in a common spatial relationship in frames 31 and 32, it can be concluded that the camera has been moved through such images without panning or tilting. Comparing character positions in frame 33 with characters in other frames 31, 32 whose fields of view overlap frame 33 allows the processor to conclude that the positioning block was rotated about its major axis before frame 33 was captured. Comparing character positions in frame 34 with characters in other frames (eg, 32) whose fields of view overlap frame 34 allows the processor to conclude that the position block was tilted before frame 33 was captured. Similarly, movement of the positioning block towards or away from the field of characters can be detected by scaling the detected character positions between successive frames.

Точность этого способа позиционирования может быть улучшена, если камера позиционирующего блока имеет относительно широкое поле обзора, и/или если плотность поля знаков является такой, что многочисленные знаки могут, как ожидается, быть захвачены в каждом кадре. Это делает менее вероятным то, что будет существовать позиционная неопределенность вследствие того, что множество знаков непреднамеренно имеют одинаковое позиционное соотношение и, следовательно, путаются между изображениями. Это также снижает влияние других объектов, которые могут выглядеть аналогично знакам (например, лампы освещения) и которые могут перемещаться. При определении позиции камеры процессор ищет лучшее соответствие собранным данным, но это соответствие может не быть точным: например, оно может не соответствовать подвижной лампе освещения, которая была ошибочно идентифицирована в качестве одного из знаков.The accuracy of this positioning method can be improved if the positioning unit's camera has a relatively wide field of view, and/or if the character field density is such that multiple characters can be expected to be captured in each frame. This makes it less likely that there will be a positional ambiguity due to the fact that many characters inadvertently have the same positional relationship and therefore get confused between images. It also reduces the impact of other objects that may look similar to the signs (such as lighting fixtures) and that may be moving. When determining the position of the camera, the processor looks for the best match to the collected data, but this match may not be exact: for example, it may not match a movable light bulb that has been erroneously identified as one of the characters.

Позиция знаков в изображении указывает направление таких знаков относительно камеры позиционирующего блока, но необязательно их расстояние от камеры. Может быть возможным для процессора позиционирующего блока делать вывод о расстоянии до знаков из размера, с которым они появляются в изображении. Альтернативно, или в дополнение, расстояние до знаков может быть логически выведено из изменений в изображенных позициях знаков, которые возникают между кадрами. Процессор решает проблему множества переменных, в которой относительные направления от камеры позиционирующего устройства до знаков в последовательных кадрах являются известными. Процессор определяет карту знаков, которая предоставляет лучшее соответствие информации, собранной в последовательных кадрах относительно направлений знаков от камеры. Сформировав карту, он оценивает позицию камеры со ссылкой на эту карту, идентифицируя позицию и ориентацию, из которых вид нанесенных на карту знаков будет, как ожидается, лучше всего соответствовать знакам, которые идентифицированы в самом последнем изображении с камеры. Эта проблема может быть упрощена, если является известным с большей достоверностью, что один и тот знак из знаков, который представляется в местоположении в первом кадре, также представляется в местоположении во втором кадре. Это взаимоотношение может быть осуществлено посредством одного или обоих из следующего: (i) частота, с которой кадры захватываются, является достаточно высокой, так что один или более знаков будут типично появляться в последовательных кадрах и могут, следовательно, быть отслежены процессором; и (ii) процессор ищет общие пространственные схемы размещения между знаками, которые изображены, которые указывают, что одинаковый набор знаков был изображен в различных кадрах.The position of the characters in the image indicates the direction of such characters relative to the camera of the positioning block, but not necessarily their distance from the camera. It may be possible for the positioner block processor to infer the distance to characters from the size at which they appear in the image. Alternatively, or in addition, character spacing may be inferred from changes in depicted character positions that occur between frames. The processor solves a multivariable problem in which the relative directions from the positioner's camera to characters in successive frames are known. The processor determines a character map that provides a better match of the information collected in successive frames with respect to character directions from the camera. Having generated the map, it estimates the position of the camera with reference to this map, identifying the position and orientation from which the appearance of the mapped characters is expected to best match those identified in the most recent camera image. This problem can be simplified if it is known with greater certainty that the same character of characters that is represented at the location in the first frame is also represented at the location in the second frame. This relationship can be implemented by one or both of the following: (i) the rate at which frames are captured is high enough such that one or more characters will typically appear in consecutive frames and can therefore be tracked by the processor; and (ii) the processor looks for common spatial patterns between characters that are displayed that indicate that the same set of characters has been displayed in different frames.

Будет возможным предварительно запрограммировать процессор местоположениями знаков, но было обнаружено, что с расстановкой знаков подходящей плотности это не является обязательным, поскольку процессор может узнавать их местоположения удовлетворительным образом. Однако это может помогать в предоставлении возможности определения поступательного и/или вращательного сдвига между позицией, определенной посредством позиционирующего блока, и контрольным местоположениIt will be possible to pre-program the processor with character locations, but it has been found that with proper character spacing this is not necessary as the processor can recognize their locations in a satisfactory manner. However, this may aid in allowing translational and/or rotational shift between the position determined by the positioning block and the reference location to be determined.

- 3 040216 ем/ориентацией в студии. Альтернативно, это может быть определено посредством помещения позиционирующего блока в известное местоположение и/или ориентацию в студии, а затем отслеживания его последующих перемещений.- 3 040216 eating/orientation in the studio. Alternatively, this may be determined by placing the positioning block at a known location and/or orientation in the studio and then tracking its subsequent movements.

Будет возможным снабжение знаков отличительными метками, чтобы помогать процессору отличать изображения различных знаков друг от друга. Они могут, например, быть числами или штрихкодами, или форма или цвет различных знаков может отличаться, так что они могут быть различимы.It will be possible to provide characters with distinctive marks to help the processor distinguish images of different characters from each other. They may, for example, be numbers or barcodes, or the shape or color of the various characters may be different so that they can be distinguished.

С помощью процесса, описанного выше, процессор обнаруживает и отслеживает перемещение камеры.Through the process described above, the processor detects and tracks the movement of the camera.

Позиционирующие системы 5, 9, 10 предоставляют выходные данные, указывающие местоположения обрабатываемой детали, инструмента и оператора с течением времени. Они предоставляются контроллеру 20. Контроллер содержит процессор 21 и память 22. Память хранит энергонезависимым образом код, который является исполняемым посредством процессора, чтобы инструктировать контроллеру выполнять функции, описанные для него в этом документе.The positioning systems 5, 9, 10 provide output indicating the locations of the workpiece, tool, and operator over time. They are provided to the controller 20. The controller includes a processor 21 and a memory 22. The memory stores in a non-volatile manner code that is executable by the processor to instruct the controller to perform the functions described for it in this document.

Данные, определяющие множество предназначенных операций, принимаются контроллером 20 на этапе 23. Эти данные определения операции представляют параметры операций, которые должны выполняться оператором с помощью инструмента 10. Например, данные определения операции могут указывать, что болт в конкретном местоположении на обрабатываемой детали должен быть затянут до конкретного момента затяжки. Данные определения операции могут также определять местоположения компонентов 4 на обрабатываемой детали 3 относительно исходного местоположения и ориентации, таких как местоположение и ориентация, в которых располагается детектор 5 местоположения.The data specifying a plurality of intended operations is received by the controller 20 at step 23. This operation determination data represents the parameters of operations to be performed by an operator with the tool 10. For example, the operation determination data may indicate that a bolt at a particular location on the workpiece is to be tightened. until a specific tightening point. The operation determination data may also determine the locations of the components 4 on the workpiece 3 relative to the original location and orientation, such as the location and orientation in which the location detector 5 is located.

Инструмент 11 может содержать ручку и рабочую головку. Позиционирующее устройство 10 может быть присоединено к ручке инструмента. Оно может быть позиционно сдвинуто от головки. Оценка местоположения головки инструмента на основе местоположения позиционирующего устройства 10 может применять знание (а) ориентации устройства 10 и, следовательно, ручки, и (b) расстояние между устройством 10 и головкой. Поскольку позиционирующее устройство определяет свое местоположение оптически из группы 6 элементов, ориентация устройства 10 может быть известна. Расстояние между устройством 10 и головкой может быть сохранено в устройстве 10 и/или в блоке 20 управления, чтобы разрешать и оценку местоположения самой головки.The tool 11 may include a handle and a working head. The positioning device 10 may be attached to the handle of the tool. It can be positionally shifted away from the head. Estimating the location of the tool head based on the location of the positioning device 10 may apply knowledge of (a) the orientation of the device 10 and hence the handle, and (b) the distance between the device 10 and the head. Since the positioning device determines its location optically from the element group 6, the orientation of the device 10 can be known. The distance between the device 10 and the head may be stored in the device 10 and/or in the control unit 20 in order to allow estimation of the location of the head itself.

Когда выполняется работа, система работает следующим образом.When work is done, the system works as follows.

Устройства 5, 9, 10 определения местоположения непрерывно или периодически отслеживают местоположения в рабочем пространстве 1 объектов, несущих их. Они выполняют это, ссылаясь на знаки 6, как описано выше. Местоположения объектов передаются контроллеру 20.The location devices 5, 9, 10 continuously or periodically track the locations in the workspace 1 of the objects carrying them. They do this by referring to signs 6 as described above. The object locations are transmitted to the controller 20.

В одном режиме работы контроллер 20 работает, чтобы сохранять запись аудита операций, которые были выполнены. Поскольку местоположение инструмента 11 и обрабатываемой детали 3 являются известными со ссылкой на рабочее пространство 1, их относительные местоположения могут быть определены. Это вместе с релевантными данными определения операции предоставляет возможность контроллеру 20 рассчитывать, над каким компонентом инструмент работает. Когда контроллер 20 делает заключение, что инструмент должен работать над компонентом, эта информация регистрируется контроллером 20. Контроллер 20 может сохранять весь путь инструмента, когда он перемещается рядом с обрабатываемой деталью. Аналогично, позиция оператора может регистрироваться во время выполнения операции, или непрерывно/периодически. Контроллер 20 может сохранять подробности операций, выполняемых посредством инструмента. Блок 13 управления инструмента может сигнализировать контроллеру 20, когда операция, такая как операция затяжки, выполняется, и необязательно параметры этой операции, например примененный момент затяжки.In one mode of operation, the controller 20 operates to keep an audit trail of the operations that have been performed. Since the location of the tool 11 and the workpiece 3 are known with reference to the workspace 1, their relative locations can be determined. This, together with the relevant operation definition data, allows the controller 20 to calculate which component the tool is working on. When the controller 20 determines that the tool should be working on a component, this information is logged by the controller 20. The controller 20 can store the entire path of the tool as it moves near the workpiece. Likewise, the operator's position may be logged while an operation is being performed, or continuously/periodically. The controller 20 may store details of operations performed by the tool. The tool control unit 13 may signal to the controller 20 when an operation, such as a tightening operation, is being performed, and optionally parameters of this operation, such as the applied tightening torque.

В другом режиме работы, когда контроллер 20 определяет, что инструмент позиционируется в конкретном компоненте 4, он определяет из данных определения операции, какие настройки инструмента требуются для этого компонента, передает настройки инструменту, и контроллер 13 инструмента применяет принятую настройку. Руководство, основанное на данных определения операции, может быть передано контроллером 20 для отображения на носимой головной гарнитуре или другом дисплее, доступном оператору 7.In another mode of operation, when the controller 20 determines that the tool is positioned in a particular component 4, it determines from the operation definition data which tool settings are required for that component, transmits the settings to the tool, and the tool controller 13 applies the received setting. Guidance based on the operation determination data may be transmitted by the controller 20 for display on a wearable headset or other display accessible to the operator 7.

Оператор может быть роботом-манипулятором или человеком.The operator may be a robotic arm or a human.

Система, описанная выше, может предоставлять множество преимуществ над другими системами. Первое, она может предоставлять возможность определения ориентации инструмента и/или обрабатываемой детали и/или оператора без использования множества передатчиков/приемников на соответствующем объекте. Второе, поскольку местоположения объектов определяются оптически относительно общей группы знаков 6, относительные местоположения объектов можно достоверно определять, и без риска радиопомех.The system described above can provide many advantages over other systems. First, it may provide the ability to determine the orientation of the tool and/or workpiece and/or operator without the use of multiple transmitters/receivers on the respective object. Second, since the locations of the objects are determined optically with respect to the common character group 6, the relative positions of the objects can be reliably determined, and without the risk of radio interference.

Заявитель, таким образом, раскрывает отдельно каждый индивидуальный признак, описанный в данном документе и любую комбинацию из двух или более таких признаков, до такой степени, что такие признаки или комбинации способны выполняться на основе настоящей спецификации как одно целое в свете обычного общего знания специалиста в области техники, независимо от того, решают ли такие признаки или комбинации признаков какие-либо проблемы, раскрытые в данном документе, и без ограApplicant therefore discloses separately each individual feature described herein and any combination of two or more such features, to the extent that such features or combinations are capable of being implemented based on this specification as a whole in light of the ordinary general knowledge of one skilled in the art. technical field, whether or not such features or combinations of features solve any of the problems disclosed herein, and without limitation

--

Claims (12)

ничения рамками формулы изобретения. Заявитель указывает, что аспекты настоящего изобретения могут состоять из любого такого отдельного признака или комбинации признаков. Принимая во внимание предшествующее описание, специалисту в области техники будет очевидно, что различные модификации могут быть выполнены в рамках изобретения.within the scope of the claims. Applicant indicates that aspects of the present invention may consist of any such single feature or combination of features. In view of the foregoing description, it will be apparent to a person skilled in the art that various modifications may be made within the scope of the invention. ФОРМУЛА ИЗОБРЕТЕНИЯCLAIM 1. Способ наблюдения за рабочим процессом, в котором обрабатываемая деталь обрабатывается посредством инструмента, способ содержит этапы, на которых предоставляют неупорядоченной схему размещения знаков в удалении от обрабатываемой детали и инструмента;1. A method for monitoring a workflow in which a workpiece is processed by means of a tool, the method comprises the steps of providing an unordered layout of characters away from the workpiece and the tool; формируют изображение знаков посредством устройства формирования изображения, переносимого обрабатываемой деталью, и, тем самым, рассчитывают местоположение обрабатываемой детали относительно знаков;generating an image of the indicia by the imaging apparatus carried by the workpiece, and thereby calculating the location of the workpiece relative to the indicia; формируют изображение знаков посредством устройства формирования изображения, переносимого инструментом, и, тем самым, рассчитывают местоположение инструмента относительно знаков; и сопоставляют местоположение обрабатываемой детали и инструмента, чтобы рассчитывать операцию, выполняемую посредством инструмента над обрабатываемой деталью.generating an image of the indicia by the imaging apparatus carried by the tool, and thereby calculating the location of the tool with respect to the indicia; and comparing the location of the workpiece and the tool to calculate the operation performed by the tool on the workpiece. 2. Способ по п.1, при этом инструмент переносится оператором и способ содержит этап, на котором формируют изображение знаков посредством устройства формирования изображения, переносимого оператором, и, тем самым, рассчитывают местоположение оператора относительно знаков.2. The method of claim 1, wherein the tool is carried by an operator, and the method comprises forming an image of the indicia by the imaging device carried by the operator, and thereby calculating the position of the operator relative to the indicia. 3. Способ по п.2, при этом камера, переносимая оператором, присоединяется к предмету головного убора, носимого оператором.3. The method of claim 2, wherein the camera carried by the operator is attached to the headgear worn by the operator. 4. Способ по любому предшествующему пункту, при этом знаки располагаются над обрабатываемой деталью.4. Method according to any one of the preceding claims, wherein the indicia are placed over the workpiece. 5. Способ по любому предшествующему пункту, при этом этап расчета местоположения обрабатываемой детали содержит этапы, на которых принимают посредством устройства формирования изображения, переносимого обрабатываемой деталью, последовательность изображений окружающей обстановки, захватываемых посредством устройства формирования изображения;5. The method according to any preceding claim, wherein the step of calculating the location of the workpiece comprises: receiving, by means of the imaging device carried by the workpiece, a sequence of environmental images captured by the imaging device; обнаруживают в изображениях, захватываемых посредством устройства формирования изображения, представление каждого из множества знаков, расположенных в окружающей обстановке; и формируют упомянутый расчет позиции обрабатываемой детали, сравнивая местоположения представлений знаков в изображениях, захватываемых в различные моменты времени.detecting in images captured by the imaging device a representation of each of the plurality of characters located in the environment; and generating said workpiece position calculation by comparing the locations of character representations in images captured at different points in time. 6. Способ по любому предшествующему пункту, при этом этап расчета местоположения инструмента содержит этапы, на которых принимают посредством устройства формирования изображения, переносимого инструментом, последовательность изображений окружающей обстановки, захватываемых посредством устройства формирования изображения;6. The method according to any one of the preceding claims, wherein the step of calculating the location of the tool comprises: receiving, by means of the imaging device carried by the tool, a sequence of environmental images captured by the imaging device; обнаруживают в изображениях, захватываемых посредством устройства формирования изображения, представление каждого из множества знаков, расположенных в окружающей обстановке; и формируют упомянутый расчет позиции инструмента, сравнивая местоположения представлений знаков в изображениях, захватываемых в различные моменты времени.detecting in images captured by the imaging device a representation of each of the plurality of characters located in the environment; and generating said tool position calculation by comparing the locations of character representations in images captured at different points in time. 7. Способ по любому предшествующему пункту, при этом этап расчета местоположения оператора содержит этапы, на которых принимают посредством устройства формирования изображения, переносимого оператором, последовательность изображений окружающей обстановки, захватываемых посредством устройства формирования изображения;7. The method according to any one of the preceding claims, wherein the step of calculating the position of the operator comprises: receiving, by means of an imaging device carried by the operator, a sequence of environmental images captured by the imaging device; обнаруживают в изображениях, захватываемых посредством устройства формирования изображения, представление каждого из множества знаков, расположенных в окружающей обстановке; и формируют упомянутый расчет позиции оператора, сравнивая местоположения представлений знаков в изображениях, захватываемых в различные моменты времени.detecting in images captured by the imaging device a representation of each of the plurality of characters located in the environment; and generating said operator position calculation by comparing the locations of character representations in images captured at different points in time. 8. Способ по любому из пп.5-7, содержащий этап, на котором обнаруживают представление каждого знака в изображении как область изображения относительно высокой яркости.8. The method according to any one of claims 5 to 7, comprising the step of detecting the representation of each character in the image as an area of the image of relatively high brightness. 9. Способ по любому предшествующему пункту, при этом знаки являются светоотражающими.9. A method according to any preceding claim, wherein the signs are reflective. 10. Способ по любому предшествующему пункту, при этом знаки являются практически идентичными.10. A method according to any preceding claim, wherein the characters are substantially identical. 11. Способ по любому предшествующему пункту, при этом знаки располагаются на обращенной вниз поверхности окружающей обстановки.11. A method according to any preceding claim, wherein the signs are placed on a downwardly facing surface of the environment. 12. Оборудование, сконфигурированное, чтобы выполнять этапы по любому предшествующему пункту.12. Equipment configured to perform the steps of any preceding claim. --