KR102669216B1 - Operator position positioning system using AI algorithm - Google Patents

Operator position positioning system using AI algorithm Download PDF

Info

Publication number
KR102669216B1
KR102669216B1 KR1020230123525A KR20230123525A KR102669216B1 KR 102669216 B1 KR102669216 B1 KR 102669216B1 KR 1020230123525 A KR1020230123525 A KR 1020230123525A KR 20230123525 A KR20230123525 A KR 20230123525A KR 102669216 B1 KR102669216 B1 KR 102669216B1
Authority
KR
South Korea
Prior art keywords
person
information
camera
floor
point
Prior art date
Application number
KR1020230123525A
Other languages
Korean (ko)
Inventor
여병상
Original Assignee
주식회사 파이미디어랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 파이미디어랩 filed Critical 주식회사 파이미디어랩
Priority to KR1020230123525A priority Critical patent/KR102669216B1/en
Application granted granted Critical
Publication of KR102669216B1 publication Critical patent/KR102669216B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 AI알고리즘을 이용한 작업자의 위치 측위 시스템에 관한 것이다.
구체적으로는, 특정 공간에 설치된 카메라를 통해 획득된 영상이나 이미지 상에서 사람을 검출하고 검출된 사람의 위치를 측정하기 위하여, 사람이 서있는 위치의 왼발 및 오른발 사이의 중심영역(이하, '바닥점'으로 지칭)을 특정함으로써, 카메라 화각이나 장애물의 이유로 신체 전체에 대한 정보를 획득할 수 없는 환경에서 위치의 측위를 신뢰성 있게 수행할 수 있는, AI알고리즘을 이용한 작업자의 위치 측위 시스템에 관한 것이다.The present invention relates to a worker's location determination system using an AI algorithm.
Specifically, in order to detect a person on a video or image acquired through a camera installed in a specific space and measure the position of the detected person, the central area between the left and right feet of the person's standing position (hereinafter referred to as the 'ground point') It relates to a worker's positioning system using an AI algorithm that can reliably perform positioning in an environment where information about the entire body cannot be obtained due to camera angle of view or obstacles by specifying the position (referred to as ).

Description

AI알고리즘을 이용한 작업자의 위치 측위 시스템{Operator position positioning system using AI algorithm}Operator position positioning system using AI algorithm {Operator position positioning system using AI algorithm}

본 발명은 AI알고리즘을 이용한 작업자의 위치 측위 시스템에 관한 것이다.The present invention relates to a worker's location determination system using an AI algorithm.

구체적으로는, 특정 공간에 설치된 카메라를 통해 획득된 영상이나 이미지 상에서 사람을 검출하고 검출된 사람의 위치를 측정하기 위하여, 사람이 서있는 위치의 왼발 및 오른발 사이의 중심영역(이하, '바닥점'으로 지칭)을 특정함으로써, 카메라 화각이나 장애물의 이유로 신체 전체에 대한 정보를 획득할 수 없는 환경에서 위치의 측위를 신뢰성 있게 수행할 수 있는, AI알고리즘을 이용한 작업자의 위치 측위 시스템에 관한 것이다.Specifically, in order to detect a person on a video or image acquired through a camera installed in a specific space and measure the position of the detected person, the central area between the left and right feet of the person's standing position (hereinafter referred to as the 'ground point') This relates to a worker's positioning system using an AI algorithm that can reliably determine the position in an environment where information about the entire body cannot be obtained due to camera angle of view or obstacles.

최근 들어 산업기술과 정보통신기술의 급격한 발전으로 인하여 컴퓨터를 사용하여 인간의 시각적인 인식 능력을 구현하는 컴퓨터 비전(Computer Vision)에 대한 연구 및 기술개발이 활발하게 이루어지고 있다.Recently, due to the rapid development of industrial technology and information and communication technology, research and technology development on computer vision, which implements human visual recognition ability using computers, is being actively conducted.

상기 컴퓨터 비전은 카메라로 촬영된 이미지나 영상을 분석하여 정보를 추출하는 것이 핵심이므로, 촬영된 영상에서 객체의 위치와 방향을 탐지하는 것이 매우 중요하다. 특히, 인간 포즈 추정(Human Pose Estimation) 기술은 말 그대로 사진이나 영상 속에서 사람의 신체 관절이 어떻게 구성되어 있는지 위치를 추정하는 문제로 볼 수 있지만, 사진 속에 담긴 사람의 모습은 모든 관절이 보이는 것이 아니고, 같은 자세라도 촬영된 방향에 따라 다르고, 다른 물체에 가려져 있기도 하고, 다양한 옷을 입기도 하며, 빛의 강도나 세기에 따라 포즈 추정이 어려 울 수 있다.Since the core of computer vision is to extract information by analyzing images or videos captured by a camera, it is very important to detect the location and direction of objects in the captured images. In particular, Human Pose Estimation technology can literally be seen as a problem of estimating the position of how a person's body joints are structured in a photo or video, but in the case of a person in a photo, all joints are visible. No, even if the pose is the same, it varies depending on the direction in which the photo was taken, may be obscured by other objects, may be wearing various clothes, and may be difficult to estimate pose depending on the intensity or intensity of light.

전통적인 인간 포즈 추정의 방식은 사람에게 센서와 같은 다양한 장비를 부착하는 것으로서, 움직임을 정교하게 파악할 수 있으나, 많은 비용이 소요되고 실생활에서 항상 장비를 착용하는 것이 아니므로 연구실 등의 한정된 영역에서만 가능하다.The traditional method of human pose estimation is to attach various equipment, such as sensors, to a person, and can accurately identify movements. However, it costs a lot of money and is not always worn in real life, so it is only possible in limited areas such as laboratories. .

이에 따라 신체에 부착하는 장비없이 사진에서 포즈를 추정하는 연구가 활발하게 진행되었으며, 그 결과 사진에서 인체의 윤곽이나 특정 신체 부위를 추론할만한 외곽선 등의 특징을 추출하고, 상기 추출한 특징의 패턴을 사람이 직접 분석하고 응용하여 신체 부위를 예측할 수 있게 되었으며, 효율성과 정확성이 날로 높아지고 있다.Accordingly, research on estimating poses from photos without equipment attached to the body has been actively conducted. As a result, features such as the outline of the human body or outlines that can infer specific body parts are extracted from photos, and patterns of the extracted features are used by humans. Through direct analysis and application, it has become possible to predict body parts, and efficiency and accuracy are increasing day by day.

또한, 최근에는 딥러닝(Deep Learning)이 인간 포즈 추정 연구에 적용되면서 눈부신 성능 향상을 보이고 있다.Additionally, deep learning has recently been applied to human pose estimation research, showing remarkable performance improvement.

상기 딥러닝은 다층 인공신경망을 이용하며, 유용한 특징들을 데이터로부터 직접 학습하는 방식을 취한다. 이러한 학습 기반의 방식은 사람이 미처 인지하지 못하는 유용한 특징들을 데이터를 통해 직접 찾아낼 수 있는 장점이 있으며, 인간 포즈 추정이 정확해지면서 자세 교정, 행동 인식, 안전 예방 등으로 점차 확대되고 있다.The deep learning uses a multi-layer artificial neural network and learns useful features directly from data. This learning-based method has the advantage of being able to directly find useful features that humans cannot perceive through data, and as human pose estimation becomes more accurate, it is gradually expanding to posture correction, behavior recognition, and safety prevention.

그러나, 상술한 바와 같은 종래의 인간 포즈 추정 연구 방식은, 단일의 카메라를 통해 촬영한 영상으로부터 객체를 확인하고, 상기 확인한 객체의 포즈를 추정하는 것이므로, 객체가 특정 공간에서 이동하는 경우 하나의 카메라를 통해 지속적으로 객체의 위치를 추적하는 것이 쉽지 않다.However, the conventional human pose estimation research method as described above is to identify an object from an image captured through a single camera and estimate the pose of the identified object, so when an object moves in a specific space, a single camera It is not easy to continuously track the location of an object.

따라서 본 발명에서는 실내 또는 실외의 특정 공간에 설치된 복수의 카메라에서 촬영한 영상데이터로부터 객체를 확인하고, 상기 확인한 객체의 움직임이나 행동에 대한 패턴(예: 포즈)을 추정하고, 이를 토대로 상기 객체의 특정 공간에서의 이동 동선을 지속적으로 추적할 수 있는 방안을 제시하고자 한다.Therefore, in the present invention, an object is identified from image data captured by a plurality of cameras installed in a specific indoor or outdoor space, a pattern (e.g., pose) of the movement or behavior of the identified object is estimated, and based on this, the object's We would like to propose a method to continuously track movement in a specific space.

특히, 본 발명에서는 카메라가 설치되어 있는 특정 공간에 객체가 움직일 때, 상기 카메라로 촬영한 영상데이터에서 스켈레톤 추정용 학습모델을 통해 상기 객체의 여러 관절 부분을 인식하여 스켈레톤 데이터 세트를 생성하고, 상기 생성한 스켈레톤 데이터 세트를 사전에 생성한 패턴 추정용 학습모델에 적용하여 상기 객체의 움직임이나 행동에 대한 패턴을 추정하고, 상기 추정한 패턴을 토대로 상기 객체의 위치를 추적할 수 있는 방안을 제시하고자 한다.In particular, in the present invention, when an object moves in a specific space where a camera is installed, a skeleton data set is generated by recognizing various joint parts of the object through a learning model for skeleton estimation in the image data captured by the camera, To propose a method to estimate the pattern of the object's movement or behavior by applying the generated skeleton data set to a previously created learning model for pattern estimation, and to track the location of the object based on the estimated pattern. do.

나아가, 카메라가 설치된 특정 공간에 객체 외의 다른 장애물이 존재하여 제대로 된 검측이 어려운 경우에 대비할 수 있는 방안도 제시하고자 한다.Furthermore, we would like to suggest a way to prepare for cases where proper detection is difficult because obstacles other than objects exist in a specific space where a camera is installed.

등록특허공보 제10-15-17359호에는 객체 추적 방법 및 이를 이용한 객체 추적 장치가 기재되어 있다.Registered Patent Publication No. 10-15-17359 describes an object tracking method and an object tracking device using the same.

상기 기술은, 객체 움직임이 적을 경우의 객체 추적이 용이한 광흐름(optical flow) 방식 및 캠쉬프트(CAMshift) 방식을 병행하여 객체 추적 시, 객체의 급격한 움직임 등이 발생되어 객체 추적에 실패하게 되면, 객체 움직임이 많을 경우의 객체 추적이 용이한 파티클 필터(Particle filter) 방식에 따라 객체를 추적함으로써, 적은 연산량으로 보다 정확하게 객체를 추적할 수 있는 객체 추적 방법 및 이를 이용한 객체 추적 장치에 관한 것이다.The above technology combines the optical flow method and the CAMshift method, which facilitate object tracking when object movement is small. When tracking an object, if object tracking fails due to sudden movement of the object, etc. , It relates to an object tracking method that can track objects more accurately with a small amount of calculation by tracking objects according to the particle filter method, which facilitates object tracking when there is a lot of object movement, and an object tracking device using the same.

또한, 등록특허공보 제10-1243294호에는 이동 객체 추출 및 추적 방법 및 장치가 기재되어 있다.Additionally, Patent Registration No. 10-1243294 describes a method and device for extracting and tracking moving objects.

상기 기술은, 인접 영상 간의 차영상을 이용하여 객체를 추출하고, 추출된 객체의 위치정보를 지속적으로 전달함으로써 적어도 하나의 이동 객체의 정확한 위치정보를 토대로 이동 객체를 추적하는 이동 객체 추출 및 추적 방법 및 장치에 관한 것이다.The technology is a moving object extraction and tracking method that extracts an object using a difference image between adjacent images and continuously transmits the location information of the extracted object to track the moving object based on the accurate location information of at least one moving object. and devices.

즉, 상기 선행기술은 실생활의 복잡한 환경에서 적어도 하나의 이동 객체를 추출하여 이동 객체의 위치 파악 및 위치정보 습득을 통해 이동 객체를 추적하고 분석할 수 있는 방법 및 장치를 기재하고 있다.That is, the prior art describes a method and device for extracting at least one moving object from a complex environment in real life and tracking and analyzing the moving object by identifying the location of the moving object and acquiring location information.

그러나 장애물 등이 존재하는 복잡한 환경에서 적어도 하나의 이동 객체를 추출조차 할 수 없다면 해결할 수 있는 방안은 결여되어 있다.However, if it is not possible to extract at least one moving object in a complex environment where obstacles exist, there is no solution.

등록특허공보 제10-1517359호(2015.04.28.)Registered Patent Publication No. 10-1517359 (2015.04.28.) 등록특허공보 제10-1243294호(2013.03.13.)Registered Patent Publication No. 10-1243294 (2013.03.13.) 등록특허공보 제10-2391490호(2022.04.22.)Registered Patent Publication No. 10-2391490 (2022.04.22.) 등록특허공보 제10-2167730호(2020.10.13.)Registered Patent Publication No. 10-2167730 (2020.10.13.)

본 발명의 목적은, 특정 공간에 설치된 카메라를 통해 획득된 영상이나 이미지 상에서 사람을 검출하고 검출된 사람의 위치를 측정하기 위하여, 사람이 서있는 위치의 왼발 및 오른발 사이의 중심영역(이하, '바닥점'으로 지칭)을 특정함으로써, 카메라 화각이나 장애물의 이유로 신체 전체에 대한 정보를 획득할 수 없는 환경에서 위치의 측위를 신뢰성 있게 수행할 수 있는, AI알고리즘을 이용한 작업자의 위치 측위 시스템을 제공하는데 있다.The purpose of the present invention is to detect a person on a video or image acquired through a camera installed in a specific space and measure the position of the detected person, in the central area (hereinafter referred to as 'floor') between the left and right feet of the person's standing position. By specifying the point (referred to as a 'point'), we provide a worker's positioning system using an AI algorithm that can reliably determine the position in an environment where information about the entire body cannot be obtained due to camera angle of view or obstacles. there is.

상술된 목적을 달성하기 위하여 안출된 것으로 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템은, 특정 공간 내 적어도 1개 이상 설치된 카메라와; 상기 카메라로부터 영상을 수신하고 영상분석을 통해 검출된 사람의 바닥점에서부터 카메라까지의 거리를 기반으로, 검출된 사람의 위치 변위를 추적하는 플랫폼;을 포함하되, 상기 특정 공간 내 구비된 다수의 장애물로 인해 사람의 검출이 온전치 않은 경우 상기 플랫폼은 AI 학습모델을 통해 검출된 사람의 신체적 포즈를 추정하여 상기 바닥점을 특정하는 것을 특징으로 한다.The worker's positioning system using the AI algorithm according to the present invention, which was devised to achieve the above-described purpose, includes at least one camera installed in a specific space; A platform that receives images from the camera and tracks the positional displacement of the detected person based on the distance from the bottom point of the person detected through image analysis to the camera, including a plurality of obstacles provided in the specific space. If the detection of the person is not complete due to this, the platform is characterized by specifying the bottom point by estimating the physical pose of the detected person through an AI learning model.

이때, 상기 플랫폼은, 상기 카메라로부터 영상정보 또는 이미지정보를 수신하는 영상수신부와; 상기 영상수신부에서 수신된 정보를 기반으로 평면도정보를 확보하고, 카메라의 실제 설치위치에 기반하여 카메라정보를 평면도정보에 맵핑하는 평면도정보획득부와; 상기 영상수신부에서 수신된 정보 상에 사람을 검출하는 사람검출부와; 상기 사람검출부를 통해 검출된 사람의 왼발과 오른발을 분석하는 스켈레톤분석부와; 상기 스켈레톤분석부에 의해 분석된, 검출된 사람의 왼발과 오른발의 중심영역을 바닥점으로 특정하는 바닥점특정부와; 상기 바닥점특정부에 의해 특정된 바닥점에서부터 카메라까지의 거리를 측정하는 거리측정부;를 포함하되,At this time, the platform includes an image receiving unit that receives video information or image information from the camera; a floor plan information acquisition unit that secures floor plan information based on the information received from the image receiver and maps the camera information to floor plan information based on the actual installation location of the camera; a person detection unit that detects a person on the information received from the video receiver; a skeleton analysis unit that analyzes the left and right feet of the person detected through the person detection unit; a bottom point specifying unit that specifies the central regions of the detected left and right feet of the person analyzed by the skeleton analysis unit as the bottom point; It includes a distance measuring unit that measures the distance from the bottom point specified by the bottom point specification unit to the camera,

상기 바닥점특정부는, 상기 거리측정부를 통해 측정된 바닥점의 카메라까지의 거리에 기반하여 평면도정보에 바닥점을 맵핑하는 것을 특징으로 한다.The floor point specification unit is characterized in that it maps the floor point to the floor plan information based on the distance from the camera to the floor point measured through the distance measurement unit.

또한, 상기 플랫폼은, 상기 카메라가 다수임에 따라 각 카메라가 가지는 촬영범위 중 중복된 범위를 교집합영역으로서 상기 평면도정보에 설정하는 것을 특징으로 한다.In addition, the platform is characterized by setting an overlapping range among the shooting ranges of each camera as an intersection area in the floor plan information as there are multiple cameras.

또한, 상기 플랫폼은, 상기 바닥점특정부에 의해 지속적으로 평면도정보에 맵핑되는 바닥점에 기반하여 바닥점의 위치를 추적함으로써, 상기 바닥점의 원인이 되는 사람의 움직임을 추적하는 바닥점위치추적부;를 더 포함하는 것을 특징으로 한다.In addition, the platform tracks the location of the floor point based on the floor point that is continuously mapped to the floor plan information by the floor point specification unit, thereby tracking the movement of the person causing the floor point location tracking. It is characterized in that it further includes a part;

또한, 상기 플랫폼은, 상기 스켈레톤분석부에 의해, 검출된 사람의 오른발 및 왼발에 대한 정보가 분석되지 않으면, 장애물이 존재하는 것으로 판단하고, 상기 바닥점특정부는, 장애물이 존재하는 것으로 판단된 영상에서 검출된 사람과 유사한 포즈를 가지는 기학습된 정보와 비교하여, 바닥점을 추정하여 특정하는 것을 특징으로 한다.In addition, the platform determines that an obstacle exists if the information on the right foot and left foot of the person detected by the skeleton analysis unit is not analyzed, and the floor point specification unit determines that an obstacle exists in the image. It is characterized by estimating and specifying the bottom point by comparing it with pre-learned information having a pose similar to that of a person detected in .

본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템에 의하면, 특정 공간에 설치된 카메라를 통해 획득된 영상이나 이미지 상에서 사람을 검출하고 검출된 사람의 위치를 측정하기 위하여, 사람이 서있는 위치의 왼발 및 오른발 사이의 중심영역(이하, '바닥점'으로 지칭)을 특정함으로써, 카메라 화각이나 장애물의 이유로 신체 전체에 대한 정보를 획득할 수 없는 환경에서 위치의 측위를 신뢰성 있게 수행할 수 있는 장점을 가진다.According to the worker's positioning system using the AI algorithm according to the present invention, in order to detect a person on a video or image acquired through a camera installed in a specific space and measure the position of the detected person, the left foot and By specifying the central area between the right feet (hereinafter referred to as the 'bottom point'), it has the advantage of being able to reliably determine the position in an environment where information about the entire body cannot be obtained due to camera angle of view or obstacles. .

도 1은 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템을 나타낸 것이다.
도 2는 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템이 사람의 위치를 측위하고 추적하는 과정을 플로우차트로 나타낸 것이다.
도 3은 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템이 평면도정보를 확보하고 카메라정보를 맵핑하는 일예를 나타낸 것이다.
도 4는 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템의 사람을 검출하고, 바닥점을 특정하며, 위치를 추적하는 일예를 나타낸 것이다.
도 5는 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템의 사람을 검출하고, 바닥점을 특정하며, 위치를 추적함에 있어서 장애물이 존재하는 경우의 일예를 나타낸 것이다.Figure 1 shows a worker's positioning system using the AI algorithm according to the present invention.
Figure 2 is a flow chart showing the process by which the worker's location determination system using the AI algorithm according to the present invention locates and tracks the person's location.
Figure 3 shows an example in which the worker's positioning system using the AI algorithm according to the present invention secures floor plan information and maps camera information.
Figure 4 shows an example of detecting a person, specifying the ground point, and tracking the location of the worker's location determination system using the AI algorithm according to the present invention.
Figure 5 shows an example of a case where an obstacle exists when detecting a person, specifying a ground point, and tracking the location of the worker's location determination system using the AI algorithm according to the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Terms or words used in this specification and claims should not be construed as limited to their ordinary or dictionary meanings, and the inventor may appropriately define the concept of terms in order to explain his or her invention in the best way. It must be interpreted as meaning and concept consistent with the technical idea of the present invention based on principles.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention and do not represent the entire technical idea of the present invention, and various equivalents can be substituted for them at the time of filing the present application. It should be understood that there may be variations.

이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.Hereinafter, before explaining with reference to the drawings, matters that are not necessary to reveal the gist of the present invention, that is, known configurations that can be easily added by a person skilled in the art, are not shown or described in detail. Let's keep it clear.

본 발명은 AI알고리즘을 이용한 작업자의 위치 측위 시스템에 관한 것이다.The present invention relates to a worker's location determination system using an AI algorithm.

구체적으로는, 특정 공간에 설치된 카메라를 통해 획득된 영상이나 이미지 상에서 사람을 검출하고 검출된 사람의 위치를 측정하기 위하여, 사람이 서있는 위치의 왼발 및 오른발 사이의 중심영역(이하, '바닥점'으로 지칭)을 특정함으로써, 카메라 화각이나 장애물의 이유로 신체 전체에 대한 정보를 획득할 수 없는 환경에서 위치의 측위를 신뢰성 있게 수행할 수 있는, AI알고리즘을 이용한 작업자의 위치 측위 시스템에 관한 것이다.Specifically, in order to detect a person on a video or image acquired through a camera installed in a specific space and measure the position of the detected person, the central area between the left and right feet of the person's standing position (hereinafter referred to as the 'ground point') It relates to a worker's positioning system using an AI algorithm that can reliably perform positioning in an environment where information about the entire body cannot be obtained due to camera angle of view or obstacles by specifying the position (referred to as ).

도 1은 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템을 나타낸 것이다.Figure 1 shows a worker's positioning system using the AI algorithm according to the present invention.

첨부된 도면의 도 1에 따른 본 발명의 AI알고리즘을 이용한 작업자의 위치 측위 시스템은, 응용 프로그램 등의 애플리케이션(App) 또는 물리적/가상적의 서버로 구성되어 단말기가 접속하여 정보를 출력하고 공유하는 플랫폼에 있어서, 상기 플랫폼에 카메라로부터 영상을 수신하는 영상수신부;를 포함하여 구성된다.The worker's location location system using the AI algorithm of the present invention according to Figure 1 of the attached drawing is a platform that consists of an application such as an application program or a physical/virtual server, and a terminal connects to output and share information. In the platform, it is configured to include; an image receiving unit that receives images from a camera on the platform.

상기 카메라는 촬영되는 특정 공간 내부에 1개 이상의 개수로 설치된다.The cameras are installed in numbers of one or more inside a specific space being photographed.

또한, 상기 영상수신부는 수신된 카메라의 영상 또는 이미지 정보를 기반으로 특정 공간에 대한 평면도정보를 확보하도록 한다.Additionally, the image receiver secures floor plan information for a specific space based on the received video or image information from the camera.

이를 위해 플랫폼은 평면도정보획득부를 더 포함하도록 구성할 수도 있다.To this end, the platform may be configured to further include a floor plan information acquisition unit.

또한, 평면도정보획득부는, 확보된 평면도정보 상에 카메라의 설치위치에 대한 정보를 맵핑할 수 있는데, 카메라의 맵핑은 실제 특정 공간에 설치된 위치와 동일하게 맵핑됨이 바람직하다.In addition, the floor plan information acquisition unit can map information about the installation location of the camera on the secured floor plan information, and it is preferable that the camera is mapped to the same location as the actual installed location in a specific space.

이러한 평면도정보의 확보와 맵핑에 대한 설명은 첨부된 도면의 도 3에서 나타내고 있다.A description of securing and mapping such floor plan information is shown in Figure 3 of the attached drawing.

도 3은 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템이 평면도정보를 확보하고 카메라정보를 맵핑하는 일예를 나타낸 것이다.Figure 3 shows an example in which the worker's positioning system using the AI algorithm according to the present invention secures floor plan information and maps camera information.

첨부된 도면의 도 3에 기반하면, 카메라정보의 맵핑은 실제 위치정보에 기반하고, 카메라가 다수 대인 경우, 각 카메라의 촬영범위에 대한 교집함영역을 설정하도록 할 수 있다.Based on Figure 3 of the attached drawing, mapping of camera information is based on actual location information, and when there are multiple cameras, an intersection area for the shooting range of each camera can be set.

또한, 카메라정보의 맵핑은 실제 GPS정보에 기반하며, 평면도정보 상에 GPS정보가 적용되도록 함이 바람직하다.Additionally, mapping of camera information is based on actual GPS information, and it is desirable to apply GPS information to floor plan information.

또한, 상기 플랫폼은 상기 영상수신부에서 수신된 영상 또는 이미지 정보 상에서 사람을 검출하는 사람검출부를 포함한다. 이때, 사람 검출은 종래 픽셀의 분석 등의 기법을 이용할 수 있다.Additionally, the platform includes a person detection unit that detects a person on the video or image information received from the video receiver. At this time, human detection may use techniques such as conventional pixel analysis.

또한, 상기 플랫폼은 상기 사람검출부를 통해 영상 또는 이미지 정보 상에서 사람이 검출되면, 스켈레톤분석기법을 적용하여 사람의 왼발과 오른발의 위치를 분석하도록 한다.In addition, when a person is detected in video or image information through the person detection unit, the platform applies a skeleton analysis technique to analyze the positions of the person's left and right feet.

이렇게 스켈레톤분석부를 통해 분석이 완료되면, 플랫폼은 바닥점특징부를 통해 검출된 사람의 왼발과 오른발 사이의 중심영역인 바닥점을 특정하도록 한다.Once the analysis is completed through the skeleton analysis unit, the platform specifies the bottom point, which is the central area between the left and right feet of the person detected through the bottom point feature unit.

이와 같이 바닥점특정부를 통해 검출된 사람의 바닥점이 특정되면, 상기 바닥점의 카메라까지의 거리를 측정하도록 한다. 이는 거리측정부를 통해 기능한다.In this way, when the bottom point of the person detected through the bottom point specification unit is specified, the distance from the bottom point to the camera is measured. This functions through the distance measurement unit.

이때, 바닥점의 위치는 카메라가 거리측정이 가능한 카메라 일 수도 있으며, 이러한 카메라를 통한 거리측정의 기술은 통상적으로 공지되어 있으므로 구체적인 설명은 생략하도록 한다.At this time, the location of the bottom point may be a camera capable of measuring distance, and since the technology for measuring distance using such a camera is generally known, detailed description will be omitted.

혹은, 2개의 카메라와 검출된 사람의 바닥점까지의 거리를 이용한 삼각측량기법을 통해 거리를 측정하도록 할 수도 있다.Alternatively, the distance can be measured through a triangulation technique using two cameras and the distance to the bottom point of the detected person.

아울러, 바닥점의 거리 측정이 거리측정부를 통해 이루어지면, 바닥점특정부는, 평면도정보에 바닥점을 맵핑하도록 한다.In addition, when the distance to the floor point is measured through the distance measurement unit, the floor point specification unit maps the floor point to the floor plan information.

이후, 카메라를 통해 지속적으로 검출되는 사람의 바닥점을 계속 특정하고 거리를 측정함으로써, 바닥점의 위치 변화를 측위하고, 이를 통해 검출된 사람의 이동방향을 추적할 수 있는데, 이는 바닥점위치추적부를 통해 가능하다.Afterwards, by continuously specifying the bottom point of the person continuously detected through the camera and measuring the distance, the change in the position of the bottom point can be determined, and the movement direction of the detected person can be tracked through this, which is called bottom point location tracking. This is possible through wealth.

일예로서, 바닥점을 특정하고 위치를 측위하여 추적하는 것은 첨부된 도면의 도 4에서 나타내고 있다.As an example, specifying the bottom point, locating it, and tracking it is shown in Figure 4 of the attached drawings.

도 4는 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템의 사람을 검출하고, 바닥점을 특정하며, 위치를 추적하는 일예를 나타낸 것이다.Figure 4 shows an example of detecting a person, specifying the ground point, and tracking the location of the worker's location determination system using the AI algorithm according to the present invention.

이러한 일련의 과정을 첨부된 도면의 도 2를 통해 부연하도록 한다.This series of processes will be explained in detail through Figure 2 of the attached drawings.

도 2는 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템이 사람의 위치를 측위하고 추적하는 과정을 플로우차트로 나타낸 것이다.Figure 2 is a flow chart showing the process by which the worker's location determination system using the AI algorithm according to the present invention locates and tracks the person's location.

먼저, 영상 또는 이미지 정보를 수신한 후, 해당 정보로부터 사람을 검출한다. 그리고 상술된 바와 같이 바닥점을 특정하고 카메라까지의 바닥점의 거리를 측정하여 위치를 추적하는 것인데, 일예로서 특정 공간 내부에 다양한 장애물이 존재하여 사람이 온전히 검출되지 않을 수 있다. 이 경우, 스켈레톤 분석의 한계로 인해 검출된 사람의 오른발과 왼발의 검측이 불가능해져 바닥점을 특정하기 어려울 수 있는데, 본 발명의 플랫폼은 AI에 기반한 학습(딥-러닝)이 가능한 모델과 연계되어, 수신된 영상 또는 이미지 정보로부터 검출된 사람의 스켈레톤분석이 이루어져 바닥점이 특정됨 모든 과정을 학습하도록 할 수 있다.First, video or image information is received, and then a person is detected from the information. And, as described above, the location is tracked by specifying the floor point and measuring the distance of the floor point to the camera. For example, various obstacles may exist inside a specific space, so a person may not be fully detected. In this case, due to the limitations of skeleton analysis, it may be difficult to specify the bottom point as it is impossible to detect the right and left feet of the detected person, but the platform of the present invention is linked to a model capable of learning (deep learning) based on AI. , the skeleton analysis of the person detected from the received video or image information is performed and the bottom point is specified. All processes can be learned.

이에 따라, 바닥점특정부는, 만약 스켈레톤분석부에서 스켈레톤분석에 오류가 발생된다면 장애물이 존재하는 것으로 판단하고, 학습모델과 연계되어 이전 학습정보로부터 매칭률이 높은 정보에 기반하여 바닥점을 특정하게 된다.Accordingly, the bottom point specification unit determines that an obstacle exists if an error occurs in the skeleton analysis in the skeleton analysis department, and is linked to the learning model to specify the bottom point based on information with a high matching rate from previous learning information. do.

이는 첨부된 도면의 도 5에서 나타내고 있다.This is shown in Figure 5 of the attached drawings.

도 5는 본 발명에 따른 AI알고리즘을 이용한 작업자의 위치 측위 시스템의 사람을 검출하고, 바닥점을 특정하며, 위치를 추적함에 있어서 장애물이 존재하는 경우의 일예를 나타낸 것이다.Figure 5 shows an example of a case where an obstacle exists when detecting a person, specifying a ground point, and tracking the location of the worker's location determination system using the AI algorithm according to the present invention.

즉, 첨부된 도면의 도 5와 같이 장애물의 존재로 사람의 일부만 검출되어 스켈레톤분석이 원할하지 않은 경우, 이미 완벽하게 분석된 스켈레톤분석 정보 중에서, 유사한 신체포즈를 취하는 정보를 불러들여 장애물이 없는 상태의 분석을 추정하는 것이다. 이는 스켈레톤분석부에서 오류가 발생된다면 바닥점특정부에 의해 기능한다.In other words, when only a part of the person is detected due to the presence of an obstacle, as shown in Figure 5 of the attached drawing, and the skeleton analysis is not smooth, information on a similar body pose is loaded from the skeleton analysis information that has already been completely analyzed, and there are no obstacles. is to estimate the analysis. This functions as a bottom point specification unit if an error occurs in the skeleton analysis unit.

이때, 유사한 신체포즈란 장애물이 존재하는 것으로 판단된 검출된 사람이 존재하는 영상과, 기학습된 완벽하게 분석된 스켈레톤분석 정보 중에서 매칭을 통해 가장 매칭률 높은 스켈레톤값을 가지는 것을 결정하고, 해당 스켈레톤값에 따른 신체포즈를 유사한 신체포즈로 정의하는 것이다.At this time, the similar body pose is determined to have the highest matching skeleton value through matching among the image of the detected person judged to be an obstacle and the previously learned, perfectly analyzed skeleton analysis information, and determines the skeleton value in question. The body pose according to the value is defined as a similar body pose.

다시 첨부된 도면의 도 2를 참조하면, 수신된 영상 또는 이미지 정보 상에서 사람이 검출하고 스켈레톤분석부를 통해 분석을 하던 도중 스켈레톤분석에 오류가 발생되는 경우 장애물이 존재하는 것으로 판단하고, 이전 학습된 정보와 비교하여 유사한 신체포즈에 대한 정보를 획득한 후, 바닥점특정부에 의해 바닥점을 추정한 후 특정하도록 한다.Referring to Figure 2 of the attached drawing again, if an error occurs in the skeleton analysis while a person is detecting the received video or image information and analyzing it through the skeleton analysis unit, it is determined that an obstacle exists, and previously learned information is used. After obtaining information about similar body poses by comparing with , the bottom point is estimated and then specified using the bottom point specification unit.

이로 인해, 장애물에 의해 사람의 검출이 어렵거나 위치정보 획득에 신뢰도가 떨어지는 것을 방지할 수 있는 장점을 가진다.This has the advantage of preventing people from being difficult to detect due to obstacles or reducing the reliability of location information acquisition.

한편, 상술된 바와 같이 카메라가 다수 대임에 따라, 교집합영역을 설정한 경우, 사람을 검출하고 바닥점을 특정하여 위치 변위를 추적하는데 있어서, 다수 개의 카메라에서 획득된 정보 모두를 사용할 수 있다.Meanwhile, as described above, as there are multiple cameras, when an intersection area is set, all information acquired from multiple cameras can be used to detect a person, specify the ground point, and track the positional displacement.

이때, 평면도정보 상에 x, y축에 기반한 위치정보를 미리 설정하여 평면도정보 상에서의 위치정보를 분류할 수 있도록 하고, 미리 설정된 교집합영역 내에서 일정범위 내에 존재하도록 맵핑된 바닥점은 1개로 취합되어 표시되도록 제어할 수 있다.At this time, location information based on the x and y axes is set in advance on the floor plan information so that the location information on the floor plan information can be classified, and the bottom point mapped to exist within a certain range within the preset intersection area is collected as one. You can control it to be displayed.

상기에서 도면을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도면의 구성에 한정되는 것이 아님은 자명하다.The above description using the drawings describes only the main points of the present invention, and as various designs are possible within the technical scope, it is obvious that the present invention is not limited to the configuration of the drawings.

Claims (5)

특정 공간 내 적어도 1개 이상 설치된 카메라와;
상기 카메라로부터 영상을 수신하고 영상분석을 통해 검출된 사람의 바닥점에서부터 카메라까지의 거리를 기반으로, 검출된 사람의 위치 변위를 추적하는 플랫폼;을 포함하되,
상기 특정 공간 내 구비된 다수의 장애물로 인해 사람의 검출이 온전치 않은 경우 상기 플랫폼은 AI 학습모델을 통해 검출된 사람의 신체적 포즈를 추정하여 상기 바닥점을 특정하는, AI알고리즘을 이용한 작업자의 위치 측위 시스템에 있어서,
상기 플랫폼은,
상기 카메라로부터 영상정보 또는 이미지정보를 수신하는 영상수신부와;
상기 영상수신부에서 수신된 정보를 기반으로 평면도정보를 확보하고, 카메라의 실제 설치위치에 기반하여 카메라정보를 평면도정보에 맵핑하는 평면도정보획득부와;
상기 영상수신부에서 수신된 정보 상에 사람을 검출하는 사람검출부와;
상기 사람검출부를 통해 검출된 사람의 왼발과 오른발을 분석하는 스켈레톤분석부와;
상기 스켈레톤분석부에 의해 분석된, 검출된 사람의 왼발과 오른발의 중심영역을 바닥점으로 특정하는 바닥점특정부와;
상기 바닥점특정부에 의해 특정된 바닥점에서부터 카메라까지의 거리를 측정하는 거리측정부와;
상기 바닥점특정부에 의해 지속적으로 평면도정보에 맵핑되는 바닥점에 기반하여 바닥점의 위치를 추적함으로써, 상기 바닥점의 원인이 되는 사람의 움직임을 추적하는 바닥점위치추적부;를 포함하되,
상기 바닥점특정부는,
상기 거리측정부를 통해 측정된 바닥점의 카메라까지의 거리에 기반하여 평면도정보에 바닥점을 맵핑하고,
상기 바닥점위치추적부의 움직임 추적은,
카메라를 통해 지속적으로 검출되는 사람의 바닥점을 계속 특정하여 바닥점의 위치 변화를 감지하고 감지에 기반하여 검출된 사람의 이동방향을 추적하여 이루어지고,
상기 플랫폼은,
상기 카메라가 다수임에 따라 각 카메라가 가지는 촬영범위 중 중복된 범위를 교집합영역으로서 상기 평면도정보에 설정하며,
상기 스켈레톤분석부에 의해, 검출된 사람의 오른발 및 왼발에 대한 정보가 분석되지 않으면, 장애물이 존재하는 것으로 판단하고,
상기 바닥점특정부는,
오른발 및 왼발 중 어느 한 발의 정보가 분석되지 않아서, 장애물이 존재하는 것으로 판단된 영상에서 검출된 사람과 유사한 포즈를 가지는 기학습된 정보와 비교하여, 바닥점을 추정하여 특정하되,
상기 카메라가 다수임에 따라 사람을 검출하고 바닥점을 특정하여 위치 변위를 추적하는데 있어서, 다수 개의 카메라에서 획득된 정보 모두를 사용하는 경우,
평면도정보 상에 x, y축에 기반한 위치정보를 미리 설정하여 평면도정보 상에서의 위치정보를 분류할 수 있도록 하고, 미리 설정된 교집합영역 내에서 일정범위 내에 존재하도록 맵핑된 바닥점은 1개로 취합되어 표시되도록 제어하는 것을 특징으로 하는, AI알고리즘을 이용한 작업자의 위치 측위 시스템.At least one camera installed in a specific space;
A platform that receives images from the camera and tracks the positional displacement of the detected person based on the distance from the camera to the bottom point of the person detected through image analysis.
If the detection of a person is not complete due to a number of obstacles in the specific space, the platform estimates the physical pose of the person detected through an AI learning model and specifies the floor point. The position of the worker using an AI algorithm is used. In the positioning system,
The platform is,
an image receiving unit that receives video information or image information from the camera;
a floor plan information acquisition unit that secures floor plan information based on the information received from the image receiver and maps the camera information to floor plan information based on the actual installation location of the camera;
a person detection unit that detects a person on the information received from the video receiver;
a skeleton analysis unit that analyzes the left and right feet of the person detected through the person detection unit;
a bottom point specifying unit that specifies the central regions of the detected left and right feet of the person analyzed by the skeleton analysis unit as the bottom point;
a distance measuring unit that measures the distance from the bottom point specified by the bottom point specification unit to the camera;
A floor point position tracking unit that tracks the movement of a person causing the floor point by tracking the position of the floor point based on the floor point continuously mapped to the floor plan information by the floor point specification unit,
The bottom point specification part,
Map the floor point to floor plan information based on the distance from the camera to the floor point measured through the distance measuring unit,
Movement tracking of the bottom point position tracking unit,
This is done by continuously specifying the bottom point of a person that is continuously detected through a camera, detecting changes in the position of the bottom point, and tracking the direction of movement of the detected person based on the detection.
The platform is,
As there are multiple cameras, an overlapping range among the shooting ranges of each camera is set as an intersection area in the floor plan information,
If the information about the right and left feet of the detected person is not analyzed by the skeleton analysis unit, it is determined that an obstacle exists,
The bottom point specification part,
Since the information on either the right foot or the left foot was not analyzed, the bottom point was estimated and specified by comparing it with already learned information with a pose similar to the person detected in the image where an obstacle was determined to exist,
When the number of cameras is multiple, all information obtained from multiple cameras is used to detect people, specify ground points, and track positional displacement.
Position information based on the x and y axes is set in advance on the floor plan information so that the position information on the floor plan information can be classified, and floor points that are mapped to exist within a certain range within the pre-set intersection area are collected and displayed as one. A worker's positioning system using an AI algorithm, characterized by controlling as much as possible. 삭제delete 삭제delete 삭제delete 삭제delete
KR1020230123525A 2023-09-15 2023-09-15 Operator position positioning system using AI algorithm KR102669216B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230123525A KR102669216B1 (en) 2023-09-15 2023-09-15 Operator position positioning system using AI algorithm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230123525A KR102669216B1 (en) 2023-09-15 2023-09-15 Operator position positioning system using AI algorithm

Publications (1)

Publication Number Publication Date
KR102669216B1 true KR102669216B1 (en) 2024-05-24

Family

ID=91320781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230123525A KR102669216B1 (en) 2023-09-15 2023-09-15 Operator position positioning system using AI algorithm

Country Status (1)

Country Link
KR (1) KR102669216B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101243294B1 (en) 2011-05-19 2013-03-13 수원대학교산학협력단 Method and apparatus for extracting and tracking moving objects
KR101517359B1 (en) 2013-12-27 2015-06-05 전남대학교산학협력단 Method for tracking of object and appaaratus using the same
KR102167730B1 (en) 2019-04-22 2020-10-20 주식회사 로민 Apparatus and method for masking a video
KR102391490B1 (en) 2017-03-27 2022-04-28 삼성전자주식회사 Method for tracking an object in an image and electronic device thereof
KR20220067345A (en) * 2020-11-17 2022-05-24 현대위아 주식회사 Safety Management Method of Work Site Using Human Location and Mobile Path Tracking
KR20220136050A (en) * 2021-03-30 2022-10-07 와이폴라리스 주식회사 Apparatus and method for generating 3d coordinates of a person and examining the validity of 3d coordinates

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101243294B1 (en) 2011-05-19 2013-03-13 수원대학교산학협력단 Method and apparatus for extracting and tracking moving objects
KR101517359B1 (en) 2013-12-27 2015-06-05 전남대학교산학협력단 Method for tracking of object and appaaratus using the same
KR102391490B1 (en) 2017-03-27 2022-04-28 삼성전자주식회사 Method for tracking an object in an image and electronic device thereof
KR102167730B1 (en) 2019-04-22 2020-10-20 주식회사 로민 Apparatus and method for masking a video
KR20220067345A (en) * 2020-11-17 2022-05-24 현대위아 주식회사 Safety Management Method of Work Site Using Human Location and Mobile Path Tracking
KR20220136050A (en) * 2021-03-30 2022-10-07 와이폴라리스 주식회사 Apparatus and method for generating 3d coordinates of a person and examining the validity of 3d coordinates

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ziqi Li, "Action recognition of construction workers under occlusion", Journal of Building Engineering 45 (2022.01.)* *

Similar Documents

Publication Publication Date Title
Pérez-Yus et al. Detection and modelling of staircases using a wearable depth sensor
US8711221B2 (en) Visually tracking an object in real world using 2D appearance and multicue depth estimations
US20160379074A1 (en) System and a method for tracking mobile objects using cameras and tag devices
Koide et al. Monocular person tracking and identification with on-line deep feature selection for person following robots
WO2016205951A1 (en) A system and a method for tracking mobile objects using cameras and tag devices
KR101486308B1 (en) Tracking moving objects for mobile robots control devices, methods, and its robot
CN104704384A (en) Image processing method, particularly used in a vision-based localization of a device
US20170205832A1 (en) Autonomous moving device and self position estimation method
CN109471096A (en) Multi-Sensor Target matching process, device and automobile
Bahadori et al. Real-time people localization and tracking through fixed stereo vision
Tamjidi et al. 6-DOF pose estimation of a portable navigation aid for the visually impaired
Ruotsalainen et al. Improving computer vision-based perception for collaborative indoor navigation
Yang et al. A new approach of point cloud processing and scene segmentation for guiding the visually impaired
Galioto et al. Sensor fusion localization and navigation for visually impaired people
Davis et al. Visual surveillance of human activity
JP6410231B2 (en) Alignment apparatus, alignment method, and computer program for alignment
KR20140114594A (en) Auto-Camera Calibration Method Based on Human Object Tracking
KR102669216B1 (en) Operator position positioning system using AI algorithm
CN112114660A (en) Method for realizing large-scale movement of virtual world character by utilizing motion of human foot in small space range
CN113272864A (en) Information processing apparatus, information processing method, and program
Mutka et al. A low cost vision based localization system using fiducial markers
Pennisi et al. Ground truth acquisition of humanoid soccer robot behaviour
KR20140053712A (en) The localization method for indoor mobile robots by sensor fusion
KR20120108277A (en) Method for localizing intelligent mobile robot by using both natural landmark and artificial landmark
Koide et al. Person identification based on the matching of foot strike timings obtained by LRFs and a smartphone

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant