WO2019127257A1 - 一种通过照片实现智能轮椅的定位方法 - Google Patents

一种通过照片实现智能轮椅的定位方法 Download PDF

Info

Publication number
WO2019127257A1
WO2019127257A1 PCT/CN2017/119534 CN2017119534W WO2019127257A1 WO 2019127257 A1 WO2019127257 A1 WO 2019127257A1 CN 2017119534 W CN2017119534 W CN 2017119534W WO 2019127257 A1 WO2019127257 A1 WO 2019127257A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
positioning
image information
smart wheelchair
wheelchair
Prior art date
Application number
PCT/CN2017/119534
Other languages
English (en)
French (fr)
Inventor
刘伟荣
李家鑫
焦寅
闫励
Original Assignee
四川金瑞麒智能科学技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 四川金瑞麒智能科学技术有限公司 filed Critical 四川金瑞麒智能科学技术有限公司
Priority to PCT/CN2017/119534 priority Critical patent/WO2019127257A1/zh
Priority to CN201780098035.5A priority patent/CN111527378B/zh
Publication of WO2019127257A1 publication Critical patent/WO2019127257A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Definitions

  • the present application relates to a positioning method, and in particular to an indoor positioning method for an intelligent wheelchair.
  • the intelligent wheelchair provides great convenience for the elderly and the disabled.
  • an intelligent wheelchair In order to become a convenient means of transportation, an intelligent wheelchair must accurately know its position in the working environment and the working environment. This is the problem of positioning the smart wheelchair itself.
  • the positioning methods of intelligent wheelchairs include visual positioning, sound localization, lidar positioning, ultrasonic positioning, etc.
  • the positioning accuracy of these methods still does not meet high requirements, the adaptability to complex environments is poor, and the map based on data matching
  • the accuracy and timeliness are difficult to guarantee. Therefore, in order to overcome the above problems, it is necessary to provide a reliable and accurate positioning method, and can lay a foundation for accurate indoor navigation of a smart wheelchair.
  • Some embodiments of the present disclosure are directed to a method of positioning a smart wheelchair for enabling indoor positioning of a smart wheelchair.
  • the method can include one or more of the following operations. Acquiring a plurality of historical information, the historical information including positioning information of the path and one or more image information within the field of view of the path; establishing the positioning information and the one or more images based on the plurality of historical information Correlation database between the information; acquiring at least one real-time image information in the field of view of the smart wheelchair; and matching, by the association database, location information corresponding to the at least one real-time image information as positioning information of the smart wheelchair.
  • the establishing an association database between the positioning information and the one or more image information based on the plurality of historical information includes: in the plurality of historical information, each group of the Positioning information is associated with the one or more image information to obtain a plurality of sets of associated data; and storing the plurality of sets of associated data to obtain an associated database.
  • the obtaining the at least one live image information within the field of view of the smart wheelchair includes acquiring image information for each angle by one or more cameras mounted on the illustrated smart wheelchair.
  • the obtaining, by using the association database, the positioning information corresponding to the at least one real-time image information including: calculating, according to an image matching algorithm, the at least one real-time image information and the associated database The matching degree of the image information; and the positioning information corresponding to the image information with the highest matching degree is selected as the positioning information of the smart wheelchair.
  • the image matching algorithm includes a grayscale based image matching algorithm and a feature based image matching algorithm.
  • the method further includes: the smart wheelchair transmitting at least one live image information within the acquired smart wheelchair field of view to a remote server; the remote server based on the associated database, through the at least one live image information The matching degree of the image information in the associated database obtains the positioning information corresponding to the at least one real-time image information; and the smart wheelchair receives the positioning information sent by the remote server, and uses the positioning information as the positioning information of the smart wheelchair.
  • the method further includes: acquiring voice instruction information of the user; and transmitting the voice instruction information and the at least one real-time image information to the remote server.
  • the voice command information includes at least a positioning request, a navigation request, a speed control, a driving direction control, a start and stop control, a seat adjustment, a news broadcast, and a weather broadcast.
  • the method further includes: receiving a navigation instruction of a user voice request; transmitting the navigation instruction to the remote server, the remote server can automatically generate a navigation path plan based on the navigation instruction; The remote server receives the navigation path plan; and presents the navigation path plan to the user.
  • the presenting the navigation path plan to the user includes: a real-time voice broadcast navigation path; and displaying the navigation path in real time through a display screen mounted on the smart wheelchair.
  • the method further includes: using a machine learning method, training the plurality of historical information as a training sample, and obtaining an association model; inputting at least one real-time image information of the acquired smart wheelchair into an association model And acquiring positioning information output by the correlation model; and using the positioning information output by the correlation model as positioning information of the smart wheelchair.
  • the method further includes transmitting the association model to the remote server to enable sharing and interaction of data.
  • the method further includes periodically updating and maintaining the associated database and association model to improve data accuracy.
  • Some embodiments of the present disclosure are directed to an intelligent wheelchair positioning system implemented by a memory and at least one processor.
  • the system can be used for positioning of a smart wheelchair.
  • the system can include a first acquisition module, a processing module, a second acquisition module, and a determination module.
  • the first collection module may acquire a plurality of historical information, where the historical information includes positioning information of the path and one or more image information within the field of view of the path; the processing module may be established based on the plurality of historical information.
  • the second collection module may acquire at least one real-time image information within a field of view of the smart wheelchair; the determining module may match through the associated database Obtaining positioning information corresponding to the at least one real-time image information as positioning information of the smart wheelchair.
  • Some embodiments of the present disclosure are directed to an intelligent wheelchair positioning device that includes a memory that stores instructions and at least one processor.
  • the device can achieve positioning of a smart wheelchair.
  • the at least one processor may perform one or more of the following operations when the at least one processor executes the instructions.
  • FIG. 1 is a schematic diagram of an intelligent wheelchair positioning system provided in accordance with the present invention.
  • FIG. 2 is a schematic block diagram of an intelligent wheelchair provided in accordance with the present invention.
  • FIG. 3 is a flow chart of a method for positioning a smart wheelchair according to the present invention.
  • FIG. 4 is a flow chart of a method for requesting navigation provided in accordance with the present invention.
  • FIG. 5 is a flow chart of a method for constructing an association model based on machine learning according to the present invention.
  • the intelligent wheelchair positioning system 100 can include a remote server 110, a network 120, and one or more smart wheelchair devices 130 (eg, smart wheelchair device 1, smart wheelchair device 2 ... smart wheelchair device N).
  • Remote server 110 and smart wheelchair device 130 can be connected or communicated over network 120.
  • the remote server 110 is a device that receives remotely transmitted data, and can process the data and feed back the processing result.
  • the remote server 110 can receive data from the smart wheelchair device 130 and, based on the data, obtain information about the smart wheelchair device 130. Further, the remote server 110 can also feed back relevant information to the smart wheelchair device 130.
  • the remote server 110 may acquire real-time image information in the field of view transmitted by the smart wheelchair device 130, and determine positioning information of the smart wheelchair 130 based on the real-time image information, and then feed the positioning information to the smart wheelchair device 130.
  • the remote server 110 can obtain a navigation request for the smart wheelchair device 130 and, based on the navigation request information, determine a plan for the navigation path and then feed back the navigation path planning information to the smart wheelchair device 130.
  • Network 120 can be any connection that connects two or more devices.
  • network 120 can be a wired network or a wireless network.
  • network 120 can be a single network or a combination of multiple networks.
  • the network 120 may include one or more of a local area network, a wide area network, a public network, a private network, a wireless local area network, a virtual network, a public telephone network, an intranet, a Zigbee network, a near field communication network, a fiber optic network, the Internet, and the like. Combination of species.
  • Each module or unit in the intelligent wheelchair location system 100 can communicate with the network 120 to effect information interaction.
  • the remote server 110 can simultaneously receive data from one or more smart wheelchair devices 130 over the network 120 and process all of the data in parallel.
  • the smart wheelchair device 130 is a robotic wheelchair that has visual and voice navigation capabilities and is capable of interacting with people.
  • a miniature camera is mounted at some specific locations of the smart wheelchair device 130 (eg, the front and rear ends of the wheelchair, and on both sides of the wheel) to facilitate capturing visual image information (ie, photos) in the environment in which the smart wheelchair device 130 is located.
  • the smart wheelchair device 130 is equipped with a plurality of miniature cameras that can acquire image information/photographs in multiple fields of view in real time in a sports environment of the smart wheelchair.
  • the plurality of miniature cameras can be rotated at an angle to obtain image information over a larger field of view.
  • the smart wheelchair device 130 can collect voice information of the user.
  • the smart wheelchair device 130 is also equipped with an intelligent processing device that can perform simple processing on the collected image information or voice information and feed back the processing results or make further processing decisions.
  • the smart wheelchair device 130 can receive the user's voice control commands, analyze the voice control commands, feed back the processing results, and control the powertrain of the smart wheelchair to execute the voice control commands.
  • the smart wheelchair device 130 can send the received user's voice navigation request to the remote server 110, and control the power system of the smart wheelchair to perform the navigation path planning according to the navigation path plan feedback from the remote server.
  • a plurality of smart wheelchair devices 130 eg, smart wheelchair device 1, smart wheelchair device 2 ... smart wheelchair device N
  • remote server 110 can communicate directly with smart wheelchair device 130 without going through network 120; the smart wheelchair location system 100 can further include a database.
  • the smart wheelchair device 130 can include an acquisition module 210, a processing module 220, a determination module 230, and a communication module 240.
  • the connections between modules within the system can be wired, wireless, or a combination of both. Any module can be local, remote, or a combination of both.
  • the correspondence between modules can be one-to-one or one-to-many.
  • the acquisition module 210 can collect data information.
  • the collection module 210 can include a first acquisition module and a second acquisition module.
  • the data information can include information acquired by sensors installed on the smart wheelchair device and information entered by the user.
  • the second acquisition module of the acquisition module 210 can obtain relevant data information for the smart wheelchair via sensors mounted on the smart wheelchair device 130.
  • the second acquisition module of the acquisition module 210 can acquire the movement speed data of the smart wheelchair through the speed sensor installed on the smart wheelchair device 130; acquire the temperature data in the environment through the temperature sensor; and obtain the pressure through the pressure sensor installed under the seat cushion Data, thereby calculating the weight data of the user sitting in the wheelchair; acquiring visual image data of the field of view of the smart wheelchair through the camera mounted on the smart wheelchair device 130;
  • the user's input information can include voice input and manual input.
  • the second collection module of the collection module 210 can obtain the voice information input by the user through the voice input device; the second collection module of the collection module 210 can obtain the information manually input by the user through the user interface.
  • the second acquisition module of the acquisition module 210 can send the collected data information to the processing module 220 for further data processing.
  • the first acquisition module of the acquisition module 210 may acquire one or more image information within a field of view of the location location of the smart wheelchair based on the known location information, and the one or more image information and The location information is known to be stored as history information.
  • the known positioning information may be determined by the system or the positioning information input by the user.
  • the first collection module of the collection module 210 may send the plurality of historical information to the processing module 220 for further processing.
  • the processing module 220 can be a control core module for data analysis processing.
  • the processing module 220 can process the data information collected by the collection module 210.
  • the processing module 220 can analyze, filter, classify, filter, denoise, etc. the data signals.
  • processing module 220 can analyze all of the collected data and detect anomaly data therein (eg, speed data is greater than a speed threshold, circuit temperature data is above a temperature threshold, etc.).
  • the processing module 220 can display the data information on the user interface.
  • processing module 220 can include one or more interconnected processing units. The one or more processing units may communicate or connect with some or all of the modules or devices in the system.
  • the processing module 220 can process a plurality of historical information, associate each set of known positioning information with the one or more image information to obtain a plurality of sets of associated data; and save the Multiple sets of associated data are obtained from the associated database.
  • processing module 220 can process information entered by the user. For example, the voice information input by the user is subjected to denoising and the like, and the voice data information is analyzed to obtain corresponding control instruction information.
  • the processing module 220 may analyze the navigation request information input by the user voice, and send the obtained navigation request instruction information to the remote server 110 through the communication module 240 for further processing.
  • the processing module 220 may receive at least one real-time image information within the field of view of the smart wheelchair acquired by the acquisition module 210, and perform pre-processing (de-noising, etc.) on the image information, and then send the determination to the determination module 230. For further processing.
  • the determination module 230 can determine the data, information, or processing results.
  • the determining module 230 can receive the data obtained by the collecting module 210 and/or processed by the processing module 220, and perform a determination based on the data to obtain a determination result.
  • the judging module compares the circuit operating temperature data acquired by the collecting module 210 with the safe running temperature data to determine whether the temperature is within the safe range.
  • the determining module 230 can obtain the obtained by the collecting module 210 and is processed by the processing module 220. The voice data is analyzed and judged, and the control command information corresponding to the voice data is obtained.
  • the determination module 230 can receive real-time image information of the smart wheelchair that is obtained by the acquisition module 210 and processed by the processing module 220.
  • the determining module 230 may further compare the real-time image information with the image information in the associated database, and match and generate a corresponding determination result. In the matching result, the positioning information corresponding to the highest matching image information is selected as the positioning information of the smart wheelchair.
  • the communication module 240 can transmit the data of the smart wheelchair device 130 or receive data sent by the outside to the smart wheelchair device 130.
  • the communication module 240 may send the navigation request information obtained by the determination module to the remote server 110 via the network 120; or may receive the feedback information sent by the remote server 110 via the network 120.
  • the communication module 240 can present the determination result of the determination module 230 to the user.
  • the communication module 240 can broadcast the positioning information to the user through real-time voice, or display the positioning information in real time through a display screen installed on the smart wheelchair.
  • communication module 240 can send an associated database to remote server 110 for data sharing.
  • remote server 110 can perform image matching in the associated data according to the real-time image information sent by the user, and obtain the image with the highest matching degree, and deliver the corresponding positioning information to the user.
  • the judging module 230 and the communication module 240 may be combined, and the merged module has the functions of judging and communicating at the same time; the smart wheelchair device 130 may further include a storage module, and/or a display module.
  • FIG. 3 is a flow chart of an intelligent wheelchair positioning method provided in accordance with the present invention.
  • the smart wheelchair device 130 can acquire a plurality of historical information.
  • the historical information includes known location information through the path and one or more image information within the field of view of the path.
  • the known positioning information may be determined by the system or the positioning information input by the user.
  • the smart wheelchair device 130 may acquire image information for various angles through one or more cameras mounted on the smart wheelchair and associate with known location information.
  • the historical information may be updated in real time. For example, when new positioning information appears, one or more image information in the field of view at the newly added positioning location may be acquired and associated with the newly added positioning information.
  • the location at the location is updated in real time.
  • One or more image information within the field of view and associated with the location information is updated.
  • the smart wheelchair device 130 establishes an association database between the positioning information and the one or more image information based on a plurality of historical information.
  • the smart wheelchair device 130 can associate each set of positioning information with one or more image information in a plurality of historical information to obtain a plurality of sets of associated data; and save the plurality of sets of associated data Get the associated database.
  • the positioning information may correspond to one or more image information, that is, one positioning information may be associated with at least one image information; but one image information is associated with at most one positioning information, otherwise it may cause confusion and Repeated phenomena appear.
  • the image information appearing at the east gate of the XX store is associated with the location information; otherwise, if the XX store east gate appears in a picture information, then the corresponding location information It can only be the location of the XX store east gate.
  • the smart wheelchair device 130 acquires at least one live image information within the field of view in real time.
  • the smart wheelchair device 130 can acquire image information for various angles through one or more cameras mounted on the illustrated smart wheelchair.
  • the smart wheelchair device 130 can acquire image information for various angles based on one or more associated sensors. For example, when the night is dark, the camera cannot capture clear image information. At this time, the image information in the field of view at night or when the line of sight is poor can be obtained by infrared sensor or infrared photography.
  • the image quality is poor, and thus the image information with poor quality needs to be denoised, corrected, Pre-processing such as segmentation and scaling to improve the quality of the image and the matching accuracy of subsequent images.
  • the smart wheelchair device 130 matches the location information of the smart wheelchair based on the association database.
  • the association database based on the image matching algorithm, the matching degree between the real-time image information of the intelligent wheelchair and the image information in the associated database is calculated; then the image information with the highest matching degree is filtered, and the corresponding image information corresponding to the highest matching degree is mapped.
  • the image matching algorithm includes a grayscale based image matching algorithm and a feature based image matching algorithm.
  • gradation matching the basic idea of gradation matching is to regard the image as a two-dimensional signal from a statistical point of view, and use statistical correlation methods to find correlations between signals. Using the correlation functions of the two signals, their similarities are evaluated to determine the point of the same name.
  • Gray-scale matching determines the correspondence between two images by using some similarity measure, such as correlation function, covariance function, sum of squared difference, absolute value of difference, and equal measure extreme value.
  • the most classic gray matching method is a normalized gray matching method.
  • the basic principle is to pixel-by-pixel a gray matrix of a real-time image window with a certain size, and all possible window grayscale arrays of the reference image.
  • the matching method of searching and comparing according to a similarity measure method theoretically adopts image correlation technology.
  • Feature matching refers to an algorithm that performs parameter matching by extracting features (points, lines, and surfaces) of two or more images, and then using the described parameters to perform matching.
  • Features processed by feature-based matching typically include features such as color features, texture features, shape features, spatial location features, and the like.
  • Feature matching Firstly, the image is preprocessed to extract its high-level features, and then the matching correspondence between the two images is established.
  • the commonly used feature primitives have some features, edge features and regional features.
  • Feature matching requires many mathematical operations such as matrix operations, gradient solutions, and Fourier transforms and Taylor expansion.
  • Commonly used feature extraction and matching methods are: statistical methods, geometric methods, model methods, signal processing methods, boundary feature methods, Fourier shape description methods, geometric parameter methods, shape invariant moment methods, and so on.
  • a matching degree threshold T can be set.
  • T the matching degree of the real-time image information of the smart wheelchair with the image information in the associated database
  • the system feeds back the information that the user matches the failure, and requests the user to acquire the image information in the field of view again, and performs matching again.
  • the system determines that the positioning position is new location information. And after the information of the new location location is determined, the new location information and one or more image information in the associated field of view are taken as a group of association data and saved in the association database.
  • the flow of an intelligent wheelchair positioning method may further include step 350, and the smart wheelchair device 130 may send the associated database to the remote server 110 to implement data sharing.
  • the remote server 110 can receive an associated database of a plurality of smart wheelchair devices 130 (eg, smart wheelchair device 1, smart wheelchair device 2 ... smart wheelchair device N) and integrate all associated databases to obtain one A more complete associated database. It also continuously receives new association databases from new smart wheelchair devices and continuously updates and maintains the integrated associated database.
  • the smart wheelchair after acquiring the real-time image information in the field of view, the smart wheelchair can be directly uploaded to the remote server 110 through the network 120, and the user can simultaneously request his own positioning information.
  • the remote server 110 can perform image matching in the associated data according to the received real-time image information, and obtain the image with the highest matching degree, and deliver the corresponding positioning information to the user.
  • the smart wheelchair device 130 can obtain voice command information for the user.
  • the voice command information includes, but is not limited to, a positioning request, a navigation request, a speed control, a driving direction control, a start and stop control, a seat adjustment, a news broadcast, and a weather broadcast.
  • the smart wheelchair device 130 can combine voice command information and real-time image information for transmission to a remote server. For example, when the smart wheelchair device 130 transmits the real-time image information to the remote server 110, the voice positioning request command may be simultaneously transmitted, and when receiving the voice positioning request command, the remote server 110 determines the requester according to the received real-time image information.
  • the smart wheelchair device 130 can also send a voice navigation request command to the remote server 110 when transmitting real-time image information to the remote server 110.
  • a voice navigation request command to the remote server 110 when transmitting real-time image information to the remote server 110.
  • the smart wheelchair device 130 can obtain navigation instructions for a voice request.
  • the smart wheelchair device 130 can acquire navigation instructions for voice requests issued by the user through a voice collection device installed on itself.
  • the smart wheelchair device 130 is equipped with a voice receiving switch device.
  • the switch When the user wants to input a voice command, the switch can be manually turned on, and then the voice collecting device starts to work; when the switch is turned off, the voice capture is performed. The device remains in the off state. In this way, the long-running state of the voice collecting device can be avoided, and the circuit can be burdened; on the other hand, the interference of external noise can be eliminated, and when the environment is noisy, the voice collecting device can be temporarily turned off.
  • the smart wheelchair device 130 may perform noise reduction, filtering, and the like on the navigation instructions of the collected voice request to improve audio quality and recognition accuracy.
  • the smart wheelchair device 130 can transmit the navigation request command obtained in step 410 to the remote server.
  • the smart wheelchair device 130 can send a navigation request command to the remote server over the network 120 and wait for the requested feedback result.
  • a plurality of smart wheelchair devices 130 e.g., smart wheelchair device 1, smart wheelchair device 2 ... smart wheelchair device N
  • the remote server 110 can generate a navigation path plan based on the navigation instructions. For example, the remote server 110 can analyze the navigation instruction information, determine the starting point and destination, and access the map database, select the optimized navigation path information, and then feed back to the smart wheelchair device 130. In some embodiments, the remote server 110 can generate multiple pieces of navigation path information for the user to reference and mark the optimized navigation path. In some embodiments, remote server 110 can receive multiple navigation request instructions and can process all requests in parallel while feeding back navigation results to all requesters.
  • the smart wheelchair device 130 can receive the navigation path planning information fed back by the remote server 110 and present the navigation path plan to the user.
  • the displaying the navigation path plan to the user includes a real-time voice broadcast navigation path; and displaying the navigation path in real time through a display screen installed on the smart wheelchair.
  • the user can select the display method of the navigation path plan, or select two display modes at the same time.
  • the user can control the running direction of the smart wheelchair.
  • the remote server 110 can plan a new navigation route by real-time positioning of the smart wheelchair device 130. And send it to the smart wheelchair device 130 in real time, and can also prompt the user how to adjust to the correct navigation route, or adjust to a new navigation route.
  • FIG. 5 is a flow chart of a method for constructing an association model based on machine learning according to the present invention.
  • an association model can be constructed to replace the role of the associated database.
  • only the real-time image information can be input into the associated model, and a corresponding positioning information can be output.
  • the application of the association model needs to analyze and extract the real-time image information of the input, and then calculate the real-time positioning information according to the extracted feature information.
  • the following steps are directed to how to construct the association model and are merely specific embodiments of the invention and should not be considered as the only embodiment.
  • the smart wheelchair location system 100 can acquire a plurality of historical information. This history information is consistent with the history information described in step 310 of FIG.
  • the historical information includes positioning information of the path and one or more image information within the field of view of the path.
  • the intelligent wheelchair location system 100 can standardize the data in the plurality of historical information and store the data in a specified format for subsequent data processing.
  • the intelligent wheelchair positioning system 100 can train a plurality of historical information based on machine learning.
  • the intelligent wheelchair location system 100 can divide a plurality of historical information into two sets of data, one as a training set and one as a test set.
  • the training set and the test set are both labeled data, that is, the positioning information and the image information in the field of view of the positioning position are known.
  • the training set is used to acquire features of the data and train learning to obtain a data model; the test set is used to verify the accuracy of the model.
  • feature extraction is performed on the data in the training set, and then the extraction result is processed (for example, discretizing continuous feature values) to enhance the feature representation.
  • the classification model may include, but is not limited to, a decision tree, a random forest, a logistic regression, a gradient boost, an SVM, a BP neural network, a convolutional neural network, and a Bayesian network.
  • the intelligent wheelchair positioning system 100 may output a classification model, ie, an association model of the positioning information and the image information within the field of view, after the training at step 520.
  • a classification model ie, an association model of the positioning information and the image information within the field of view
  • the test set data needs to be input into the association model, and the classification result is output and compared with the already-tested test set data to obtain the accuracy of the model, as a measure of the quality of the model.
  • the accuracy of the model cannot reach a preset threshold, it may be considered to increase the training set data or replace the selected classification model.
  • the intelligent wheelchair location system 100 can build the association model in the remote server 110 such that when other users request location information, only at least one real-time image information needs to be sent to the remote server 110, which can The real-time image information is input into the association model to obtain an output result, that is, the positioning information; and then the positioning information is fed back to the positioning requester.
  • the intelligent wheelchair positioning system 100 can continuously acquire new positioning information and image information in the positioning field of view, and add the information to the training set, continuously update and improve the association model, and improve the accuracy of the positioning information. And timeliness.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种智能轮椅的定位方法，该方法可以包括：获取多个历史信息，所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息；基于所述多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库；实时获取智能轮椅视野内的至少一个实时图像信息；以及通过所述关联数据库，匹配得到所述至少一个实时图像信息所对应的定位信息，作为所述智能轮椅的定位信息；该方法还可以包括将所述关联数据库发送至远程服务器，实现数据的共享与交互。

Description

一种通过照片实现智能轮椅的定位方法 技术领域
本申请涉及一种定位方法，尤其是涉及一种智能轮椅的室内定位方法。
背景技术
随着社会的发展和人类文明程度的提高，人们特别是残障人愈来愈需要运用现代高新技术来改善他们的生活质量和生活自由度。智能轮椅作为老年人和残障人的代步工具，给老年人和残障人的生活提供了极大的便利。智能轮椅要想成为一种便利的代步工具，进行自主运动，必须要准确地知道自身在工作环境中的位置和工作环境的信息，这就是智能轮椅的自身定位问题。
目前，智能轮椅的定位方法包括视觉定位、声音定位、激光雷达定位、超声波定位等方法，这些方法的定位精度仍然达不到很高的要求，对复杂环境的适应性差，且基于数据匹配的地图的准确性和时效性难以保证。因此，为了克服上述问题，需要提供一种可靠、准确的定位方法，并且可以为智能轮椅的准确室内导航奠定基础。
发明内容
本披露的一些实施例涉及一种智能轮椅的定位方法，用于实现智能轮椅的室内定位。所述方法可以包括以下操作中的一个或多个。获取多个历史信息，所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息；基于所述多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库；获取智能轮椅视野内的至少一个实时图像信息；以及通过所述关联数据库，匹配得到所述至少一个实时图像信息所对应的定位信息，作为所述智能轮椅的定位信息。
在一些实施中，所述基于所述多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库包括：在所述多个历史信息中，将每组所述定位信息与所述一个或多个图像信息相关联，得到多组相关联的数据；以及保存所述多组相关联的数据得到关联数据库。
在一些实施中，所述获取智能轮椅视野内的至少一个实时图像信息包括：通过安装在所示智能轮椅上的一个或多个摄像头获取各个角度的图像信息。
在一些实施中，所述通过所述关联数据库，匹配得到所述至少一个实时图像信息所对应的定位信息，包括：基于图像匹配算法，计算所述至少一个实时图像信息与所述关联数据 库中的图像信息的匹配度；以及选择匹配度最高的图像信息所对应的定位信息作为所述智能轮椅的定位信息。
在一些实施中，所述图像匹配算法包括基于灰度的图像匹配算法和基于特征的图像匹配算法。
在一些实施中，所述方法进一步包括：智能轮椅将所述获取的智能轮椅视野内的至少一个实时图像信息发送至远程服务器；远程服务器基于所述关联数据库，通过所述至少一个实时图像信息与所述关联数据库中图像信息的匹配度，得到所述至少一个实时图像信息所对应的定位信息；以及智能轮椅接收远程服务器发送的定位信息，并将所述定位信息作为智能轮椅的定位信息。
在一些实施中，所述方法进一步包括：获取用户的语音指令信息；以及将语音指令信息和所述至少一个实时图像信息结合，发送给所述远程服务器。
在一些实施中，所述语音指令信息至少包括定位请求、导航请求、速度控制、行驶方向控制、启停控制、座位调整、新闻播报和天气播报。
在一些实施中，所述方法进一步包括：接收用户语音请求的导航指令；将所述导航指令发送至所述远程服务器，所述远程服务器可以基于所述导航指令，自动生成导航路径规划；从所述远程服务器接收所述导航路径规划；以及将导航路径规划展示给用户。
在一些实施中，所述将导航路径规划展示给用户包括：实时语音播报导航路径；以及通过安装在智能轮椅上的显示屏实时显示导航路径。
在一些实施中，所述方法进一步包括：采用机器学习的方法，将所述多个历史信息作为训练样本，训练得到关联模型；将所述获取的智能轮椅的至少一个实时图像信息输入到关联模型中；获取关联模型输出的定位信息；以及将所述关联模型输出的定位信息作为智能轮椅的定位信息。
在一些实施中，所述方法进一步包括：将所述关联模型发送至所述远程服务器，实现数据的共享与交互。
在一些实施中，所述方法进一步包括：定期更新与维护所述关联数据库和关联模型，提高数据的准确性。
本披露的一些实施例涉及由存储器和至少一个处理器实现的一种智能轮椅定位***。所述***可以用于智能轮椅的定位。所述***可以包括第一采集模块、处理模块、第二采集模块和判断模块。所述第一采集模块可以获取多个历史信息，所述历史信息包括经过路径的 定位信息及所在路径视野内的一个或多个图像信息；所述处理模块可以基于所述多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库；所述第二采集模块可以获取智能轮椅视野内的至少一个实时图像信息；所述判断模块可以通过所述关联数据库，匹配得到所述至少一个实时图像信息所对应的定位信息，作为所述智能轮椅的定位信息。
本披露的一些实施例涉及一种智能轮椅定位装置，包括存储指令的存储器以及至少一个处理器。所述装置可以实现智能轮椅的定位。当所述至少一个处理器执行所述指令时，所述至少一个处理器可以执行以下操作中的一个或多个。获取多个历史信息，所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息；基于所述多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库；获取智能轮椅视野内的至少一个实时图像信息；以及通过所述关联数据库，匹配得到所述至少一个实时图像信息所对应的定位信息，作为所述智能轮椅的定位信息。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的检查或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是显而易见的。本披露的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和取得。
附图说明
下面通过示例性实施例对本披露作进一步说明。参考附图来详细描述这些示例性实施例。这些实施例是非限制性的示例性实施例，在这些实施例中，类似的参考数字表示类似的结构，并且其中：
图1是根据本发明提供的一种智能轮椅定位***的示意图；
图2是根据本发明提供的一种智能轮椅的模块示意图；
图3是根据本发明提供的一种智能轮椅定位方法的流程图；
图4是根据本发明提供的一种请求导航方法的流程图；以及
图5是根据本发明提供的一种基于机器学习构建关联模型的方法的流程图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结 构或操作。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行于处理装置中。这些模块仅是说明性的，并且该***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本发明提供的一种智能轮椅定位***的示意图。智能轮椅定位***100可以包括一个远程服务器110、一个网络120和一个或多个智能轮椅设备130(例如，智能轮椅设备1、智能轮椅设备2……智能轮椅设备N)。远程服务器110和智能轮椅设备130可以通过网络120连接或通信。
远程服务器110是一个接收远程发送数据的设备，并且可以对数据进行处理，并反馈处理结果。远程服务器110可以接收智能轮椅设备130的数据，并基于该数据，获得智能轮椅设备130的相关信息。进一步地，远程服务器110还可以将相关信息反馈给智能轮椅设备130。例如，远程服务器110可以获取智能轮椅设备130发送来的视野内实时图像信息，并基于该实时图像信息，判断出智能轮椅130的定位信息，然后将该定位信息反馈给智能轮椅设备130。在一些实施例中，远程服务器110可以获取智能轮椅设备130的导航请求，并基于该导航请求信息，确定导航路径的规划，然后将该导航路径规划信息反馈给智能轮椅设备130。
网络120可以是任何连接两个或多个设备的连接方式。例如，网络120可以是有线网络或者无线网络。在一些实施例中，网络120可以是单一网络，也可以是多种网络的组合。例如，所述网络120可以包括局域网、广域网、公用网络、专用网络、无线局域网、虚拟网络、公用电话网络、内联网、Zigbee网络、近场通信网络、光纤网络、因特网等中的一种或几种的组合。智能轮椅定位***100中的各模块或单元可以通过连接网络120，实现信息的 交互。例如，在智能轮椅定位***100中，远程服务器110可以通过网络120同时接收一个或多个智能轮椅设备130发来的数据，并对所有数据进行并行处理。
智能轮椅设备130是具有视觉和语音导航功能并能与人进行交互的机器人轮椅。例如，在智能轮椅设备130的一些特定部位(例如，轮椅的前端和后端，以及车轮两侧)安装有***头，便于捕捉智能轮椅设备130所处环境中的视觉图像信息(即照片)。在一些实施例中，智能轮椅设备130上安装有多个***头，该多个***头可以在智能轮椅的运动环境中实时获取多个视野内的图像信息/照片。在一些实施例中，该多个***头可以转动一定角度，以获取更大视野范围内的图像信息。在一些实施例中，智能轮椅设备130可以采集用户的语音信息。在一些实施例中，智能轮椅设备130还装有智能处理设备，能够对采集到的图像信息或语音信息进行简单的处理，并反馈处理结果或做出进一步处理的判断。例如，智能轮椅设备130可以接收用户的语音控制指令，并对语音控制指令进行分析，反馈处理结果，并控制智能轮椅的动力***执行该语音控制指令。再例如，智能轮椅设备130可以将接收的用户的语音导航请求发送至远程服务器110，并根据远程服务器反馈回来的导航路径规划，控制智能轮椅的动力***执行该导航路径规划。在一些实施例中，多个智能轮椅设备130(例如，智能轮椅设备1、智能轮椅设备2……智能轮椅设备N)可以同时通过网络120对远程服务器110发送数据，并请求反馈。多个智能轮椅设备130之间不会产生数据干扰问题。
以上的描述仅仅是本发明的具体实施例，不应被视为是唯一的实施例。显然，对于本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变。例如，远程服务器110可以直接和智能轮椅设备130之间进行通信，而不需要通过网络120；该智能轮椅定位***100可以进一步包括一个数据库。这些修正和改变仍在本发明的权利要求保护范围之内。
图2是根据本发明提供的一种智能轮椅的模块示意图。智能轮椅设备130可以包括采集模块210、处理模块220、判断模块230和通信模块240。***内各模块之间的连接可以是有线的，无线的，或两者的结合。任何一个模块都可以是本地的，远程的，或两者的结合。模块间的对应关系可以是一对一的，或一对多的。
采集模块210可以采集数据信息。所述采集模块210可以包括第一采集模块和第二采集模块。在一些实施例中，所述数据信息可以包括安装在智能轮椅设备上的传感器获取的信息和用户输入的信息。在一些实施例中，采集模块210的第二采集模块可以通过安装在智能 轮椅设备130上的传感器获取智能轮椅的相关数据信息。例如，采集模块210的第二采集模块可以通过安装在智能轮椅设备130上的速度传感器获取智能轮椅的运动速度数据；通过温度传感器获取环境中的温度数据；通过安装在坐垫底下的压力传感器获取压力数据，从而计算出坐在轮椅上的用户的体重数据；通过安装在智能轮椅设备130上的摄像头获取智能轮椅的视野范围的视觉图像数据；等。在一些实施例中，用户的输入信息可以包括语音输入和手动输入。例如，采集模块210的第二采集模块可以通过语音输入设备获取用户输入的语音信息；采集模块210的第二采集模块可以通过用户界面获取用户手动输入的信息。在一些实施例中，采集模块210第二采集模块可以将采集到的数据信息发送到处理模块220中，进行进一步的数据处理。
在一些实施例中，采集模块210的第一采集模块可以基于已知定位信息，获取智能轮椅所在该定位位置的视野范围内的一个或多个图像信息，并将该一个或多个图像信息和已知定位信息作为历史信息进行存储起来。所述已知定位信息可以是***已经判断过的，或者是用户输入的定位信息。在获取多个历史信息后，采集模块210的第一采集模块可以将该多个历史信息发送给处理模块220，进行下一步处理。
处理模块220可以是一个数据分析处理的控制核心模块。处理模块220可以对采集模块210所采集到的数据信息进行处理。例如，处理模块220可以对数据信号进行分析、筛选、分类、过滤、去噪等操作。在一些实施例中，处理模块220可以对采集到的所有数据进行分析，并检测其中的异常数据(例如，速度数据大于速度阈值，电路温度数据高于温度阈值等)。在一些实施例中，处理模块220可以将数据信息显示在用户操作界面上。在一些实施例中，处理模块220可以包括一个或多个相互连接的处理单元。其中，所述一个或多个处理单元，可以与本***中一部分或全部模块或设备进行通信或连接。
在一些实施例中，处理模块220可以对多个历史信息进行处理，将将每组已知定位信息与所述一个或多个图像信息相关联，得到多组相关联的数据；以及保存所述多组相关联的数据得到关联数据库。在一些实施例中，处理模块220可以对用户输入的信息进行处理。例如，对用户输入的语音信息进行去噪等处理，并分析语音数据信息，得到相应的控制指令信息。又例如，处理模块220可以对用户语音输入的导航请求信息进行分析，并将得到的导航请求指令信息通过通信模块240发送至远程服务器110进行下一步处理。
在一些实施例中，处理模块220可以接收采集模块210所获取的智能轮椅视野范围内的至少一个实时图像信息，并将该图像信息进行预处理(去噪等操作)，然后发送给判断模 块230，进行进一步处理。
判断模块230可以对数据、信息或处理结果进行判断。在一些实施例中，判断模块230可以接收由采集模块210获得的，和/或经处理模块220处理后的数据，并基于此数据进行判断，得到判断结果。例如，判断模块对采集模块210获取的电路运行温度数据与安全运行温度数据进行对比，判断温度是否在安全范围内；又例如，判断模块230可以获取采集模块210获得的，经过处理模块220处理后的语音数据，并对其进行分析判断，得到语音数据所对应的控制指令信息。
在一些实施例中，判断模块230可以接收由采集模块210获得的，经处理模块220处理后的智能轮椅的实时图像信息。判断模块230可以进一步将该实时图像信息和关联数据库中的图像信息进行比对，并匹配生成相应的判断结果。在匹配结果中，选择匹配度最高图像信息所对应的定位信息作为所述智能轮椅的定位信息。
通信模块240可以将智能轮椅设备130的数据发送出去，也可以接收外界发送给智能轮椅设备130的数据。例如，通信模块240可以将判断模块得到的导航请求信息，经过网络120发送至远程服务器110；也可以接收由远程服务器110经由网络120发送回来的反馈信息。在一些实施例中，通信模块240可以将判断模块230的判断结果展示给用户。例如，通信模块240可以将定位信息通过实时语音播报给用户，或者通过安装在智能轮椅上的显示屏实时显示定位信息。
在一些实施例中，通信模块240可以将关联数据库发送到远程服务器110中，实现数据共享。当有其他用户将自身视野内的实时图像信息发送到远程服务器110时，可以请求自身定位信息。远程服务器110在接收到用户的定位请求后，可以根据用户发来的实时图像信息，在关联数据中进行图像匹配，得到匹配度最高的图像，并将所对应的定位信息下发给该用户。
以上的描述仅仅是本发明的具体实施例，不应被视为是唯一的实施例。显然，对于本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变。例如，可以将判断模块230和通信模块240合并，合并后的模块同时具备判断和通信的功能；该智能轮椅设备130可以进一步包括一个存储模块，和/或显示模块。这些修正和改变仍在本发明的权利要求保护范围之内。
图3是根据本发明提供的一种智能轮椅定位方法的流程图。
在步骤310中，智能轮椅设备130可以获取多个历史信息。所述历史信息包括经过路 径的已知定位信息及所在路径视野内的一个或多个图像信息。所述已知定位信息可以是***已经判断过的，或者是用户输入的定位信息。在一些实施例中，智能轮椅设备130可以通过安装在智能轮椅上的一个或多个摄像头获取各个角度的图像信息，并与已知定位信息相关联。在一些实施例中，所述历史信息可以是实时更新的。例如，当有新增定位信息出现时，可以获取新增定位位置处的视野内的一个或多个图像信息，并与新增定位信息相关联。又例如，当已知的定位信息的定位位置处的视野内的环境发生较大变化时(例如路径上的障碍物的移除以及新增新的建筑物等)，实时更新该定位位置处的视野内的一个或多个图像信息，并与该定位信息相关联。
在步骤320中，智能轮椅设备130基于多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库。在一些实施中，智能轮椅设备130在多个历史信息中，可以将每组定位信息与一个或多个图像信息相关联，得到多组相关联的数据；以及保存所述多组相关联的数据得到关联数据库。在构建关联数据库时，历史信息的数量越多，所构造的关联数据库的覆盖率和准确性越高。在一些实施例中，定位信息可以与一个或多个图像信息相对应，即一个定位信息可以与至少一个图像信息相关联；但是一个图像信息最多与一个定位信息相关联，否则容易造成定位混乱和重复现象的出现。例如，某个定位位置为XX商店东门口，那么有XX商店东门口出现的图片信息都与该定位信息相关联；反之，某张图片信息中出现了XX商店东门口，那么其对应的定位信息只能是XX商店东门口这个位置。
在步骤330中，智能轮椅设备130实时获取视野内的至少一个实时图像信息。例如，智能轮椅设备130可以通过安装在所示智能轮椅上的一个或多个摄像头获取各个角度的图像信息。在一些实施例中，智能轮椅设备130可以根据一个或多个相关传感器获取各个角度的图像信息。例如，在夜晚天黑的时候，摄像头不能捕获清晰的图像信息，此时，可以通过红外传感器或者红外摄影的方式，来获取夜晚或者视线较差时的视野内的图像信息。在一些实施例中，由于一些外在因素(摄像头设备原因、拍摄时的抖动、视野内光线的干扰等)导致图像质量较差，此时需要对质量较差的图像信息进行去噪、校正、分割、缩放等预处理，以提高图片的质量和后续的图片的匹配准确率。
在步骤340中，智能轮椅设备130基于关联数据库，匹配得到智能轮椅的定位信息。在关联数据库中，基于图片匹配算法，计算智能轮椅的实时图像信息与关联数据库中的图像信息的匹配度；然后筛选出匹配度最高的图像信息，将该匹配度最高的图像信息所对应的定位信息作为智能轮椅的实时定位信息。
在一些实施例中，所述图像匹配算法包括基于灰度的图像匹配算法和基于特征的图像匹配算法。其中，灰度匹配的基本思想是以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数，评价它们的相似性以确定同名点。灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。最经典的灰度匹配法是归一化的灰度匹配法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。
而特征匹配是指通过分别提取两个或多个图像的特征(点、线、面等特征)，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。特征匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。常用的特征提取与匹配方法有：统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。
在一些实施例中，可以设定一个匹配度阈值T，当智能轮椅的实时图像信息与关联数据库中的图像信息的匹配度大于T时，才可以确定所得到的定位信息是可靠的。当所有匹配结果的匹配度都小于阈值T时，***会反馈给用户匹配失败的信息，并请求用户再次获取视野内的图像信息，并进行再次匹配。如此反复多次后，如果一直匹配失败，则***判断该定位位置为新的位置信息。并且在之后确定了该新定位位置的信息后，将该新定位信息和其相关联的视野内的一个或多个图像信息作为一组关联数据，并保存到关联数据库中。
进一步地，一种智能轮椅定位方法的流程还可以包括步骤350，智能轮椅设备130可以将关联数据库发送至远程服务器110，以实现数据共享。在一些实施例中，远程服务器110可以接收多个智能轮椅设备130(例如，智能轮椅设备1、智能轮椅设备2……智能轮椅设备N)的关联数据库，并将所有关联数据库进行整合，得到一个更为完善的关联数据库。并且还可以不断的接收来自新的智能轮椅设备的新的关联数据库，对整合后的关联数据库进行不断的更新和维护。在一些实施例中，智能轮椅在获取视野内的实时图像信息后，可以直接通过网络120上传至远程服务器110，并且用户同时可以请求自身的定位信息。远程服务器110在 接收到用户的定位请求后，可以根据接收到的实时图像信息，在关联数据中进行图像匹配，得到匹配度最高的图像，并将所对应的定位信息下发给该用户。
需要注意的是，以上的描述仅仅是本发明的具体实施例，不应被视为是唯一的实施例。显然，对于本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变。例如，可以将其他操作添加到上述步骤中，或从这些步骤移除某一步或数步操作；可以添加一步存储步骤，用于存储各个步骤中的数据。又例如，可以将步骤310和320合并，直接基于多个历史信息建立关联数据库。这些修正和改变仍在本发明的权利要求保护范围之内。
图4是根据本发明提供的一种请求导航方法的流程图。在一些实施例中，智能轮椅设备130可以获取用户的语音指令信息。所述语音指令信息包括但不仅限于定位请求、导航请求、速度控制、行驶方向控制、启停控制、座位调整、新闻播报和天气播报等。在一些实施例中，智能轮椅设备130可以将语音指令信息和实时图像信息结合，发送至远程服务器。例如，智能轮椅设备130在将实时图像信息发送至远程服务器110时，可以同时发送语音定位请求指令，远程服务器110在接收到语音定位请求指令时，根据接收到的实时图像信息，确定请求者的定位信息，并下发给请求者。在一些实施例中，智能轮椅设备130还可以在将实时图像信息发送至远程服务器110时，发送语音导航请求指令给远程服务器110。以下将以语音导航请求作为实施例来说明，但不仅限于此，以下的描述仅仅是本发明的具体实施例，不应被视为是唯一的实施例。
在步骤410中，智能轮椅设备130可以获取用于语音请求的导航指令。例如，智能轮椅设备130可以通过安装在自身上的语音采集装置来获取用户发出的语音请求的导航指令。在一些实施例中，智能轮椅设备130上安装有语音接收开关装置，当用户想要输入语音指令时，可以手动打开该开关，然后语音采集装置才会开始工作；当该开关关闭时，语音采集装置一直保持关机的状态。这样可以避免语音采集装置的长时间运行状态，对电路产生负担；另一方面还可以消除外界噪音的干扰，当处在外界嘈杂声音的环境中，可以选择暂时关闭语音采集装置。在一些实施例中，智能轮椅设备130可以将采集到的语音请求的导航指令进行降噪，过滤等预处理，提高音频质量和识别准确率。
在步骤420中，智能轮椅设备130可以将步骤410中获取的导航请求指令发送至远程服务器。例如，智能轮椅设备130可以通过网络120将导航请求指令发送至远程服务器，并等待请求的反馈结果。在一些实施例中，多个智能轮椅设备130(例如，智能轮椅设备1、智 能轮椅设备2……智能轮椅设备N)可以同时通过网络120向远程服务器110发送导航请求指令，并请求反馈。多个智能轮椅设备130之间不会产生数据干扰问题。
在步骤430中，远程服务器110可以基于导航指令生成导航路径规划。例如，远程服务器110可以对导航指令信息进行分析，确定起点和目的地，并访问地图数据库，选择最优化的导航路径信息，然后反馈给智能轮椅设备130。在一些实施例中，远程服务器110可以生成多条导航路径信息供用户参考，并标记出最优化的导航路径。在一些实施例中，远程服务器110可以接收多个导航请求指令，且可以并行处理所有请求，同时反馈导航结果给所有请求方。
在步骤440中，智能轮椅设备130可以接收远程服务器110反馈回来的导航路径规划信息，并将导航路径规划展示给用户。所述将导航路径规划展示给用户包括实时语音播报导航路径；以及通过安装在智能轮椅上的显示屏实时显示导航路径。用户可以选择导航路径规划的展示方式，或者同时选择两种展示方式。在一些实施例中，用户可以控制智能轮椅的运行方向，当智能轮椅的运行路径偏移了规划的导航路径时，远程服务器110可以通过对智能轮椅设备130的实时定位，规划处新的导航路线，并实时发送给智能轮椅设备130，还可以提示用户如何调整到正确的导航路线上，或者调整到新的导航路线上。
需要注意的是，以上的描述仅仅是本发明的具体实施例，不应被视为是唯一的实施例。显然，对于本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变。例如，可以将其他操作添加到上述步骤中，或从这些步骤移除某一步或数步操作；可以添加一步存储步骤，用于存储各个步骤中的数据。又例如，可以将步骤410和420合并，直接获取并发送用户语音请求的导航指令。这些修正和改变仍在本发明的权利要求保护范围之内。
图5是根据本发明提供的一种基于机器学习构建关联模型的方法的流程图。在一些实施例中，可以构建一个关联模型来替代关联数据库的作用。这样的话，只需将实时图像信息输入到关联模型中，就可以输出一个相应的定位信息。关联模型的应用需要对输入的实时图像信息进行分析和特征提取，然后根据提取的特征信息，计算得到实时定位信息。以下步骤是关于如何构建该关联模型，且仅仅是本发明的具体实施例，不应被视为是唯一的实施例。
在步骤510中，智能轮椅定位***100可以获取多个历史信息。该历史信息和图3的步骤310中所描述的历史信息一致。所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息。在一些实施例中，智能轮椅定位***100可以对多个历史信息中 的数据进行标准化处理，存储为指定格式的数据，便于后续的数据处理。
在步骤520中，智能轮椅定位***100可以基于机器学习，对多个历史信息进行训练。在一些实施例中，智能轮椅定位***100可以将多个历史信息分为两个数据集合，一个作为训练集，一个作为测试集。所述训练集和测试集都是带有标注的数据，即定位信息和定位位置视野内的图像信息都是已知的。所述训练集用于获取数据的特征，并训练学习，得到数据模型；所述测试集用于验证模型的准确率。首先，对训练集中的数据进行特征提取，然后对于提取结果进行处理(例如对连续的特征值进行离散化)增强特征表示。然后选择合适的分类模型，对所有训练集数据进行训练，学习分析数据的规律尝试拟合出这些数据和学习目标间(判断定位信息)的函数，使得定义在训练集上的总体误差尽可能的小。所述分类模型可以包括但不见限于决策树、随机森林、逻辑回归、梯度提升、SVM、BP神经网络、卷积神经网络和贝叶斯网络等。
在步骤530中，智能轮椅定位***100可以通过在步骤520的训练后，输出一个分类模型，即定位信息和视野内的图像信息的关联模型。在一些实施例中，需要将测试集数据输入到所述关联模型中，输出分类结果，并与已经标注过的测试集数据进行比对，得到模型的准确率，作为衡量模型的好坏。当模型的准确率不能达到一个预设阈值时，可以考虑增加训练集数据，或者替换已选择的分类模型。
在一些实施例中，智能轮椅定位***100可以将关联模型构建在远程服务器110中，这样当其他用户请求定位信息时，只需发送至少一张实时图像信息至远程服务器110，远程服务器110可以将实时图像信息输入到关联模型中，得到输出结果，即定位信息；然后将定位信息反馈给定位请求者。在一些实施例中，智能轮椅定位***100可以不断获取新的定位信息和定位视野内的图像信息，并将这些信息添加到训练集中，不断更新和完善关联模型，提高定位信息的判断的准确率和时效性。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正等仍属于本申请示范实施例的思想和范围。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定所主张过程和方法的顺序。尽管上述披露中通过各种实例讨论了一些目前认为有用的本披露实施例，但应当理解的是，此类细节仅起到说明的目 的，附加的权利要求并不仅限于公开的实施例，相反，权利要求旨在覆盖所有符合所公开实施例实质和范围的修正和等价组合。
类似地，应当注意的是，为了简化本披露以帮助对一个或多个各种发明实施例的理解，前文对本披露实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，这种公开方法并不意味着要求保护的目标所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述公开的单个实施例的全部特征。

Claims (20)

  1. 一种智能轮椅的定位方法，包括：
    获取多个历史信息，所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息；
    基于所述多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库；
    获取智能轮椅视野内的至少一个实时图像信息；以及
    通过所述关联数据库，匹配得到所述至少一个实时图像信息所对应的定位信息，作为所述智能轮椅的定位信息。
  2. 根据权利要求1所述的智能轮椅的定位方法，其特征在于，所述基于所述多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库包括：
    在所述多个历史信息中，将每组所述定位信息与所述一个或多个图像信息相关联，得到多组相关联的数据；以及
    保存所述多组相关联的数据得到关联数据库。
  3. 根据权利要求1所述的智能轮椅的定位方法，其特征在于，所述获取智能轮椅视野内的至少一个实时图像信息包括：
    通过安装在所示智能轮椅上的一个或多个摄像头获取各个角度的图像信息。
  4. 根据权利要求1所述的智能轮椅的定位方法，其特征在于，所述通过所述关联数据库，匹配得到所述至少一个实时图像信息所对应的定位信息，包括：
    基于图像匹配算法，计算所述至少一个实时图像信息与所述关联数据库中的图像信息的匹配度；以及
    选择匹配度最高的图像信息所对应的定位信息作为所述智能轮椅的定位信息。
  5. 根据权利要求4所述的智能轮椅的定位方法，其特征在于，所述图像匹配算法包括基于灰度的图像匹配算法和基于特征的图像匹配算法。
  6. 根据权利要求1所述的智能轮椅的定位方法，其特征在于，所述方法进一步包括：
    通过安装在所述智能轮椅上的无线通信设备将所述关联数据库发送至远程服务器。
  7. 根据权利要求6所述的智能轮椅的定位方法，其特征在于，所述方法进一步包括：
    智能轮椅将所述获取的智能轮椅视野内的至少一个实时图像信息发送至远程服务器；
    远程服务器基于所述关联数据库，通过所述至少一个实时图像信息与所述关联数据库中图像信息的匹配度，得到所述至少一个实时图像信息所对应的定位信息；以及
    智能轮椅接收远程服务器发送的定位信息，并将所述定位信息作为智能轮椅的定位信息。
  8. 根据权利要求7所述的智能轮椅的定位方法，其特征在于，所述方法进一步包括：
    获取用户的语音指令信息；以及
    将语音指令信息和所述至少一个实时图像信息结合，发送给所述远程服务器。
  9. 根据权利要求8所述的智能轮椅的定位方法，其特征在于，所述语音指令信息至少包括定位请求、导航请求、速度控制、行驶方向控制、启停控制、座位调整、新闻播报和天气播报。
  10. 根据权利要求8所述的智能轮椅室内定位方法，其特征在于，所述方法进一步包括：
    接收用户语音请求的导航指令；
    将所述导航指令发送至所述远程服务器，所述远程服务器可以基于所述导航指令，自动生成导航路径规划；
    从所述远程服务器接收所述导航路径规划；以及
    将导航路径规划展示给用户。
  11. 根据权利要求10所述的智能轮椅室内定位方法，其特征在于，所述将导航路径规划展示给用户包括：
    实时语音播报导航路径；以及
    通过安装在智能轮椅上的显示屏实时显示导航路径。
  12. 根据权利要求1所述的智能轮椅的定位方法，其特征在于，所述方法进一步包括：
    采用机器学习的方法，将所述多个历史信息作为训练样本，训练得到关联模型；
    将所述获取的智能轮椅的至少一个实时图像信息输入到关联模型中；
    获取关联模型输出的定位信息；以及
    将所述关联模型输出的定位信息作为智能轮椅的定位信息。
  13. 根据权利要求12所述的智能轮椅室内定位方法，其特征在于，所述方法进一步包 括：
    将所述关联模型发送至所述远程服务器，实现数据的共享与交互。
  14. 根据权利要求1所述的智能轮椅的定位方法，其特征在于，所述方法进一步包括：
    定期更新与维护所述关联数据库和关联模型，提高数据的准确性。
  15. 一种智能轮椅的定位***，包括：
    第一采集模块，被配置为获取多个历史信息，所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息；
    处理模块，被配置为基于所述多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库；
    第二采集模块，被配置为获取智能轮椅视野内的至少一个实时图像信息；以及
    判断模块，被配置为通过所述关联数据库，匹配得到所述至少一个实时图像信息所对应的定位信息，作为所述智能轮椅的定位信息。
  16. 根据权利要求15所述的智能轮椅的定位***，其特征在于，所述判断模块进一步被配置为：
    基于图像匹配算法，计算所述至少一个实时图像信息与所述关联数据库中的图像信息的匹配度；以及
    选择匹配度最高的图像信息所对应的定位信息作为所述智能轮椅的定位信息。
  17. 根据权利要求15所述的智能轮椅的定位***，其特征在于，所述处理模块进一步被配置为：
    接收所述第一采集模块所获取的多个历史信息；
    基于机器学习，对多个历史信息进行训练；以及
    输出关联模型。
  18. 根据权利要求17所述的智能轮椅室内定位***，其特征在于，所述关联模型可以被发送至所述远程服务器，实现数据的共享与交互。
  19. 根据权利要求15所述的智能轮椅的定位***，其特征在于，所述***进一步包括更新模块，所述更新模块被配置为定期更新与维护所述关联数据库和关联模型，提高数据的准确性。
  20. 一种智能轮椅的定位装置，包括：
    存储指令的存储器；
    至少一个处理器，执行所述指令以执行操作，所述操作包括：
    获取多个历史信息，所述历史信息包括经过路径的定位信息及所在路径视野内的一个或多个图像信息；
    基于所述多个历史信息，建立所述定位信息与所述一个或多个图像信息之间的关联数据库；
    获取智能轮椅视野内的至少一个实时图像信息；以及
    通过所述关联数据库，匹配得到所述至少一个实时图像信息所对应的定位信息，作为所述智能轮椅的定位信息。
PCT/CN2017/119534 2017-12-28 2017-12-28 一种通过照片实现智能轮椅的定位方法 WO2019127257A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2017/119534 WO2019127257A1 (zh) 2017-12-28 2017-12-28 一种通过照片实现智能轮椅的定位方法
CN201780098035.5A CN111527378B (zh) 2017-12-28 2017-12-28 一种通过照片实现智能轮椅的定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/119534 WO2019127257A1 (zh) 2017-12-28 2017-12-28 一种通过照片实现智能轮椅的定位方法

Publications (1)

Publication Number Publication Date
WO2019127257A1 true WO2019127257A1 (zh) 2019-07-04

Family

ID=67062850

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/119534 WO2019127257A1 (zh) 2017-12-28 2017-12-28 一种通过照片实现智能轮椅的定位方法

Country Status (2)

Country Link
CN (1) CN111527378B (zh)
WO (1) WO2019127257A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004321722A (ja) * 2003-04-22 2004-11-18 Mizukoshi Keiki Kk 電動車椅子
CN102188311A (zh) * 2010-12-09 2011-09-21 南昌大学 一种嵌入式智能轮椅视觉导航控制***及方法
CN105681747A (zh) * 2015-12-10 2016-06-15 北京理工大学 一种远程呈现交互操作轮椅
CN105953801A (zh) * 2016-07-18 2016-09-21 乐视控股（北京）有限公司 室内导航方法及装置
CN106291517A (zh) * 2016-08-12 2017-01-04 苏州大学 基于位置与视觉信息优化的室内云机器人角度定位方法
CN106643738A (zh) * 2017-02-17 2017-05-10 深圳大学 一种室内定位***与方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122073A1 (en) * 2001-03-02 2002-09-05 Abrams David Hardin Visual navigation history
CN105241445B (zh) * 2015-10-20 2018-07-31 深圳大学 一种基于智能移动终端的室内导航数据获取方法及***
CN107036609A (zh) * 2016-10-18 2017-08-11 中建八局第建设有限公司 基于bim的虚拟现实导航方法、服务器、终端及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004321722A (ja) * 2003-04-22 2004-11-18 Mizukoshi Keiki Kk 電動車椅子
CN102188311A (zh) * 2010-12-09 2011-09-21 南昌大学 一种嵌入式智能轮椅视觉导航控制***及方法
CN105681747A (zh) * 2015-12-10 2016-06-15 北京理工大学 一种远程呈现交互操作轮椅
CN105953801A (zh) * 2016-07-18 2016-09-21 乐视控股（北京）有限公司 室内导航方法及装置
CN106291517A (zh) * 2016-08-12 2017-01-04 苏州大学 基于位置与视觉信息优化的室内云机器人角度定位方法
CN106643738A (zh) * 2017-02-17 2017-05-10 深圳大学 一种室内定位***与方法

Also Published As

Publication number Publication date
CN111527378B (zh) 2024-03-19
CN111527378A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
JP7190842B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
CN107025662B (zh) 一种实现增强现实的方法、服务器、终端及***
US20210042530A1 (en) Artificial-intelligence powered ground truth generation for object detection and tracking on image sequences
US9378421B2 (en) System and method for seat occupancy detection from ceiling mounted camera using robust adaptive threshold criteria
US11875569B2 (en) Smart video surveillance system using a neural network engine
US11907341B2 (en) Diagnostic assistance system and method therefor
WO2020000697A1 (zh) 行为识别方法、装置、计算机设备及存储介质
CN110598590A (zh) 基于多视角相机的紧密交互人体姿态估计方法及装置
CN110188690B (zh) 一种基于无人机的智能视觉分析***、智能视觉分析***及方法
WO2019196476A1 (zh) 基于激光传感器生成地图
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN113158833B (zh) 一种基于人体姿态的无人车控制指挥方法
CN107486863A (zh) 一种基于感知的机器人主动交互方法
WO2022247045A1 (zh) 一种基于激光雷达信息的移动机器人位置重识别方法
CN112767546B (zh) 移动机器人基于双目图像的视觉地图生成方法
US11644330B2 (en) Setting destinations in vehicle navigation systems based on image metadata from portable electronic devices and from captured images using zero click navigation
CN110119768A (zh) 用于车辆定位的视觉信息融合***及方法
CN109993108A (zh) 一种增强现实环境下的手势纠错方法、***及装置
CN113950020A (zh) 用于自主车辆的车辆共乘定位和乘客识别
WO2019127257A1 (zh) 一种通过照片实现智能轮椅的定位方法
JP7097207B2 (ja) 建造物管理システム、学習装置、位置判定装置、及び位置判定方法
US20220405507A1 (en) Smart glasses for property evaluation using ai and ml
JP2022179490A (ja) 運転評価モデル適合装置、端末装置、制御方法、プログラム及び記憶媒体
US20240153120A1 (en) Method to determine the depth from images by self-adaptive learning of a neural network and system thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936075

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17936075

Country of ref document: EP

Kind code of ref document: A1