Systems and methods for robot fleet management

Abstract

One embodiment includes a robot fleet management system including at least one robot configured to perform a task, at least one guiding station configured to correct errors in the at least one robot's movement, a map server including a set of one or more processors, and a memory containing a scheduling application that configures the set of processors to manage the robot fleet by splitting an operating environment into a plurality of submaps, determining a number of robots in the operating environment, determining optimal paths to at least one waypoint in each of the plurality of submaps, determining one or more submaps to be allocated to each robot in the operating environment based on the optimal paths and locations of the guiding stations, allocating the determined one or more submaps to each robot in the operating environment, transmitting coordinates of the waypoints in the allocated submaps to each robot.

Description

Systems and Methods for Robot Fleet ManagementFIELD OF THE INVENTION

[0001] The present invention generally relates to artificial intelligence and control systems and, more specifically, the control and management of the operation of robot fleets.BACKGROUND

[0002] An autonomous control system refers to a system capable of making decisions and performing actions without direct human intervention. These systems rely on sensors, actuators, and algorithms to perceive their environment, process information, and execute appropriate actions to achieve their objectives. Autonomous control systems are often associated with robotics, drones, self-driving cars, and various other autonomous vehicles. They typically involve complex algorithms for navigation, obstacle avoidance, decision-making, and sometimes machine learning to improve their performance over time. These systems are designed to operate safely and efficiently in dynamic and uncertain environments, often requiring a combination of advanced sensors such as cameras, lidar, radar, and GPS, as well as sophisticated software to interpret sensor data and make decisions in real-time.

[0003] Autonomous systems play a pivotal role in modern robotics by enabling robots to operate independently and adapt to changing environments without constant human oversight. These systems empower robots to perform a wide range of tasks, from manufacturing and logistics to search and rescue missions, exploration, and even household chores. By integrating sensors, such as cameras, lidar, and proximity sensors, with powerful computing systems and sophisticated algorithms, autonomous robots can perceive their surroundings, make decisions, and execute actions with precision and efficiency.

[0004] Using robots in place of human labor has become increasingly common across various industries due to the numerous benefits they offer. Robots can perform repetitive, tedious, or physically demanding tasks with greater speed, accuracy, and consistency than humans. This substitution of labor with robots can lead to increased productivity, as  robots can work around the clock without the need for breaks or rest, thereby optimizing production processes and reducing cycle times. Employing robots can enhance workplace safety by automating tasks that are hazardous or prone to accidents, thereby reducing the risk of injuries to human workers. In industries such as manufacturing, robots can handle tasks involving heavy lifting, exposure to extreme temperatures, or hazardous materials, minimizing the potential for workplace accidents and improving overall occupational health and safety standards.SUMMARY OF INVENTION

[0005] Systems and methods for managing a fleet of robots to perform tasks in accordance with embodiments of the invention are illustrated. One embodiment includes a robot fleet management system. The system includes at least one robot configured to perform a task, and at least one guiding station configured to correct errors in the at least one robot’s movement. The system further includes and a map server, where the map server includes a set of one or more processors, and a memory containing a scheduling application that configures the set of processors to manage the robot fleet by splitting an operating environment into a plurality of submaps, and determining a number of robots in the operating environment. The scheduling application further configures the set of processors to manage the robot fleet by determining optimal paths to at least one waypoint in each of the plurality of submaps, determining one or more submaps to be allocated to each robot in the operating environment based on the optimal paths and locations of the guiding stations, allocating the determined one or more submaps to each robot in the operating environment, and transmitting coordinates of the waypoints in the allocated submaps to each robot.

[0006] In a further embodiment, allocating the determined one or more submaps comprises allocating a specific sequence of submaps for each of the one or more robots to work in.

[0007] In still another embodiment, allocating the determined one or more submaps comprises allocating submaps in a manner resembling a snake path allowing humans to work alongside the one or more robots without risking collision.

[0008] In a still further embodiment, the at least one guiding station utilize line-of-sight to track the movement of the robots.

[0009] In yet another embodiment, determining one or more submaps to be allocated to each robot in the operating environment is based on an availability of at least one guiding station in a submap and whether the guiding station is able to maintain a line of sight with the entirety of a submap.

[0010] In a yet further embodiment, the operating environment is uploaded as a computer aided design (CAD) map.

[0011] In another additional embodiment, the CAD map further comprises designated waypoints indicating the locations where the robots are to perform tasks.

[0012] In a further additional embodiment, the waypoints comprise additional data about a particular task to be performed at a given location.

[0013] In another embodiment again, the allocated submaps are delineated by a high-cost boundary such that individual robots that are not allocated with these submaps avoid these boundaries to minimize the risk of collisions.

[0014] In a further embodiment again, the guiding stations measure a current position of the robot and calculate an error between the current position of the robot and a designated position where the robot is supposed to occupy.

[0015] In still yet another embodiment, the system further includes directing the robot toward the designated position again when the error is greater than a threshold, and measuring the error again.

[0016] In a still yet further embodiment, the system further includes generating reports for each task that was completed.

[0017] In still another additional embodiment, the system further includes providing a user interface where users monitor a progress of tasks.

[0018] In a still further additional embodiment, splitting an operating environment into a plurality of submaps comprises allocating portions of a map of the operating environment among at least one worker servers to split.

[0019] In still another embodiment again, each robot further includes a camera beacon, the camera beacon includes a horizontal rotating motor and encoder module, a beacon recognition camera, and a robot beacon.

[0020] In a still further embodiment again, the camera beacon calibrates its positioning based on a distance between the robot and a guiding station and a yaw value.

[0021] In yet another additional embodiment, the system further includes validating the robot’s task, wherein the robot captures a picture of the task performed, wherein the picture is evaluated by a convolutional neural network based optical character recognition (OCR) system.

[0022] In a yet further additional embodiment, OCR systems extract data from the captured raw pictures by disregarding the backgrounds of the raw pictures.

[0023] In another additional embodiment again, the guiding stations is calibrated using at least four reference beacons, wherein the guiding station is configured to obtain a distance between itself and each of the four reference beacons, and the real angles of the radial differences due to the deviation of the actual axis of rotation of a reference beacon component deviating from the center of the shaft.

[0024] Additional embodiments and features are set forth in part in the description that follows, and in part will become apparent to those skilled in the art upon examination of the specification or may be learned by the practice of the invention. A further understanding of the nature and advantages of the present invention may be realized by reference to the remaining portions of the specification and the drawings, which forms a part of this disclosure.BRIEF DESCRIPTION OF THE DRAWINGS

[0025] The description and claims will be more fully understood with reference to the following figures and data graphs, which are presented as exemplary embodiments of the invention and should not be construed as a complete recitation of the scope of the invention.

[0026] FIG. 1 illustrates a robot fleet scheduling system that schedules and allocates tasks to robots in accordance with an embodiment of the invention.

[0027] FIG. 2 illustrates a map server that executes instructions to perform processes that schedule and allocate tasks to robots in accordance with an embodiment of the invention.

[0028] FIG. 3 illustrates a process for scheduling robot fleets in accordance with an embodiment of the invention.

[0029] FIG. 4 illustrates a process for allocating tasks to robot fleets in accordance with an embodiment of the invention.

[0030] FIGS. 5A-B illustrate example robot fleet scheduling workflows in accordance with an embodiment of the invention.

[0031] FIGS. 6A-C illustrate a waypoint scheduling workflow for multiple robots in accordance with an embodiment of the invention.

[0032] FIG. 7 illustrates an effect of delineating submaps with high cost boundaries in accordance with an embodiment of the invention.

[0033] FIG. 8 illustrates an error correction workflow using guiding stations in accordance with an embodiment of the invention.

[0034] FIGS. 9A-C illustrate a user portal interface in accordance with an embodiment of the invention.

[0035] FIG. 10 illustrates a workflow of the Task Queue system in accordance with an embodiment of the invention.

[0036] FIG. 11 illustrates an artificial intelligence marking validation workflow in accordance with an embodiment of the invention.

[0037] FIG. 12 illustrates a comparison of markings in marking validation in accordance with an embodiment of the invention.

[0038] FIG. 13 illustrates a schematic of a reference beacon in accordance with an embodiment of the invention.

[0039] FIGS. 14A-C illustrate a stamp marking system that can be configured by the fleet scheduling system to perform tasks in accordance with an embodiment of the invention.

[0040] FIGS. 15A-B illustrate a spray marking system in accordance with an embodiment of the invention.

[0041] FIG. 16 illustrates a dot-spray marking system may be utilized to perform tasks as well. A dot-spray marking system in accordance with an embodiment of the invention.

[0042] Fig. 17 illustrates a camera beacon (CB) in accordance with an embodiment of the invention.

[0043] Fig. 18 illustrates a CB-equipped robot in accordance with an embodiment of the invention.

[0044] Fig. 19 illustrates a guiding station equipped with a camera beacon in accordance with an embodiment of the invention.

[0045] Fig. 20 illustrates the localization principles in accordance with an embodiment of the invention.

[0046] Fig. 21 illustrates a chained calibration setup in accordance with an embodiment of the invention.

[0047] Fig. 22 illustrates a chained calibration process in accordance with an embodiment of the invention.DETAILED DESCRIPTION

[0048] There are many labor-intensive tasks that need to be performed in all types of jobs. Many of these tasks are repetitive and take a long time for humans to perform. For example, marking a convention hall prior to setup can take many hours of human labor to perform. Similarly, construction sites have marking requirements that require human measurement and labor. Many of these tasks could be performed by an autonomous robot in order to avoid the constraints imposed by human activity.

[0049] As can be appreciated, if one robot can perform a task, using additional robots in parallel should reduce the overall time to job completion by a significant amount. However, as the number of robots in an operating environment increases, the complexity of the operation scales. At a base level, collisions between robots need to be avoided. Further, the division of labor amongst robots ( “scheduling” ) has a significant impact on job efficiency. Systems and methods described herein utilize a centralized server that commands a fleet of robots and guidance stations that attempts to optimize job competition efficiency through generation and assignment of specific tasks to individual autonomous robot agents in a fleet.

[0050] Systems and methods in accordance with many embodiments utilize a server-implemented novel scheduling method capable of splitting an operating environment into many submaps where each submap includes separate tasks for a fleet of autonomous robots to perform. Examples of the operating environment can include a convention  center and / or a construction site. In numerous embodiments, operating environments are split into submaps to allow scheduling different robots to perform tasks in each submap. Each submap may be allocated to one or more robots where the robots can perform and complete the assigned tasks in their respective allocated submap. In numerous embodiments, scheduling systems assign paths for completing tasks in the allocated submaps to the robots. Scheduling methods in accordance with several embodiments are able to allocate a sequence of submaps for one or more robots to work in, where these robots do not interfere with other robots in other submaps even while they travel between different submaps according to the allocated sequence. In numerous embodiments, only one robot is assigned to a given submap at any given time. In this way, scheduling methods described herein are able to prevent collisions between robots in the fleet.

[0051] Robots in accordance with many embodiments are equipped with marking systems to mark an operating environment. The robots can autonomously navigate the environment according to their allocated submaps and accurately place tape, paint, or digital markers to designate locations where important objects in the operating environment are to be placed. For example, in a convention center, robots can mark the locations for booth spaces, walkways, stages, and other important sections. In another example, such as a construction site, robots make precise marks for foundation layouts, structural elements, utility pathways, safety zones, and equipment placement. Robots can mark in various manners, including but not limited to stamp marking, spray marking, and dot spray marking. The types of marks can vary from simple lines and boundaries for booths to more complex patterns. Utilizing robots for marking can provide high precision and consistency in the marks and significantly reduce the time and potential errors associated with manual marking.

[0052] Scheduling methods in accordance with many embodiments are able to allocate submaps in a manner that maximizes the operating efficiency of the fleet of robots. In several embodiments, scheduling methods allocate a sequence of submaps for one or more robots to perform tasks in such that the robots can complete the overall task required for an operating environment in the shortest time possible.

[0053] In many embodiments, scheduling methods may alter the submap allocation to account for the potential presence of humans and other objects in the operating  environments. Different types of tasks in certain operating environments may require contribution from both humans and robots. Some tasks may call for additional work to be performed by humans after the robots have performed their corresponding part of the task. Systems and methods in accordance with various embodiments can split the operating environment and allocate submaps to the robots in a manner that allows for humans to perform their respective tasks alongside the robots with minimal interference between the humans and the robots. In many embodiments, scheduling methods are capable of allocating a sequence of submaps to one or more robots where humans can perform their tasks alongside the robots in the sequence of submaps. For example, in selected embodiments, scheduling methods allocate submaps in a manner resembling a snake path such that humans can work alongside the robots without the risk of collision. Snake paths tend to be easier for humans to follow, but may not provide maximum time efficiency of completely robotic operation.

[0054] In many embodiments, guiding stations are used for error correction in the autonomous operation of robots in the fleet. Use of guidance stations for error correcting is described in detail in U. S. Patent App. No. 18 / 000,662 titled “Vehicle Navigation Positioning Method and Apparatus, and Base Station, System and Readable Storage Medium” filed June 5, 2020, the disclosure of which is hereby incorporated by reference in its entirety. Guiding stations in accordance with various embodiments can accurately measure the distance between the guiding stations and the robots that the guiding stations are responsible for. In some embodiments, the distance between the guiding stations and the robots are measured in Cartesian coordinates. In some embodiments, scheduling systems assign submaps to robots based on the availability of guiding stations that have a view of particular submaps. In many embodiments, guiding stations utilize methods that utilize line-of-sight to track the movement of the robots. Therefore, in operating environments where a guiding station is unable to maintain a line of sight with a robot at waypoints in the submap, that particular guiding station will typically not be assigned to monitor that robot. Similarly, scheduling systems in accordance with several embodiments do not assign a guiding station to robots where the guiding station cannot maintain a line of sight with the entirety of the submap that the robot is allocated to work.  Fleet scheduling systems are described below, followed by a discussion of scheduling methods.

[0055] Fleet Scheduling System

[0056] As mentioned above, robot fleet scheduling systems in accordance with numerous embodiments include many components including at least a robot, a guiding station, and a map server where the scheduling methods are implemented.

[0057] An example of a robot fleet scheduling system that schedules and allocates tasks to robots in accordance with an embodiment of the invention is illustrated in Fig. 1. System 100 includes a communications network 120. The communications network 120 is a network such as the Internet that allows devices connected to the network 120 to communicate with other connected devices. Map server 110 may be connected to the network 120. Map server 110 may be a group of one or more servers communicatively connected to one another via internal networks that execute processes that provide robot fleet scheduling services over the network 120. In various embodiments, the map server is a portable computer that can be moved between operating environments. One skilled in the art will recognize that a robot fleet scheduling system may exclude certain components and / or include other components that are omitted for brevity without departing from this invention.

[0058] Map server 110 may include any number of servers and any additional number of server systems may be connected to the network 120 to provide robot fleet scheduling services. In accordance with various embodiments of this invention, a robot fleet scheduling system that uses systems and methods that schedule and allocate tasks to robots in accordance with an embodiment of the invention may be provided by a process being executed on a single server system and / or a group of server systems communicating over network 120.

[0059] System 100 may further include a fleet of autonomous robots 130 that may connect to the network 120 to perform tasks that are allocated by map server 110 in accordance with various embodiments of the invention. System 100 may also include guiding stations 140 that may connect to the network 120 to guide the autonomous robot fleet as they perform the allocated tasks. In many embodiments, the fleet of autonomous  robots, the guidance stations, and the map server communicate over the network using wireless connectivity. However wired connections can be used as appropriate to the requirements of specific applications of embodiments of the invention.

[0060] As can readily be appreciated the specific computing system used to schedule and allocate tasks to robots is largely dependent upon the requirements of a given application and should not be considered as limited to any specific computing system (s) implementation.

[0061] Map Server

[0062] An example of a map server that performs artificial intelligence computations and executes instructions to perform processes that schedule and allocate tasks to robots in accordance with an embodiment of the invention is illustrated in Fig. 2. Map server 200 includes processor 205, input / output (I / O) interface 210, and memory 220. One skilled in the art will recognize that a map server may exclude certain components and / or include other components that are omitted for brevity without departing from this invention.

[0063] The processor 205 can include (but is not limited to) a processor, microprocessor, controller, or a combination of processors, microprocessor, and / or controllers that performs instructions stored in the memory 220 to manipulate data stored in the memory. Processor instructions can configure the processor 205 to perform processes in accordance with certain embodiments of the invention. In various embodiments, processor instructions can be stored on a non-transitory machine readable medium.

[0064] I / O interface 210 can include any of a variety of components for capturing data, such as (but not limited to) keyboards, displays, and / or sensors. In a variety of embodiments, I / O interface can be used to gather inputs and / or provide outputs. I / O In many embodiments, the I / O interface is used to communicate with guidance stations and / or robots in the fleet. In numerous embodiments the I / O interface is capable of wireless communication to connected devices.

[0065] Memory 220 includes a scheduling application 225, and map data 230. Scheduling application contains processor instructions that configure the processor to perform scheduling processes as described herein.

[0066] Map data in accordance with a variety of embodiments of the invention describes the operating environment and / or the locations of tasks to be performed within the operating environment. In certain embodiments, map data includes (but is not limited to) a computer aided design (CAD) map of the operating environment. However, other representations of the operating environment can be used as well, for example (without limitation) point clouds, or other meshes.

[0067] Although a specific example of a map server is illustrated in this figure, any of a variety of map servers can be utilized to perform processes for scheduling and allocating of tasks to robots similar to those described herein as appropriate to the requirements of specific applications in accordance with embodiments of the invention. Methods for scheduling autonomous robot fleets are discussed in further detail below.

[0068] Scheduling Methods

[0069] As the number of robots scales up and / or the size of the operating environment increases, the scheduling and allocation of tasks to robot fleets can demand a high level of precision and accuracy. Planning work for the robots can become challenging due to the increasing number of sources of uncertainty in operation. In many embodiments, scheduling systems and methods include several processes that utilize novel algorithms to help with the scheduling such that robot fleets are able to perform assigned tasks efficiently with minimal risks of accidents and collisions.

[0070] A process for scheduling robot fleets in accordance with an embodiment of the invention is illustrated in Fig. 3. Process 300 obtains (310) a virtual map of an operating environment. In several embodiments, virtual maps may be obtained in the form of CAD maps that include designated waypoints indicating the locations where the robots are to perform tasks. Waypoints may include additional data about a particular task to be performed at the given location. Process 300 determines (320) a number of robots that are available in the operating environment. Process 300 generates (330) an operating path for each available robot. In various embodiments, scheduling systems can generate the operating path by first splitting the operating environment into a plurality of submaps and allocating one or more submaps to a robot. Process 300 transmits (340) operating instructions to each available robot. Operating instructions in accordance with selected  embodiments include the operating paths for the robot fleet and the specific tasks to be performed by each robot at the designated symbols in the operating environment.

[0071] While specific processes for scheduling robot fleets are described above, any of a variety of processes can be utilized to scheduling robot fleets as appropriate to the requirements of specific applications. In certain embodiments, steps may be executed or performed in any order or sequence not limited to the order and sequence shown and described. In a number of embodiments, some of the above steps may be executed or performed substantially simultaneously where appropriate or in parallel to reduce latency and processing times. In some embodiments, one or more of the above steps may be omitted.

[0072] A process for allocating tasks to robot fleets in accordance with an embodiment of the invention is illustrated in Fig. 4. Process 400 splits (410) an operating environment into a plurality of submaps. In many embodiments, submaps are delineated based on the positions of guidance stations. In several embodiments, submaps are delineated based on the position of waypoints. Optimal paths to each waypoint in each submap are determined (420) . In many embodiments, an optimal path includes a route for the robot to enter a submap that will not collide with other robots in the fleet.

[0073] Idle robots are then allocated (430) one or more submaps. Allocation of submaps in accordance with various embodiments includes determining an optimal number of submaps for each robot to work. In various embodiments, only one submap is allocated to a given robot at a time. In several embodiments, submaps are allocated to a fleet of robots depending on whether the entirety of a particular submap is in the line of sight of particular guiding stations. Submaps in accordance with several embodiments are allocated based on a combination of the current location of a robot and the nearest guiding station that is able to maintain a line of sight with the entirety of a submap. In many embodiments, allocated submaps are delineated by a high-cost boundary such that the autonomous navigation system of individual robots in the fleet that are not allocated with these submaps avoid these boundaries to minimize the risk of collisions.

[0074] Guiding stations for each robot are assigned (440) based on their allocated submap. Guiding stations in accordance with several embodiments guide robots through the line of sight, and therefore, guiding stations that are not able to maintain a line of sight  with a robot will not be identified to guide the robot. The allocated submaps and optimal paths along with the coordinates of waypoints are transmitted (450) to the respective robots. In several embodiments, the coordinates of waypoints are cartesian coordinates on a CAD map that robots in a fleet can travel to and perform tasks.

[0075] While specific processes for allocating tasks to robot fleets are described above, any of a variety of processes can be utilized to allocating tasks to robot fleets as appropriate to the requirements of specific applications. In certain embodiments, steps may be executed or performed in any order or sequence not limited to the order and sequence shown and described. In a number of embodiments, some of the above steps may be executed or performed substantially simultaneously where appropriate or in parallel to reduce latency and processing times. In some embodiments, one or more of the above steps may be omitted.

[0076] Robot fleet scheduling workflows in accordance with an embodiment of the invention are illustrated in Figs. 5A-B. In many embodiments, scheduling methods leverage a combination of two scheduling modules, namely a Goal Scheduler module and a Guiding Station Scheduler module, to split operating environments and allocate submaps to robot fleets.

[0077] A waypoint scheduling workflow for multiple robots in accordance with an embodiment of the invention is illustrated in Figs. 6A-C. In the embodiment illustrated by Fig. 6A, scheduler systems take the available robots, available guiding stations, and a CAD map of an operating environment with designated waypoints as inputs. Scheduling systems in accordance with several embodiments output allocated submaps using artificial intelligence to each available robot as well as an optimal path for each robot. In numerous embodiments, scheduling systems allocate more than one submap in a sequence to an available robot so that the available robot does not collide with other robots in the operating environment.

[0078] Fig. 7 illustrates the effects of delineating submaps with high cost boundaries in accordance with an embodiment of the invention. In many embodiments, robots not allocated with a submap avoid the delineated boundaries of the submap to avoid entering into the submap and potentially colliding with robots allocated with the submap.

[0079] An error correction workflow using guiding stations in accordance with an embodiment of the invention is illustrated in Fig. 8. In several embodiments, guiding stations measure the current position of a robot and calculate the error between the current position of the robot and a designated position where the robot is supposed to occupy. If the error is greater than a threshold, the robot may be directed toward the designated position again, where the error may be measured again. Guiding stations in accordance with several embodiments end the guidance when the error is below the threshold. In some embodiments, the threshold is 40 millimeters. However, the tolerance can be changed depending on the task.

[0080] In many embodiments, fleet scheduling systems simulate tasks being performed and completed on virtual machines using artificial intelligence. Scheduling processes as described above, including the use of robots, guiding stations, and map servers may be carried out in simulations to ensure that tasks can be completed successfully without issues. Configurations and specific scheduling methods that were successful during simulation can be applied directly to configure the robots in real settings to perform the assigned tasks.

[0081] Users may access the fleet scheduling system through a user portal. A user portal interface in accordance with an embodiment of the invention is illustrated in Figs. 9A-B. In various embodiments, user portals provide users with the ability to upload maps for robots to perform tasks and store archived maps. Uploaded maps can be processed using the scheduling methods described above, and the processing result may be displayed to the users either instantly or after a period of time. Users are able to monitor the equipment associated with each map and each task, which can also be done remotely. In some embodiments, fleet scheduling systems can generate reports for each task that was completed, and users can view the reports through the user portal. Fig. 9C illustrates an alternative tab of the user portal interface where a user is remotely monitoring the progress of tasks. In selected embodiments, users are able to monitor the progress of tasks through an interface on the user portal. In the event that any malfunction occurs during the process of a task, the user portal can send notifications to prompt users of the error.

[0082] In many embodiments, uploaded maps are processed and split into submaps by using a Task Queue System. A workflow of the Task Queue system in accordance with an embodiment of the invention is illustrated in Fig. 10. Task Queue Systems in accordance with several embodiments include a broker server that allocates portions of an uploaded map among various worker servers for splitting and processing. This way, fleet scheduling systems are able to keep the map processing time in a manageable time frame such that users are not asked to wait for extended periods of time before the robots can be put into performing the allocated tasks. Fleet scheduling systems can break down complex maps and have them processed by different servers to ease the load on one server and reduce the time taken to completion.

[0083] Upon completion of an allocated task, fleet scheduling systems in accordance with several embodiments include the ability to validate whether the task has been completed in a satisfactory manner. An artificially intelligent marking validation workflow in accordance with an embodiment of the invention is illustrated in Fig. 11. In some embodiments, fleet scheduling systems allocate marking tasks to robots where the robots are configured to mark the locations in an operating environment for designated placements of objects according to the requirements of an uploaded map. In many embodiments, a robot takes a photo of a mark it has made upon completion and stores the photo. Data and features from the stored raw images of a completed mark can be extracted using a artificial intelligence CNN-based optical character recognition (OCR) model. OCR models can extract data by processing the portions of the raw image that may be blurry or otherwise distorted. In selected embodiments, OCR models extract data from the stored raw images by disregarding the backgrounds of the raw images.

[0084] OCR models can classify the marking using artificial intelligence to determine a specific identity for the marking. Markings in accordance with many embodiments include at least corners, letters and numbers. Using artificial intelligence, fleet scheduling systems can reconstruct a binary marking with the same size pixels determined by the classification by the OCR systems. In some embodiments, systems can compare the extracted data and features from the original raw image against the reconstructed marking. A comparison of markings in accordance with an embodiment is illustrated in Fig. 12. Markings are determined to be more satisfactory if the number of pixels from the  reconstructed mark that matches the original raw image exceeds a predetermined threshold.

[0085] Calibration

[0086] High accuracy in many systems is reliant upon high-precision navigation. The guidance stations enable high-precision navigation.

[0087] A schematic of a reference beacon in accordance with an embodiment of the invention is illustrated in Fig. 13. Reference beacon 1300 in accordance with many embodiments includes a beacon 1310, a laser 1320, and a power source 1330. In numerous embodiments, camera beacon 1310 and laser 1320 are used by the guiding station to derive the co-ordinates of each guiding station.

[0088] Although a specific example of a reference beacon is illustrated in this figure, any of a variety of reference beacons can be utilized to perform processes for calibrating similar to those described herein as appropriate to the requirements of specific applications in accordance with embodiments of the invention.

[0089] Hardware

[0090] Fleet scheduling systems can control robots with different types of marking systems that may be suitable for different types of tasks. A stamp marking system that can be configured by the fleet scheduling system to perform tasks in accordance with an embodiment of the invention is illustrated in Figs. 14A-C. Stamp marking systems in accordance with several embodiments include at least a first electric push-rod (1411) , a steel rope (1412) , and a stamp core (1420) . Stamp cores may include a metal rod (1421) , metal sheet and weights (1422) , a stamp fixator (1423) , and a sponge stamp (1424) . Stamp marking systems may further include an electromagnet fixed plate (1431) , at least four electromagnets (1432) , a second electric push-rod (1441) , a lever (1442) , a paint tray (1443) , a paint tank (1451) , a pump (1452) , a rotating electromagnet (1461) , a brush (1462) , and a marking camera (1471) .

[0091] The first electric push-rod (1411) can control the rise and fall of a stamp core (52) . When the first push-rod (1411) retracts, the steel rope (1412) can be configured to  pull up the stamp core (1420) . When the first push-rod (1411) pushes out, the steel rope loses tension, which can cause the stamp core (1420) to fall down due to gravity.

[0092] In many embodiments, the electromagnets (1432) are used to produce a plurality of different stamp combinations. The number of total stamp combinations in some embodiments is 15, which is computed by:

[0093] The second electric push-rod (1441) can determine the position of the paint tray (1443) . When the second push-rod (1441) retracts, the paint tray (1443) may be positioned directly below the stamp core (1420) . When the second push-rod (1441) pushes out, the paint tray (1443) can rotate to the right side of the stamp core (1420) to avoid the push-rod and let the push-rod perform the marking.

[0094] In various embodiments, the rotating electromagnet (1461) determines the angle of the brush (1462) . When the rotating electromagnet (1461) is not operational, the brush (1462) may be tightly attached to the bottom of the paint tray (1443) . When the rotating electromagnet (1461) is operational, the brush (1462) may be placed in a hovering position perpendicular to the ground. In some embodiments, the combination of the rotating electromagnet (1461) and the second electric push-rod (1441) provides the function of cleaning the ground. After the stamping is completed, the marking camera (1471) takes a photo to validate the stamp marking.

[0095] Although a specific example of a stamp marking system is illustrated in this figure, any of a variety of stamp marking systems can be utilized to perform processes for stamp marking similar to those described herein as appropriate to the requirements of specific applications in accordance with embodiments of the invention.

[0096] In various embodiments, fleet scheduling systems include the use of spray marking systems for selected tasks. A spray marking system in accordance with an embodiment of the invention is illustrated in Figs. 15A-B. Spray marking systems may include at least a controller (1561) , an X-motor (1521) , an X-belt (1522) , a Y-motor (1523) , a Y-belt (1524) , a Z-motor (1525) , and a Z-belt (1526) . Spray marking systems may further include a nozzle (1563) , a paint tank (1541) , a pump (1542) , a pipe (1543) , a moisturizing mechanism (1565) , and a marking camera (1566) .

[0097] The controller (1561) can accurately control the movement speed and position of the nozzle (1563) in the XYZ direction, the on-and-off pinch valve (1531) , as well as the flow rate of the pump (1542) . In several embodiments, the controller (1561) controls the nozzle to run along a specific route according to user instructions while also controlling the pinch valve (1531) and pump (1542) to spray the desired pattern for the user. The moisturizing mechanism (1565) can moisten the needle (1533) such that the needle hole will not be blocked by any unused paint. Spray marking systems may similarly include a marking camera to validate the markings.

[0098] Although a specific example of a spray marking system is illustrated in this figure, any of a variety of spray marking systems can be utilized to perform processes for spray marking similar to those described herein as appropriate to the requirements of specific applications in accordance with embodiments of the invention.

[0099] A dot-spray marking system may be utilized to perform tasks as well. A dot-spray marking system in accordance with an embodiment is illustrated in Fig. 16. Dot-spray marking systems may include at least a spring (1634) , a guiding sleeve (1635) , and a voice coil motor (VCM) (1636) . Dot-spray marking systems may further include a bracket (1637) , a paint holder (1638) , a shaft sealing ring (1641) , an end-face sealing gasket (1642) , a needle holder (1643) , a piston rod (1639) , and a needle (1640) .

[0100] Dot-spray marking systems in accordance with many embodiments include nozzles in the shape of a needle, which are significantly more compact. Dot-spray marking systems can have less nozzle blockage, and the markings can dry faster due to how the needle nozzle operates. Markings may be easier to clean, and markings may be done at faster rates. This can lead to markings that cost less paint while providing higher resolutions and are more aesthetically pleasing.

[0101] Although a specific example of a dot-spray marking system is illustrated in this figure, any of a variety of dot-spray marking systems can be utilized to perform processes for dot-spray marking similar to those described herein as appropriate to the requirements of specific applications in accordance with embodiments of the invention.

[0102] In certain embodiments, robot fleets are localized using camera beacons (CBs) installed on both the robots and the guiding stations. A CB in accordance with an embodiment of the invention is illustrated in Fig. 17. In many embodiments, CBs include  at least a horizontal rotating motor and encoder module (1701) , a beacon recognition camera (1702) , and a robot beacon (1703) .

[0103] Although a specific example of a camera beacon is illustrated in this figure, any of a variety of camera beacons can be utilized to perform processes for localization similar to those described herein as appropriate to the requirements of specific applications in accordance with embodiments of the invention.

[0104] In some embodiments, robots are outfitted with CBs similar to those installed on the guiding stations. A CB-equipped robot in accordance with an embodiment of the invention is illustrated in Fig. 18. CB-equipped robots may include at least a robot chassis (1801) and a CB (1802) , similar to the CB described in Fig. 17.

[0105] Although a specific example of a CB-equipped robot is illustrated in this figure, any of a variety of CB-equipped robots can be utilized to perform processes for operation and localization similar to those described herein as appropriate to the requirements of specific applications in accordance with embodiments of the invention.

[0106] A guiding station equipped with a camera beacon in accordance with an embodiment of the invention is illustrated in Fig. 19. CB guiding stations in accordance with many embodiments include at least a horizontal rotating motor and encoder module (1902) . CB guiding stations may further include a laser range sensor (1903) , a beacon recognition camera (1904) , and a guiding station beacon (1905) .

[0107] Although a specific example of a CB guiding station is illustrated in this figure, any of a variety of CB guiding stations can be utilized to perform processes for guiding robots similar to those described herein as appropriate to the requirements of specific applications in accordance with embodiments of the invention.

[0108] Localization in accordance with several embodiments is performed between the CB guiding stations and CB-equipped robots before operation. In various embodiments, beacon recognition cameras and horizontal motor and encoder modules on guiding stations can work together in concert for localization, where the motor rotates and searches until the camera can identify robot beacons. Upon identifying a robot beacon, localization processes can obtain a yaw value α from the encoder and a distance d from the guiding station to the robot that is measured by the laser sensor. The beacon recognition camera on the robot may similarly identify the guiding station beacon of the  guiding station through rotation of the horizontal motor on the camera beacon of the robot. In several embodiments, a yaw value β may be obtained from the encoder on the camera beacon of the robot.

[0109] In many embodiments, localization processes compute a position of the robot based on the coordinates of the robot and the guiding station in the XY plane, as well as the yaw angle θ of the robot. Fig. 20 illustrates the localization principles in accordance with an embodiment of the invention. XY coordinates of the robot relative to the guiding station in accordance with some embodiments are derived from the yaw value α from the encoder and the distance d, where: X=d*cos (α) ; Y=d*sin (α) .

[0110] The yaw angle θ of the robot may be derived from the yaw value β, where: θ=α+β-180°

[0111] Guiding Station Chained Calibration

[0112] Guiding stations, in accordance with many embodiments, serve as devices that provide location information to the robots. In the actual use of the system, due to the large area of the site or obstructions blocking the line of sight, it may be desirable to use multiple sets of reference beacons and guiding stations to calibrate the actual site with the map in the CAD software. However, this can make measurements more complex. To ensure more precise calibration between the real environment and the software map, reference beacons generally need to be placed near buildings with distinct features (walls or columns) , and it is necessary to measure the relative position of reference beacon to the feature buildings as accurately as possible. The selection and measurement of reference beacon positions require a relatively high level of experience from the operator.

[0113] Additionally, it may be difficult to use the same distinct feature location for multiple sets of reference beacons as a reference. This may introduce uncontrollable measurement errors, which will affect the consistency of coordinate systems when the guiding station subsequently uses different sets of RBs for self-positioning. The precise location of the guiding station itself depends on the measurements of the reference beacon that are precisely placed on the ground. Therefore, finding suitable locations to  place the reference beacon within the operating environment and obtaining its precise location is the key source of accuracy for the entire system.

[0114] A chained calibration setup in accordance with an embodiment of the invention is illustrated in Fig. 21. In several embodiments, calibration systems determine at least two reference points. Reference points, in accordance with many embodiments, will be close to a prominent feature in the hall (such as a wall or a pillar) , will be measured manually, and will be marked both in software and physically. A reference beacon may be placed over each reference point. A guiding station can be placed somewhere where it has a line of sight to both reference beacons. By measuring its distance to the reference beacons, the guiding station can determine its position. Reference beacons may be removed after positions are determined.

[0115] Fig. 22 illustrates a chained calibration process in accordance with an embodiment of the invention. In some embodiments, the positions of the first two RBs are selected and measured manually. The Guiding Station can determine its position by measuring its distance to the first 2 RBs. In a number of embodiments, two RBs that may be chained in calibration are found in a preferred location in the operating environment, usually near some easy-to-see feature on the ground, e.g., pit or trench. Making marks on the ground. The Guiding Station can determine the position of the chaining RB by measuring the distance. The chaining RBs can still be used in future jobs. In various embodiments, these steps may be repeated until the hall is well-calibrated with the real site.

[0116] Although specific methods of robot fleet management are discussed above, many different methods can be implemented in accordance with many different embodiments of the invention. It is therefore to be understood that the present invention may be practiced in ways other than specifically described, without departing from the scope and spirit of the present invention. Thus, embodiments of the present invention should be considered in all respects as illustrative and not restrictive. Accordingly, the scope of the invention should be determined not by the embodiments illustrated, but by the appended claims and their equivalents.

Claims

1.A robot fleet management system comprising:at least one robot configured to perform a task;at least one guiding station configured to correct errors in the at least one robot’s movement; anda map server, further comprising:a set of one or more processors; anda memory containing a scheduling application, wherein the scheduling application configures the set of processors to manage the robot fleet by performing the steps of:splitting an operating environment into a plurality of submaps;determining a number of robots in the operating environment;determining optimal paths to at least one waypoint in each of the plurality of submaps;determining one or more submaps to be allocated to each robot in the operating environment based on the optimal paths and locations of the guiding stations;allocating the determined one or more submaps to each robot in the operating environment; andtransmitting coordinates of the waypoints in the allocated submaps to each robot.2.The system of claim 1, wherein allocating the determined one or more submaps comprises allocating a specific sequence of submaps for each of the one or more robots to work in.3.The system of claim 1, wherein allocating the determined one or more submaps comprises allocating submaps in a manner resembling a snake path allowing humans to work alongside the one or more robots without risking collision.4.The system of claim 1, wherein the at least one guiding station utilizes line-of-sight to track the movement of the robots and correct navigation inaccuracies.5.The system of claim 1, wherein determining one or more submaps to be allocated to each robot in the operating environment is based on an availability of at least one guiding station in a submap and whether the guiding station is able to maintain a line of sight with the entirety of a submap.6.The system of claim 1, wherein the operating environment is uploaded as a computer aided design (CAD) map.7.The system of claim 6, wherein the CAD map further comprises designated waypoints indicating the locations where the robots are to perform tasks.8.The system of claim 7, wherein the waypoints comprise additional data about a particular task to be performed at a given location.9.The system of claim 1, wherein the allocated submaps are delineated by a high-cost boundary such that individual robots that are not allocated with these submaps avoid these boundaries to minimize the risk of collisions.10.The system of claim 1, wherein the guiding stations measure a current position of the robot and calculate an error between the current position of the robot and a designated position where the robot is supposed to occupy.11.The system of claim 10, further comprising directing the robot toward the designated position again when the error is greater than a threshold, and measuring the error again.12.The system of claim 1, further comprising generating reports for each task that was completed.13.The system of claim 1, further comprising providing a user interface where users monitor a progress of tasks.14.The system of claim 1, wherein splitting an operating environment into a plurality of submaps comprises allocating portions of a map of the operating environment among at least one worker servers to split.15.The system of claim 1, wherein each robot further comprises a camera beacon, comprising:a horizontal rotating motor and encoder module;a beacon recognition camera; anda robot beacon.16.The system of claim 15, wherein the camera beacon calibrates its positioning based on a distance between the robot and a guiding station and a yaw value.17.The system of claim 1, further comprising validating the robot’s task, wherein the robot captures a picture of the task performed, wherein the picture is evaluated by a convolutional neural network based optical character recognition (OCR) system.18.The system of claim 17, wherein OCR systems extract data from the captured raw pictures by disregarding the backgrounds of the raw pictures.

Images