Dynamic task distribution of robotic systems

The method and system for dynamically adjusting robotic task distribution address inefficiencies by adapting to real-time changes, ensuring efficient operation and minimizing downtime.

WO2026232325A1PCT designated stage Publication Date: 2026-11-12ABB (SCHWEIZ) AG +3
View PDF 0 Cites 0 Cited by

Patent Information

Application Number
PCT/CN2025/093174
Authority / Receiving Office
WO · WO
Patent Type
Applications
Current Assignee / Owner
Filing Date
2025-05-07
Publication Date
2026-11-12

AI Technical Summary

Technical Problem

Existing robotic systems lack the flexibility to dynamically adapt task assignments in response to real-time changes in operational environments and production demands, leading to inefficiencies and disruptions.

Method used

Implement a method and system for robotic systems to dynamically adjust task distribution based on real-time status information and events, using predictive models and sensors to switch between task distribution strategies and reassign tasks as needed.

Benefits of technology

Enhances operational efficiency by minimizing downtime and optimizing production pace through adaptive task allocation, even in the face of robot malfunctions or changing conditions.

✦ Generated by Eureka AI based on patent content.

Smart Images

  • Figure CN2025093174_12112026_PF_FP_ABST
    Figure CN2025093174_12112026_PF_FP_ABST
Patent Text Reader

Abstract

In one embodiment, a method for dynamic task distribution, implemented by a robotic system for manipulating a plurality of objects, includes: sending instructions to the robotic system to operate based on an initial task distribution; receiving status information associated with the plurality of objects; determining an event associated with the robotic system; determining, based at least on the status information and the determined event, a task adjustment for the robotic system; and sending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.
Need to check novelty before this filing date? Find Prior Art

Description

DYNAMIC TASK DISTRIBUTION OF ROBOTIC SYSTEMSTECHNICAL FIELD

[0001] This disclosure generally relates to automated control of robots, and in particular relates to systems and methods for dynamically controlling robotic systems to perform operations in pick-and-place applications, for example, as well as other suitable programmable production or industrial applications.BACKGROUND

[0002] The use of robots and robotic manipulators has become increasingly prevalent for performing tasks like picking up and placing objects as well as other material handling operations. A well-known example of such tasks may be that of picking up chocolates from a conveyor belt and placing them in a packing tray or a chocolate box on another conveyor. Depending on the specific application and workload requirements, the number of robots deployed in a given system may vary from a single unit to multiple sets. When two or more robots are employed, it becomes important to dynamically assign tasks among the robots so that they can operate efficiently and collaboratively, thereby optimizing system performance and throughput.

[0003] However, existing control strategies lack the flexibility to adapt to real-time changes in the operational environment, system status, and production demands. For example, once production begins, tasks assigned to particular robots are typically fixed and cannot be easily modified, leading to inefficiencies, particularly when different stages of production require different task assignment strategies. Accordingly, a solution is desired that dynamically distributes or adjusts task assignments among the robots in response to changing conditions.SUMMARY OF PARTICULAR EMBODIMENTS

[0004] In particular embodiments, a method for dynamic task distribution is provided. The method, which may be implemented by a robotic system for manipulating a plurality of objects, includes: sending instructions to the robotic system to operate based on an initial task distribution; receiving status information associated with the plurality of objects; determining an event associated with the robotic system; determining, based at least on the status information and the determined event, a task adjustment for the robotic system; and sending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.

[0005] In particular embodiments, a robotic system for manipulating a plurality of objects is provided. The robotic system includes one or more computer-readable non-transitory storage media embodying software that is operable when executed to perform operations including: sending instructions to the robotic system to operate based on an initial task distribution; receiving status information associated with the plurality of objects; determining an event associated with the robotic system; determining, based at least on the status information and the determined event, a task adjustment for the robotic system; and sending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.

[0006] In particular embodiments, one or more computer-readable non-transitory storage media are provided. The storage media embody software that is operable when executed by a robotic system for manipulating a plurality of objects to perform operations including: sending instructions to the robotic system to operate based on an initial task distribution; receiving status information associated with the plurality of objects; determining an event associated with the robotic system; determining, based at least on the status information and the determined event, a task adjustment for the robotic system; and sending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.

[0007] The embodiments disclosed herein are only examples, and the scope of this disclosure is not limited to them. Particular embodiments may include all, some, or none of the components, elements, features, functions, operations, or steps of the embodiments disclosed herein. Embodiments according to the invention are in particular disclosed in the attached claims directed to a method, a storage medium, a system, and a computer program product, wherein any feature mentioned in one claim category, e.g., method, can be claimed in another claim category, e.g., system, as well. The dependencies or references back in the attached claims are chosen for formal reasons only. However, any subject matter resulting from a deliberate reference back to any previous claims (in particular multiple dependencies) can be claimed as well, so that any combination of claims and the features thereof are disclosed and can be claimed regardless of the dependencies chosen in the attached claims. The subject matter which can be claimed comprises not only the combinations of features as set out in the attached claims but also any other combination of features in the claims, wherein each feature mentioned in the claims can be combined with any other feature or combination of other features in the claims. Furthermore, any of the embodiments and features described or depicted herein can be claimed in a separate claim and / or in any combination with any embodiment or feature described or depicted herein or with any of the features of the attached claims.BRIEF DESCRIPTION OF THE DRAWINGS

[0008] FIG. 1 illustrates an example robotic system.

[0009] FIG. 2 illustrates an example method for dynamically adjusting task distribution strategies.

[0010] FIG. 3 illustrates an example method for dynamically adjusting task distribution strategies, particularly based on a determination of a backlog.

[0011] FIG. 4 illustrates an example method for dynamically adjusting task distribution strategies, particularly based on information from a previous operation cycle.

[0012] FIGs. 5-7 illustrate several example use cases of dynamic task distribution.

[0013] FIG. 8 illustrates an example computer system.DESCRIPTION OF EXAMPLE EMBODIMENTS

[0014] Robotic systems are widely used across various industries such as manufacturing, product processing, packaging, assembly, and so forth. For example, these systems may typically utilize one or more robotic manipulators or arms to manipulate objects-such as identifying, picking up, and placing objects from a first location to a second location (e.g., transferring objects from one conveyor belt to another) . As automation continues to increase in scale and complexity, the ability to implement an intelligent and adaptable task allocation strategy has become increasingly important, especially in systems utilizing multiple robots.

[0015] Conventional pick-and-place software platforms may enable coordination among multiple robots-for example, up to ten robots in some systems-for performing pick and / or place manipulations. These platforms may offer static task distribution that allocates tasks among the robots based on an initial, predefined logic. As an example and not by way of limitation, example strategies employed in the platforms may include Load Balancing and Adaptive Task Completion (ATC) , which will be briefly described in the following. It should be appreciated that although this disclosure describes task distribution with a particular strategy in a particular manner, this disclosure contemplates task distribution with any suitable strategies in any suitable manner.

[0016] As a non-limiting example, the Load Balancing strategy may be configured to distribute objects evenly among available robots, often in a round-robin fashion. For example, when three robots are assigned to pick objects from a conveyor belt, the system may allocate the pick-up tasks sequentially to the first, second, and third robots to pick up the first, second, and third objects, respectively. Simply put, this approach is designed to maintain a balanced workload among the robots, as its name implies. However, in some instances, Load Balancing may not always take into account the spatial distribution of objects or the physical operating range of the robots. As a result, objects may be assigned to robots that are less optimally positioned, increasing motion time and reducing overall efficiency. Additionally, this strategy may not account for malfunctioning or temporary unavailability of the robots, resulting in missed tasks and disruption to downstream operations.

[0017] On the other hand, as a non-limiting example, the ATC strategy may be configured to assign tasks based on the sequential order or proximity of the robots. For instance, in a row of robots along a conveyor, objects may be preferably allocated to the first robot in line as much as possible, with subsequent robots receiving tasks only if earlier robots are unable to complete them. By ensuring that objects missed by the prior robots are handled by the following ones, this may minimize the omission of tasks. However, such a strategy may lead to unequal workloads for the robots, particularly since robots positioned earlier in the line are assigned with most of the tasks while others remain underutilized. This imbalance may lead to increased wear on particular robots, increasing maintenance and downtime, and affecting overall system performance.

[0018] In some existing systems, for example, task distribution strategies may be configured at the onset of production and remain fixed throughout the process. These static approaches may not accommodate real-time changes in the system or its operating environment, including but not limited to variations in object flow, changes in robot status or availability, shifts in production stages such as between startup, full operation, and shutdown. Without the ability to dynamically distribute and update task assignment logic based on current conditions, systems may perform inefficiently or require constant manual intervention.

[0019] Accordingly, there is a need for an improved task distribution solution that may dynamically adapt to real-time events and conditions. Particular embodiments according to the disclosure may automatically adjust the task distribution strategy based on one or more factors, including but not limited to production stage, system or robot status, object status, and the like. By accounting for these changing conditions and enabling dynamic strategy adjustments, particular embodiments may allow automatic task adjustments or switching of strategies, reducing downtime and optimizing operation efficiency and production pace.

[0020] FIG. 1 illustrates an example robotic system 100, which may be used in a pick-and-place operation. In particular embodiments, the robotic system 100 may include multiple robots 102-such as two or more-which may work in coordination. In particular embodiments, the robot 102 may take form as a robotic arm or manipulator having one or more end effectors 104. The end effector 104 may be designed to perform object manipulation tasks, including but not limited to grasping an object from one location and placing it at another location. As an example and not by way of limitation, the end effector 104 may be a gripper, a suction-based effector, or other suitable object-handling devices. In particular embodiments, the robot 102 may be configured to pick one object at a time using a single end effector 104. Alternatively or additionally, the robot 102 may be configured to pick multiple objects at a time using multiple end effectors 104. In particular embodiments, the robot 102 may be stationed at a fixed location, such as fixed to a ground surface or a ceiling. Alternatively, although not illustrated, the robot 102 may be a mobile device configured to move within a particular operational domain.

[0021] In particular embodiments, the robotic system 100 may include a sensing system 106. The sensing system 106 may include any suitable sensor arrangement, such as one or more of an optical camera, a Light Detection and Ranging (LiDAR) sensor, an infrared (IR) sensor, a photoelectric sensor, or other suitable type of sensing device. In particular embodiments, the sensing system 106 may be configured to detect a status of one or more objects associated with the robotic system 100 (e.g., objects to be handled by the system or already handled) . As an example and not by way of limitation, the status may include one or more of a quantity of the objects, a spatial distribution of the objects, a position of one or more of the objects, an orientation of one or more of the objects, or other suitable information about the objects. In particular embodiments, sensor data captured by the sensing system 106 may be vision-based and may represent a two-or three-dimensional schema of a location 108 for the robotic system 100. For example, the location 108 may include a portion of a conveyor belt where a particular robot of the robotic system 100 is instructed to handle one or more objects (such as retrieving the objects from the belt or disposing them on the belt) . In particular embodiments, sensor data captured by the sensing system 106 may be non-vision-based. As an example and not by way of limitation, the sensor data may include information indicating that a conveyor belt has begun transferring objects, a travel distance of a particular point on the conveyor belt, that an object has passed a specific position, or any other suitable information. Although the sensing system 106 appears at a particular location in the robotic system 100 of FIG. 1, the sensing system 106 may be located in any suitable location in the robotic system 100. Example locations for sensors may include, but are not limited to, above the conveyor belt, below the conveyor belt, on the robot, in proximity to the robot, or any other suitable location.

[0022] In particular embodiments, in addition to or as an alternative to the sensing system 106, the status information associated with the one or more objects may be determined in other suitable manner. As an example and not by way of limitation, in embodiments where the conveyor belt is divided into grids or compartments such that objects positioned thereon are spaced apart by a predefined distance, the position or movement of the objects may be determined based on the predefined spacing, without necessarily requiring vision-based detection.

[0023] In particular embodiments, the robotic system 100 may include, be in communication with, or otherwise be associated with one or more computer systems. Examples of such computer systems are described below with reference to FIG. 8. Although this disclosure describes and illustrates a particular computer system with a particular number of particular components in a particular arrangement, this disclosure contemplates any suitable computer systems with any suitable number of any suitable components in any suitable arrangement.

[0024] FIG. 2 shows an illustrative flowchart of an example method 200 for dynamically adjusting task distribution strategies based on particular events, in accordance with particular embodiments of the disclosure. The method 200 may begin at step 210, where instructions are sent to a robotic system (such as robotic system 100 described above) to operate based on an initial task distribution. For example, this may occur at the start of a production cycle. In particular embodiments, the task distribution may be configured to distribute, allocate, or assign specific objects or workspaces to particular robots of the robotic system for manipulation. As an example and not by way of limitation, the task distribution may be used to direct one or more robots to pick up one or more objects from a first location and place them at a second location according to a predefined sequence. More specifically, for example, the task distribution may specify which robots are responsible for handling which objects, a type of manipulation each robot is to perform (e.g., picking or placing) , etc. Additionally, the task distribution may include other suitable configuration parameters indicating task timing (e.g., when to begin a task) , spatial constraints (e.g., a robot’s working zone) , prioritization logic (e.g., which objects or zones are serviced first) , and so forth. In particular embodiments, the initial task distribution may be provided to the robotic system via a software platform or control system that manages task allocation and robot coordination. As an example and not by way of limitation, the initial task distribution may be manually input by an operator, a user, or any individual associated with the robotic system. For example, the individual may specify the allocation of tasks among the robots-such as, for example, which objects are assigned to a particular robot for picking and placing-considering factors such as robot capabilities, material characteristics, production requirements, or other relevant considerations. As an example and not by way of limitation, the initial task distribution may be manually or automatically selected from a strategy library that includes one or more predefined distribution strategies. For example, selection may be based on specific rules or parameters, historical data, system-defined protocols, or other suitable factors. Alternatively or additionally, as an example and not by way of limitation, the initial task distribution may follow a default strategy automatically assigned to the robotic system, which, for example, may be deployed at the start of production without requiring active user input or intervention. In particular embodiments, the initial task distribution may implement predefined strategies such as Load Balancing or ATC explained above, customizable strategies, or other suitable distribution methods depending on needs.

[0025] At step 220, in particular embodiments, status information associated with one or more of the objects is received. The status information may be used to assess the current condition or availability of objects to support effective task allocation and robot control, as will be described in more detail below. In particular embodiments, the objects may be located within a designated area of the conveyor belt or positioned within a reachable workspace (or operational domain) of one or more robotic manipulators, allowing for direct handling of the objects. As an example and not by way of limitation, the objects of interest may be positioned at a source location for the robotic system-e.g., upstream along a conveyor line where one or more robots are instructed to perform a picking manipulation. As another example and not by way of limitation, the objects may be located at a target location, such as a downstream region where a placing manipulation is to be executed. Alternatively or additionally, in particular embodiments, the status information may indicate that particular objects have been moved to a location outside a reachable workspace of particular robots.

[0026] In particular embodiments, the status information may include one or more physical characteristics of the objects, such as position, quantity, spatial distribution, orientation, or other suitable attributes. As an example and not by way of limitation, the position of an object may refer to its location relative to a particular end effector, to a particular robot, to a particular point along a conveyor, or to other suitable reference point associated with the robotic system. The quantity of the object may indicate a total number of objects to be handled and / or already processed by the robotic system or a total number of objects detected by the robotic system. The spatial distribution may be used to provide information on whether the objects are densely or sparsely arranged on the conveyor path, which may be useful in determining the operational pace of the robotic system.

[0027] In particular embodiments, the status information may be received from the sensing system of the robotic system. As an example and not by way of limitation, as already explained, cameras, imaging devices, or sensors may be utilized to capture visual data of the objects. The captured images may be processed using computer vision techniques to extract information related to the objects. For example, the system may analyze the captured image to determine where each object is located on a conveyor belt, how many objects are present, or how the objects are arranged. Alternatively or additionally, in particular embodiments, predefined parameters such as spatial constraints related to the production line may be used to determine the statuses of the objects. As an example and not by way of limitation, as discussed, when objects are arranged on a grid-based conveyor system, the system may rely on predetermined spacing values to calculate the position of the objects. Although this disclosure describes particular methods, systems, and devices for acquiring object information in a particular manner, this disclosure contemplates any suitable methods, systems, and devices for acquiring object information in any suitable manner, details of which will not be explained exhaustively to avoid obscuring the scope of the disclosure.

[0028] At step 230, in particular embodiments, an event associated with the robotic system may be determined. The event may serve as a triggering factor for modifying the initial task distribution to accommodate real-time production needs. In particular embodiments, the event may include a change in the stage of production, such as transitioning from an initial startup to a steady-state production, preparing for shutdown, entering a pause in operation, or the like. In particular embodiments, the event may involve a change in the state of the robotic system itself, including but not limited to a robot entering maintenance, idling, malfunctioning, exhibiting signs of wear, resuming operation after repair or component replacement, or other suitable status change. In particular embodiments, the event may be determined based on a deviation from expected manipulation by the robotic system-for example, if an object is not successfully picked up or placed by a particular robot as expected. In particular embodiments, the event may include a predetermined lapse of time (for instance, a defined period of continuous operation under a single strategy may qualify as a relevant event, which may initiate corresponding task adjustments. ) In particular embodiments, the event may include a user input event, such as a manual override, a strategy selection or adjustment, a user command, or other suitable form of user input, allowing human operators to initiate changes in task distribution as needed in response to on-site conditions.

[0029] In particular embodiments, one or more sensors (which, for example, may be similar to or different from those described with reference to the sensing system) may be provided to detect relevant events. As an example and not by way of limitation, the sensors may be integrated into the robotic system and configured to monitor various operating conditions or performance metrics of the system. Example sensors may include, but are not limited to, visual sensors (such as cameras) , proximity sensors, force sensors, temperature sensors, and the like, providing real-time information associated with individual robotic components, the overall robotic system, or its surroundings. In particular embodiments, signals, such as sensor signals, input signals, or the like, may be received, indicating that an event associated with the robotic system has occurred.

[0030] At step 240, in particular embodiments, based at least on the status information associated with one or more of the objects and the determined event associated with the robotic system, a task adjustment may be determined. The task adjustment may be configured to take account of the identified object status and / or compensate for the determined event. In particular embodiments, the task adjustment may include switching from one distribution strategy to another (such as from Load Balancing to ATC, or vice versa) , adjusting one or more parameters of an existing distribution strategy, or other suitable adjustments. Example task parameters that may be adjustable may include, but are not limited to, a minimum or maximum number of tasks a robot may be assigned at a given time, a sequence in which robots are assigned to perform particular operations, a type of task (such as grasping or placing) assigned to each robot, a particular object assigned to a robot for handling, a designated workspace for each robot, or other suitable operational parameters.

[0031] In particular embodiments, determination of the task adjustment may utilize a deep learning (DL) model, a machine learning (ML) model, an artificial intelligence model (AI) , or other suitable predictive or analysis tool for determining the desired task adjustment to accommodate the determined event and / or the received status information. As an example and not by way of limitation, the deep learning model may be trained using training data, which, for example, may include historical data from previous operation cycles, such as task logs, robot performance metrics, event histories, and so forth. The model may be employed to receive and analyze multiple variables, including but not limited to object status, robot availability, current workload, proximity to the task location, different events associated with the robotic system such as a change in the production stage or robot malfunction. The model may be continuously updated with real-time inputs to predict and determine the optimal task adjustment and assignment strategy. In particular embodiments, the deep learning model may employ architectures such as convolutional neural networks (CNNs) for spatial data processing (e.g., robot positioning and material placement patterns) , recurrent neural networks (RNNs) or long short-term memory (LSTM) networks for sequential event analysis (e.g., predicting task completion based on historical sequences) , and other suitable processing frameworks.

[0032] Additionally or alternatively, determination of the task adjustment may employ a large language model (LLM) to parse and interpret user input related to task assignment instructions. As an example and not by way of limitation, the user input may be received at the start of production or during operation. For example, a user or operator may define specific parameters associated with the robotic system or the events that trigger task adjustment. The LLM may process these natural language instructions from the operator, such as specifying task priorities, adjusting robot operation, responding to unforeseen events, etc. The LLM may translate the input instructions into actionable commands for the robotic system. Although this disclosure describes task adjustment using particular predictive and analysis models in a particular manner, this disclosure contemplates task adjustment using any suitable predictive and analysis models in any suitable manner.

[0033] In particular embodiments, the task adjustment may be implemented on some or all of the robots of the robotic system. In particular embodiments, the task adjustment may be individually applied to a singular robot. Alternatively, the tasks may be universally adjusted among multiple robots. In particular embodiments, a specific robot may be selected to execute the task adjustment. As an example and not by way of limitation, in the event that a robot malfunctions, one or more available robots, subsequent to the malfunctioning robot, may be identified to take over the tasks.

[0034] At step 250, in particular embodiments, instructions may be sent to the robotic system, directing it to operate based on an adjusted task distribution corresponding to the task adjustment. The adjusted task distribution may be configured to update the operational behavior of one or more robots based on the determined task adjustments. For example, the instructions may reflect reassignment of specific tasks, updated runtime or sequencing, or other suitable operational changes made to accommodate the current system state and event.

[0035] Particular embodiments may repeat one or more steps of the method of FIG. 2, where appropriate. Although this disclosure describes and illustrates particular steps of the method of FIG. 2 as occurring in a particular order, this disclosure contemplates any suitable steps of the method of FIG. 2 occurring in any suitable order. Moreover, although this disclosure describes and illustrates an example method for dynamically adjusting task distribution strategies including the particular steps of the method of FIG. 2, this disclosure contemplates any suitable method for dynamically adjusting task distribution strategies including any suitable steps, which may include all, some, or none of the steps of the method of FIG. 2, where appropriate. Furthermore, although this disclosure describes and illustrates particular components, devices, or systems carrying out particular steps of the method of FIG. 2, this disclosure contemplates any suitable combination of any suitable components, devices, or systems carrying out any suitable steps of the method of FIG. 2.

[0036] FIG. 3 depicts an illustrative flowchart of an example method 300 for dynamically adjusting task distribution based on a determination of a backlog, in accordance with particular embodiments of the disclosure. The method 300 may include similar or different steps and processes described above with reference to FIG. 2, and may be compatible with various embodiments disclosed herein. The method 300 may begin at step 310, where instructions are sent to a robotic system (such as robotic system 100 described above) to operate based on an initial task distribution. At step 320, one or more objects may be assigned to respective robots, corresponding to the initial task distribution. As an example and not by way of limitation, objects may be allocated to each robot in a particular order. For example, the order may be determined based on factors such as the distance between the robots, the distance between the objects, the distance between a particular object and a particular robot, the availability or current workload of each robot, or other suitable parameters.

[0037] At step 330, the computer system associated with the robotic system may determine whether an assigned object has been successfully handled by a robot or if it is positioned outside the workspace of one or more robots. As an example and not by way of limitation, the determination may be based on the status information associated with one or more of the objects, such as the position of the objects relative to respective robots. Alternatively or additionally, the determination may be based on a detected event associated with the robotic system, including but not limited to a deviation from expected manipulation by one or more robots. For instance, the system may determine that a particular robot has failed to retrieve an object, that a subsequent robot has failed to take over the task of picking up the object after the failure, or that the object has been transferred to a location outside the reachable domain of all of the robots, making it inaccessible for further manipulation. If this is the case, the method may proceed to step 340, where the unhandled object is pushed back to a backlog for reassignment. The method 300 may then repeat until the condition of step 330 is satisfied. This may be particularly useful in embodiments that utilize a return conveyor, where materials on the conveyor may be circulated back. If the object is determined to have been successfully handled, the method may instead proceed to step 350, where the current task assigned to the robot is marked as completed.

[0038] Particular embodiments may repeat one or more steps of the method of FIG. 3, where appropriate. Although this disclosure describes and illustrates particular steps of the method of FIG. 3 as occurring in a particular order, this disclosure contemplates any suitable steps of the method of FIG. 3 occurring in any suitable order. Moreover, although this disclosure describes and illustrates an example method for adjusting task distribution based on a determination of a backlog including the particular steps of the method of FIG. 3, this disclosure contemplates any suitable method for adjusting task distribution based on a determination of a backlog including any suitable steps, which may include all, some, or none of the steps of the method of FIG. 3, where appropriate. Furthermore, although this disclosure describes and illustrates particular components, devices, or systems carrying out particular steps of the method of FIG. 3, this disclosure contemplates any suitable combination of any suitable components, devices, or systems carrying out any suitable steps of the method of FIG. 3.

[0039] FIG. 4 shows an illustrative flowchart of an example method 400 for dynamically adjusting task distribution based on information from a previous operation cycle. The method 400 may include similar or different steps and processes described above with reference to FIGs. 2 and 3, and may be compatible with various embodiments disclosed herein. The method 400 may begin at step 410, where the computer system receives information indicating that the production has entered a pause or stop. For example, the production stop may be a scheduled stop or may be based on a user command. At step 420, status information associated with one or more objects may be retrieved and recorded. In particular embodiments, for example, the objects positioned downstream of the robots (i.e., at a target location where a placing operation is to be performed) may be of particular interest. Relevant status information may include, but is not limited to, a quantity of objects already handled or placed by the robots, a position of each handled object, a layout of the objects, a position of any missing object, or other suitable information indicating whether the objects have been successfully handled. In embodiments where the robots are instructed to place objects into respective containers, relevant status information may also include containers that have not been fully filled, a position of the containers, a quantity of objects already loaded into each container, or other suitable information. At step 430, production may resume or a new operation cycle may be initiated based on the received status information. In particular embodiments, the status information recorded from the previous round may be used to determine an initial task distribution of a subsequent cycle. Alternatively or additionally, the initial task distribution may be later adjusted through a task adjustment that is determined based on the status information from the previous round. As an example and not by way of limitation, in embodiments where tasks involve placing objects in containers, the incomplete containers left from prior operations may be prioritized by directing the robots to complete their filling first.

[0040] Particular embodiments may repeat one or more steps of the method of FIG. 4, where appropriate. Although this disclosure describes and illustrates particular steps of the method of FIG. 4 as occurring in a particular order, this disclosure contemplates any suitable steps of the method of FIG. 4 occurring in any suitable order. Moreover, although this disclosure describes and illustrates an example method for adjusting task distribution based on information from a previous operation cycle including the particular steps of the method of FIG. 4, this disclosure contemplates any suitable method for adjusting task distribution based on information from a previous operation cycle including any suitable steps, which may include all, some, or none of the steps of the method of FIG. 4, where appropriate. Furthermore, although this disclosure describes and illustrates particular components, devices, or systems carrying out particular steps of the method of FIG. 4, this disclosure contemplates any suitable combination of any suitable components, devices, or systems carrying out any suitable steps of the method of FIG. 4.

[0041] The following provides several example use cases according to particular embodiments of the disclosure. The use cases may be implemented based on one or more steps of one or more methods described above with reference to FIGs. 2-4, and may be compatible with various embodiments disclosed herein. It should be understood that the examples provided are merely for explanation purposes only, and are in no way intended to limit the scope of the disclosure. In this regard, implementation of particular embodiments according to the disclosure may involve none, some, or all of the following use cases. Moreover, although this disclosure describes particular use cases with a particular number, configuration, and arrangement of particular components, this disclosure contemplates any suitable use cases with any suitable number, configuration, and arrangement of any suitable components.

[0042] FIG. 5 schematically depicts a first example use case of dynamic task distribution, in accordance with particular embodiments of the disclosure. In particular embodiments, as shown on the left of FIG. 5, two robots (R1 and R2, respectively) may be tasked with picking up one or more objects 502 from a first conveyor belt 504 and placing them in respective one or more containers 506 on a second conveyor belt 508. The robots R1 and R2 may be instructed to operate following an initial task distribution. For example, as illustrated, the initial task distribution may be a predetermined Load Balancing strategy, where the incoming objects 502 on the first conveyor belt 504 are generally evenly assigned between robots R1 and R2. Specifically, for example, objects 502 labeled with the number “1” are assigned to robot R1 for grasping, while objects 502 labeled with the number “2” are assigned to robot R2 for grasping. At the other conveyor belt 508, robot R1 may be directed to always place objects at the upper “X” position in respective containers 506, while robot R2 places objects at the lower “X” position.

[0043] However, in the event of an unexpected malfunction or failure, such as when robot R1 encounters an issue and is unable to continue its pick-and-place tasks, the system may determine this disruption and record the event accordingly. Based on the event and the object status, such as its position, the distribution strategy may be automatically adjusted. Specifically, as illustrated on the right side of FIG. 5, in response to determining that robot R1 has failed, all of the incoming objects may be reassigned to robot R2, which will retrieve and place the objects in both the upper and lower “X” positions within the container 506. This may ensure that the containers 506 continue to be filled despite of robot R1’s failure, thereby minimizing the impact on downstream operations.

[0044] FIG. 6 schematically depicts a second example use case of dynamic task distribution, in accordance with particular embodiments of the disclosure. In particular embodiments, as shown on the left of FIG. 6, two robots (R1 and R2, respectively) may be tasked with picking up one or more objects 602 from a first conveyor belt 604 and placing them in respective one or more containers 606 on second and third conveyor belts 608 and 610, respectively. The robots R1 and R2 may be instructed to operate following an initial task distribution. For example, as illustrated, the initial task distribution may be based on an ATC strategy, in which objects 602 are assigned to robots R1 and R2 based on the robots’ proximity to the objects. In this case, given that robot R1 is positioned upstream relative to robot R2 along the conveyor line, when production starts, robot R1 will begin its picking operation before robot R2, leaving robot R2 idle as it waits for objects to be within its reach.

[0045] In particular embodiments, the task distribution may be adjusted to prevent such asynchrony in operation. Specifically, the system may be configured to delay the allocation of objects 602 to robot R1 and modify the task distribution correspondingly. As an example and not by way of limitation, a determination may be made, indicating that an object 602 has reached a workspace of robot R2, that the conveyor belt has moved a predefined distance, or that the conveyor has moved for a certain amount of time. Based on the determination, the task distribution may be adjusted accordingly so that both robot R1 and R2 may be instructed to begin their respective picking and placing operations at the same time.

[0046] FIG. 7 schematically depicts a third example use case of dynamic task distribution, in accordance with particular embodiments of the disclosure. In particular embodiments, three robots R1, R2, and R3 are placed at different positions along a production line, each of which may be tasked with object manipulation based on specific distribution strategies. For example, the three robots may be instructed to perform operations including picking up one or more objects 702 from a first conveyor belt 704 (operation 1) and placing them in respective one or more containers 706 on a second conveyor belt 708 (operation 2) . The allocation of objects and tasks among the robots may change dynamically in response to different events. In particular embodiments, an initial distribution strategy (distribution 1) may be preset to be triggered at the start of production. As an example and not by way of limitation, based on the initial distribution strategy, objects may be assigned to robots R1, R2, and R3 according to various factors such as the distance between the robots. For example, the allocation of objects may follow a ratio of R3: R2: R1 = 3: 2: 1 (robot R3, which is the furthest downstream in position, may be assigned with the first three incoming objects labeled “3” , robot R2 assigned with the subsequent two objects indicated by “2” , and robot R1 with the following one “1” . ) Advantageously, this may ensure that the robots R1, R2, and R3 operate almost simultaneously.

[0047] As production flow continues, the tasks may be adjusted to follow an adjusted distribution strategy (distribution 2) . In particular embodiments, such an adjustment may occur after the conveyor belt has moved a certain distance. As an example and not by way of limitation, this may be detected based on sensor data or other information associated with the conveyor belt and recorded as a triggering event. Alternatively, this may be automatically triggered after a specific time period since the start of production (e.g., 5 minutes after initiation) . In the illustrated embodiment, under distribution 2, robot R2 may be configured to double pick, handling twice as many objects as robots R1 and R3, although other ratios of object allocation are also possible.

[0048] The system may continue to monitor the object status, the robot condition, or other suitable operational or performance parameters. Based on the monitoring, if an issue arises, such as robot R2 pausing due to malfunction, maintenance, or other reasons, task distribution may be further adjusted-for example, based on distribution 3 shown-to ensure that the pick-and-place operation continues without interruption. In particular embodiments, the objects may be reassigned between the available robots R1 and R3 so that all objects are grasped, regardless of the status of robot R2.

[0049] In particular embodiments, the task distribution may be even further adjusted. As an example and not by way of limitation, operational demand may shift as the production enters different stages. For example, as illustrated, if a determination is made that production needs to stop or pause, in order to ensure that all detected objects are properly processed, the robotic system may be instructed to cease operation after running for a predefined period. In particular embodiments, as the production line transitions to a full stop, the robotic system may operate based on distribution 4, in which the proximate robot R3 is tasked with picking up as many objects as possible, while the distal robot R1 completes the remaining tasks (if any) .

[0050] Similar task adjustments may be applied to the place conveyor 708 for the placing operation 2. As an example and not by way of limitation, based on a determination that robot R2 malfunctions, robots R1 and / or R3 may be instructed to place objects at locations inside the containers that were previously allocated to robot R2.

[0051] FIG. 8 illustrates a schematic block diagram of a computer system 800 that may be used to implement embodiments of the present disclosure. The computer system 800 may be the device or apparatus described in the embodiments of the present disclosure. As shown in FIG. 8, the computer system 800 includes a processor 802, which may be configured to execute various appropriate actions and processing to perform the methods (e.g., the methods 200, 300, and 400) of the present disclosure. The processor 802 is implemented in hardware, firmware, or a combination of hardware and software. In addition, although not shown in FIG. 8, the computer system 800 may also include a co-processor.

[0052] The processor 802 may execute actions and processing to perform the methods of the present disclosure according to computer program instructions. The computer program instructions for performing the operations of the present disclosure may be assembly instructions, Instruction Set Architecture (ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, status setting data, or source code or object code written in any combination of one or more programming languages, including object-oriented programming languages as well as conventional procedural programming languages. In some embodiments, an electronic circuit, such as a programmable logic circuit, a field programmable gate array (FPGA) , or a programmable logic array (PLA) , is customized by utilizing status information of the computer-readable program instructions. The electronic circuit may execute the computer-readable program instructions so as to implement various aspects of the present disclosure.

[0053] These computer-readable program instructions may be provided to a processing unit of a general-purpose computer, a special-purpose computer, or a further programmable data processing apparatus, thereby producing a machine, such that these instructions, when executed by the processing unit of the computer or the further programmable data processing apparatus, produce means for implementing functions / actions specified in one or more blocks in the flow charts and / or block diagrams. These computer-readable program instructions may also be stored in a computer-readable storage medium, and these instructions cause a computer, a programmable data processing apparatus, and / or other devices to operate in a specific manner; and thus the computer-readable medium having instructions stored includes an article of manufacture that includes instructions that implement various aspects of the functions / actions specified in one or more blocks in the flow charts and / or block diagrams.

[0054] The computer-readable program instructions may also be loaded onto a computer, other programmable data processing apparatuses, or other devices, such that a series of operating steps may be executed on the computer, the other programmable data processing apparatuses, or the other devices to produce a computer-implemented process, such that the instructions executed on the computer, the other programmable data processing apparatuses, or the other devices may implement the functions / actions specified in one or more blocks in the flow charts and / or block diagrams.

[0055] The computer program instructions may be stored in a Read-Only Memory (ROM) 804 or be loaded onto a Random Access Memory (RAM) 806 from a storage unit 816, for example. The processor 802, the ROM 804, and the RAM 806 are connected to each other via bus 808. An input / output (I / O) interface 810 is also connected to bus 808. The various methods or processes described above may be performed by the processor 802.

[0056] A plurality of components in computer system 800 are connected to the I / O interface 810, including: an input unit 812, such as a keyboard and a mouse; an output unit 814, such as various types of displays and speakers; the storage unit 816, such as a magnetic disk and an optical disc; and a communication unit 818, such as a network card, a modem, and a wireless communication transceiver. The communication unit 818 allows the computer system 800 to exchange information / data with other devices via a computer network, such as the Internet, and / or various telecommunication networks.

[0057] In some embodiments, the methods and processes described above may be implemented as a computer program product. The computer program product may include a computer-readable storage medium on which computer-readable program instructions for performing various aspects of the present disclosure are loaded.

[0058] The computer-readable storage medium may be a tangible device that may retain and store instructions used by an instruction-executing device. For example, the computer readable storage medium may be, but is not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the above. More specific examples (anon-exhaustive list) of the computer-readable storage medium include: a portable computer disk, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or flash memory) , a static random access memory (SRAM) , a portable compact disc read-only memory (CD-ROM) , a digital versatile disc (DVD) , a memory stick, a floppy disk, a mechanical coding device, for example, a punch card or a raised structure in a groove with instructions stored thereon, and any suitable combination of the foregoing. The computer-readable storage medium used herein is not to be interpreted as transient signals per se, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through waveguides or other transmission media (e.g., light pulses through fiber-optic cables) , or electrical signals transmitted through electrical wires.

[0059] The computer-readable program instructions described herein may be downloaded from a computer-readable storage medium to various computing / processing devices, or downloaded to an external computer or external storage device via a network, such as the Internet, a local area network, a wide area network, and / or a wireless network. The network may include copper transmission cables, fiber optic transmission, wireless transmission, routers, firewalls, switches, gateway computers, and / or edge servers. A network adapter card or network interface in each computing / processing device receives computer-readable program instructions from a network and forwards the computer-readable program instructions for storage in a computer-readable storage medium in each computing / processing device.

[0060] The flow charts and block diagrams in the drawings illustrate the architectures, functions, and operations of possible implementations of the devices, methods, and computer program products according to various embodiments of the present disclosure. In this regard, each block in the flow charts or block diagrams may represent a module, a program segment, or part of an instruction, and the module, program segment, or part of an instruction includes one or more executable instructions for implementing specified logical functions. In some alternative implementations, functions marked in the blocks may also occur in an order different from those marked in the accompanying drawings. For example, two consecutive blocks may in fact be executed substantially concurrently, and sometimes they may also be executed in a reverse order, depending on the functions involved. It should be further noted that each block in the block diagrams and / or flow charts, as well as a combination of blocks in the block diagrams and / or flow charts, may be implemented using a dedicated hardware-based system that executes specified functions or actions, or using a combination of special hardware and computer instructions.Recitation of Embodiments

[0061] Embodiment 1: A method implemented by a robotic system for manipulating a plurality of objects, comprising: sending instructions to the robotic system to operate based on an initial task distribution; receiving status information associated with the plurality of objects; determining an event associated with the robotic system; determining, based at least on the status information and the determined event, a task adjustment for the robotic system; and sending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.

[0062] Embodiment 2: The method of Embodiment 1, wherein the event associated with the robotic system comprises one or more of: a change in production stage of the robotic system; a change in state of the robotic system; a deviation from an expected manipulation of one or more of the plurality of objects; a lapse of time; or a user input event.

[0063] Embodiment 3: The method of any of Embodiments 1-2, wherein the status information associated with the plurality of objects comprises one or more of: a quantity of the plurality of objects; a spatial distribution of the plurality of objects; or respective position of one or more of the plurality of objects.

[0064] Embodiment 4: The method of any of Embodiments 1-3, wherein the status information is associated with one or more of the plurality of objects at a first location where the robotic system is configured to perform a first manipulation.

[0065] Embodiment 5: The method of any of Embodiments 1-4, wherein the status information is associated with one or more of the plurality of objects at a second location where the robotic system is configured to perform a second manipulation.

[0066] Embodiment 6: The method of any of Embodiments 1-5, wherein the status information is associated with one or more of the plurality of objects from a previous manipulation cycle.

[0067] Embodiment 7: The method of any of Embodiments 1-6, wherein the initial task distribution is determined based on the status information associated with the plurality of objects.

[0068] Embodiment 8: The method of any of Embodiments 1-7, wherein the task adjustment comprises switching between a plurality of task distributions.

[0069] Embodiment 9: The method of any of Embodiments 1-8, wherein the task adjustment comprises adjusting one or more parameters associated with the initial task distribution.

[0070] Embodiment 10: The method of any of Embodiments 1-9, wherein the task adjustment comprises redistributing one or more tasks from a first robot of the robotic system to a second robot of the robotic system.

[0071] Embodiment 11: The method of any of Embodiments 1-10, further comprising: determining whether the plurality of objects have been successfully manipulated by the robotic system; and based on the determination, for each of the plurality of objects that has not been successfully manipulated, recording respective status information associated with the objects.

[0072] Embodiment 12: The method of any of Embodiments 1-11, wherein the task adjustment for the robotic system is determined by utilizing a deep learning model

[0073] Embodiment 13: A robotic system for manipulating a plurality of objects, the robotic system comprising one or more computer-readable non-transitory storage media embodying software that is operable when executed to perform operations comprising: sending instructions to the robotic system to operate based on an initial task distribution; receiving status information associated with the plurality of objects; determining an event associated with the robotic system; determining, based at least on the status information and the determined event, a task adjustment for the robotic system; and sending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.

[0074] Embodiment 14: The robotic system of Embodiment 13, wherein the event associated with the robotic system comprises one or more of: a change in production stage of the robotic system; a change in state of the robotic system; a deviation from an expected manipulation of one or more of the plurality of objects; a lapse of time; or a user input event.

[0075] Embodiment 15: The robotic system of any of Embodiments 13-14, wherein the status information associated with the plurality of objects comprises one or more of: a quantity of the plurality of objects; a spatial distribution of the plurality of objects; or respective position of one or more of the plurality of objects.

[0076] Embodiment 16: The robotic system of any of Embodiments 13-15, wherein the status information is associated with one or more of the plurality of objects at a first location where the robotic system is configured to perform a first manipulation.

[0077] Embodiment 17: The robotic system of any of Embodiments 13-16, wherein the status information is associated with one or more of the plurality of objects at a second location where the robotic system is configured to perform a second manipulation.

[0078] Embodiment 18: One or more computer-readable non-transitory storage media embodying software that is operable when executed by a robotic system for manipulating a plurality of objects to perform operations comprising: sending instructions to the robotic system to operate based on an initial task distribution; receiving status information associated with the plurality of objects; determining an event associated with the robotic system; determining, based at least on the status information and the determined event, a task adjustment for the robotic system; and sending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.

[0079] Embodiment 19: The storage media of Embodiment 18, wherein the event associated with the robotic system comprises one or more of: a change in production stage of the robotic system; a change in state of the robotic system; a deviation from an expected manipulation of one or more of the plurality of objects; a lapse of time; or a user input event.

[0080] Embodiment 20: The storage media of any of Embodiments 18-19, wherein the status information associated with the plurality of objects comprises one or more of: a quantity of the plurality of objects; a spatial distribution of the plurality of objects; or respective position of one or more of the plurality of objects.Miscellaneous

[0081] Herein, “or” is inclusive and not exclusive, unless expressly indicated otherwise or indicated otherwise by context. Therefore, herein, “A or B” means “A, B, or both, ” unless expressly indicated otherwise or indicated otherwise by context. Moreover, “and” is both joint and several, unless expressly indicated otherwise or indicated otherwise by context. Therefore, herein, “A and B” means “A and B, jointly or severally, ” unless expressly indicated otherwise or indicated otherwise by context.

[0082] The scope of this disclosure encompasses all changes, substitutions, variations, alterations, and modifications to the example embodiments described or illustrated herein that a person having ordinary skill in the art would comprehend. The scope of this disclosure is not limited to the example embodiments described or illustrated herein. Moreover, although this disclosure describes and illustrates respective embodiments herein as including particular components, elements, feature, functions, operations, or steps, any of these embodiments may include any combination or permutation of any of the components, elements, features, functions, operations, or steps described or illustrated anywhere herein that a person having ordinary skill in the art would comprehend. Furthermore, reference in the appended claims to an apparatus or system or a component of an apparatus or system being adapted to, arranged to, capable of, configured to, enabled to, operable to, or operative to perform a particular function encompasses that apparatus, system, component, whether or not it or that particular function is activated, turned on, or unlocked, as long as that apparatus, system, or component is so adapted, arranged, capable, configured, enabled, operable, or operative. Additionally, although this disclosure describes or illustrates particular embodiments as providing particular advantages, particular embodiments may provide none, some, or all of these advantages.

Claims

1.A method for dynamic task distribution implemented by a robotic system for manipulating a plurality of objects, comprising:sending instructions to the robotic system to operate based on an initial task distribution;receiving status information associated with the plurality of objects;determining an event associated with the robotic system;determining, based at least on the status information and the determined event, a task adjustment for the robotic system; andsending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.2.The method of Claim 1, wherein the event associated with the robotic system comprises one or more of:a change in production stage of the robotic system;a change in state of the robotic system;a deviation from an expected manipulation of one or more of the plurality of objects;a lapse of time; ora user input event.3.The method of Claim 1, wherein the status information associated with the plurality of objects comprises one or more of:a quantity of the plurality of objects;a spatial distribution of the plurality of objects; orrespective position of one or more of the plurality of objects.4.The method of Claim 1, wherein the status information is associated with one or more of the plurality of objects at a first location where the robotic system is configured to perform a first manipulation.5.The method of Claim 1, wherein the status information is associated with one or more of the plurality of objects at a second location where the robotic system is configured to perform a second manipulation.6.The method of Claim 1, wherein the status information is associated with one or more of the plurality of objects from a previous manipulation cycle.7.The method of Claim 1, wherein the initial task distribution is determined based on the status information associated with the plurality of objects.8.The method of Claim 1, wherein the task adjustment comprises switching between a plurality of task distributions.9.The method of Claim 1, wherein the task adjustment comprises adjusting one or more parameters associated with the initial task distribution.10.The method of Claim 1, wherein the task adjustment comprises redistributing one or more tasks from a first robot of the robotic system to a second robot of the robotic system.11.The method of Claim 1, further comprising:determining whether the plurality of objects have been successfully manipulated by the robotic system; andbased on the determination, for each of the plurality of objects that has not been successfully manipulated, recording respective status information associated with the objects.12.The method of Claim 1, wherein the task adjustment for the robotic system is determined by utilizing a deep learning model.13.A robotic system for manipulating a plurality of objects, the robotic system comprising one or more computer-readable non-transitory storage media embodying software that is operable when executed to perform operations comprising:sending instructions to the robotic system to operate based on an initial task distribution;receiving status information associated with the plurality of objects;determining an event associated with the robotic system;determining, based at least on the status information and the determined event, a task adjustment for the robotic system; andsending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.14.The robotic system of Claim 13, wherein the event associated with the robotic system comprises one or more of:a change in production stage of the robotic system;a change in state of the robotic system;a deviation from an expected manipulation of one or more of the plurality of objects;a lapse of time; ora user input event.15.The robotic system of Claim 13, wherein the status information associated with the plurality of objects comprises one or more of:a quantity of the plurality of objects;a spatial distribution of the plurality of objects; orrespective position of one or more of the plurality of objects.16.The robotic system of Claim 13, wherein the status information is associated with one or more of the plurality of objects at a first location where the robotic system is configured to perform a first manipulation.17.The robotic system of Claim 13, wherein the status information is associated with one or more of the plurality of objects at a second location where the robotic system is configured to perform a second manipulation.18.One or more computer-readable non-transitory storage media embodying software that is operable when executed by a robotic system for manipulating a plurality of objects to perform operations comprising:sending instructions to the robotic system to operate based on an initial task distribution;receiving status information associated with the plurality of objects;determining an event associated with the robotic system;determining, based at least on the status information and the determined event, a task adjustment for the robotic system; andsending instructions to the robotic system to operate based on an adjusted task distribution corresponding to the task adjustment.19.The storage media of Claim 18, wherein the event associated with the robotic system comprises one or more of:a change in production stage of the robotic system;a change in state of the robotic system;a deviation from an expected manipulation of one or more of the plurality of objects;a lapse of time; ora user input event.20.The storage media of Claim 18, wherein the status information associated with the plurality of objects comprises one or more of:a quantity of the plurality of objects;a spatial distribution of the plurality of objects; orrespective position of one or more of the plurality of objects.