Apparatus and method using new network transmission protocol for internet-based telerobotic operation

Abstract

The system includes an operator terminal, a robot terminal, and a tele-robot control protocol (TRCP) server for managing data transmission. The operator terminal comprises an input device to receive operator commands, a visualization device for stereoscopic feedback, a haptic device for tactile feedback, a command generation module, and a feedback processing module. The command generation module generates control commands and waits for confirmation from the feedback processing module before issuing new commands. The robot terminal includes a robotic arm, a command execution module, a force sensor, a camera, and a feedback generation module. The command execution module converts received commands into machine-readable signals for the robotic arm and extracts event reference values. The feedback generation module processes data from the force sensor and camera, appending event reference values to feedback before sending it to the operator terminal.

Description

APPARATUS AND METHOD USING NEW NETWORK TRANSMISSION PROTOCOL FOR INTERNET-BASED TELEROBOTIC OPERATIONTechnical Field:

[0001] The present invention relates to robot teleoperation technique, in particularly to apparatuses and methods using an Internet-based robot teleoperation system and a novel network transmission protocol for internet-based telerobotic operations.Background:

[0002] Internet-based robotic teleoperation enables the remote access and control of robots through the Internet. Traditional teleoperation systems rely on specialized communication lines, which not only increase costs but also limit adaptability. With the rapid advancement of network technology, the Internet has become an excellent option as a communication channel between operators and robots due to its low cost, widespread availability, and openness.

[0003] During data transmission, teleoperation performance is influenced by routing strategies, protocols, the number of concurrent users, transmission distance, and other factors. These issues can result in transmission delays, congestion, and timing disorders. Due to the inherent characteristics of the Internet, such as its randomness, variability, and unpredictability, network delays can negatively impact the controllability, stability, and transparency of robotic teleoperation systems.

[0004] To address problems caused by random delays, existing control methods employ technologies like prediction, compensation, and event-based control to mitigate their effects. However, these methods are limited in handling random delays and unpredictable network conditions. For instance, prediction technology analyzes historical data and builds models to forecast trends and changes in network latency. This enables the control system to make proactive adjustments and reduce the impact on operations. Similarly, compensation technology adds calculated delays before sending instructions based on known latency information, aligning the timing of robot instruction reception with the intended moment. Despite these strategies, random delays remain unpredictable and variable. As a result, it is impossible to fully account for every delay variation, which significantly impacts the teleoperator’s sense of immersion.

[0005] To further enhance the performance of Internet-based robotic teleoperation, a new dedicated communication protocol needs to be developed. This protocol should be specifically designed to address the random delay characteristics of the Internet while balancing reliability and efficiency. Such a solution would provide better support for robotic teleoperation, fostering the development and broader application of robotic technology.

[0006] The primary transport protocols used on the Internet for implementing network applications are Transmission Control Protocol (TCP) and User Datagram Protocol (UDP) .

[0007] UDP transmits datagrams on a best-effort basis, without managing network congestion or confirming whether packets successfully reach their destination. When UDP is used for robotic teleoperation under favorable network conditions, data transmission delays are minimal, and delay jitter is negligible. However, in the event of network congestion, UDP cannot ensure reliable or optimal data transmission for remote robot operation.

[0008] TCP, on the other hand, is a complex protocol designed to guarantee packet delivery by retransmitting lost packets, but this adds significant time delay. TCP also employs dynamic window-based congestion control, which further contributes to delay jitter. As a result, TCP is unsuitable for robotic teleoperation, where fast and consistent packet delivery is essential.

[0009] Other protocols, such as RTP (Real-Time Protocol) , NADA (Network-Assisted Dynamic Adaptation) , LDA (Loss-Delay Adjustment Protocol) , and TFRC (TCP-Friendly Rate Control Protocol) , are specifically designed for multimedia applications, including Internet-based video and audio transmission. However, these protocols utilize buffering to reduce delay jitter, making them ill-suited for telerobotic applications. Buffering increases data transfer latency and can introduce instability into robotic teleoperation systems.

[0010] Therefore, there is a need for improvement in network protocols to address the unique requirements of robotic teleoperation, where low latency, minimal jitter, and reliable data transmission are critical.Summary of Invention:

[0011] It is an objective of the present invention to provide an apparatus and a method to address the aforementioned shortcomings and unmet needs in the state of the art.

[0012] Internet based robotic teleoperating systems experience instability, loss of transparency and synchronization problems. Contributing to these challenges is the latency nature of the Internet, the delay experienced over the Internet that is random and uncertain with no simple stochastic model. Existing control methods use strategies such as prediction and compensation to minimize the impact of delay, however, these techniques still have significant practical limitations. The unpredictability and variability of random delays make it impossible to correctly predict and account for every change in delay, which can have a serious impact on the immersion of the remote operator.

[0013] In order to overcome the problems caused by random latency and to further improve the performance of Internet based robotic teleoperation, in the present disclosure, a novel Internet transport protocol dedicated to robotic teleoperation, called Tele Robot Control Protocol (TRCP) is provided.

[0014] The TRCP overcomes the limitations of existing control methods in handling random delays. Both theoretical and experimental results demonstrate that the robot teleoperation system developed using this protocol effectively mitigates issues caused by random delays, ensuring stability, transparency, and synchronization. Analysis indicates that the proposed protocol outperforms existing methods. Moreover, the solution is versatile, easily adaptable to other teleoperation scenarios, and well-suited for real-time teleoperation over the Internet.

[0015] Additionally, the TRCP provides the essential communication and control mechanisms for a comprehensive remote operating system. TRCP forward streaming enables end-to-end transmission of real-time messages but does not guarantee service quality. TRCP backward streaming works in conjunction with forward streaming to provide service quality supervision and feedback. To minimize delays and ensure real-time information, TRCP packets are transmitted via UDP. The proposed solution is highly adaptable, easily generalized to other teleoperation use cases, and can be widely used in real-time teleoperation over the Internet.

[0016] In accordance with a first aspect of the present invention, a system using an Internet-based robot teleoperation and a network transmission protocol for internet-based telerobotic operations is provided. The system includes an operator terminal, a robot terminal, and a tele robot control protocol (TRCP) server. The operator terminal includes an input device, a visualization device, a haptic device, a command generation module, and a feedback processing module. The input device is configured to receive operator commands from operator. The visualization device is configured to providing stereoscopic visual feedback for helping the operator interpret robot’s environment. The haptic device is configured to deliver tactile feedback to the operator, simulating force interactions. The command generation module communicates with the input device. The feedback processing module collaborates with the command generation module and is configured to deliver at least one video feedback signal and at least one force feedback signal to the visualization device and the haptic device, respectively. The command generation module generates at least one control command and goes into standby until receiving confirmation from the feedback processing module. Only after receiving confirmation from the feedback processing module does the command generation module generate new commands. The robot terminal communicates with the operator terminal and includes a robotic arm, a command execution module, a force sensor, a camera, and a feedback generation module. The command execution module is configured to receive the control command from the command generation module and coverts the control command into machine-readable signals for the robotic arm for execution. The command execution module is further configured to extract at least one event reference value from the received control command. The force sensor is configured to detect interaction forces between the robotic arm. The camera is configured to capture visual information from environment around the robotic arm. The feedback generation module receives force feedback data from the force sensor and receives at least one image from the camera for visual feedback. The feedback generation module is configured to append the event reference value to feedback information before transmitting the feedback information to the feedback processing module. The TRCP server is electrically coupled between the operator terminal and the robot terminal for managing data transmission and synchronization.

[0017] In accordance with a second aspect of the present invention, a method using an Internet-based robot teleoperation and a network transmission protocol for internet-based telerobotic operations is provided. The method includes steps as follows: operating at an operator terminal to generate operator commands; receiving, by an input device, the operator commands from an operator; providing, by a visualization device, stereoscopic visual feedback for helping the operator interpret robot’s environment; delivering, by a haptic device, tactile feedback to the operator for simulating force interactions; coupling a command generation module with a feedback processing module which is configured to deliver at least one video feedback signal and at least one force feedback signal to the visualization device and the haptic device, respectively, wherein the command generation module generates at least one control command and goes into standby until receiving confirmation from the feedback processing module, and wherein only after receiving confirmation from the feedback processing module does the command generation module generate new commands; coupling a robot terminal with the operator terminal, wherein the robot terminal comprises a robotic arm and a command execution module; receiving, by the command execution module, the control command from the command generation module; converting, by the command execution module, the control command into machine-readable signals for the robotic arm for execution; extracting, by the command execution module, at least one event reference value from the received control command; detecting, by a force sensor, interaction forces between the robotic arm; capturing, by a camera, visual information from environment around the robotic arm; receiving, by a feedback generation module, force feedback data from the force sensor and receiving, by the feedback generation module, at least one image from the camera for visual feedback; appending, by the feedback generation module, the event reference value to feedback information before transmitting the feedback information to the feedback processing module; and electrically coupling a tele robot control protocol (TRCP) server between the operator terminal and the robot terminal for managing data transmission and synchronization.

[0018] Since TRCP specifies a header format for robot teleoperation, data sharing is both simple and effective, and the receiver can swiftly parse and process the message in accordance with the header information. To confirm the sender s control authority and identify the sender ID, the protocol s authentication information field is employed. The system’s security can be increased by using this authentication mechanism to stop illegal access and robot manipulation. A means for adjusting the interval is provided by the protocol of the present invention. To achieve a balance between real-time responsiveness and flexibility, TRCP forward streaming can be delivered at adaptive intervals based on real-time conditions, utilizing the information reported in TRCP backward streaming.

[0019] Further, TRCP Protocol in 5G networks and dynamic parameter adjustment mechanism is provided. The TRCP protocol is meticulously designed to harness the advanced capabilities of 5G networks, which offer unparalleled high bandwidth, low latency, and enhanced reliability compared to previous generations. These features make 5G an ideal foundation for real-time robot teleoperation, where swift and consistent data transmission is essential. However, 5G networks also present challenges such as significant bandwidth fluctuations due to varying user loads, interference, and environmental factors. Considering the high bandwidth and significant bandwidth fluctuations characteristic of 5G networks, it is essential to fully leverage the advantages of 5G's high bandwidth while enhancing bandwidth utilization.

[0020] To achieve this, a congestion control mechanism inspired by advanced congestion control algorithms is integrated into the TRCP protocol. This mechanism dynamically adjusts key parameters of the teleoperation system based on real-time network conditions. Specifically, it monitors network transmission rates and congestion states periodically and optimizes data flow paths and rates accordingly. This ensures efficient data transmission and system responsiveness under varying network conditions. The adaptive parameter adjustment method not only accommodates the dynamic nature of 5G networks but also significantly improves the transmission efficiency and stability of the TRCP protocol in high-bandwidth environments.

[0021] By the provided solution configuration, the TRCP protocol not only excels in 5G network environments but also achieves intelligent and adaptive management of the robot system by comprehensively considering operational task characteristics and remote operator quality. This further enhances the overall performance and user experience of the internet-based robot teleoperation system.Brief Description of Drawings:

[0022] Embodiments of the invention are described in more details hereinafter with reference to the drawings, in which:

[0023] FIG. 1 shows TRCP-enabled event-based teleoperation system according to one embodiment of the present invention;

[0024] FIG. 2 shows TRCP forward packet information according to one embodiment of the present invention;

[0025] FIG. 3 shows TRCP backward packet information according to one embodiment of the present invention;

[0026] FIG. 4: shows Petri net model of the system according to one embodiment of the present invention;

[0027] FIG. 5 shows the reduced form of the model according to one embodiment of the present invention;

[0028] FIG. 6 shows the coverability tree of the reduced model according to one embodiment of the present invention;

[0029] FIG. 7A, FIG. 7B, and FIG. 7C show comparison between the desired velocity and the actual velocity according to one embodiment of the present invention;

[0030] FIG. 8A, FIG. 8B, and FIG. 8C show comparison between the force felt by the operator and the force detected by the force / torque sensor according to one embodiment of the present invention;

[0031] FIG. 9A, FIG. 9B, FIG. 9C, and FIG. 9D show RTT charts for teleoperation with different protocols according to one embodiment of the present invention;

[0032] FIG. 10 demonstrates Table 1 for RTT results in milliseconds;

[0033] FIG. 11 demonstrates Table 2 for EMOTIV performance metrics for teleoperation with different protocols;

[0034] FIG. 12 depicts a schematic diagram of a system using an Internet-based robot teleoperation and a network transmission protocol for internet-based telerobotic operations according to some embodiments of the present invention;

[0035] FIG. 13 depicts a schematic diagram of a system using an Internet-based robot teleoperation and a network transmission protocol for internet-based telerobotic operations according to some embodiments of the present invention; and

[0036] FIG. 14 is a demonstration diagram illustrating the use case of a system, which utilizes an Internet-based robot teleoperation system and a network transmission protocol for internet-based telerobotic operations according to some embodiments of the present invention.Detailed Description of the Invention:

[0037] In the following description, apparatuses and methods using an Internet-based robot teleoperation system and a new network transmission protocol, and the likes are set forth as preferred examples. It will be apparent to those skilled in the art that modifications, including additions and / or substitutions may be made without departing from the scope and spirit of the invention. Specific details may be omitted so as not to obscure the invention; however, the disclosure is written to enable one skilled in the art to practice the teachings herein without undue experimentation.

[0038] In traditional time-based remote operating systems, control and feedback signals are sampled periodically in the time domain. Due to the random time delay in the data transmission process, the control instructions issued by the operator often do not correspond to the current status of the robot, causing the robot's actions to be inconsistent with expectations and reducing work performance. This problem can be defined as the asynchrony between control commands and feedback information. Therefore, an event-based control approach is used, where all signals are sampled relative to an event reference, and each component only responds to the occurrence of an event. New commands are generated and sent by the operator only after receiving the latest status of the robot. An event-based control method is integrated into the proposed protocol, optimizing the information transmission strategy and mechanism to address the random delay characteristics of the network. A header format suitable for remote operation of the robot is defined, making data exchange simple and efficient, thus balancing efficiency and reliability and effectively solving the problems caused by random Internet delays.

[0039] There is currently no communication protocol specifically designed for remote operation of Internet robots. TCP and UDP are the two most widely used basic transport protocols on the Internet. Although UDP attempts to deliver datagrams, it cannot handle network congestion or verify that the packet has arrived at its intended location. If the network conditions are good, using UDP for robot remote control will have minimal data transmission delay and minimal delay jitter. However, UDP cannot provide real time feedback information to the sender and cannot guarantee reliable data transmission for robot remote control when the network is busy.

[0040] In contrast, TCP is a complex protocol that ensures reliable data transmission and retransmits packets if they are lost, although doing so also increases latency. Dynamic windows allow TCP to handle congestion, but they also cause jitter delays. Since remote robot operation requires fast and reliable packet reception, TCP is not a good choice. There are additional protocols created specifically to meet the needs of multimedia network applications, including Real Time Transport Protocol (RTP) , Network Assisted Dynamic Adaptation (NADA) , Loss Delay Adjustment Protocol (LDA) , and TCP Friendly Rate Control Protocol (TFRC) . However, these protocols are not suitable for telerobotic applications because they use buffers to reduce latency jitter, and these buffers increase data transfer latency and may lead to unstable telerobotic operations.

[0041] In the present disclosure, a novel Internet transport protocol, named Tele Robot Control Protocol (TRCP) , is provide as a complete solution for robot teleoperation. On this basis, an event-based robot teleoperation system is developed. The system architecture for TRCP is shown in FIG. 1. The system has been experimentally implemented on the testbeds of robotics laboratories and compared with state-of-the-art protocols. Experimental results demonstrate that the proposed protocol improves the stability, transparency, and synchronization of real-time robotic teleoperation systems.

[0042] To make the mechanism of the provided system understandable, the issues or topics to be discussed include: Section (A) focuses on describing the proposed TRCP protocol behavior; Section (B) describes the construction and implementation methods of robotic teleoperation systems; Section (C) presents the experimental results and evaluations; and there is the conclusion. Further, systems built based on the proposed architecture are provided according to some embodiments of the present invention.

[0043] Section (A) : TRCP-ENABLED EVENT-BASED CONTROL

[0044] (A1) Main Features of TRCP

[0045] A novel transmission protocol, called TRCP, for robot remote operation provides the necessary communication and control mechanism for a comprehensive remote operating system. TRCP characteristics are similar to RTP / RTCP and it is improved for robot teleoperation applications.

[0046] TRCP forward streaming provides end-to-end transmission for real-time messages but does not provide guarantees on service quality. In this regard, TRCP backward streaming is used in conjunction with TRCP forward streaming to provide service quality supervision and feedback. In order to reduce the delay and ensure real-time information, TRCP packets are transmitted through UDP.

[0047] (A2) TRCP Packet Information

[0048] TRCP packets use a small header, as shown in FIG. 2 and FIG. 3, which contains the information required to perform bilateral teleoperation.

[0049] The TRCP forward packet header is 8 bytes long and contains the following fields:

[0050] Message type: 1 bit, this field identifies the type of message being sent, indicating whether the message is a control command or a feedback.

[0051] Message ID: 2 bits, this field is used to identify the message function, indicating that the message is a speed command, position command, viewing angle command; video feedback, or force feedback.

[0052] Message length: 5 bits, this field specifies the length of the message (in bytes) . Used by the receiver to determine how much data to read from the network stream, 0 means the default length.

[0053] Authentication information: 8 bits, this field contains information about the sender's identity and authentication credentials. It is used to ensure the sender's control rights and indicate the sender ID. The first digit indicates whether it is an operator or a viewer, and the last 4 digits indicate the number of the sender.

[0054] Event stamp: 16 bits, used to identify the event index of the data packet.

[0055] Timestamp: 32 bits, used to identify the time when the message was sent.

[0056] The header length of TRCP backward packet is 4+X bytes and contains the following fields (X is the number of report blocks, which can be expanded as needed) :

[0057] Message type: 1 bit, this field identifies the type of message being sent, indicating whether the message is a control command or a feedback.

[0058] Message ID: 2 bits, this field is used to identify the message function, indicating that the message is a speed command, position command, viewing angle command; video feedback, or force feedback.

[0059] Report block count: 5 bits, indicating the number of report blocks in the package, each report block contains information about a specific actor.

[0060] Authentication information: 8 bits, this field contains information about the sender's identity and authentication credentials. It is used to ensure the sender’s control rights and indicate the sender ID. The first digit indicates whether it is an operator or a viewer, and the last 4 digits indicate the number of the sender.

[0061] Event stamp: 16 bits, used to identify the event index of the data packet.

[0062] Report block: this field can be used to feedback information such as delay, packet loss rate, etc., each occupying 8 bits.

[0063] (A3) TRCP-enabled Event-based Control

[0064] In traditional time-based teleoperation systems, control and feedback signals are sampled periodically, in the time domain. Due to the random time delay in the data transmission process, the feedback information received by the operator at Time t does not correspond to Ft generated by the robot in real-time, instead it corresponds to Ft-Δt generated at t-Δt due to delay in the data transmission. The control commands issued by the operator based on Ft-Δt often do not correspond to the current state of the robot, which causes the robot’s actions to be inconsistent with expectations and degrades the performance of operation. This problem can be defined as the asynchrony between control commands and feedback information. In addition, the lack of synchronization between the various types of feedback (e.g., video, audio, force, temperature, etc. ) also makes it impossible for the operator to accurately judge the state of the robot.

[0065] Using time as a reference will cause tele system instability, loss of transparency, and desynchronization. Therefore, in some embodiments, an event-based control approach is used, where all signals are sampled relative to the event reference and each component only responds to the occurrence of the event. Accordingly, in in some embodiment, the event reference is added to the header of TRCP forward packet and TRCP backward packet so that each client can extract the event reference after receiving the data packet and use it to judge whether to sample a new signal. All control commands and feedback information are transmitted as payloads using TRCP forward streaming, and each transmission has a corresponding TRCP backward streaming to confirm the arrival of the data packet.

[0066] The operator generates and sends a new command Vn+1 only after receiving the latest state Fn of the robot. Therefore, the TRCP forward streaming carrying the control command is continuously sent at an adaptive interval if and only if the event stamp increases or the received event stamp in the corresponding TRCP backward streaming is smaller than the current event stamp. TRCP forward streaming carrying feedback information are sent continuously at adaptive intervals to improve operator immersion. The TRCP backward streaming is sent after receiving the corresponding TRCP forward packet.

[0067] TRCP defines a header format suitable for robot teleoperation, making data exchange simple and efficient, and the receiver can quickly parse and process the message according to the header information. The authentication information field in the protocol is used to ensure the control authority of the sender and identify the sender ID. This authentication mechanism can prevent unauthorized access and manipulation of robots, and improve the security of the system. The protocol provides an adaptive interval adjustment mechanism. Through the information reported in TRCP backward packet, TRCP forward streaming can be continuously sent at adaptive intervals according to real-time conditions, thus achieving a balance between real-time and flexibility.

[0068] (A4) Analysis of Stability

[0069] To analyze the properties of the Internet-based teleoperation system, Petri nets are used to model the system.

[0070] A Petri net is utilized to describe models of asynchronous and concurrent computer systems due to its rigorous mathematical language and understandable graphical expression. As a result, it serves as an excellent research tool for Internet-based robot teleoperation systems.

[0071] Place, Transition, Connection, and Token are the four components of a Petri net, which is represented as a directed graph. Conditions and system states are represented by places (circular nodes) , such as “wait for velocity. ” Events and actions, such as “send velocity, ” are represented by transitions (square nodes) . A connection is defined as a directed arc between place and transition. Tokens are dynamic objects that are moved from one place to another, and their collection reflects the state of the system.

[0072] If at least one token is present at every site connected to a transition as an input, the transition is enabled. When a transition is approved, the transfer occurs, input tokens are consumed, and output tokens are generated. If the total number of tokens per place falls within the range of a finite number k, a model is described as k-bounded. If it is 1-bounded, the system is considered stable since there is never an accumulation of tokens at any place at any moment.

[0073] The improved TRCP-enabled event-based teleoperation system is modeled using Petri nets, as shown in FIG. 4. The system model is then reduced to the one shown in FIG. 5. Also, the coverability tree of the simplified system is depicted in FIG. 6. From this tree, it can be inferred that the system is 1-bounded, as all nodes in the coverability tree only have values of 1 and 0. This indicates that there are never more than one token in any place, demonstrating that the system is stable.

[0074] (A5) Analysis of Transparency

[0075] Transparency in a teleoperation system means that the operator has an immersive experience, as if directly operating the slave device. Formally, perfect time transparency is satisfied under the following condition. where the Fh and Vh are the feedback and command detected at the operator site;  similarly, Fe and Ve are the force and velocity detected at the robot site.

[0076] To demonstrate the transparency of the TRCP-enabled event-based teleoperation system, it is to define the process where the control command is sent from the master to the slave, and the feedback information with the same event reference is sent back from the slave to the master as a loop. The time at the beginning of the n-th loop is tn, and the event reference at the beginning of the n-th loop is sn. The value of M at time t is M (t) , and the value of M at event reference s is M’ (s) . M could be Fh, Vh, Fe, or Ve; M (tn) =M′ (Sn) . dnV, dnF represent the transmission delay of control command and feedback information in the n-th loop, respectively.

[0077] Being an event-based control system gives: Mh (tn) =Mh (tn+Δtnh) …0≤Δtnh ≤dnV+dnF Me (tn) =Me (tn+Δtne) …0≤Δtne ≤dn+1, V+dnF (2)

[0078] Using the zero-order hold for a discrete signal sn: M′ (sn) =M′ (s) sn≤s ≤sn+1 (3)

[0079] To ensure the stability of the system, event reference s is a non-decreasing function of time t.

[0080] In the TRCP-enabled event-based teleoperation system, for Vh: Vh (tn) =Vh (t) …tn≤t ≤t+dnV+dnF Vh′ (sn) =Vh′ (s) sn≤s ≤sn+1 (4) for Ve: Ve (tn+dnV) =Vh (t) …tn+dnV≤t ≤tn+dnV+dnF+dn+1, V Ve′ (sn) =Ve′ (s) sn≤s ≤sn+1 (5) for Fe: Fe (tn+dnV) =Fe (t) …tn+dnV≤t ≤tn+dnV+dnF+dn+1, V Fe′ (sn) =Fe′ (s) sn≤s≤sn+1 (6) for Fh: Fh (tn+dnV+dnF) =Fh (t) …tn+dnV≤t  ≤tn+dnV+dnF+dn+1, V+dn+1, F Fh′ (sn) =Fh′ (s) sn≤s≤sn+1 (7)

[0081] On the operator side, the event reference will be updated only after the feedback information is received, after which new control commands can be sampled, which means that only when being at the condition satisfying Equation (8) , the operator have control authority, as follows: tn+dnV+dnF≤t<tn+1 (8)

[0082] Further, when tn+dnV+dnF≤t<tn+1, from the previous derivation: it results in:

[0083] Therefore, the proposed TRCP-enabled event-based teleoperation system maintains transparency during the operator issuing control commands.

[0084] Section (B) : SYSTEM IMPLEMENTATION

[0085] To verify the effectiveness of the proposed method, the TRCP-enabled event-based teleoperation system is designed and built, as shown in FIG. 1.

[0086] B1: Hardware

[0087] The teleoperation system is divided into the operator side and the robot side.

[0088] On the operator side, the input devices include a wireless gamepad and smart gloves, through which control commands are generated by the operator and then transmitted to the robot side via the Internet. The haptic module included with the device enables the operator to feel the force feedback that is received. To view real-time stereoscopic video and better understand the condition of the robot, a virtual reality (VR) box is also utilized by the operator.

[0089] On the robot side, the experimental setup consists of a robotic arm equipped with a gripper. Force sensors are mounted at the end-effector of the robotic arm to detect the actual force generated by the robot interacting with the environment, thereby providing force feedback to the operator. Photos are collected from two high-definition 720P cameras placed side by side at a distance of 6 cm to provide visual feedback. These images are converted into a stereo pair and transmitted through the Internet to the operator.

[0090] B2: Software

[0091] The developed software is divided into four main parts: client u1, client u2, client r1, and client r2.

[0092] Control commands are generated by client u1, which is situated on the operator’s side. After sending the control command, client u1 must wait until client u2 confirms that the feedback data has been received. No additional control instructions are given until the feedback data is received.

[0093] Client r1 is situated on the robot side and is responsible for managing command execution. The event reference s is retrieved by client r1 from the TRCP header and transferred to client r2, after which client r1 waits for new control orders to be sent to the robotic arm.

[0094] Client r2, located on the robot side, is responsible for detecting feedback information. The received event reference s is added by client r2 to the header carrying the feedback information, which is then sent to the operator side.

[0095] Client u2, located on the operator side, is responsible for receiving feedback information. The respective event references are extracted from the TRCP forward streaming of all feedback information. If all are the same or greater than the current event reference value, the current value is updated and sent to client u1, and all feedback information is released to the operator at the same time.

[0096] All Internet data transmissions are supported by the TRCP protocol to ensure the reliability of transmission.

[0097] Section (C) : EXPERIMENT AND RESULTS

[0098] C1: Experiment Description

[0099] In the experiments presented in this section, the operator controls the speed of the robotic arm’s end-effector by means of a human-computer interface, using the number of control loops that have been run by the teleoperation system as the event reference.

[0100] The robot side is deployed in a laboratory. To verify the generality of the proposed method, tests are conducted using different human-computer interaction devices. Some operators use a self-developed smart glove equipped with a force feedback device capable of sampling the movement speed of the glove in all directions. Others use a wireless gamepad that converts joystick displacements into velocity commands and transmits force feedback through rumble. Each device utilizes the 5G network for information transmission.

[0101] C2: Data Analysis and Performance Evaluation

[0102] In the analysis and the evaluation, the main concerns are how the robotic arm executes the operator’s intent and how the operator perceives the robot’s interaction with the environment given the random latency of the Internet.

[0103] By measuring how close the actual velocity of the robot’s end effector is to the planned velocity, it is possible to see how the manipulator is performing the operator's goals. The result is shown in FIG. 7A, FIG. 7B, and FIG. 7C. For event reference, the curves show the operator’s expected velocity and the actual velocity of the end-effector of the robotic arm, respectively. The results in the figure show that the actual speed of the robot arm's end effector tracks the desired speed almost perfectly.

[0104] By calculating how closely the force felt by the operator matches the force registered by the force / torque sensor, the operator's perception of how the robot interacts with the environment is displayed. The results are shown in FIG. 8A, FIG. 8B, and FIG. 8C. Only the z direction detects force feedback since the operator moves the robotic arm to touch the sponge block from top to bottom. The three columns represent the force measured by the force / torque sensor, the force felt by the operator, and the error between them. The results in the figure show how closely the operator's impression of the force corresponds to the actual force.

[0105] These findings demonstrate that the system is stable since the robot’s real behavior tracks the desired behavior and the forces experienced by the operator are similar to the forces actually detected by the robot.

[0106] TCP, UDP, and RTP are utilized to develop an event-based robot teleoperation system for comparison. Since UDP cannot provide reliable transmission and may lead to system deadlock, the system is modified to use continuous sending when operating with UDP, ensuring that control commands are issued to the robot only when the event reference is updated. These experiments are conducted to analyze the RTT performance based on different protocols. The RTT in the experiment is defined as the time interval between issuing the control command and receiving the corresponding feedback information, which represents the update period of the event reference.

[0107] The RTT performance and operator sentiment indicators are analyzed based on different protocols. As shown in FIG. 9A, FIG. 9B, FIG. 9C, and FIG. 9D and Table 1 of FIG. 10, the RTT performance of TRCP is significantly better than that of other protocols. The RTT of TRCP fluctuates between 0.1 and 0.3 ms, with the average delay and delay jitter being significantly lower than those of other protocols.

[0108] Similar results are observed in terms of operator emotion indicators, which are measured using Emotiv Insight 2 by monitoring changes in operator emotions to assess the impact of system design, performance, and feedback mechanisms on operator emotions. As shown in Table 2 of FIG. 11, when the robotic arm is remotely operated to complete the same task, the values and variances of “engagement” and “excitement” are significantly lower with the TRCP-based system. This indicates that excessive excitement or risky behavior does not occur during teleoperation, suggesting that the system provides good stability and transparency. This stability allows the operator to remain calm and cautious, thereby reducing the potential risk of accidents and operational errors.

[0109] The system as afore-described can be specifically stated as follows.

[0110] FIG. 12 depicts a schematic diagram of a system 100 using an Internet-based robot teleoperation and a network transmission protocol for internet-based telerobotic operations according to some embodiments of the present invention. The system 100 includes an operator terminal 110, a robot terminal 130, and a TRCP server 120 electrically coupled between the operator terminal 110 and the robot terminal 130 and configured to manage data transmission and synchronization. The operator terminal 110 can communicate with the robot terminal 130 via the TRCP server 120. The operator terminal 110 can serve as an interface for an operator or user operation, and the robot terminal 130 can be integrated into a robot or a robot system.

[0111] The operator terminal 110 includes an input device 111, a visualization device 112, a haptic device 113, a command generation module 114, and a feedback processing module 116. The input device 111 is configured to receive operator commands, such as movement or gripping actions made by an operator or user, and is in communication with the command generation module 114. The input device 111 converts the operator commands into machine-readable signals, which are transmitted to the command generation module 114. The visualization device 112 provides stereoscopic visual feedback, helping the operator interpret the robot’s environment. The haptic device 113 delivers tactile feedback to the operator, simulating force interactions experienced by the robot during operation. The visualization device 112 and the haptic device 113 receive video feedback signals and force feedback signals, respectively, from the feedback processing module 116.

[0112] The command generation module 114 collaborates with the feedback processing module 116. For example, the command generation module 114 generates control commands for the robot and goes into standby until receiving confirmation from the feedback processing module 116. Only after receiving confirmation from the feedback processing module 116 does the command generation module 114 generate new commands for the next round for the robot. The feedback processing module 116 processes feedback from the robot terminal 130, such as video and force data, ensuring synchronization before delivering it to the visualization device 112 and the haptic device 113.

[0113] In one embodiment, the input device 111 may be a gamepad, while the visualization device 112 is a VR device such as glasses or a headset, and the haptic device 113 is an integrated component like a small speaker or an electric motor within the input device 111. In another embodiment, the input device 111 may be a pair of smart gloves, with the visualization and haptic devices remaining the same.

[0114] The robot terminal 130 includes a robotic arm 131, at least one force sensor 132, at least one camera 133, a command execution module 134, and a feedback generation module 136. The robotic arm 131 is configured to execute control commands received from the command execution module 134, performing tasks such as object manipulation or environmental interaction. The force sensor 132 detects interaction forces between the robotic arm 131 and its surroundings such as an object to be handled, generating corresponding force feedback data and transmitting the same to the feedback generation module 136. The camera 133 captures visual information from the robot’s environment (environment around the robotic arm 131) and provides stereoscopic images to the feedback generation module 136 for visual feedback.

[0115] The command execution module 134 receives control commands from the command generation module 114 of the operator terminal 110 and coverts the same into machine-readable signals for the robotic arm 131 for execution. The command execution module 134 extracts event reference values from the received control commands to maintain synchronization with the operator terminal 110. The feedback generation module 136 processes sensory data, including force feedback from the force sensor 132 and video data from the camera 133. The feedback generation module 136 appends event reference values to the processed data to ensure proper synchronization before transmitting the feedback to the feedback processing module 116 of the operator terminal 110.

[0116] In one embodiment, the robotic arm 131 is an industrial manipulator, such as an ABB 1200 robotic arm equipped with a gripper. The force sensor 132 is integrated at the robotic arm’s end-effector to detect interaction forces. The camera 133 may include LiDAR (light detection and ranging) or dual high-definition cameras positioned to capture images (stereoscopic or plane) of the robotic workspace, providing visual feedback for the operator.

[0117] The TRCP server 120 includes a TRCP forward streaming module 122 and a TRCP backward streaming module 124 to maintain communication reliability and synchronization.

[0118] The TRCP forward streaming module 122 is configured to ensure reliable transmission of control commands and feedback data between the operator terminal 110 and the robot terminal 130. In some embodiments, the reliable transmission is achieved by appending event reference values to transmitted data, which guarantees the data’s sequential order and integrity during transmission. As such, the TRCP forward streaming module 122 enables the operator terminal 110 to receive accurate and complete feedback from the robot terminal 130 before new commands are issued by the command generation module 114 of the operator terminal 110.

[0119] The TRCP backward streaming module 124 manages session control for communication between the operator terminal 110 and the robot terminal 130. The TRCP backward streaming module 124 oversees the establishment, maintenance, and termination of communication sessions, monitors event progress, and ensures synchronization of event reference values. When the operator terminal 110 sends a control command from the command generation module 114, the TRCP backward streaming module 124 confirms its successful transmission and ensures that the corresponding feedback from the robot terminal 130 aligns with the same event reference value. Similarly, the TRCP backward streaming module 124 ensures that force feedback and video data transmitted by the robot terminal 130 are delivered to the operator terminal 110 in a synchronized manner.

[0120] More specifically, the TRCP server 120 acts as a central hub, coordinating interactions between the operator terminal 110 and the robot terminal 130. The TRCP server 120 actively maintains the integrity and synchronization of all transmitted data by appending an event reference value Sn to control commands and feedback data. For example, when the operator terminal 110 generates a control command through its command generation module 114, the command is forwarded to the robot terminal 130’s command execution module 134 via the TRCP forward streaming module 122, with the event reference value Sn attached. Upon executing the control command, the feedback generation module 136 of the robot terminal 130 appends the same event reference value Sn to the force and visual feedback information and then generates and transmits a feedback signal to the TRCP server 120. The TRCP server 120 then verifies whether the feedback signal aligns with the current event reference value Sn using the TRCP backward streaming module 124. Once the feedback signal is confirmed to match the correct event reference value by the TRCP backward streaming module 124, the feedback signal is delivered to the feedback processing module 116 of the operator terminal 110 for execution. The feedback processing module 116 uses the event reference value Sn to synchronize and manage the feedback, delivering visual and haptic feedback through the visualization device 112 and haptic device 113, respectively. Only when the operator terminal 110 has confirmed the completion of feedback processing using the event reference value Sn, will the command generation module 114 be permitted to generate the next control command.

[0121] Accordingly, the TRCP introduce an event-stamp-based data synchronization mechanism to achieve efficient and stable message transmission. In some embodiments, the TRCP forward packet header includes the event stamp as a core field to identify the event index of the data packet, and the TRCP backward packet header combines the event stamp with report blocks to provide feedback information such as delay and packet loss rate. The event stamp acts as a global reference baseline.

[0122] To explain from a different perspective, during the operation, the TRCP server 120 coordinates data transmission between the operator terminal 110 and the robot terminal 130 using the event stamp via the TRCP forward streaming module 122 and the TRCP backward streaming module 124. When the operator terminal 110 generates a new control command through the command generation module 114, the event stamp is embedded in the packet header and transmitted through the TRCP server 120 to the command execution module 134 in the robot terminal 130. If the event stamp in the received packet indicates that a new signal needs to be processed, the command execution module 134 executes the command and collaborates with the feedback generation module 136 to generate feedback data based on inputs from the force sensor 132 and the camera 133. The feedback data, which also includes the embedded event stamp, is then returned via the TRCP server 120 for comparison and verification.

[0123] As such, the TRCP protocols ensure reliability through the following mechanisms: each TRCP packet carries an event stamp to maintain the order of commands and feedback, while performance metrics such as delay and packet loss rate are monitored using report blocks in TRCP backward packets. Additionally, when the TRCP server 120 detects a mismatch between the event stamp in a TRCP backward packet and the expected stamp, it triggers retransmission or further verification processes to mitigate the impact of lost data on system stability. This mechanism ensures that every command and feedback packet is valid and synchronized upon reaching the target module.

[0124] FIG. 13 depicts a schematic diagram of a system 200 using an Internet-based robot teleoperation and a network transmission protocol for internet-based telerobotic operations according to some embodiments of the present invention. The system 200 has a configuration similar to that of the system 100, except that the system 200 further includes a task-adaptation module 240, a quantity of trust (QoT) module 250, and a quality of service (QoS) enabled adaptive adjustment module 260.

[0125] Similarly, the system 200 includes an operator terminal 210, a robot terminal 230, and a server terminal 220 electrically coupled between the operator terminal 210 and the robot terminal 230. The operator terminal 210 includes an input device 211, a visualization device 212, a haptic device 213, a command generation module 214, and a feedback processing module 216; the robot terminal 230 includes a robotic arm 231, at least one force sensor 232, at least one camera 233, a command execution module 234, and a feedback generation module 236; and, the TRCP server 220 includes a TRCP forward streaming module 222 and a TRCP backward streaming module 224. These components / module can execute functions as afore-described.

[0126] In one embodiment, system parameter adjustment based on operational task characteristics is introduced into the system 200.

[0127] In this regard, in practical applications, the characteristics of operational tasks significantly influence the adjustment of robot system parameters. These characteristics include task objectives, difficulty, movement requirements, and environmental factors. To address this, the TRCP Check Value is introduced as an indicator of the complexity of the operational environment. This Check Value is combined with the real-time measured network bandwidth to define the “Effective Network Bandwidth, ” which reflects whether the current network conditions can adequately support the demands of the ongoing operational tasks.

[0128] For tasks with higher urgency, the system 200 prioritizes adjusting the robot’s response speed and operational priority to ensure rapid execution and timely handling of emergency situations. For more complex tasks, the system 200 enhances autonomous decision-making and planning capabilities to adapt to continuously changing environments and task requirements. By comprehensively considering the current task characteristics and effective bandwidth, the TRCP protocol can selectively adjust various parameters of the robot system to achieve optimal operational performance and resource utilization.

[0129] To support these advanced functionalities, the robot terminal 230 includes a task-adaptation module 240, which collaborates with the command execution module 234 and the feedback generation module 236 to adjust the robot’s response speed and operational priority dynamically for the robotic arm 231. The task-adaptation module 240 uses a TRCP check value and an effective network bandwidth reference value, generated by the TRCP server 220, as critical indicators.

[0130] Upon receiving a control command from the operator terminal 210, the task-adaptation module 240 uses the TRCP check value to evaluate the task’s urgency and complexity. For example, according to the TRCP check value, the task-adaptation module 240 dynamically adjusts robot parameters for the robotic arm 231, such as motor speed, actuator responsiveness, and decision-making thresholds, to ensure the robot responds rapidly to urgent tasks or adapts autonomously to complex environments. By referencing the effective network bandwidth reference value, the task-adaptation module 240 coordinates with the feedback generation module 236 to optimize resource utilization and ensure synchronized feedback delivery to the operator terminal 210 via the TRCP server 220, enhancing overall system performance.

[0131] Moreover, Quantity of Trust (QoT) mechanism is introduced into the system 200 for comprehensive online parameter adjustment.

[0132] Regarding QoT and its impact on system optimization, QoT represents the trustworthiness of commands generated by the remote operator, reflecting the operator’s operational state. QoT encompasses both the operator’s intrinsic psychological state and extrinsic physical state, enabling comprehensive identification and assessment of the operator's current condition.

[0133] Enhancing QoT increases the operator’s trust in the commands, thereby positively influencing multiple aspects of the robot's operation. For instance, a QoT-based adjustment mechanism can dynamically modify the robot system’s planner and controller parameters, allowing the robot’s speed and responsiveness to adapt to the operator's operational state. This adaptation improves the efficiency and safety of the remote robot system. Additionally, QoT-based command fusion technology facilitates shared control between autonomous robot controllers and human remote operators, optimizing resource allocation such as perception information, multimedia, and network bandwidth in response to varying QoT levels.

[0134] When executing tasks that require high flexibility, low QoT can significantly impact the efficiency and safety of robot operations. To address this, a QoT-based adjustment mechanism is proposed, which utilizes an online QoT generator to obtain real-time QoT values and transmit them to the relevant robot systems. This mechanism adaptively adjusts the robot system’s planner and controller parameters to align with the operator’s operational state. High QoT demands faster execution and responsiveness from the robot system, enabling efficient control and rapid achievement of operational objectives. Conversely, low QoT necessitates slower execution speeds, allowing the operator to better manage robot commands and reduce or avoid potential command defects and errors. Through this QoT-based adjustment mechanism, the remote robot system can adaptively optimize its parameters to enhance operational efficiency and safety.

[0135] Then comprehensive online parameter adjustment using QoT, task characteristics, and network performance is discussed. QoT, operational task characteristics, and real-time network performance metrics collectively serve as online adjustment parameters for the Quality of Service (QoS) of the event-driven robot teleoperation system. By utilizing the TRCP protocol of the TRCP server, these adjustment mechanisms are supported by an efficient platform. Specifically, QoS information is incorporated into the TRCP report block, ensuring efficient and reliable feedback delivery to both the operator and the robot end. In the system 200, components can dynamically adjust the planner and controller parameters based on real-time QoS information to respond to changes in the remote operation system’s state. This adaptive adjustment mechanism enables the system to maintain optimal performance under varying operational conditions, providing an efficient and reliable remote operation experience.

[0136] In the system 200, to achieve the QoT mechanism, the operator terminal 210 further includes a QoT module 250, and the TRCP server 220 further includes a QoS-enabled adaptive adjustment module 260. The QoT module 250 is configured to evaluate the trustworthiness of control commands based on the operator’s psychological and physical states. In one embodiment, the QoT module 250 provides an operator interface to receive a quantitative value for the psychological and physical states, which is input by manual input of a user. The QoT module 250 generates real-time QoT values that reflect the operator’s operational state according to the quantitative value and then transmits the real-time QoT values to the TRCP server 220. The QoS-enabled adaptive adjustment module 260 is configured to process QoT data alongside operational task characteristics and network performance metrics to make dynamic system adjustments.

[0137] The QoT module 250 collaborates with the QoS-enabled adaptive adjustment module 260 by continuously transmitting real-time QoT values, which serve as critical inputs for adaptive system optimization. The QoS-enabled adaptive adjustment module 260 analyzes these QoT values to dynamically adjust key parameters of the robot terminal 230.

[0138] For example, when the QoT module 250 detects a high trust level in operator commands and transmits a corresponding real-time QoT value, the QoS-enabled adaptive adjustment module 260 instructs the command execution module 234 of the robot terminal 230 to increase the responsiveness and execution speed of the robotic arm 231. Conversely, if the QoT module 250 detects a low trust level and transmits a real-time QoT value indicating reduced trust, the QoS-enabled adaptive adjustment module 260 directs the command execution module 234 to prioritize stabilizing operations by reducing execution speed and enhancing feedback reliability. This adjustment allows the operator to regain effective control over the robotic arm 231, ensuring safe and efficient operations.

[0139] FIG. 14 is a demonstration diagram illustrating the use case of a system, which utilizes an Internet-based robot teleoperation system and a network transmission protocol for internet-based telerobotic operations according to some embodiments of the present invention.

[0140] The functional units and modules of the apparatuses and methods in accordance with the embodiments disclosed herein may be implemented using computing devices, computer processors, or electronic circuitries including but not limited to application specific integrated circuits (ASIC) , field programmable gate arrays (FPGA) , microcontrollers, and other programmable logic devices configured or programmed according to the teachings of the present disclosure. Computer instructions or software codes running in the computing devices, computer processors, or programmable logic devices can readily be prepared by practitioners skilled in the software or electronic art based on the teachings of the present disclosure.

[0141] All or portions of the methods in accordance to the embodiments may be executed in one or more computing devices including server computers, personal computers, laptop computers, mobile computing devices such as smartphones and tablet computers.

[0142] The embodiments may include computer storage media, transient and non-transient memory devices having computer instructions or software codes stored therein, which can be used to program or configure the computing devices, computer processors, or electronic circuitries to perform any of the processes of the present invention. The storage media, transient and non-transient memory devices can include, but are not limited to, floppy disks, optical discs, Blu-ray Disc, DVD, CD-ROMs, and magneto-optical disks, ROMs, RAMs, flash memory devices, or any type of media or devices suitable for storing instructions, codes, and / or data.

[0143] Each of the functional units and modules in accordance with various embodiments also may be implemented in distributed computing environments and / or Cloud computing environments, wherein the whole or portions of machine instructions are executed in distributed fashion by one or more processing devices interconnected by a communication network, such as an intranet, Wide Area Network (WAN) , Local Area Network (LAN) , the Internet, and other forms of data transmission medium.

[0144] The foregoing description of the present invention has been provided for the purposes of illustration and description. It is not intended to be exhaustive or to limit the invention to the precise forms disclosed. Many modifications and variations will be apparent to the practitioner skilled in the art.

[0145] The embodiments were chosen and described in order to best explain the principles of the invention and its practical application, thereby enabling others skilled in the art to understand the invention for various embodiments and with various modifications that are suited to the particular use contemplated.

Claims

1.A system using an Internet-based robot teleoperation and a network transmission protocol for internet-based telerobotic operations, comprising:an operator terminal, comprising:an input device configured to receive operator commands from operator;a visualization device configured to providing stereoscopic visual feedback for helping the operator interpret robot’s environment;a haptic device configured to deliver tactile feedback to the operator, simulating force interactions;a command generation module communicating with the input device; anda feedback processing module collaborating with the command generation module and configured to deliver at least one video feedback signal and at least one force feedback signal to the visualization device and the haptic device, respectively, wherein the command generation module generates at least one control command and goes into standby until receiving confirmation from the feedback processing module, and wherein only after receiving confirmation from the feedback processing module does the command generation module generate new commands;a robot terminal communicating with the operator terminal and comprising:a robotic arm and a command execution module, wherein the command execution module is configured to receive the control command from the command generation module and covert the control command into machine-readable signals for the robotic arm for execution, and wherein the command execution module is further configured to extract at least one event reference value from the received control command;a force sensor configured to detect interaction forces between the robotic arm;a camera configured to capture visual information from environment around the robotic arm; anda feedback generation module receiving force feedback data from the force sensor and receiving at least one image from the camera for visual feedback, wherein the feedback generation module is configured to append the event reference value to feedback information before transmitting the feedback information to the feedback processing module; anda tele robot control protocol (TRCP) server electrically coupled between the operator terminal and the robot terminal for managing data transmission and synchronization.2.The system of claim 1, wherein the TRCP server comprises a TRCP forward streaming module and a TRCP backward streaming module to maintain communication reliability and synchronization, wherein the TRCP forward streaming module is configured to ensure reliable transmission of the control commands and the feedback information between the operator terminal and the robot terminal, and wherein the TRCP backward streaming module is configured to manage session control for communication between the operator terminal and the robot terminal.3.The system of claim 2, wherein, when the operator terminal sends the control command from the command generation module, the TRCP backward streaming module confirms its successful transmission and ensures that corresponding feedback from the robot terminal aligns with the same event reference value, and wherein the TRCP backward streaming module checks that force feedback and video data transmitted by the robot terminal are delivered to the operator terminal in a synchronized manner using the event reference value.4.The system of claim 3, wherein the TRCP server actively maintains integrity and synchronization of all transmitted data between the operator terminal and the robot terminal by appending the event reference value to the control command and the feedback information.5.The system of claim 4, wherein the feedback processing module uses the event reference value to synchronize and manage the feedback information, delivering visual and haptic feedback through the visualization device and haptic device, respectively, and wherein only when the operator terminal has confirmed the completion of feedback processing using the event reference value is the command generation module permitted to generate at least one next control command.6.The system of claim 2, wherein the TRCP server is configured to coordinate data transmission between the operator terminal and the robot terminal using an event stamp via the TRCP forward streaming module and the TRCP backward streaming module, and wherein, when the operator terminal generates a new control command through the command generation module, the event stamp is embedded in a packet header of the new control command and transmitted through the TRCP server to the command execution module, and if the event stamp in a received packet indicates that a new signal needs to be processed, the command execution module executes the new control command and collaborates with the feedback generation module to generate new feedback information based on inputs from the force sensor and the camera.7.The system of claim 1, wherein the robot terminal further comprises a task-adaptation module configured to collaborate with the command execution module and the feedback generation module to adjust robot’s response speed and operational priority dynamically for the robotic arm, wherein the task-adaptation module uses a TRCP check value and an effective network bandwidth reference value, generated by the TRCP server, as an indicator.8.The system of claim 7, wherein, upon receiving the control command from the operator terminal, the task-adaptation module uses the TRCP check value to evaluate the task’s urgency and complexity, and wherein, according to the TRCP check value, the task-adaptation module dynamically adjusts robot parameters for the robotic arm, so as to ensure the robot responds rapidly to urgent tasks or adapts autonomously to complex environments.9.The system of claim 1, wherein the robot terminal further comprises a quantity of trust (QoT) module configured to:evaluate trustworthiness of the control command based on a quantitative value for psychological and physical state, wherein the quantitative value is manually input by the operator; andgenerate real-time QoT values according to the quantitative value and transmit the real-time QoT values to the TRCP server.10.The system of claim 9, wherein the TRCP server further comprises a robot terminal further comprises a quality of service-enabled (QoS-enabled) adaptive adjustment module configured to:process the real-time QoT values received from the QoT module alongside operational task characteristics and network performance metrics;analyze the real-time QoT values to determine dynamic adjustments to robot parameters of the robot terminal;instruct the command execution module to increase responsiveness and execution speed when high trust levels in the real-time QoT values are detected; anddirect the command execution module to reduce execution speed and enhance feedback reliability when low trust levels in the real-time QoT values are detected.11.A method using an Internet-based robot teleoperation and a network transmission protocol for internet-based telerobotic operations, comprising:operating at an operator terminal to generate operator commands;receiving, by an input device, the operator commands from an operator;providing, by a visualization device, stereoscopic visual feedback for helping the operator interpret robot’s environment;delivering, by a haptic device, tactile feedback to the operator for simulating force interactions;coupling a command generation module with a feedback processing module which is configured to deliver at least one video feedback signal and at least one force feedback signal to the visualization device and the haptic device, respectively, wherein the command generation module generates at least one control command and goes into standby until receiving confirmation from the feedback processing module, and wherein only after receiving confirmation from the feedback processing module does the command generation module generate new commands;coupling a robot terminal with the operator terminal, wherein the robot terminal comprises a robotic arm and a command execution module;receiving, by the command execution module, the control command from the command generation module;converting, by the command execution module, the control command into machine-readable signals for the robotic arm for execution;extracting, by the command execution module, at least one event reference value from the received control command;detecting, by a force sensor, interaction forces between the robotic arm;capturing, by a camera, visual information from environment around the robotic arm;receiving, by a feedback generation module, force feedback data from the force sensor and receiving, by the feedback generation module, at least one image from the camera for visual feedback;appending, by the feedback generation module, the event reference value to feedback information before transmitting the feedback information to the feedback processing module; andelectrically coupling a tele robot control protocol (TRCP) server between the operator terminal and the robot terminal for managing data transmission and synchronization.12.The method of claim 11, wherein the TRCP server comprises TRCP forward streaming module and a TRCP backward streaming module to maintain communication reliability and synchronization, wherein the TRCP forward streaming module is configured to ensure reliable transmission of the control commands and the feedback information between the operator terminal and the robot terminal, and wherein the TRCP backward streaming module is configured to manage session control for communication between the operator terminal and the robot terminal.13.The method of claim 12, wherein, when the operator terminal sends the control command from the command generation module, the TRCP backward streaming module confirms its successful transmission and ensures that corresponding feedback from the robot terminal aligns with the same event reference value, and wherein the TRCP backward streaming module checks that force feedback and video data transmitted by the robot terminal are delivered to the operator terminal in a synchronized manner using the event reference value.14.The method of claim 13, wherein the TRCP server actively maintains integrity and synchronization of all transmitted data between the operator terminal and the robot terminal by appending the event reference value to the control command and the feedback information.15.The method of claim 14, wherein the feedback processing module uses the event reference value to synchronize and manage the feedback information, delivering visual and haptic feedback through the visualization device and haptic device, respectively, and wherein only when the operator terminal has confirmed the completion of feedback processing using the event reference value is the command generation module permitted to generate at least one next control command.16.The method of claim 15, wherein the TRCP server coordinates data transmission between the operator terminal and the robot terminal using an event stamp via the TRCP forward streaming module and the TRCP backward streaming module, and wherein, when the operator terminal generates a new control command through the command generation module, the event stamp is embedded in a packet header of the new control command and transmitted through the TRCP server to the command execution module, and if the event stamp in a received packet indicates that a new signal needs to be processed, the command execution module executes the new control command and collaborates with the feedback generation module to generate new feedback information based on inputs from the force sensor and the camera.17.The method of claim 11, further comprising:coupling a task-adaptation module with the command execution module and the feedback generation module, such that the task-adaptation module collaborates with the command execution module and the feedback generation module to adjust robot’s response speed and operational priority dynamically for the robotic arm, wherein the task-adaptation module uses a TRCP check value and an effective network bandwidth reference value, generated by the TRCP server, as an indicator.18.The method of claim 17, wherein, upon receiving the control command from the operator terminal, the task-adaptation module uses the TRCP check value to evaluate the task’s urgency and complexity, and wherein, according to the TRCP check value, the task-adaptation module dynamically adjusts robot parameters for the robotic arm, so as to ensure the robot responds rapidly to urgent tasks or adapts autonomously to complex environments.19.The method of claim 11, further comprising:evaluating, by a quantity of trust (QoT) module, trustworthiness of the control command based on a quantitative value for psychological and physical state, wherein the quantitative value is manually input by the operator; andgenerating, by the QoT module, real-time QoT values according to the quantitative value and transmit the real-time QoT values to the TRCP server.20.The method of claim 19, further comprising:processing, by a quality of service-enabled (QoS-enabled) adaptive adjustment module, the real-time QoT values received from the QoT module alongside operational task characteristics and network performance metrics;analyzing, by the quality of service-enabled (QoS-enabled) adaptive adjustment module, the real-time QoT values to determine dynamic adjustments to robot parameters of the robot terminal;instructing, by the quality of service-enabled (QoS-enabled) adaptive adjustment module, the command execution module to increase responsiveness and execution speed when high trust levels in the real-time QoT values are detected; anddirecting, by the quality of service-enabled (QoS-enabled) adaptive adjustment module, the command execution module to reduce execution speed and enhance feedback reliability when low trust levels in the real-time QoT values are detected.

Images