Apparatus and method using check mechanism for TELE-robotic control protocol

Abstract

A system (200) using check mechanism for internet-based telerobotic operations comprises a local site (210), a remote site (220) and a server (230). The local site (210) comprises an input device (212), a command generation module (214), a local display (216), a feedback processing module (218). The remote site (220) is communicating with the local site (210) and equipped with at least one camera. The remote site (220) comprises a robotic arm (222), a command execution module (224), a feedback information module (226) and a feedback generation module (228). The feedback information module (226) is configured to process video data from the camera and comprises an assessing module (240) configured to assess whether a significant change in a robot environment has occurred using a mean square error between two video frames of the video data. A method using check mechanism for internet-based telerobotic operations is also provided.

Description

APPARATUS AND METHOD USING CHECK MECHANISM FOR TELE-ROBOTIC CONTROL PROTOCOLTechnical Field:

[0001] The present invention relates to robot teleoperation technique, in particularly to apparatuses and methods using check mechanism for tele-robotic control protocol.Background:

[0002] Internet-based robotic teleoperation involves remotely accessing and controlling robots through the Internet. Unlike traditional systems that require specialized communication lines, the Internet offers a cost-effective, popular, and open communication channel due to its rapid technological advancement. Teleoperation performance is influenced by factors like routing strategies, protocols, online user volume, and transmission distance during data transmission. This leads to issues such as transmission delays, congestion, and timing disorders. The inherent characteristics of the Internet, such as randomness and variability, negatively impact the controllability, stability, and transparency of robotic teleoperation systems.

[0003] Existing control methods attempt to address random delays using prediction, compensation, and event-based control technologies. However, these methods have limitations and struggle with the unpredictability of network conditions. While prediction and compensation can mitigate some delays, the inherent unpredictability of random delays affects teleoperator immersion. To enhance Internet-based robot teleoperation, a dedicated communication protocol tailored for robot teleoperation needs development. Such a protocol should optimize for the Internet’s random delay characteristics, striking a balance between reliability and efficiency. This would significantly improve support for robot teleoperation and advance the application of robotic technology.

[0004] Common Internet transport protocols like TCP and UDP have drawbacks. UDP, being best-effort, cannot manage congestion and lacks packet confirmation. TCP, with retransmissions and congestion control, is too complex for fast and smooth robotic teleoperation. Other protocols designed for multimedia applications, like RTP and NADA, are unsuitable due to increased latency and potential instability caused by buffers.

[0005] Therefore, there is a need for a new communication protocol designed specifically for robotic teleoperation on the Internet. Developing such a protocol would bridge the gap between reliability and efficiency, improving the overall performance and applicability of Internet-based robot teleoperation systems.Summary of Invention:

[0006] It is an objective of the present invention to provide an apparatus and a method to address the aforementioned shortcomings and unmet needs in the state of the art.

[0007] In the present invention, tele-robotic control protocol (TRCP) is a novel Internet transport protocol designed specifically for robotic teleoperation, aiming to address the challenges posed by random delays, ensuring system stability, transparency, and synchronization. In this regard, due to factors such as environmental variations present in teleoperation, the TRCP check mechanism is introduced as a complement solution to TRCP to address potentially hazardous issues. The introduction of the TRCP check mechanism reinforces system safety and reduces the likelihood of accidents, while providing flexibility and adaptability for a variety of complex operating environments.

[0008] In accordance with a first aspect of the present invention, a system using check mechanism for internet-based telerobotic operations is provided. The system includes a local site, a remote site, and a server. The local site includes an input device, a command generation module, a local display, and a feedback processing module. The input device is configured to capture operator commands. The command generation module is configured to produce control commands. The input device converts user’s actions into signals that are understandable to the command generation module and sends the signals to the command generation module for generation of the control commands. The local display is configured to offer three-dimensional visual feedback to assist a user in understanding robot’s surroundings. The feedback processing module is configured to collect external feedback information and feed the external feedback information to the local display. The remote site communicates with the local site and is equipped with at least one camera. The remote site includes a robotic arm and a command execution module, a feedback information module and a feedback generation module. The command execution module is configured to receive the control commands from the command generation module and convert the control commands into machine-readable signals for the robotic arm to execute. The feedback information module is configured to process video data from the camera and includes an assessing module configured to assess whether a significant change in a robot environment has occurred using a mean square error (MSE) between two video frames of the video data and output an index for an assessing result to the feedback generation module. The feedback generation module is configured to generate a feedback report based on the index and transmit the feedback report to the local display. The server is electrically coupled between the local site and the remote site.

[0009] In accordance with a second aspect of the present invention, an assessing module is configured to assess whether a significant change in a robot environment has occurred using at least one compressed H. 265 bitstream file generated from recorded video frames of the video data.

[0010] In accordance with a third aspect of the present invention, a method using check mechanism for internet-based telerobotic operations is provided. The method includes steps as follows: capturing operator commands in a local site; converting user’s actions into signals and sending the signals to the command generation module for generation of the control commands; offering three-dimensional visual feedback by a local display to assist a user in understanding robot’s surroundings; collecting external feedback information and feeding the external feedback information to the local display; receiving the control commands from the command generation module and converting the control commands into machine-readable signals for a robotic arm to execute in a remote site; processing video data from a camera by a feedback information module; assessing whether a significant change in a robot environment has occurred by an assessing module using a MSE between two video frames of the video data or using at least one compressed H. 265 bitstream file generated from recorded video frames of the video data; outputting an index for an assessing result to a feedback generation module; and generating a feedback report based on the index and transmitting the feedback report to the local display.

[0011] By the configuration, the introduction of the TRCP check mechanism solves a key problem in robotic teleoperation, i.e., the effect of delays and environmental changes on the operation that may occur during command issuance and execution.

[0012] In traditional teleoperation, after the operator sends a control command, the robot has to wait for a period of time before it receives the control command. During this period, if there is an unpredictable change in the robot’s state or environment, such as a dynamic obstacle appearing in the direction where the robot is going to move, and at this time, the operator has not yet received the new feedback information, and is unable to issue a new control command. This means that the command received by the robot is issued by the operator based on outdated feedback information, and it should be recognized as an invalid command, and if the robot executes this command, a dangerous situation such as a collision will occur.

[0013] Accordingly, the TRCP check mechanism provides an effective way to assess the validity of control commands by analyzing the feedback information to ensure that commands are only executed at the right time, thus improving the safety and reliability of teleoperation.Brief Description of Drawings:

[0014] Embodiments of the invention are described in more details hereinafter with reference to the drawings, in which:

[0015] FIG. 1 illustrates a TRCP-enabled event-based teleoperation system according to one embodiment of the present invention;

[0016] FIG. 2 shows a TRCP-enabled event-based teleoperation system according to one embodiment of the present invention;

[0017] FIG. 3 shows a TRCP-enabled event-based teleoperation system according to one embodiment of the present invention;

[0018] FIG. 4A and FIG. 4B show using H. 265 bitstream file to determine the validity of commands for check mechanism according to one embodiment of the present invention;

[0019] FIG. 5 shows Table 1 for a remote operation performance indicator; and

[0020] FIG. 6 shows Table 2 for an operator sentiment indicator.Detailed Description of the Invention:

[0021] In the following description, apparatuses and methods using check mechanism for tele-robotic control protocol and the likes are set forth as preferred examples. It will be apparent to those skilled in the art that modifications, including additions and / or substitutions may be made without departing from the scope and spirit of the invention. Specific details may be omitted so as not to obscure the invention; however, the disclosure is written to enable one skilled in the art to practice the teachings herein without undue experimentation.

[0022] In the present invention, a solution is provided to solve the problem as afroed-mentioned by introducing the tele-robotic control protocol (TRCP) check mechanism. When the event reference on the robot side is updated, the robot side starts recording the sent feedback information until the next TRCP forward stream carrying a control command is received by the robot side. When the robot receives a new control command, it reviews the recorded feedback and compares it with the current environment and robot state. If there is no significant change in the environment and robot state, the robot will continue to execute the received control command. However, if there is a significant change, the robot will pause the execution of the current command and wait for a new control command. In this way, the TRCP check mechanism ensures that control commands are executed only when the environment is relatively stable and there is no significant change in the robot state, reducing potential security risks.

[0023] FIG. 1 illustrates a TRCP-enabled event-based teleoperation system 100 according to one embodiment of the present invention. As shown in FIG 1, a local site 110 (e.g., a work station) and a remote site 120 (e.g., a robotic arm) are implemented through modules, models, firmware, or a combination of software and hardware components, achieving the function blocks outlined in FIG. 1. These components enable the execution of the TRCP check mechanism, ensuring real-time assessment and validation of control commands to enhance the overall safety and reliability of the system 100.

[0024] Specifically, the system 100 includes a local site 110, a remote site 120, and a server 130, with the Internet serving as an interface between the local and remote sites 110, 120. The server 130 functions as a TRCP server, acting as a data intermediary responsible for forwarding local control signals and remote feedback, thus supporting bidirectional communication.

[0025] The local site 110 includes a joystick 112, a local display 114, a client terminal u1, and a client terminal u2. The user can operate the joystick 112, which generates a user control signal X (s) representing the user’s control instructions. The client terminal u1 receives the user control signal X (s) generated by the joystick 110 and converts it into a control command V (s) , which is transmitted to the remote site 120 via the server 130. The user control signal X (s) and the control command V (s) serve as TRCP forward streaming in the system 100.

[0026] The local display 114 is configured to show feedback data F (s) and I (s) received from the remote site 120 through the server 130, allowing the user to monitor / know the robot’s operational status and environmental changes in real time. In one embodiment, the feedback data F (s) and I (s) serve as TRCP forward streaming. The feedback data F (s) represents sensor data from the remote site 120, such as force or temperature feedback; and the feedback data I (s) represents environmental data, such as the robot’s visual display or a monitoring screen of the robot’s surroundings, recorded as one or more video frames.

[0027] The remote site 120 comprises a client terminal r1, a robot 122, a feedback information module 124, and a client terminal r2. At the remote site 120, prior to forwarding the control command V (s) to the robot 122, the client terminal r1 must await an indication from the feedback information module as to whether the command should be executed. The command will only be executed if the check mechanism determines it to be feasible. Upon execution, the client terminal r1 transmits the corresponding TRCP header of the control command V (s) to the client terminal r2 via the feedback information module 124. At this stage, the client terminal r1 awaits a new control command for the next operational cycle.

[0028] The feedback information module 124 performs TRCP check mechanism by recording and evaluating feedback to provide validity of control commands from the local site 110. The feedback information module 124 generates the feedback data F (s) and I (s) serving as TRCP forward streaming in the system 100, based on data collected from the robot’s environment using sensors, cameras, detectors, or combinations thereof. The client terminal r2 receives the feedback data F (s) and I (s) from the feedback information module 124 and transmits them to the local site 110 via the server 130.

[0029] Concurrently, when the client terminal r2 receives the TRCP header (denoted as s = n at that time) , the feedback information module 124 continuously stores the generated feedback information (such as video feedback) in a buffer until the client terminal r2 receives the TRCP header for the next cycle (i.e., s = n+1) . The feedback information module 124 then calculates the Mean Squared Error (MSE) or the size of the H. 265 bitstream file of the feedback information (e.g., video frames) stored in the buffer during this period and designates this value as the TRCP check value. Only when the TRCP check value does not exceed a predefined threshold is it considered that no significant change has occurred in the current environment compared to the previous cycle, thereby sending a command feasibility signal to the client terminal r1, allowing the command to execute normally. If the TRCP check value exceeds the threshold, the received command will no longer be executed.

[0030] To maintain continuous interaction between the local site 110 and the remote site 120 while keeping synchronization, signals r1 (s) and r2 (s) are integrated into the communication protocol. Each phase of operation is completed before initiating the next phase, thereby reducing errors and improving system stability. Specifically, signals r1 (s) and r2 (s) facilitate communication between different sites in the system 100 using the TRCP backward streaming protocol.

[0031] In one operation cycle, the process begins with the user initiating a control command through the joystick 112 at the local site 110. The user control signal X (s) is captured by the client terminal u1, and then the client terminal u1 transmits the control command V (s) to the remote site 120 via the server 130.

[0032] Once the control command V (s) is sent, the client terminal u1 enters a waiting state, awaiting confirmation from the client terminal u2 that the feedback data (F (s) and I (s) ) has been received. No further control commands will be issued by the client terminal u1 until confirmation is received, achieving synchronization and minimizing operational errors.

[0033] At the remote site 120, the client terminal r1 forwards the control command V (s) to the robot 122, instructing it to execute the command. In this regard, prior to forwarding the control command V (s) to the robot 122, the client terminal r1 awaits an indication from the feedback information module 124 as to whether the command should be executed. The command is executed by the robot 122 only if the feedback information module 124, through the check mechanism, verifies its feasibility. After execution, the client terminal r1 transmits the corresponding TRCP header of the control command V (s) to the client terminal r2 via the feedback information module 124. At this stage, the client terminal r1 awaits new control commands for the next operational cycle.

[0034] Once the feedback information is generated by the feedback information module 124, (e.g., F (s) and I (s) ) , the client terminal r2 receives and forwards it to the local site 110 via the server 130. The feedback information includes the TRCP header referencing the corresponding the control command V (s) , making it align with the specific operational cycle or event. This linking mechanism achieves that the feedback information accurately reflects the robot’s state and environment at the time of command execution.

[0035] At the local site 110, the local display 114 presents the feedback information (e.g., F (s) and I (s) ) to the user and generates a signal r2 (s) serving as TRCP backward streaming in the system 100. The signal r2 (s) is passed through the client terminal u2 and the client terminal r2 via the server 130, eventually reaching the feedback information module 122. Upon receiving the signal r2 (s) , the feedback information module 122 confirms that the feedback for the current operational cycle has been communicated to the user, enabling proceeding with the next cycle of execution

[0036] Simultaneously, a signal r1 (s) serving as TRCP backward streaming in the system 100 is generated at the remote site 120, reflecting the robot’s response to the executed command and confirming the feedback. This signal r1 (s) is transmitted through client terminal r1 and client terminal u1 via the server 130, ultimately reaching the joystick 112 at the local site 110. Upon receiving the signal r1 (s) , the joystick 112 becomes ready to initiate the next operational cycle, prompting client terminal u1 to generate and send subsequent control commands to the remote site 120. At this point, the client terminal u1 ends its waiting state and opens its input channel with enabling the input channel to receive a user control signal from the joystick 112.

[0037] This embodiment demonstrates the basic framework of how the system operates. According to the check mechanism, which utilizes the signals r1 (s) and r2 (s) , if no significant change is detected in the environment or robot state, the TRCP forward and backward streaming continues uninterrupted, allowing the robot to execute the received control command. However, if a significant change occurs, the streaming is terminated, and the robot halts the execution of the current command, awaiting a new control command. The following sections provide a detailed explanation of the extended framework that incorporates the check mechanism.

[0038] FIG. 2 shows a TRCP-enabled event-based teleoperation system 200 according to one embodiment of the present invention. The system 200 has a configuration similar to the system described in FIG. 1, except that assessing a mean square error (MSE) is introduced into the check mechanism.

[0039] The system 200 includes a local site 210, a remote site 220, and a server 230 electrically coupled between the local site 210 and the remote site 220. The server 230 functions as a TRCP server, acting as a data intermediary responsible for forwarding local control signals and remote feedback, thus supporting bidirectional communication. The local site 210 serves as an interface for operator or user operations, and the remote site 220 executes the desired operations using a robot, robot arm, or robot system, in which the local site 210 is in communication with the remote site 220 via the server 230.

[0040] The local site 210 includes an input device 212, a command generation 214, a local display 216, and a feedback processing module 218.

[0041] The input device 212 is configured to capture operator commands, such as movement or gripping actions, and communicates these commands to the command generation module 214. The input device 212 converts the user’s actions into signals that the machine can understand, which are then sent to the command generation module 214. The command generation module 214 produces control commands for the robot of the remote site 220 and remains on standby (e.g., waiting state) until it receives confirmation from the remote site 220. Upon receiving this confirmation, the command generation module 214 generates new commands for the robot for the next round of operation.

[0042] The local display 216 offers three-dimensional visual feedback to assist the user in understanding the robot’s surroundings. Additionally, the local display 216 provides tactile feedback to the user, simulating the forces the robot encounters during operation. The feedback processing module 218 handles feedback from the remote site 220, including video and force data, to inform the user. The local display 216 receives both video and force feedback signals from the feedback processing module 218.

[0043] In one embodiment, the input device 212 may be a gamepad or joystick, while the local display 216 could be a VR device, such as glasses or a headset. Furthermore, a component, such as a small speaker or an electric motor, can be integrated into either the input device 212 or the local display 216 for force feedback. In another embodiment, the input device 212 may take the form of a pair of smart gloves.

[0044] The remote site 220 includes a robotic arm 222, a command execution module 224, a feedback information module 226, and a feedback generation module 228.

[0045] The robotic arm 222 is configured to execute control commands received from the command execution module 224, performing tasks such as object manipulation or environmental interaction. The command execution module 224 receives control commands from the command generation module 214 via the server 230 and converts them into machine-readable signals for the robotic arm 222 to execute. The command execution module 224 extracts event reference values from the received control commands.

[0046] In one embodiment, the remote site 220 is equipped with at least one force sensor and one camera. The force sensor detects interaction forces between the robotic arm 222 and its surroundings, such as an object to be manipulated, generating corresponding force feedback data that is transmitted to the feedback information module 226. The camera captures visual information from the robotic arm 222 or its surrounding environment, providing stereoscopic images to the feedback information module 226 for visual feedback.

[0047] The feedback information module 226 processes sensory data, including force feedback from the force sensor and video data from the camera, appends event reference values to the processed data to ensure proper synchronization. The feedback information module 226 further includes an assessing module 240 configured to assess whether a significant change in the robot environment has occurred and outputs an index for an assessing result to the feedback generation module 228. The feedback generation module 228 can generate a feedback report based on the index and transmit it to the local display 216 of the local site 210 via the server 230.

[0048] In one embodiment, the robotic arm 222 is an industrial manipulator, such as an ABB 1200 robotic arm equipped with a gripper. The force sensor is integrated at the robotic arm’s end-effector to detect interaction forces. The camera may include LiDAR (light detection and ranging) or dual high-definition cameras positioned to capture images (stereoscopic or plane) of the robotic workspace, providing visual feedback for the user.

[0049] Regarding the assessing module 240, it may assess whether a significant change has occurred using an MSE between two continuous video frames. The camera captures robot environment information by recording continuous video frames into the feedback information module 226. The assessing module 240 calculates the MSE between the first video frame and the latest video frame of the continuous video frames for the robot environment information. To calculate the MSE, the process by the assessing module 240 involves comparing the pixel values of each corresponding pixel in the two video frames. First, the pixel values from both frames are extracted (for example, for color images, this would include the red, green, and blue channels) . Then, for each pixel, the difference between the pixel values in the first and latest frames is calculated, and the difference is squared. The squared differences for all pixels are summed, and the total is divided by the number of pixels in the frame, yielding the MSE value.

[0050] A smaller MSE indicates greater similarity between the two video frames, meaning the difference is minimal, while a larger MSE indicates a larger difference between the two video frames. Therefore, if the MSE exceeds a predefined threshold set in the assessing module 240, the current command received by the command execution module 224 from the command generation module 214 is determined to be invalid. This calculation helps quantify the degree of change between the first and latest frames in the video feedback. In various embodiments, the assessing module 240 calculates MSE between two continuous video frames; the assessing module 240 calculates MSE between a first video frame and a current video frame; or the assessing module 240 calculates MSE between the first video frame and the latest video frame in the robot environment information.

[0051] In one embodiment, the MSE value serve as a TRCP check value. Only when the TRCP check value does not exceed a predefined threshold is it considered that no significant change has occurred in the current environment compared to the previous cycle, such that the feedback information module 226 sends a command feasibility signal to the client terminal r1, allowing the command to execute normally. If the TRCP check value exceeds the threshold, the received command will no longer be executed from the feedback information module 226.

[0052] An example to illustrate the system’s operation process is provided. Throughout the operation, the feedback information module 226 continuously records feedback data through the camera, storing it as a sequence of video frames. When the robotic arm 222 receives a single control command, and the command generation module 214 is in a waiting state, the assessing module 240 performs a difference check based on the check mechanism. This check determines the status by calculating the mean squared error (MSE) between the first video frame and the latest recorded video frame, leading to one of the following two outcomes:

[0053] Outcome 1: MSE is below the threshold. If the assessing module 240 determines that the MSE remains below the threshold preset by the assessing module 240, it indicates that the environment and robot status are stable. The feedback information module 226 then sends an index reflecting the assessment result to the feedback generation module 228 to create a feedback report. This report confirms that the current command has been validated, and the operation process is allowed to proceed. The feedback report is then transmitted to the feedback processing module 218 through the server 230 and displayed on the local display 216, enabling the user to observe the current environment and robot status in real time. Simultaneously, the feedback information module 226 permits the robotic arm 222 to execute the received single control command. Concurrently, the robotic arm 222 generates a signal transmitted to the command generation module 214 via the server 230, ending the command generation module’s waiting state and enabling the command generation module 214 to accept subsequent operational commands from the input device 212.

[0054] Outcome 2: MSE exceeds the threshold. If the assessing module 240 determines that the MSE exceeds the threshold preset by the assessing module 240, it concludes that a significant change has occurred in the environment or the robot’s status. In this case, the feedback information module 226 halts the robotic arm 222 from executing the current control command and sends an index reflecting the assessment result to the feedback generation module 228 to create a feedback report. This report indicates that the operation process has been suspended due to an anomaly. The feedback report is then transmitted to the feedback processing module 218 via the server 230 and displayed on the local display 216, notifying the user of the current situation. The user can respond by issuing new instructions through the input device 212 to resume the operation process. In one embodiment, the user’s instructions also include driving the command generation module 214 to end its waiting state and accept new commands from the input device 212.

[0055] FIG. 3 shows a TRCP-enabled event-based teleoperation system 300 according to one embodiment of the present invention. The system 300 has a configuration similar to the one described in FIG. 2, except that assessing an H. 265 bitstream file is introduced into the check mechanism.

[0056] The system 300 includes a local site 310, a remote site 320, and a server 330 electrically coupled between the local site 310 and the remote site 320. The local site 310 includes an input device 312, a command generation 314, a local display 316, and a feedback processing module 318. The remote site 320 includes a robotic arm 322, a command execution module 324, a feedback information module 326, and a feedback generation module 328. These components are identical to or similar to those in the system 200.

[0057] The feedback information module 326 further includes an assessing module 340 configured to assess whether a significant change in the robot environment has occurred. In this regard, the assessing module 240 may evaluate the validity of the current command based on the size of a compressed H. 265 bitstream file generated from recorded video frames. The camera captures robot environment information by recording continuous video frames into the feedback information module 326. The assessing module 340 compresses all recorded video frames into an H. 265 bitstream file using an encoder, leveraging the encoder’s capability to optimize compression.

[0058] For similar video frames, the encoder encodes a single reference frame and uses motion estimation techniques to represent the differences between subsequent frames and the reference frame. However, when a sequence of distinct video frames is detected, the correlation between frames decreases. Consequently, the encoder cannot rely on the same reference frame and difference representation for effective compression. In such cases, the encoder must encode each frame as a complete image, leading to a larger bitstream file size. If the bitstream file size exceeds a predefined threshold, the current command sent by the command generation module 314 to the command execution module 324 is deemed invalid.

[0059] In one embodiment, the bitstream file size serve as a TRCP check value. Only when the TRCP check value does not exceed a predefined threshold is it considered that no significant change has occurred in the current environment compared to the previous cycle, such that the feedback information module 326 sends a command feasibility signal to the client terminal r1, allowing the command to execute normally. If the TRCP check value exceeds the threshold, the received command will no longer be executed from the feedback information module 326.

[0060] An example to illustrate the system’s operation process is provided. Throughout the operation, the feedback information module 326 continuously records feedback data through the camera, storing it as a sequence of video frames. The assessing module 340 compresses these video frames into an H. 265 bitstream file and evaluates its size against a predefined threshold to determine one of the following outcomes:

[0061] Outcome 1: The bitstream file size is below the threshold. If the assessing module 340 determines that the size remains below the threshold, it indicates that the environment and robot status are stable. The feedback information module 326 then sends an index reflecting the assessment result to the feedback generation module 328 to create a feedback report. This report confirms that the current command has been validated, and the operation process is allowed to proceed. The feedback report is transmitted to the feedback processing module 318 via the server 330 and displayed on the local display 316, enabling the user to observe the current environment and robot status in real time. Simultaneously, the feedback information module 326 permits the robotic arm 322 to execute the received single control command. Concurrently, the robotic arm 322 generates a signal transmitted to the command generation module 314 via the server 330, ending its waiting state and enabling it to accept subsequent operational commands from the input device 312.

[0062] Outcome 2: The bitstream file size exceeds the threshold. If the assessing module 340 determines that the size exceeds the threshold, it concludes that a significant change has occurred in the environment or the robot’s status. In this case, the feedback information module 326 halts the robotic arm 322 from executing the current control command and sends an index reflecting the assessment result to the feedback generation module 328 to create a feedback report. This report indicates that the operation process has been suspended due to an anomaly. The feedback report is transmitted to the feedback processing module 318 via the server 330 and displayed on the local display 316, notifying the user of the current situation. The user can respond by issuing new instructions through the input device 312 to resume the operation process. In one embodiment, the user’s instructions also include driving the command generation module 314 to end its waiting state and accept new commands from the input device 312.

[0063] FIG. 4A and FIG. 4B show using H. 265 bitstream file to determine the validity of commands for check mechanism according to one embodiment of the present invention. As shown in FIG. 4A, for the X-axis, Y-axis, and Z-axis graphs, the horizontal axis of the upper and bottom graphs represents time (in seconds) , while the vertical axis of the upper graphs represents travel distance (in mm) , and the vertical axis of the bottom graphs represents bitstream file size (in bytes) . As shown in FIG. 4B, for the Gripper graph, the horizontal axis represents time (in seconds) and the vertical axis represents bitstream file size (in bytes) .

[0064] When the robot arm remains stationary, the size of the H. 265 bitstream file remains at a small value. When the robot arm starts to move, the size of the H. 265 bitstream file increases immediately until the movement ends. The size of the H. 265 bitstream file is then reduced to a smaller value. It shows that the size of H. 265 bitstream file can effectively reflect changes in the scene or robot arm state. Therefore, by introducing the TRCP check mechanism, potential safety risks caused by changes in the environment and robot status are effectively reduced.

[0065] A remote operation performance indicator is provided, as shown in Table 1 of FIG. 5. Automatic viewpoint is better than free viewpoint and first-person view in terms of average completion time of remote operation tasks.

[0066] An operator sentiment indicator is provided, as shown in Table 2 of FIG. 6. The “Engagement” value and “excitement value” of the automatic viewpoint are 31.00 and 27.67 respectively, which are significantly lower than the free viewpoint and first-person view. The results of these data indicate that the operator does not need to invest too much energy in the teleoperation process, but only needs a low level of excitement to complete the operation task, and does not show excessive excitement or dangerous behavior, thus reducing the risk of potential accidents and operational errors.

[0067] Through the Internet, the system provided by the present invention can be specifically implemented in the real-world tasks, enabling remote operators to perform tasks, manage the movement of robots, and receive real-time sensor data and surrounding environmental images via the check mechanism.

[0068] For instance, in a mining scenario, an excavator can be operated remotely by an operator who is not physically present at the site to extract minerals. By integrating the check mechanism into the control process, the system can continuously monitor environmental changes and the machine’s status in real time. The check mechanism enhances reliability and safety in remote mining operations.

[0069] In the field of medical technology, surgeons can perform telesurgery by remotely controlling a robot-assisted surgical system to operate on patients from a distance. The integration of the check mechanism ensures monitoring of patient data and surgical robot status. It dynamically evaluates the stability of the system, preventing the execution of commands under unstable conditions.

[0070] Drone operation from a distance is another significant application. Drones may be remotely controlled for tasks such as aerial photography, surveying, logistics, and distribution. By embedding the check mechanism in the transmission and control system, the status of the drone and its surrounding environment is continuously monitored. The check mechanism allows operators to validate the stability of commands before execution.

[0071] The check mechanism is equally beneficial for remotely operating large machinery and equipment. For example, remote workers can use the Internet to monitor and manage the operations of equipment like tower cranes and cranes. The check mechanism evaluates environmental changes and equipment stability, achieving that adjustments to position, height, angle, and other parameters are carried out safely. This real-time assessment prevents potential accidents and ensures reliable data transfer.

[0072] As discussed above, the novel and non-obvious aspect of the TRCP lies in the introduction of the check mechanism, which integrates the recording and analysis of feedback information with the execution of control commands. This integration addresses a challenge in robotic teleoperation: the environmental changes that may occur between the issuance and execution of commands. By evaluating feedback information received on the robot side, the TRCP determines the effectiveness of control commands and mitigates potential safety risks.

[0073] A key feature of the present invention is that, through the TRCP’s check mechanism, the robot monitors and evaluates environmental changes and its state in real time, thereby preventing the execution of control commands that could lead to danger in unstable environments. This enhances the safety and reliability of remote robot operations, reducing the risk of potential accidents. Furthermore, the TRCP combines forward and backward streaming with UDP-based message transmission to ensure real-time communication and reliability, enabling users to receive accurate and timely feedback information, facilitating more informed control decisions.

[0074] With the introduction of the TRCP check mechanism, a method is proposed for a mobile robot equipped with a camera platform to automatically select the optimal viewpoint, allowing users to concentrate their primary efforts on teleoperation. The proposed viewpoint control framework has been implemented and evaluated through teleoperation experiments involving mobile robots. This is achieved by establishing gravitational and repulsive fields using the artificial potential field method. The framework accounts for the workspace and motion constraints of the camera system as well as the positions of obstacles during camera view planning.

[0075] The goal of the TRCP check mechanism is to enhance system safety by ensuring that no safety risks arise from unpredictable changes in the environment where the robot operates or in the robot’s state during the issuance and execution of control commands. It provides a mechanism for dynamically assessing the effectiveness of control commands, ensuring that commands are executed only under relatively stable environmental and robotic conditions. This real-time feedback and assessment mechanism minimizes the likelihood of operators making decisions based on outdated information, thereby reducing the probability of accidents. Moreover, the TRCP check mechanism is both flexible and adaptive, allowing it to be tailored to different environments and task requirements to deliver enhanced safety and reliability.

[0076] In the present invention, some mechanisms or principles can refer to US63 / 617,106 filed on 3 Jan 2024, which is hereby incorporated by reference in its entirety.

[0077] The functional units and modules of the apparatuses and methods in accordance with the embodiments disclosed herein may be implemented using computing devices, computer processors, or electronic circuitries including but not limited to application specific integrated circuits (ASIC) , field programmable gate arrays (FPGA) , microcontrollers, and other programmable logic devices configured or programmed according to the teachings of the present disclosure. Computer instructions or software codes running in the computing devices, computer processors, or programmable logic devices can readily be prepared by practitioners skilled in the software or electronic art based on the teachings of the present disclosure.

[0078] All or portions of the methods in accordance to the embodiments may be executed in one or more computing devices including server computers, personal computers, laptop computers, mobile computing devices such as smartphones and tablet computers.

[0079] The embodiments may include computer storage media, transient and non-transient memory devices having computer instructions or software codes stored therein, which can be used to program or configure the computing devices, computer processors, or electronic circuitries to perform any of the processes of the present invention. The storage media, transient and non-transient memory devices can include, but are not limited to, floppy disks, optical discs, Blu-ray Disc, DVD, CD-ROMs, and magneto-optical disks, ROMs, RAMs, flash memory devices, or any type of media or devices suitable for storing instructions, codes, and / or data.

[0080] Each of the functional units and modules in accordance with various embodiments also may be implemented in distributed computing environments and / or Cloud computing environments, wherein the whole or portions of machine instructions are executed in distributed fashion by one or more processing devices interconnected by a communication network, such as an intranet, Wide Area Network (WAN) , Local Area Network (LAN) , the Internet, and other forms of data transmission medium.

[0081] The foregoing description of the present invention has been provided for the purposes of illustration and description. It is not intended to be exhaustive or to limit the invention to the precise forms disclosed. Many modifications and variations will be apparent to the practitioner skilled in the art.

[0082] The embodiments were chosen and described in order to best explain the principles of the invention and its practical application, thereby enabling others skilled in the art to understand the invention for various embodiments and with various modifications that are suited to the particular use contemplated.

Claims

1.A system using check mechanism for internet-based telerobotic operations, comprising:a local site, comprising:an input device configured to capture operator commands;a command generation module configured to produce control commands, wherein the input device converts user’s actions into signals that are understandable to the command generation module and sends the signals to the command generation module for generation of the control commands;a local display configured to offer three-dimensional visual feedback to assist a user in understanding robot’s surroundings; anda feedback processing module configured to collect external feedback information and feed the external feedback information to the local display;a remote site communicating with the local site and equipped with at least one camera, and comprising:a robotic arm and a command execution module configured to receive the control commands from the command generation module and convert the control commands into machine-readable signals for the robotic arm to execute; anda feedback information module and a feedback generation module, wherein the feedback information module is configured to process video data from the camera and comprises an assessing module configured to assess whether a significant change in a robot environment has occurred using a mean square error (MSE) between two video frames of the video data and output an index for an assessing result to the feedback generation module, and wherein the feedback generation module is configured to generate a feedback report based on the index and transmit the feedback report to the local display; anda server electrically coupled between the local site and the remote site.2.The system of claim 1, wherein, at the remote site and prior to forwarding one control command to the robotic arm from the command execution module, the command execution module awaits an indication from the feedback information module as to whether the command is executed or not, and wherein the command is executed only if the feedback information module determines it is to be feasible using check mechanism.3.The system of claim 1, wherein the camera captures robot environment information by recording continuous video frames into the feedback information module, and the assessing module calculates the MSE between the first video frame and the latest video frame of the continuous video frames for the robot environment information.4.The system of claim 3, wherein calculation to the MSE executed by the assessing module calculates involves comparing pixel values of each corresponding pixel in the two video frames.5.The system of claim 4, wherein the assessing module is further configured to set a predefined threshold, and wherein, if the MSE exceeds the predefined threshold, the current command received by the command execution module from the command generation module is determined to be invalid.6.The system of claim 4, wherein the assessing module is further configured to set a predefined threshold, and, if the assessing module determines that the MSE remains below the predefined threshold, the feedback information module sends the index to the feedback generation module to create the feedback report, indicating that the current command has been validated.7.The system of claim 6, wherein the feedback report is transmitted to the feedback processing module and displayed on the local display, enabling the user to observe current environment and robot status in real time.8.The system of claim 7, wherein the feedback information module 226 permits the robotic arm to execute the received single control command based on the index, and the robotic arm generates a signal transmitted to the command generation module, ending the command generation module’s waiting state and enabling the command generation module to accept subsequent operational commands from the input device.9.The system of claim 4, wherein the assessing module is further configured to set a predefined threshold, and, if the assessing module determines that the MSE exceeds the predefined threshold, the feedback information module halts the robotic arm from executing the current control command and sends the index to the feedback generation module to create the feedback report, indicating that a current operation process has been suspended due to an anomaly.10.The system of claim 9, wherein the feedback report is transmitted to the feedback processing module and displayed on the local display, notifying the user of a current situation.11.A system using check mechanism for internet-based telerobotic operations, comprising:a local site, comprising:an input device configured to capture operator commands;a command generation module configured to produce control commands, wherein the input device converts user’s actions into signals that are understandable to the command generation module and sends the signals to the command generation module for generation of the control commands;a local display configured to offer three-dimensional visual feedback to assist a user in understanding robot’s surroundings; anda feedback processing module configured to collect external feedback information and feed the external feedback information to the local display;a remote site communicating with the local site and equipped with at least one camera, and comprising:a robotic arm and a command execution module configured to receive the control commands from the command generation module and convert the control commands into machine-readable signals for the robotic arm to execute; anda feedback information module and a feedback generation module, wherein the feedback information module is configured to process video data from the camera and comprises an assessing module configured to assess whether a significant change in a robot environment has occurred using at least one compressed H. 265 bitstream file generated from recorded video frames of the video data and output an index for an assessing result to the feedback generation module, and wherein the feedback generation module is configured to generate a feedback report based on the index and transmit the feedback report to the local display; anda server electrically coupled between the local site and the remote site.12.The system of claim 11, wherein, at the remote site and prior to forwarding one control command to the robotic arm from the command execution module, the command execution module awaits an indication from the feedback information module as to whether the command is executed or not, and wherein the command is executed only if the feedback information module determines it is to be feasible using check mechanism.13.The system of claim 11, wherein the camera captures robot environment information by recording continuous video frames into the feedback information module, and the assessing module compresses all recorded video frames into an H. 265 bitstream file using an encoder.14.The system of claim 13, wherein the encoder is configured to encode a single reference frame for similar video frames and utilize motion estimation to represent differences between subsequent frames and the reference frame, and wherein, if a bitstream file size exceeds a predefined threshold set by the assessing module, a current command sent by the command generation module to the command execution module is determined to be invalid.15.The system of claim 14, wherein the assessing module is further configured to set a predefined threshold, and, if the assessing module determines that an H. 265 bitstream file size remains below the predefined threshold, the feedback information module sends the index to the feedback generation module to create the feedback report, indicating that a current command has been validated.16.The system of claim 15, wherein the feedback report is transmitted to the feedback processing module and displayed on the local display, enabling the user to observe the current environment and robot status in real time.17.The system of claim 16, wherein the robotic arm generates a signal transmitted to the command generation module, ending the command generation module’s waiting state and enabling the command generation module to accept subsequent operational commands from the input device.18.The system of claim 14, wherein the assessing module is further configured to set a predefined threshold, and, if the assessing module determines that an H. 265 bitstream file size exceeds the threshold, the feedback information module halts the robotic arm from executing the current control command and sends the index to the feedback generation module to create the feedback report, indicating that a current operation process has been suspended due to an anomaly.19.The system of claim 18, wherein the feedback report is transmitted to the feedback processing module and displayed on the local display, notifying the user of a current situation.20.A method using check mechanism for internet-based telerobotic operations, comprising:capturing operator commands in a local site;converting user’s actions into signals and sending the signals to the command generation module for generation of the control commands;offering three-dimensional visual feedback by a local display to assist a user in understanding robot’s surroundings;collecting external feedback information and feeding the external feedback information to the local display;receiving the control commands from the command generation module and converting the control commands into machine-readable signals for a robotic arm to execute in a remote site;processing video data from a camera by a feedback information module;assessing whether a significant change in a robot environment has occurred by an assessing module using a mean square error (MSE) between two video frames of the video data or using at least one compressed H. 265 bitstream file generated from recorded video frames of the video data;outputting an index for an assessing result to a feedback generation module;andgenerating a feedback report based on the index and transmitting the feedback report to the local display.

Images