Modeling method, apparatus, system, device, medium, and product for industrial environment

Abstract

Embodiments of the present disclosure disclose modeling method, apparatus, system, device, medium, and product for industrial environment. The method comprises: obtaining point cloud data of an industrial environment comprising a robot; performing semantic segmentation on the point cloud data to obtain multiple segmented objects; obtaining multiple 3D models respectively corresponding to the multiple segmented objects; converting the multiple 3D models into multiple pieces of point cloud data; determining transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects, based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects; and building a simulation model of the industrial environment. Rapid modeling of industrial environments reduces the time required to establish simulation environments.

Description

Modeling method, apparatus, system, device, medium, and product for industrial environmentFIELD

[0001] The present disclosure relates to the technical field of industrial modeling technology, in particular to modeling method, apparatus, system, device, medium, and product for industrial environment.BACKGROUND

[0002] In the current industrial production, more intelligent robots are being applied, and the most widely used intelligent algorithm is the reinforcement learning based robot control algorithm. This type of algorithm can make the robot's operation adapt to specified industrial production environment through continuous attempts during the training process. However, training such robot control algorithms requires a significant amount of hardware resources and time to obtain a robot control algorithm that can be applied in real scenarios.

[0003] In order to save hardware resources, scientists and engineers tend to use robot simulators to train and verify robot control algorithms in a simulation environment. However, there is another problem that people need a lot of time for modeling the robot operating environment to ensure that reinforcement learning algorithms can obtain the required rewards during the training process, such as interference results.

[0004] How to quickly construct three-dimensional (3D) models of industrial environments is a focus of attention in the industry.SUMMARY

[0005] Embodiments of the present disclosure propose modeling method, apparatus, system, device, medium, and product for industrial environment.

[0006] In a first aspect, a modeling method for an industrial environment is provided. The method comprising: obtaining point cloud data of an industrial environment comprising a robot; performing semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot; obtaining multiple 3D models respectively corresponding to the multiple segmented objects; converting the multiple 3D models into multiple pieces of point cloud data; determining transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects, based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects; and building a simulation model of the industrial environment based on  the transformation information and the multiple 3D models.

[0007] In a second aspect, a modeling apparatus for an industrial environment is provided. The apparatus comprising: a first obtaining module, configured to obtain point cloud data of an industrial environment comprising a robot; a performing module, configured to perform semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot; a second obtaining module, configured to obtain multiple 3D models respectively corresponding to the multiple segmented objects; a converting module, configured to convert the multiple 3D models into multiple pieces of point cloud data; a determining module, configured to determine transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects, based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects; and a building module, configured to build a simulation model of the industrial environment based on the transformation information and the multiple 3D models.

[0008] In a third aspect, a modeling system for an industrial environment is provided. The system comprising: a point cloud scanning device, configured to scan an industrial environment comprising a robot to obtain point cloud data of the industrial environment; a server, configured to perform semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot; a model library, configured to store multiple 3D models corresponding to the multiple segmented objects; wherein the server is configured to query the multiple 3D models corresponding to the multiple segmented objects from the model library, convert the multiple 3D models into multiple pieces of point cloud data, determine transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects, and build a simulation model of the industrial environment based on the transformation information and the multiple 3D models.

[0009] In a fourth aspect, an electronic device is provided. The electronic device comprising a processor and a memory, wherein an application program executable by the processor is stored in the memory for causing the processor to execute a modeling method for an industrial environment as described in any of the above.

[0010] In a fifth aspect, a computer-readable medium comprising computer-readable instructions stored thereon is provided, wherein the computer-readable instructions for executing a modeling method for an industrial environment as described in any of the above.

[0011] In a sixth aspect, a computer program product comprising a computer program, when the computer program is executed by a processor for executing a modeling method for an industrial environment as described in any of the  above.

[0012] According to the above technical solutions, obtaining point cloud data of an industrial environment comprising a robot; performing semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot; obtaining multiple 3D models respectively corresponding to the multiple segmented objects; converting the multiple 3D models into multiple pieces of point cloud data; determining transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects, based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects; and building a simulation model of the industrial environment based on the transformation information and the multiple 3D models. Therefore, rapid modeling of industrial environments has been achieved, which can reduce the time required to establish simulation environments. It can be applied to the training process of robot reinforcement learning algorithms to accelerate the training process, optimize the validation and deployment iteration cycle of the algorithm.BRIEF DESCRIPTION OF THE DRAWINGS

[0013] To make technical solutions of examples of the present disclosure clearer, accompanying drawings to be used in description of the examples will be simply introduced hereinafter. Obviously, the accompanying drawings to be described hereinafter are only some examples of the present disclosure. Those skilled in the art may obtain other drawings according to these accompanying drawings without creative labor.

[0014] Fig. 1 is an exemplary flowchart of a modeling method for an industrial environment according to an embodiment of the present disclosure.

[0015] Fig. 2 is a schematic diagram of raw point cloud data according to an embodiment of the present disclosure.

[0016] Fig. 3 is a schematic diagram of preprocessed point cloud data according to an embodiment of the present disclosure.

[0017] Fig. 4 is a schematic diagram of a training dataset for training a semantic segmentation model according to an embodiment of the present disclosure.

[0018] Fig. 5 is a schematic diagram of inference results of trained semantic segmentation model according to an embodiment of the present disclosure.

[0019] Fig. 6 is a schematic diagram of converting a 3D model into point cloud data according to an embodiment of the present disclosure.

[0020] Fig. 7 is a schematic diagram of registering point cloud data of a 3D model with a segmentation object according to an embodiment of the present disclosure.

[0021] Fig. 8 is a schematic diagram of building a simulation model for industrial environment according to an embodiment of the present disclosure.

[0022] Fig. 9 is a schematic diagram of a system framework for rapid modeling and execution of reinforcement learning training according to an embodiment of the present disclosure.

[0023] Fig. 10 is an exemplary schematic diagram of the process of rapid modeling and performing reinforcement learning training according to an embodiment of the present disclosure.

[0024] Fig. 11 is an exemplary structural diagram of a modeling apparatus for an industrial environment according to an embodiment of the present disclosure.

[0025] Fig. 12 is an exemplary structural diagram of a modeling system for an industrial environment according to an embodiment of the present disclosure.

[0026] Fig. 13 is an exemplary structural diagram of an electronic device according to an embodiment of the present disclosure.

[0027] List of reference numbers: DETAILED DESCRIPTION

[0028] To make the purpose, technical scheme, and advantages of the disclosure clearer, the following examples are given to further explain the disclosure in detail. Nouns and pronouns related to people in this patent application are not limited to specific gender.

[0029] To be concise and intuitive in description, the scheme of the disclosure is described below by describing several representative embodiments. Many details in the embodiments are only used to help understand the scheme of the disclosure. However, it is obvious that the technical scheme of the disclosure can be realized without being limited to these details. To avoid unnecessarily blurring the scheme of the disclosure, some embodiments are not described in detail, but only the framework is given. Hereinafter, "including" refers to "including but not limited to" , "according to... " refers to "at least according to..., but not limited to... " . When the number of an element is not specifically indicated below, it means that the element can be one or more, or can be understood as at least one. The terms "a" or "an" in this disclosure should not be understood as one, but as at least one.

[0030] One solution for reinforcement learning based robot training is to set up the experiment environment according to the use scenario, including robot setting up, gripper or other terminal device installation, target objects preparation etc. Then the reinforcement learning algorithm will be trained in this real environment. This method costs much time and hardware resource for the setting up.

[0031] Another solution for reinforcement learning is to set up the training environment in the simulation environment by using simulators such as Gazebo, VREP, etc. This method can use digital models to train the reinforcement  learning based robot control algorithm in the virtual world without the real establishment. But it also needs a lot of time to set up the environment including creating the CAD models of the environment. And when there is a difference between the real environment and the virtual environment, the algorithm and model need multiple iterative adjustments for the real-world implementation.

[0032] Embodiments of the present disclosure propose a fast-modeling method that can meet various fast modeling requirements of industrial environments. For example, it can be applied to the training process of robot reinforcement learning algorithms. Reinforcement learning algorithms for robots can be trained in a fast-modeling simulation environment, reducing the time required to establish a simulation environment, accelerating the training process, and optimizing the validation and deployment iteration cycle of robot control algorithms.

[0033] Fig. 1 is an exemplary flowchart of a modeling method for an industrial environment according to an embodiment of the present disclosure. As shown in Figure, the method includes:

[0034] Step 101: obtaining point cloud data of an industrial environment comprising a robot.

[0035] Point cloud is a dataset of points in a coordinate system, which may include 3D coordinates, colors, classification values, intensity values, time, and other information. Here, industrial environment refers to specific application scene in industrial sites, which may include group companies, factories, warehouses, venues, workshops, assembly lines, and workstations, among others.

[0036] Point cloud data for industrial environment can be acquired in various ways. Specific methods may include:

[0037] (1) Laser Scanner / LiDAR: Laser 3D scanners / LiDAR utilize the principle of laser ranging to record 3D coordinates, reflectivity, and texture information of many dense points on the surface of industrial environment.

[0038] (2) Depth camera: Project light onto an object with structural features using a near-infrared laser, and collect depth information through an infrared camera.

[0039] (3) Stereo Camera: Two cameras are used to obtain two images of industrial scenes from different positions. By calculating the positional deviation of corresponding points, 3D coordinates of each point are calculated using the triangulation principle.

[0040] (4) Optical camera multi view reconstruction: Provide a corresponding set of multiple images and their feature points to estimate the position of 3D points and camera pose.

[0041] The above exemplary description provides typical examples of industrial environment and typical examples of obtaining point cloud data from industrial environment. Those skilled in the art may realize that this description is exemplary and is not intended to limit the protection scope of the present disclosure.

[0042] Fig. 2 is a schematic diagram of raw point cloud data according to an embodiment of the present disclosure. Raw point cloud data 10 may include robots, production lines, and specific obstacles as targets.

[0043] In one embodiment, before performing semantic segmentation on the point cloud data, the method comprises: performing down-sampling on the point cloud data.

[0044] Fig. 3 is a schematic diagram of preprocessed point cloud data according to an embodiment of the present disclosure. In Figure 3, the preprocessed point cloud data 11 is presented from multiple perspectives.

[0045] Step 102: performing semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot.

[0046] In one embodiment, performing semantic segmentation on the point cloud data to obtain multiple segmented objects comprises: performing planar segmentation on the point cloud data to obtain multiple planes; classifying the multiple planes based on the trained semantic segmentation model; determining multiple segmented objects each comprising planes of the same classification.

[0047] In one embodiment, the method comprises a training process of the semantic segmentation model, wherein the training process comprising: determining a training sample, which comprises point cloud training data and labels for annotating objects in the point cloud training data; inputting the training sample into a deep learning neural network; receiving predicted object segmentation results from the deep learning neural network; determining respective differences between the object segmentation results and the labels; determining loss function value of the deep learning neural network based on the differences; configuring model parameters of the deep learning neural network to make that the loss function value is below a preset threshold; determine the configured deep learning neural network as the trained semantic segmentation model.

[0048] Fig. 4 is a schematic diagram of a training dataset for training a semantic segmentation model according to an embodiment of the present disclosure. As shown in Figure 4, the training dataset 12 contains multiple objects. The trained semantic segmentation model can perform semantic segmentation on point cloud data in industrial environments. Fig. 5 is a schematic diagram of inference results of trained semantic segmentation model according to an embodiment of the present disclosure. In inference results 13, multiple segmented objects including robot are segmented, and the classification label of each segmented object is determined.

[0049] Step 103: obtaining multiple 3D models respectively corresponding to the multiple segmented objects.

[0050] Here, based on the classification labels of 3D models (generated by semantic segmentation models) , multiple 3D models corresponding to multiple segmentation objects are retrieved from 3D model library. For example, the segmented objects include robot, production line, and wooden board, then 3D models of the robot, production line, and wooden board can be obtained respectively from 3D model library. Preferably, the classification label can contain detailed information about the segmented object (such as model, size, shape, etc. ) , making it easier to retrieve accurate 3D models from the 3D model library.

[0051] Step 104: converting the multiple 3D models into multiple pieces of point cloud data.

[0052] Here, each obtained 3D model will be converted into point cloud data respectively. For example, converting 3D models of robot, production line, and wooden board into respective pieces of point cloud data.

[0053] Fig. 6 is a schematic diagram of converting a 3D model into point cloud data according to an embodiment of the present disclosure. In Figure 6, 3D model 14 of robot retrieved from 3D model library is converted into point cloud data 15.

[0054] In one embodiment, the converting the multiple 3D models into multiple pieces of point cloud data comprises: converting the multiple 3D models into multiple pieces of point cloud data based on a uniform sampling on respective surfaces of the multiple 3D models; wherein sampling resolution of the uniform sampling is the same as sampling resolution of the down-sampling. Therefore, the sampling resolution is the same as the down sampling resolution of the environmental point cloud in preprocessing, in order to obtain better accuracy results in the subsequent registration process.

[0055] Step 105: determining transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects, based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects.

[0056] The spatial position of an object in 3D space can be represented as (x, y, z) , and the angle of rotation of the object around the x-axis, y-axis, and z-axis can be represented as (u, v, w) . Through these six degrees of freedom (6D) , the pose of the object can be uniquely determined.

[0057] In one embodiment, the determining transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects comprises: determining multiple 6D pose transformation matrices for transforming poses of the respective 3D models in consistent with poses of respective multiple segmented objects, based on the registration process.

[0058] Fig. 7 is a schematic diagram of registering point cloud data of a 3D model with a segmentation object according to an embodiment of the present disclosure. In Figure 7, point cloud data 15 obtained by transforming 3D model 14 of the robot is registered with the segmented object 16 of the robot. In the registered point cloud data 17, the pose of the robot is consistent with the pose in the segmented object 16 of the robot. Based on the registration process, 6D pose transformation matrix of the robot's 3D model 14 can be obtained. Based on the 6D pose transformation matrix, pose (including position and posture) of the 3D model 14 of the robot can be transformed to be in consistent with pose of the segmented object 16 of the robot. Similarly, determine 6D pose transformation matrices for other 3D models respectively.

[0059] Step 106: building a simulation model of the industrial environment based on the transformation information  and the multiple 3D models.

[0060] Here, based on the 6D pose transformation matrices of multiple 3D models, the respective poses of multiple 3D models are determined; Create a simulation model based on multiple 3D models with determined poses.

[0061] For example, based on the 6D pose transformation matrix of robots, determine the pose of the robot model in the simulation model; Based on the 6D pose transformation matrix of the production line, determine the pose of the production line model in the simulation model; Based on the 6D pose transformation matrix of obstacles, determine the pose of the obstacle model in the simulation model.

[0062] Fig. 8 is a schematic diagram of building a simulation model for industrial environment according to an embodiment of the present disclosure. In Figure 8, multiple 3D models 18 have their poses adjusted based on their respective 6D pose transformation matrices, forming a simulation model 19.

[0063] In one implementation, the method includes: performing reinforcement learning training on the robot based on a simulation model of an industrial environment. The reinforcement learning process of robots can include state definition, action definition, reward definition, strategy learning, and path planning. In reinforcement learning, robots learn how to select appropriate actions in different states to obtain the maximum cumulative reward by interacting with their environment. This process is typically modeled as a Markov Decision Process (MDP) . MDP consists of elements such as state space, action space, state transition probability, reward function, and discount factor. The core of reinforcement learning lies in learning a strategy: the rules or probability distribution for selecting actions in a given state. The goal of a robot is to maximize cumulative rewards by continuously adjusting its strategy to select the optimal action in different states.

[0064] In specific applications of robot path planning, reinforcement learning processes are applied to robot navigation and movement. This includes the following key steps: (1) State definition: abstracting the environment into a set of states, each representing the robot's position in the grid world. (2) Action definition: Define the actions that a robot can perform, such as moving up, down, left, right, etc. (3) Reward definition: Define a reward function for each state to measure the performance of the robot in that state. Usually, the reward for the target state is higher, while the reward for collision or inability to reach the target state is lower. (4) Strategy learning: Through interaction with the environment, robots can learn the optimal path planning strategy. Common algorithms include Q-learning and DeepQ networks (DQN) . (5) Path planning: Based on the learned strategy, the robot can select the optimal action according to the current state and gradually move to the target state.

[0065] The above exemplary description illustrates the typical process of performing reinforcement learning. Those skilled in the art will appreciate that this description is only exemplary and is not intended to limit the scope of protection of the embodiments of the present disclosure. Moreover, the fast-modeling method of the present  disclosure can be applied to any industrial scenario that requires fast modeling.

[0066] Fig. 9 is a schematic diagram of a system framework for rapid modeling and execution of reinforcement learning training according to an embodiment of the present disclosure. The system includes a point cloud processing module 30, a 3D model library 25, a modeling module 26, a simulation engine 27, and a reinforcement learning module 28. These modules can be integrated into robot simulators such as Tecnomatix Process Simulate, NX MCD, Gazebo, VREP, etc.

[0067] The point cloud scanning device 20 scans the operating environment of real robot to obtain point cloud data. The point cloud processing module 30 performs processing on point cloud data. The point cloud processing module 30 also retrieves 3D models (such as CAD models) from 3D model library 25, and outputs the transformation information of the 3D models (such as the position and rotation angle of each 3D model) to modeling module 26 for simulation modeling.

[0068] Specifically, the point cloud processing module 30 includes a point cloud preprocessing module 21, a point cloud segmentation module 22, a point cloud registration module 23, and a point cloud converter 24.

[0069] The point cloud preprocessing module 21 obtains raw point cloud data from the point cloud scanning device 20 and uses algorithms such as point cloud denoising, sampling, and completion to make the point cloud data easier to process in subsequent modules. Converter 24 converts 3D models obtained from 3D model library 25 into point cloud format.

[0070] The point cloud data after point cloud preprocessing module 21 is input into point cloud segmentation module 22. The point cloud segmentation module 22 uses segmentation algorithms such as PointNet++to perform semantic segmentation on point cloud data to obtain multiple segmented objects, which can include static environment objects and robot related objects. The point cloud segmentation module 22 outputs multiple segmented objects to the point cloud registration module 23. The point cloud registration module 23 uses point cloud registration algorithm to register point cloud data of respective segmented objects with respective point cloud data converted based on the respective 3D models to calculate 6D pose transformation matrices of respective 3D models. The point cloud registration module 23 outputs 6D pose transformation matrices of respective 3D models corresponding to their respective segmented objects to the modeling module 26. In modeling module 26, based on the 6D pose transformation matrices of respective segmented objects, pose adjustments are made to respective 3D models obtained from 3D model library 25 to construct an environment model of the robot to operate in the simulated world. Simulation engine 27 is used to calculate the motion of the robot in the simulation environment during the simulation process. The simulation engine 27 obtains action commands from the reinforcement learning module 28 and outputs user-defined rewards (such as interference results, successful operation results, robot operation status) to the  reinforcement learning module 28. Reinforcement learning module 28 is responsible for algorithm training and can be OpenAI Gym or other reinforcement learning frameworks.

[0071] Fig. 10 is an exemplary schematic diagram of the process of rapid modeling and performing reinforcement learning training according to an embodiment of the present disclosure.

[0072] As shown in Figure 10, the process includes:

[0073] Step 201: Scan industrial environment containing a robot to obtain point cloud data of the industrial environment.

[0074] Step 202: Preprocess the point cloud data, including down-sampling the point cloud data.

[0075] Step 203: Use trained semantic segmentation model to perform semantic segmentation on point cloud data to obtain multiple segmented objects.

[0076] Step 204: Obtain respective 3D models corresponding to the segmented objects, and convert the 3D models into their own point cloud data.

[0077] Step 205: Register point cloud data converted from each 3D model with the point cloud data corresponding to the segmented object of the 3D model.

[0078] Step 206: Generate a simulation model based on 6D pose transformation matrices determined by registration for respective 3D model and 3D models.

[0079] Step 207: Select rewards and actions for reinforcement learning algorithms.

[0080] Step 208: Train the reinforcement learning algorithm using a simulation engine.

[0081] Step 209: Determine whether the training has ended. If so (corresponding to branch "Y" ) , proceed to step 210. Otherwise (corresponding to branch "N" ) , return to step 208.

[0082] Step 210: Deploy the reinforcement learning algorithm into the robot controller.

[0083] Specifically, firstly, the raw point cloud data of the robot operation environment can be acquired from one general point cloud scanner. Then the raw point cloud is imported into the point cloud process module. In this module, the raw point cloud data is pre-processed for the further processing. The pass-through filter and voxel grid based down sampling are applied in this use case for point cloud denoising and cleaning. In the segmentation module one point cloud semantic segmentation model will be trained for this robot workstation scene. In this scene the robot, conveyer and obstacle will be classified and segmented out. We create the industrial datasets (see below) related to this kind of scene and train the model using the deep learning neural network which is applied in the point cloud data (e.g. PointNet++) . In the implementation of the trained model, we segment the real scene with the result as below, the points in green are the classified robot, the points in blue are the classified conveyor and the points in red are the obstacle. Meanwhile the 3D CAD to point cloud converter will convert the 3D CAD model of robot to point  cloud by uniform sampling of the model surface (see below) . The sampling resolution should be the same as the down sampling of the environmental point cloud in the preprocessing for the best accuracy result in the following registration process. The CAD model point cloud is registered with segmented point cloud of real robot to get the transformation of the CAD model point cloud in the simulation world. The 6D pose information is sent to the environment modeling module to align the robot CAD model with the real environment model in the simulated world. ICP (Iterative Closest Point) is the main algorithm to realize this process, and for the faster computing and more precise result, one optimized version of ICP, the Go-ICP (AGlobally Optimal Solution to 3D ICP Point-Set Registration) is applied in this use case. The environment modeling module will create the simulation environment according to the transformation data from the point cloud processing module, the robot CAD model is relocated with the same pose of the robot in the real world. And the obstacle in the real environment may be in point cloud format or be converted to mesh format in Process Simulate for the following simulation of collision testing, in this use case, it is replaced with one existing yellow board (see below) from the 3D CAD library. Next, the user selects the concrete algorithm for the reinforcement learning module and define the action and reward. For example, the robot is acting for the picking task which should avoid the surrounding obstacles. The DDPG (Deep Deterministic Policy Gradient) algorithm is applied in this use case, and the reward function can be set as follows: the reach target point, the collision status, distance to the surrounding objects, the time of the operation, the robot out of bounds amounts. The target object is located randomly in a user defined area.

[0084] The user starts the training when the reinforcement learning module is set up. The simulation engine will train the algorithm by sending out the simulation result to the reinforcement learning module and run the simulation constantly with the iterated action command from the reinforcement learning module till it meets the user’s requirements.

[0085] Finally, the robot control algorithm can be deployed to the robot controller directly in the real environment. One implementation is shown below:

[0086] Embodiments of the present disclosure disclose robot reinforcement learning algorithm training method and system based on fast environment modeling and simulation, which has the following advantages:

[0087] (1) Fast environment modeling: By leveraging the advanced point cloud processing method, the robot operation environment digital twin can be rapidly set up in the simulator.

[0088] (2) Low-cost reinforcement training: By using simulation technology, the robot's reinforcement learning algorithm can be trained without setting up the real devices.

[0089] (3) Time saving for deployment: This method can reduce the time and effort which is required to set up the simulation environment, accelerating the algorithm training process and further improving the validation and  deployment cycle of the robot control algorithm because the training environment is the same as the real robot operation environment.

[0090] (4) Enhance modeling and simulation product portfolio: this method and system can be easily integrated into existing modeling and simulation solution such as Tecnomatix Process Simulate, NX MCD, etc. And it can also be connected to the automation product such as PLC for the robot program deployment.

[0091] Fig. 11 is an exemplary structural diagram of a modeling apparatus for an industrial environment according to an embodiment of the present disclosure. An modeling apparatus for an industrial environment 800 comprising: a first obtaining module 801, configured to obtain point cloud data of an industrial environment comprising a robot; a performing module 802, configured to perform semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot; a second obtaining module 803, configured to obtain multiple 3D models respectively corresponding to the multiple segmented objects; a converting module 804, configured to convert the multiple 3D models into multiple pieces of point cloud data; a determining module 805, configured to determine transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects, based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects; and a building module 806, configured to build a simulation model of the industrial environment based on the transformation information and the multiple 3D models.

[0092] In one embodiment, the first obtaining 801 module is configured to perform down-sampling on the point cloud data. In one embodiment, the converting module 804 is configured to convert the multiple 3D models into multiple pieces of point cloud data based on a uniform sampling on respective surfaces of the multiple 3D models; wherein sampling resolution of the uniform sampling is the same as sampling resolution of the down-sampling.

[0093] Fig. 12 is an exemplary structural diagram of a modeling system for an industrial environment according to an embodiment of the present disclosure. The modeling system for an industrial environment comprising: a point cloud scanning device 41, configured to scan an industrial environment comprising a robot to obtain point cloud data of the industrial environment; a server 42, configured to perform semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot; a model library 43, configured to store multiple 3D models corresponding to the multiple segmented objects; wherein the server 42 is configured to query the multiple 3D models corresponding to the multiple segmented objects from the model library 43, convert the multiple 3D models into multiple pieces of point cloud data, determine transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects based on a registration process of the multiple pieces of point  cloud data with respective multiple segmentation objects, and build a simulation model of the industrial environment based on the transformation information and the multiple 3D models.

[0094] Embodiments of the present disclosure also propose an electronic device with a processor memory architecture. Fig. 13 is a structural diagram of an electronic device according to an embodiment of the present disclosure. As shown in Figure 13, electronic device 900 includes a processor 901, a memory 902, and a computer program stored on memory 902 that can run on processor 901. When the computer program is executed by processor 901, the modeling method for an industrial environment as described above is implemented. Among them, memory 902 can be implemented as various storage media such as electrically erasable programmable read-only memory (EEPROM) , flash memory, programmable program read-only memory (PROM) , etc. Processor 801 can be implemented to include one or more central processors or one or more field programmable gate arrays, wherein the field programmable gate array integrates one or more central processor cores. Specifically, the central processing unit or core can be implemented as a CPU, MCU, DSP, and so on.

[0095] It should be noted that not all steps and modules in the above processes and structural diagrams are necessary, and some steps or modules can be ignored according to actual needs. The execution sequence of each step is not fixed and can be adjusted as needed. The division of each module is only for the convenience of describing the functional division used. In actual implementation, a module can be divided into multiple modules, and the functions of multiple modules can also be implemented by the same module. These modules can be in the same device or different devices.

[0096] The hardware modules in each implementation can be implemented mechanically or electronically. For example, a hardware module can include specially designed permanent circuits or logic devices (such as dedicated processors, such as FPGA or ASIC) to complete specific operations. Hardware modules can also include programmable logic devices or circuits temporarily configured by software (such as general-purpose processors or other programmable processors) for performing specific operations. As for the specific use of mechanical methods, either dedicated permanent circuits or temporarily configured circuits (such as software configuration) to implement hardware modules, it can be determined based on cost and time considerations.

[0097] The above is only a preferred embodiment of the present disclosure and is not intended to limit the scope of protection of the present disclosure. Any modifications, equivalent substitutions, improvements, etc. made within the spirit and principles of this disclosure shall be included within the scope of protection of this disclosure.

[0098] Independent of the grammatical term usage, individuals with male, female or other gender identities are included within the term.

Claims

1.A modeling method for an industrial environment, comprising:obtaining (101) point cloud data of an industrial environment comprising a robot;performing (102) semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot;obtaining (103) multiple 3D models respectively corresponding to the multiple segmented objects;converting (104) the multiple 3D models into multiple pieces of point cloud data;determining (105) transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects, based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects; andbuilding (106) a simulation model of the industrial environment based on the transformation information and the multiple 3D models.2.The method according to claim 1, comprising:performing reinforcement learning training on the robot based on the simulation model of the industrial environment.3.The method according to claim 1, wherein before the performing (102) semantic segmentation on the point cloud data, the method comprises:performing down-sampling on the point cloud data.4.The method according to claim 3, wherein the converting (104) the multiple 3D models into multiple pieces of point cloud data comprises:converting the multiple 3D models into multiple pieces of point cloud data based on a uniform sampling on respective surfaces of the multiple 3D models;wherein sampling resolution of the uniform sampling is the same as sampling resolution of the down-sampling.5.The method according to any one of claims 1-4, comprises a training process of the semantic segmentation model, wherein the training process comprising:determining a training sample, which comprises point cloud training data and labels for annotating objects in the point cloud training data;inputting the training sample into a deep learning neural network;receiving predicted object segmentation results from the deep learning neural network;determining respective differences between the object segmentation results and the labels;determining loss function value of the deep learning neural network based on the respective differences;configuring model parameters of the deep learning neural network to make that the loss function value is below a preset threshold;determine the configured deep learning neural network as the trained semantic segmentation model.6.The method according to any one of claims 1-4, wherein the determining (105) transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects comprises:determining multiple 6D pose transformation matrices for transforming poses of the multiple 3D models in consistent with poses of the respective multiple segmented objects, based on the registration process;wherein the building (106) a simulation model of the industrial environment based on the transformation information and the multiple 3D models comprises:determining respective poses of the multiple 3D models based on respective multiple 6D pose transformation matrices;building the simulation model based on the multiple 3D models with respective determined poses.7.A modeling apparatus for an industrial environment, comprising:a first obtaining module (801) , configured to obtain point cloud data of an industrial environment comprising a robot;a performing module (802) , configured to perform semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot;a second obtaining module (803) , configured to obtain multiple 3D models respectively corresponding to the multiple segmented objects;a converting module (804) , configured to convert the multiple 3D models into multiple pieces of point cloud data;a determining module (805) , configured to determine transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects, based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects; anda building module (806) , configured to build a simulation model of the industrial environment based on the transformation information and the multiple 3D models.8.The apparatus according to claim 7, wherein the first obtaining (801) module is configured to perform down-sampling on the point cloud data.9.The apparatus according to claim 8, wherein the converting module (804) is configured to convert the  multiple 3D models into multiple pieces of point cloud data based on a uniform sampling on respective surfaces of the multiple 3D models; wherein sampling resolution of the uniform sampling is the same as sampling resolution of the down-sampling.10.A modeling system for an industrial environment, comprising:a point cloud scanning device (41) , configured to scan an industrial environment comprising a robot to obtain point cloud data of the industrial environment;a server (42) , configured to perform semantic segmentation on the point cloud data to obtain multiple segmented objects by using a trained semantic segmentation model, wherein the multiple segmented objects comprise the robot;a model library (43) , configured to store multiple 3D models corresponding to the multiple segmented objects;wherein the server (42) is configured to query the multiple 3D models corresponding to the multiple segmented objects from the model library (43) , convert the multiple 3D models into multiple pieces of point cloud data, determine transformation information for transforming poses of the multiple 3D models in consistent with poses of respective multiple segmentation objects based on a registration process of the multiple pieces of point cloud data with respective multiple segmentation objects, and build a simulation model of the industrial environment based on the transformation information and the multiple 3D models.11.An electronic device, comprising a processor (901) and a memory (902) , wherein an application program executable by the processor (901) is stored in the memory (902) for causing the processor (901) to execute a modeling method for an industrial environment according to any one of claims 1-6.12.A computer-readable medium comprising computer-readable instructions stored thereon, wherein the computer-readable instructions for executing a modeling method for an industrial environment according to any one of claims 1-6.13.A computer program product comprising a computer program, upon the computer program is executed by a processor for executing a modeling method for an industrial environment according to any one of claims 1-6.

Images