Method, system, storage medium and program product for monitoring WIP status in production and industrial system

Abstract

A method, a system(2),a computer-readable storage, a medium and a computer program product for monitoring WIP status in production and an industrial system are provided. The method includes: during a production process, an operation status signal of a production device which is used for processing a WIP object is obtained from a field control device(101); according to the operation status signal of the production device, an operation behavior of the production device is simulated and operation information related to a status of the WIP object is determined(102); according to the operation information, a changing behavior of the WIP object is simulated(103); the operation behavior of the production device and the changing behavior of the WIP object are visualized(104). The technical solutions of the application can achieve full process monitoring of the WIP status during the production process.

Description

METHOD, SYSTEM, STORAGE MEDIUM AND PROGRAM PRODUCT FOR MONITORING WIP STATUS IN PRODUCTION AND INDUSTRIAL SYSTEMFIELD

[0001] The present application relates to industrial technologies, and more particularly, to a method, system, computer-readable storage medium and computer program product for monitoring WIP status in production and an industrial system.BACKGROUND

[0002] Modern industrial manufacturers have increasingly high requirements for the quality of WIP (Work in Progress) in manufacturing, and the monitoring of WIP quality is gradually shifting from quality inspection after production to quality monitoring during the production process. Therefore, the defective WIP or problems in the production process should be screened out as early as possible.

[0003] However, in order to screen out the defective WIPs and abnormal process status as early as possible, a large amount of additional technical methods and hardware investment need to be added. Not only quality inspection stations and units need to be added in the middle of the production line process, but also various detection methods need to be used for destructive or non-destructive monitoring, which may affect the efficiency and throughput of industrial production.

[0004] Therefore, those skilled in the art are committed to finding other solutions for monitoring the WIP quality during the production process.SUMMARY

[0005] According to embodiments of the present application, a method, system, computer-readable storage medium and computer program product for monitoring WIP status in production and an industrial system are provided to achieve full process monitoring of the WIP status during the production process.

[0006] The method for monitoring WIP status in production provided by embodiments of the present application includes: during a production process, obtaining an operation status signal of a production device which is used for processing a WIP object from a field control device; according to the operation status signal of the production device, simulating an  operation behavior of the production device and determining operation information related to a status of the WIP object; according to the operation information, simulating a changing behavior of the WIP object; visualizing the operation behavior of the production device and the changing behavior of the WIP object.

[0007] In an example, when the production process comprises at least one control periods, the method further includes: at the beginning of each control period, obtaining a real status of the WIP object from a perception module; and calibrating current changing status of the WIP object using the real status of the WIP object.

[0008] In an example, each control period comprises a control command sequence; wherein obtaining an operation status signal of a production device is: during each control period, obtaining the operation status signal of the production device corresponding to each control command in the control command sequence.

[0009] In an example, when an initial status of the WIP object is not fixed, the method further includes: at the beginning of the production process, obtaining a real status of the WIP object from a perception module; and determining current changing status of the WIP object according to the real status of the WIP object.

[0010] In an example, wherein the production device comprises an industrial robot arm with a gripper, the operation status signal of the production device comprises joint values of the industrial robot arm and status of the gripper, and the operation information related to a status of the WIP object comprises: end posture of the robot arm with the gripper.

[0011] The system for monitoring WIP status in production provided by embodiments of the present application includes: a communication module, configured to, during a production process, obtain an operation status signal of a production device which is used for processing a WIP object from a field control device; a simulation module , configured to, according to the operation status signal of the production device, simulate an operation behavior of the production device and determine operation information related to a status of the WIP object; according to the operation information, simulate a changing behavior of the WIP object; a visualization tool, configured to visualize the operation behavior of the production device and the changing behavior of the WIP object.

[0012] Another system for monitoring WIP status in production provided by embodiments of the present application includes: at least one memory, to store a computer program; and at least one processor, to call the computer program stored in the at least one memory to perform above method.

[0013] The industrial system provided by embodiments of the present application includes: a WIP object; a production device, used for processing the WIP object; a field control device, used for controlling the production device; and above system for monitoring WIP status in production.

[0014] The non-transitory computer-readable storage medium provided by embodiments of the present application, on which a computer program is stored, the computer program is to be executed by a processor to implement the above method.

[0015] The computer program product comprising a computer program, characterized in that, the computer program, when executed by a processor, implements above method.

[0016] It can be seen from above technical solutions that by obtaining an operation status signal of a production device from a field control device, determining operation information related to a status of the WIP object according to the operation status signal of the production device, simulating a changing behavior of the WIP object according to the operation information, and visualizing the changing behavior of the WIP object, full process monitoring of the WIP status during the production process can be achieved.BRIEF DESCRIPTION OF THE DRAWINGS

[0017] For a better understanding of the present application, reference should be made to the Detailed Description below, in conjunction with the following drawings in which like reference numerals refer to corresponding parts throughout the figures.

[0018] Figure 1 is a flow diagram illustrating a method for monitoring WIP status in production according to embodiments of the present application.

[0019] Figure 2 is a system for monitoring WIP status in production according to embodiments of the present application.

[0020] Figure 3 is a flow diagram illustrating a method for monitoring WIP status in production according to an example of the present application.

[0021] Figure 4 is a flow diagram illustrating images of six surfaces of the Rubik’s Cube according to an example of the present application.

[0022] Figure 5 is a schematic diagram illustrating a simulation processing of the production device simulator according to an example of the present application.

[0023] Figures 6 is a schematic diagram illustrating a simulation processing of the WIP object simulator according to an example of the present application.

[0024] Figures 7 is a schematic diagram illustrating the visualization of the WIP object and the production device according to an example of the present application.

[0025] Figure 8 is a system for monitoring WIP status in production according to another example of the present application.

[0026] The reference numerals are as follows: DETAILED DESCRIPTION

[0027] In embodiments of this application, it is considered that one of the solutions to monitoring the WIP quality is adding inspection stations and units in the production process, but it costs additional investment of the production line, and impacts the productivity of the production line. Although sampling inspection can be used to reduce the impact to the production, the incomplete monitoring of the WIP can be also caused.

[0028] Another way is adding more sensors, even cameras along the production line to check the WIP status, but it also needs amounts of investment of both hardware devices and the software which process the sensor data to identify the WIP status.

[0029] In order to achieve monitoring of WIP quality during the production process without increasing more additional costs, it is considered to provide a scheme for WIP sensing and visualization during the production process based on the virtual-real integrated simulation. This scheme can use limited WIP sensing modules, rely on the status information of production device, and utilize co-simulation technology to simulate the changes in WIP status during the production process, and visualize the WIP status. Furthermore, it plays a role in monitoring the entire process status of the WIP during the manufacturing phase.

[0030] Reference will now be made in detail to examples, which are illustrated in the accompanying drawings. In the following detailed description, numerous specific details are set forth in order to provide a thorough understanding of the present application. Also, the figures are illustrations of an example, in which assemblies shown in the figures are not necessarily essential for implementing the present application. In other instances, well-known assemblies, components, and circuits have not been described in detail so as not to unnecessarily obscure aspects of the examples.

[0031] Figure 1 is a flow diagram illustrating a method for monitoring WIP status in production according to embodiments of the present application. As shown in Figure 1, the method may include the following processes.

[0032] At block 101, during a production process, an operation status signal of a production device which is used for processing a WIP object is obtained from a field control device.

[0033] The production process may include at least one control period, and each control period may include at least one control command, each operation status signal of the production device may correspond to one control command. That is to say, when the production process includes multiple control commands, the processes of blocks 101 to 104 are performed repeatedly. In an example, the field control device may obtain the at least one control command from a control algorithm module, and the control algorithm module may acquire the at least one control command by performing a control algorithm according to a real status of the WIP object at the beginning of each control period.

[0034] In an example, the field control device may be a controller such as a PLC, a robot controller, etc. The production device may be an industrial robot arm with a gripper, for instance, a 6-axis industrial robot arm with a gripper, and the operation status signal of a 6-axis industrial robot arm with a gripper may include the joint values: Joint = [j0, j1, j2, j3, j4, j5] of the robot arm and the gripper status: Statusgripper = [Open  / Close] .

[0035] In an example, the operation status signal of the production device can be obtained by a communication module (also called an interconnect module) which is connected to the real production line to get the real signals from the field. The communication module may support most of the industrial protocols such as PROFINET, OPC UA, etc.

[0036] At block 102, according to the operation status signal of the production device, an operation behavior of the production device is simulated and operation information related to a status of the WIP object is determined.

[0037] In above mentioned example, if the product object namely the WIP object is a deformable object, the status of the WIP object may be the out-shape boundary of the object StatusWIP = [v0, v1, v2, ... vn] , so the operation information related to the status of the WIP object may be operation information of the end posture of each robot arm with the gripper: Pose = [PosX, PosY, PosZ, RotX, RotY, RotZ] , wherein PosX, PosY, PosZ indicate position information, and RotX, RotY, RotZ indicate rotation angle information.

[0038] In an example, the operation behavior of the production device may be simulated and the production device is simulated and operation information related to a status of the WIP object may be determined by a production device simulator.

[0039] At block 103, according to the operation information, a changing behavior of the WIP object is simulated.

[0040] In an example, the changing behavior of the WIP object may be simulated by a WIP simulator.

[0041] At block 104, the operation behavior of the production device and the changing behavior of the WIP object are visualized.

[0042] In an example, the operation behavior of the production device and the changing behavior of the WIP object may be visualized by a visualization tool using a digital twin 3D visualization technology.

[0043] In an example, when the production process includes at least one control period, especially multiple control periods, the method may further include: at the beginning of each control period, obtaining a real status of the WIP object from a perception module, and calibrating current changing status of the WIP object using the real status of the WIP object. In addition, regardless of whether the production process includes multiple control periods, if an initial status of the WIP object is not fixed, the method may further include: at the beginning of the production process, obtaining a real status of the WIP object from a perception module; and determining current changing status of the WIP object according to the real status of the WIP object. For example, when the WIP object is a Rubik's Cube, the initial status of the Rubik's Cube is usually random. In an example, the real status of the WIP object can be obtained by the communication module mentioned above.

[0044] In an example, the perception module may be a camera, an inductive sensor, a scanner, etc.

[0045] In the embodiments of the present application, the field control device and the perception module are usually existing devices on the real production line, namely, no quality inspection stations or units need to be added in the middle of the production line process, no  detection methods need to be used for destructive monitoring, so the efficiency and throughput of industrial production will not be affected.

[0046] Figure 2 is a system for monitoring WIP status in production according to embodiments of the present application. The system for monitoring WIP status in production in embodiments of the application can be used to implement the method for monitoring WIP status in production in embodiments of the application in embodiments of the application. For details not disclosed in system embodiments of the application, please refer to the corresponding description in method embodiments of the application.

[0047] As shown in Figure 2, the system 2 may include a communication module 210, a simulation module 220 and a visualization tool 230. In an example, the system may further include a model database 240.

[0048] The communication module 210 is configured to, during a production process, obtain an operation status signal of a production device which is used for processing a WIP object from a field control device 110 in the real production line 1.

[0049] In an example, the production process may include at least one control period, and each control period may include at least one control command, each operation status signal of the production device may correspond to one control command. In an example, the field control device 110 may obtain the at least one control command from a control algorithm module 120 in the real production line 1, and the control algorithm module 120 may acquire the at least one control command by performing a control algorithm according to a real status of the WIP object at the beginning of each control period, and the real status of the WIP object may be obtained by a perception module 130 in the real production line 1.

[0050] In an example, the communication module 210 is further configured to, at the beginning of each control period or at the beginning of the production process, obtain a real status of the WIP object from the perception module 130, and send the real status of the WIP object to the simulation module 220.

[0051] The simulation module 220 is configured to, according to the operation status signal of the production device, simulate an operation behavior of the production device and determine operation information related to a status of the WIP object; and simulate a changing behavior of the WIP object according to the operation information.

[0052] In an example, the simulation module 220 may include a production device simulator 221 and a WIP object simulator 222.

[0053] The production device simulator 221 is configured to, according to the operation status signal of the production device, simulate an operation behavior of the production device and determine operation information related to a status of the WIP object, and output the operation information related to a status of the WIP object to the WIP object simulator 222. In an example, the production device simulator 221 may, further according to changing status information of the WIP object as well as the operation status signal of the production device, simulate an operation behavior of the production device and determine operation information related to a status of the WIP object.

[0054] The WIP object simulator 222 is configured to simulate a changing behavior of the WIP object according to the operation information. In an example, the WIP object simulator 22 may further return changing status information fo the WIP object to the production device simulator 221 for next step simulation.

[0055] In an example, when the production process includes at least one control period, especially multiple control periods, the WIP object simulator 222 is may further configured to, at the beginning of each control period, calibrate current changing status of the WIP object using the real status of the WIP object sent by the communication module 210.

[0056] In another example, the WIP object simulator 222 is further configured to, at the beginning of production process, determine current changing status of the WIP object according to the real status of the WIP object sent by the communication module 210.

[0057] The visualization tool 230 is configured to visualize the operation behavior of the production device and the changing behavior of the WIP object.

[0058] The model database 240 may contain all the 3D models for the simulations and the visualization.

[0059] Figure 3 is a flow diagram illustrating a method for monitoring WIP status in production according to an example of the present application. In the example, the WIP object is a Rubik's Cube, the production device is dual robot arms, and each robot arm is a 6-axis industrial robot arm with a gripper, the perception module is the camera on the robot arm.  The production device simulator is a robot simulation tool, for instance, Tecnomatix Process Simulate. The WIP object simulator is a Rubik’s Cube simulator. The visualization tool is a web-based viewer. The production process is a Rubik’s Cube restoring process. As shown in Figure 3, the method may include the following processes.

[0060] At block 301, the perception module in the production line acquires a real status of the WIP object, and sends the real status of the WIP object to a communication module of the system for monitoring WIP status in production. Simultaneously, the perception module also sends the real status of the WIP object to an advanced control algorithm module in the production line. In the example, the advanced control algorithm module is a Rubik’s Cube parser which generates the restoring process commands.

[0061] In the example, the perception data namely the real status of the WIP object may be the images of six surfaces of the Rubik’s Cube as shown in figure 4.

[0062] At block 302, the communication module provides the real status of the WIP object to the WIP object simulator, and then the WIP object simulator parses the images and gets the surface color matrix of the Rubik’s Cube and take obtained surface color matrix as the current changing status of the Rubik’s Cube in the WIP object simulator. Meanwhile, the advanced control algorithm module uses the same perception data to generate the control command sequence of the field control device for controlling the two 6-axis robot arms. The command sequence is a list of the operations for the robot arms with the PLC control sequence.

[0063] At block 303, the field control device drives the production device to perform corresponding operations according to the control command sequence, and during the operations, the field control device sends current operation status signal of the production device corresponding to current control command in the control command sequence to the production device simulator via the communication module.

[0064] In the example, each operation status signal of the production device may include the joint values of the robot arm and the gripper status, for instance, Joint = [j0, j1, j2, j3, j4, j5] andStatusgripper = [Open  / Close] .

[0065] At block 304, the production device simulator updates the production device simulation status according to current operation status signal of the production device from  the field control device, namely, the production device simulator simulate an operation behavior of the production device. The production device simulator calculates the robot arms’ behavior and outputs an end posture of each robot arms with the gripper: Pose = [PosX, PosY, PosZ, RotX, RotY, RotZ] .

[0066] Figure 5 shows a simulation processing of the production device simulator according to an example of the present application.

[0067] At block 305, in the same simulation cycle, the WIP object simulator updates the WIP object simulation status according to the end posture of the robot arms with gripper. Namely the WIP object simulator simulates a changing behavior of the WIP object according to the end posture of the robot arms with gripper. In this example, the Rubik’s Cube simulator will calculate the updated simulation pose of the Rubik’s Cube.

[0068] Figure 6 shows a simulation processing of the WIP object simulator according to an example of the present application.

[0069] At block 306, the visualization tool receives the WIP object simulation status from the WIP object simulator and the production device simulation status from the production device simulator, and visualizes the WIP object simulation status and the production device simulation status in a digital 3D environment. In this example, it may be shown in the web-based 3D rendering environment.

[0070] Figure 7 shows the visualization of the WIP object and the production device according to an example of the present application. The left side in figure 7 shows the production device and the WIP object in the real production line, while the right side in figure 7 shows the synchronized visualization of the production device and the WIP object.

[0071] Before all control commands in the control command sequence are performed, blocks 303 to 306 are performed repeatedly. When the control command sequence is finished, the simulation cycle is terminated, namely a control period is terminated. When the production process includes multiple control periods, a new control period may start from block 301, and the WIP object simulator will synchronize and calibrate the WIP object status again at block 302 before a new control command sequence is performed.

[0072] In the example, it is hard to monitor the Rubik’s Cube status along the whole restore operation process. By using the technical solutions of embodiments of the present application, the WIP object status in the industrial metaverse can be monitored without additional device and operations.

[0073] In fact, system for monitoring WIP status in production provided by the embodiments of the present application may be specifically implemented in various manners. For example, the system for monitoring WIP status in production may be compiled, by using an application programming interface that complies with a certain regulation, as a plug-in that is installed in an intelligent terminal, or may be encapsulated into an application program for a user to download and use.

[0074] When compiled as a plug-in, the system for monitoring WIP status in production may be implemented in various plug-in forms such as ocx, dll, and cab. The system for monitoring WIP status in production provided by this embodiment of the present application may also be implemented by using a specific technology, such as a Flash plug-in technology, a RealPlayer plug-in technology, an MMS plug-in technology, a MIDI staff plug-in technology, or an ActiveX plug-in technology.

[0075] The method for monitoring WIP status in production provided by this implementation manner of the present application may be stored in various storage mediums in an instruction storage manner or an instruction set storage manner. These storage mediums include, but are not limited to: a floppy disk, an optical disc, a DVD, a hard disk, a flash memory, a USB flash drive, a CF card, an SD card, an SDHC card, an MMC card, an SM card, a memory stick, and an xD card.

[0076] Moreover, it should be clear that an operating system operated in a computer can be made, not only by executing program code read by the computer from a storage medium, but also by using an instruction based on the program code, to implement some or all actual operations, so as to implement functions of any embodiment in the foregoing embodiments.

[0077] For example, figure 8 is a schematic diagram illustrating another system for monitoring WIP status in production according to embodiments of the present application. The system may be used to perform the method shown in figure 1 of 3, or to implement the system shown in figure 2. As shown in figure 8, the system may include at least one memory 81 and at least one processor 82. In addition, some other components may be included, such  as communication port, input / output controller, network communication interface, etc. These components communicate through bus 83, etc.

[0078] At least one memory 81 is configured to store a computer program. In one example, the computer program can be understood to include various modules of the system shown in figure 2. In addition, at least one memory 81 may store an operating system or the like. Operating systems include but are not limited to: Android operating system, Symbian operating system, windows operating system, Linux operating system, etc.

[0079] At least one processor 82 is configured to call the computer program stored in at least one memory 81 to perform a method for monitoring WIP status in production described in embodiments of the present application. The processor 82 can be CPU, processing unit / module, ASIC, logic module or programmable gate array, etc. It can receive and send data through the communication port.

[0080] The I / O controller has a display and an input device, which is used to input, output and display relevant data.

[0081] An industrial system is also provided by embodiments of the present application. In an example, the industrial system may include the WIP object, the production device, the field control device and above mentioned system for monitoring WIP status in production. In another example, the industrial system may further include a perception module.

[0082] The technical solutions in embodiments of the present application have the following advantages:

[0083] Full process monitoring: by using the simulation technology to simulate and visualize the WIP object status, full process monitoring of the WIP object status during the production process can be achieved.

[0084] Effort and cost saving: by using the existing field control device and the perception module in the production line, driving the co-simulation of the production device and WIP object, the status of the WIP object can be simulated and visualized without additional device being set in the real production line.

[0085] Intuitive visualization: by using the industrial metaverse related visualization technology, the WIP object and the production status can be visualized photorealistic in the tool for the user.

[0086] Enhance automation and simulation product portfolio: This technical solutions can be easily integrated with existing automation product such as PLC, IPC, SIMIT, etc. and existing simulation product such as Tecnomatix, Simcenter, gPROM, etc.

[0087] It should be understood that, as used herein, unless the context clearly supports exceptions, the singular forms "a" ( "a" , "an" , "the" ) are intended to include the plural forms. It should also be understood that, "and  / or" used herein is intended to include any and all possible combinations of one or more of the associated listed items.

[0088] The number of the embodiments of the present application are only used for description, and do not represent the merits of the implementations.

[0089] Independent of the grammatical term usage, individuals with male, female or other gender identities are included within the term.

[0090] The foregoing description, for purpose of explanation, has been described with reference to specific examples. However, the illustrative discussions above are not intended to be exhaustive or to limit the present application to the precise forms disclosed. Many modifications and variations are possible in view of the above teachings. The examples were chosen and described in order to best explain the principles of the present application and its practical applications, to thereby enable others skilled in the art to best utilize the present application and various examples with various modifications as are suited to the particular use contemplated.

[0091] Independent of the grammatical term usage, individuals with male, female or other gender identities are included within the term.

Claims

1.A method for monitoring WIP status in production, characterized in that, the method comprising:during a production process, obtaining an operation status signal of a production device which is used for processing a WIP object from a field control device;according to the operation status signal of the production device, simulating an operation behavior of the production device and determining operation information related to a status of the WIP object;according to the operation information, simulating a changing behavior of the WIP object;visualizing the operation behavior of the production device and the changing behavior of the WIP object.2.The method for monitoring WIP status in production according to claim 1, characterized in that, when the production process comprises at least one control periods, the method further comprising:at the beginning of each control period, obtaining a real status of the WIP object from a perception module; andcalibrating current changing status of the WIP object using the real status of the WIP object.3.The method for monitoring WIP status in production according to claim 2, characterized in that, each control period comprises a control command sequence;wherein obtaining an operation status signal of a production device is: during each control period, obtaining the operation status signal of the production device corresponding to each control command in the control command sequence.4.The method for monitoring WIP status in production according to claim 1, characterized in that, when an initial status of the WIP object is not fixed, the method further comprising:at the beginning of the production process, obtaining a real status of the WIP object from a perception module; anddetermining current changing status of the WIP object according to the real status of the WIP object.5.The method for monitoring WIP status in production according to any one of claims 1 to 4, characterized in that, wherein the production device comprises an industrial robot arm with a gripper, the operation status signal of the production device comprises joint values of the industrial robot arm and status of the gripper, and the operation information related to a status of the WIP object comprises: end posture of the robot arm with the gripper.6.A system for monitoring WIP status in production, characterized in that, comprising:a communication module (210) , configured to, during a production process, obtain an operation status signal of a production device which is used for processing a WIP object from a field control device;a simulation module (220) , configured to, according to the operation status signal of the production device, simulate an operation behavior of the production device and determine operation information related to a status of the WIP object; according to the operation information, simulate a changing behavior of the WIP object;a visualization tool (230) , configured to visualize the operation behavior of the production device and the changing behavior of the WIP object.7.A system for monitoring WIP status in production, characterized in that, comprising:at least one memory (71) , to store a computer program; andat least one processor (72) , to call the computer program stored in the at least one memory (71) to perform a method according to any one of claims 1 to 5.8.An industrial system, characterized in that, comprising:a WIP object;a production device, used for processing the WIP object;a field control device, used for controlling the production device; anda system for monitoring WIP status in production according to claim 6 or 7.9.A non-transitory computer-readable storage medium, on which a computer program is stored, characterized in that, the computer program is to be executed by a processor to implement the method according to any one of claims 1 to 5.10.A computer program product comprising a computer program, characterized in that, the computer program, when executed by a processor, implements the method according to any one of claims 1 to 5.

Images