Method, apparatus, device, and medium for generating composite edge app

Abstract

Embodiments of the present disclosure disclose a method, Apparatus, device, and medium for generating composite edge App. The method comprises: creating a composite edge App; determining multiple edge Apps to be composited; configuring the composite edge App with the multiple edge Apps, wherein configuring the composite edge App with the multiple edge Apps comprises: composing user interfaces of the multiple edge Apps into user interface of the composite edge App; connecting the multiple edge Apps; generating the composite edge App.

Description

Method, Apparatus, device, and medium for generating composite edge AppFIELD

[0001] The present disclosure relates to the technical field of industry digitalization, in particular to a method, Apparatus, device, and medium for generating composite edge App.BACKGROUND

[0002] With the increasing application of digitalization and artificial intelligence technology in the field of industrial automation, edge device as indispensable equipment is closely integrated into industrial automation control systems.

[0003] Edge apps can be deployed to edge device individually, but these edge apps are only for a certain purpose. For example, the "AI Model Monitor" application is only used to monitor the runtime metrics of the AI model, and customer needs multiple edge Apps for certain application scenario or application requirements. Customers need to use the user interfaces provided by each individual edge app to configure and operate repeatedly.SUMMARY

[0004] Embodiments of the present disclosure propose a method, Apparatus, device, and medium for generating composite edge App.

[0005] In a first aspect, there is provided a method for generating a composite edge App, comprising:

[0006] creating a composite edge App;

[0007] determining multiple edge Apps to be composited;

[0008] configuring the composite edge App with the multiple edge Apps, wherein configuring the composite edge App with the multiple edge Apps comprises: composing user interfaces of the multiple edge Apps into user interface of the composite edge App; connecting the multiple edge Apps;

[0009] generating the composite edge App.

[0010] Therefore, the present disclosure provides a method for generating a composite edge App. A composite edge App is generated that contains functionalities of multiple separate edge Apps for one application scenario during the runtime phase. In this manner, the composite edge App integrated functionalities of edge Apps, flexibility to specific application scenario is improved. Furthermore, these is no need for user to switch frequently between different user interfaces of edge Apps, and the user experience is promoted.

[0011] In an example, wherein configuring the composite edge App with the multiple edge Apps comprises:

[0012] receiving a dashboard configuration operation from a user;

[0013] configuring a dashboard of the composite edge App based on the dashboard configuration operation.

[0014] In an example, the user interface of the composite edge App comprising screen management area, main configuration area, property configuration area and context area, wherein receiving a dashboard configuration operation from a user comprises:

[0015] receiving order adjustment for the multiple edge Apps from the user in the screen management area;

[0016] receiving a visual element selection from the context area by user, wherein the visual element is used for visualizing values of metrics;

[0017] displaying properties of the visual element in the property configuration area.

[0018] In an example, configuring the composite edge App with the multiple edge Apps comprises:

[0019] receiving visual element selection from the user;

[0020] receiving a topic selection from databus on edge device and decoder specification from the user;

[0021] parsing payload of the topic to obtain the values of the metrics.

[0022] In an example, connecting the multiple edge Apps comprises:

[0023] receiving edge App selection as data source and topic selection of the data source from the user;

[0024] receiving edge App selection as data destination and topic selection of the data destination from the user;

[0025] configuring encoder and decoder between the data source and the data destination.

[0026] In an example, the method further comprises:

[0027] iterating all edge App;

[0028] updating container name with adding name of the composite edge App as prefix for each edge App;

[0029] updating network name with adding name of the composite edge App as prefix.

[0030] In a second aspect, there is provided an apparatus for generating a composite edge App, comprising:

[0031] a creating module, configured to create a composite edge App;

[0032] a determining module, configured to determine multiple edge Apps to be composited;

[0033] a configuring module, configured to configure the composite edge App with the multiple edge Apps, wherein configuring the composite edge App with the multiple edge Apps comprises: composing user interfaces of the multiple edge Apps into user interface of the composite edge App; connecting the multiple edge Apps;

[0034] a generating module, configured to generate the composite edge App.

[0035] In a third aspect, there is provided an electronic device comprising a processor and a memory, wherein an application program executable by the processor is stored in the memory for causing the processor to execute a method for identifying building block as described in any of the above.

[0036] In a fourth aspect, there is provided a computer-readable medium comprising computer-readable instructions  stored thereon is provided, wherein the computer-readable instructions for executing a method for identifying building block as described in any of the above.

[0037] In a fifth aspect, there is provided a computer program product comprising a computer program, when the computer program is executed by a processor for executing a method for identifying building block as described in any of the above.BRIEF DESCRIPTION OF THE DRAWINGS

[0038] To make technical solutions of examples of the present disclosure clearer, accompanying drawings to be used in description of the examples will be simply introduced hereinafter. Obviously, the accompanying drawings to be described hereinafter are only some examples of the present disclosure. Those skilled in the art may obtain other drawings according to these accompanying drawings without creative labor.

[0039] Fig. 1 is an exemplary flowchart of a method for generating a composite edge App according to an embodiment of the present disclosure.

[0040] Fig. 2 is an exemplary flowchart of a workflow for configuring a composite edge App according to an embodiment of the present disclosure.

[0041] Fig. 3 is an exemplary schematic diagram of user interface of a composite edge App according to an embodiment of the present disclosure.

[0042] Fig. 4 is an exemplary schematic diagram of the communication between edge Apps according to an embodiment of the present disclosure.

[0043] Fig. 5 is an exemplary schematic diagram of configuring a metric for monitoring AGV speed according to an embodiment of the present disclosure.

[0044] Fig. 6 is an exemplary schematic diagram of configuring graphical user interfaces for composite edge App according to an embodiment of the present disclosure.

[0045] Fig. 7 is an exemplary schematic diagram of connection between edge Apps defined by user according to an embodiment of the present disclosure.

[0046] Fig. 8 is an exemplary schematic diagram of properties of one selected connection in the property configuration area according to an embodiment of the present disclosure.

[0047] Fig. 9 is an exemplary flowchart of a workflow of configuring connections between edge Apps according to an embodiment of the present disclosure.

[0048] Fig. 10 is an exemplary flowchart of a workflow of creating an edge App instance according to an embodiment of the present disclosure.

[0049] Fig. 11 is an exemplary schematic diagram of an apparatus for generating composite edge App according to an embodiment of the present disclosure.

[0050] Fig. 12 is an exemplary structural diagram of an electronic device according to an embodiment of the present disclosure.

[0051] List of reference numbers:

[0052] 100 method for generating a composite edge App

[0053] 110-140 step

[0054] 201-204 step

[0055] 301 screen management area

[0056] 302 main configuration area

[0057] 303 property configuration area

[0058] 304 context area

[0059] 401 AI-based defect detection

[0060] 402 AI model monitor

[0061] 403 system logger

[0062] 404 vision connector

[0063] 405 cargo packing

[0064] 406 robot pick &place

[0065] 407 VGA loading and unloading

[0066] 502 main configuration area

[0067] 503 property configuration area

[0068] 504 context area

[0069] 601 screen management area

[0070] 701 screen management area

[0071] 702 main configuration area

[0072] 703 property configuration area

[0073] 901-907 step

[0074] 1001-1006 step

[0075] 1100 apparatus for generating composite edge App

[0076] 1110 creating module

[0077] 1120 determining module

[0078] 1130 configurating module

[0079] 1140 generating module

[0080] 1200 electronic device

[0081] 1210 processor

[0082] 1220 memoryDETAILED DESCRIPTION

[0083] To make the purpose, technical scheme, and advantages of the disclosure clearer, the following examples are given to further explain the disclosure in detail. Nouns and pronouns related to people in this patent Application are not limited to specific gender.

[0084] To be concise and intuitive in description, the scheme of the disclosure is described below by describing several representative embodiments. Many details in the embodiments are only used to help understand the scheme of the disclosure. However, it is obvious that the technical scheme of the disclosure can be realized without being limited to these details. To avoid unnecessarily blurring the scheme of the disclosure, some embodiments are not described in detail, but only the framework is given. Hereinafter, "including" refers to "including but not limited to" , "according to... " refers to "at least according to..., but not limited to... " . When the number of an element is not specifically indicated below, it means that the element can be one or more, or can be understood as at least one.

[0085] The present disclosure proposes a method for generating a composite edge App. Fig. 1 is an exemplary flowchart of a method 100 for generating composite edge App according to an embodiment of the present disclosure. As shown in Fig. 1, the method 100 comprises:

[0086] step 110, creating a composite edge App;

[0087] Edge App is deployed and run in edge device. An edge device refers to a device that performs data processing and analytics at the edge side, closer to where the data is generated or consumed, rather than sending it to a centralized cloud or data center for processing.

[0088] A composite edge App can be created according to application scenario such as food production or water processing. Creating a composite edge App may include determination of App ID, scenario application, edge device information and so on. A composite edge App can be created by a user by a Human-Machine Interface (HMI) .

[0089] step 120, determining multiple edge Apps to be composited;

[0090] Builder of the composite edge App may determine multiple edge Apps to be composited on their own. For example, the builder analyzes specific requirements in industrial application scenarios and identifies multiple edge  Apps that require collaborative collaboration to meet these specific requirements.

[0091] The created composite edge App can detect all deployed edge Apps in the edge device where the composite edge App is created. Multiple edge Apps to be composited can be determined or selected by user with an HMI. For example, user can pull and deploy edge Apps from a marketplace if management system of the edge device supports the operation. Otherwise, users can download and deploy edge Apps from a marketplace to the edge device.

[0092] Fig. 4 is an exemplary schematic diagram of the communication between edge Apps according to an embodiment of the present disclosure. As shown in Fig. 4, Multiple edge Apps to be composited include AI-based defect detection 401, AI model monitor 402, system logger 403, vision connector 404, cargo packing 405, robot pick &place 406 and VGA loading and unloading 407.

[0093] step 130, configuring the composite edge App with the multiple edge Apps, wherein configuring the composite edge App with the multiple edge Apps comprises: composing user interfaces of the multiple edge Apps into user interface of the composite edge App; connecting the multiple edge Apps.

[0094] Configuration refers to the process of setting up and customizing the composite edge App with the selected multiple edge Apps. It involves adjusting various settings, options, and parameters within the app to tailor its behavior, appearance, and functionality to meet the user's needs. It allows users to personalize and optimize their app experience according to their preferences, needs, and specific use cases.

[0095] Configuring the composite edge App with the multiple edge Apps comprises: composing user interfaces of the multiple edge Apps into user interface of the composite edge App; connecting the multiple edge Apps.

[0096] By composing user interfaces of all the selected edge Apps into the user interface of the composite edge App, users can check and perform operations in one user interface rather than switching frequently between different user interfaces of the selected edge Apps, and can combine graphical user interfaces of selected edge Apps in the composite edge App for centrally operating on one graphical user interface.

[0097] As the selected edge Apps may be released by different vendors or developers, the communication protocols among them are not predefined to communicate with other edge Apps. By connecting the selected edge Apps, communication of the selected edge Apps can be realized. The edge Apps released by 3rd party to the marketplace can work together without predefining communication protocols.

[0098] step 140, generating the composite edge App.

[0099] After configurations, the composite edge App can be saved to generate a separate App. The composite edge App can be deployed automatically on the edge device where the composite edge App is created.

[0100] Embodiments of the present disclosure provides a method for generating a composite edge App. A composite edge App is generated that contains functionalities of multiple separate edge Apps for one application scenario  during the runtime phase. In this manner, the composite edge App integrated functionalities of edge Apps, flexibility to specific application scenario is improved. Furthermore, these is no need for user to switch frequently between different user interfaces of edge Apps, and the user experience is promoted.

[0101] In one embodiment, configuring the composite edge App with the multiple edge Apps comprises:

[0102] receiving a dashboard configuration operation from a user;

[0103] configuring a dashboard of the composite edge App based on the dashboard configuration operation.

[0104] Specifically, the composite edge App can discover all topics related to the selected edge App from databus of the edge device. The databus can be DDS, MQTT, etc. The discovered databus topics are used for getting metrics values and connecting with other selected edge Apps.

[0105] The dashboard is used for monitoring the expected metrics of the selected edge Apps. Users can select what kind of visualized element is used for visualizing the values of the metrics. For the case that the value of the metric is part of one topic, users also need to specify a decoder to parse the payload of the topic to get the value of the metric.

[0106] Fig. 2 is an exemplary flowchart of a workflow for configuring a composite edge App according to an embodiment of the present disclosure. As shown in Fig. 2, the workflow for configuring a composite edge App includes:

[0107] step 201, discover all registered topics of the selected individual edge App from the databus;

[0108] step 202, configure dashboard with visualized elements for monitoring metrics;

[0109] step 203, configure connections between individual edge App;

[0110] step 204, configure graphic user interface with of the composite edge App.

[0111] In one embodiment, the user interface of the composite edge App comprising screen management area, main configuration area, property configuration area and context area, wherein receiving a dashboard configuration operation from a user comprises:

[0112] receiving order adjustment for the multiple edge Apps from the user in the screen management area;

[0113] receiving a visual element selection from the context area by user, wherein the visual element is used for visualizing values of metrics;

[0114] displaying properties of the visual element in the property configuration area.

[0115] In one embodiment, configuring the composite edge App with the multiple edge Apps comprises:

[0116] receiving a visual element selection from the user;

[0117] receiving a topic selection from databus on edge device and decoder specification from the user;

[0118] parsing payload of the topic to obtain the values of the metrics.

[0119] Fig. 3 is an exemplary schematic diagram of user interface of a composite edge App according to an embodiment of the present disclosure. As shown in Fig. 3, the user interface of a composite edge App includes screen management area 301, main configuration area 302, Property configuration area 303 and Context area 404.

[0120] Screen management area 301 is used to configure what graphical user interfaces will be shown in the HMI. The screen management area 301 can be the dashboard, graphical user interfaces of the selected edge Apps, and the connection configurator.

[0121] Main configuration area 302 is the main area for configuring the screen of the composite edge App.

[0122] Property configuration area 303 is used to configure the properties of the selected element in the main configuration area.

[0123] Context area 304 is an optional area for assisting in configuring the main configuration area.

[0124] Fig. 5 is an exemplary schematic diagram of configuring a metric for monitoring AGV speed according to an embodiment of the present disclosure. As shown in Fig. 5, When users create a dashboard screen, the context area 504 shows the visualized elements E1, E2 that are used for visualizing the metric of edge Apps. The visualized elements E1, E2 can be built into the system or customized by users. In this example, user selects a speed element to visualize the VGA speed. User can add this element to the main configuration area 502 and name it. When this element is selected, the property configuration area 503 shows the properties related to this element. For this VGA speed metric, users can select which topic is bound to this element and specify a decoder that is an optional property and used for decoding the metric value from the payload of the bound topic if the payload has a complex structure. Users can also configure different colors for warning current VGA speed.

[0125] Fig. 6 is an exemplary schematic diagram of configuring graphical user interfaces for composite edge App according to an embodiment of the present disclosure. As shown in Fig. 6, screen management area 601 displays interface U1, U2, U3, U4, U5, U6 and U7. U1 is the interface of edge App AI-based defect detection. U2 is the interface of edge app AI model monitor. U3 is the interface of edge App system logger. U4 is the interface of edge App vision connector. U5 is the interface of edge App cargo packing. U6 is the interface of Edge App robot pick &place. U7 is the interface of edge App VGA loading and unloading. User can adjust order of graphical user interface of these selected edge Apps according to requirements and view details of each edge App by clicking the interface of the edge App.

[0126] In one embodiment, connecting the multiple edge Apps comprises:

[0127] receiving edge App selection as data source and topic selection of the data source from the user;

[0128] receiving edge App selection as data destination and topic selection of the data destination from the user;

[0129] configuring encoder and decoder between the data source and the data destination.

[0130] Fig. 7 is an exemplary schematic diagram of connection between edge Apps defined by user according to an embodiment of the present disclosure. As shown in Fig. 7, user can configure connections of edge Apps by connection configurator 701. The connections of edge Apps can be displayed in main configuration area 702. Properties of the connections of edge Apps can be displayed in property configuration area 703. In main configuration area 702, it is defined by user that vision connector 405 is connected to AI-based defect detection 401, AI-based defect detection 401 is connected to AI model monitor 402, system logger 403, robot pick &place 406 and VGA loading and unloading 407, robot pick &place 406 is connected to cargo packing 404.

[0131] Fig. 8 is an exemplary schematic diagram of properties of one selected connection in the property configuration area according to an embodiment of the present disclosure. As shown in Fig. 8, user can configure source including edge App, topic and decoder, and destination including edge App, topic and encoder.

[0132] Fig. 9 is an exemplary flowchart of a workflow of configuring connections between edge Apps according to an embodiment of the present disclosure. As shown in Fig. 9, the workflow includes:

[0133] step 901, start;

[0134] step 902, select edge App as data source;

[0135] step 903, select topic of data source;

[0136] step 904, select edge App as data destination;

[0137] step 905, select topic of data destination;

[0138] step 906, configure decoder / encoder for connection;

[0139] step 907, end;

[0140] In one embodiment, wherein the method further comprises:

[0141] iterating all edge App;

[0142] updating container name with adding name of the composite edge App as prefix for each edge App;

[0143] updating network name with adding name of the composite edge App as prefix.

[0144] By creating a unique edge App instance and set up an Isolated network environment, each edge App can be used by multiple composite edge Apps.

[0145] Fig. 10 is an exemplary flowchart of a workflow of creating an edge App instance according to an embodiment of the present disclosure.

[0146] step 1001, start;

[0147] step 1002, iterate all edge Apps selected for composite edge App;

[0148] step 1003, update container name with adding application name as prefix;

[0149] step 1004, update network name with adding application name as prefix;

[0150] step 1005, judge if it is the last individual edge App, if no, back to step 1002, if yes, proceed to step 1006;

[0151] step 1006, end.

[0152] The present disclosure further proposes an apparatus for generating composite edge App. Fig. 11 is an exemplary schematic diagram of an apparatus 1100 for generating composite edge App according to an embodiment of the present disclosure. As shown in Fig. 11, the apparatus 1100 comprises:

[0153] a creating module 1110, configured to create a composite edge App;

[0154] a determining module 1120, configured to determine multiple edge Apps to be composited;

[0155] a configuring module 1130, configured to configure the composite edge App with the multiple edge Apps, wherein configuring the composite edge App with the multiple edge Apps comprises: composing user interfaces of the multiple edge Apps into user interface of the composite edge App; connecting the multiple edge Apps;

[0156] a generating module 1140, configured to generate the composite edge App.

[0157] Embodiments of the present disclosure also propose an electronic device with a processor memory architecture. Fig. 12 is an exemplary structural diagram of an electronic device according to an embodiment of the present disclosure. As shown in Figure 12, electronic device 1200 includes a processor 1210, a memory 1220, and a computer program stored on memory 1220 that can run on processor 1210. When the computer program is executed by processor 1210, the method for identifying building block as described in either of the above is implemented. Among them, memory 1220 can be implemented as various storage media such as electrically erasable programmable read-only memory (EEPROM) , flash memory, programmable program read-only memory (PROM) , etc. Processor 1210 can be implemented to include one or more central processors or one or more field programmable gate arrays, wherein the field programmable gate array integrates one or more central processor cores. Specifically, the central processing unit or core can be implemented as a CPU, MCU, DSP, and so on.

[0158] It should be noted that not all steps and modules in the above processes and structural diagrams are necessary, and some steps or modules can be ignored according to actual needs. The execution sequence of each step is not fixed and can be adjusted as needed. The division of each module is only for the convenience of describing the functional division used. In actual implementation, a module can be divided into multiple modules, and the functions of multiple modules can also be implemented by the same module. These modules can be in the same device or different devices.

[0159] The hardware modules in each implementation can be implemented mechanically or electronically. For example, a hardware module can include specially designed permanent circuits or logic devices (such as dedicated processors, such as FPGA or ASIC) to complete specific operations. Hardware modules can also include programmable logic devices or circuits temporarily configured by software (such as general-purpose processors or  other programmable processors) for performing specific operations. As for the specific use of mechanical methods, either dedicated permanent circuits or temporarily configured circuits (such as software configuration) to implement hardware modules, it can be determined based on cost and time considerations.

[0160] The above is only a preferred embodiment of the present disclosure and is not intended to limit the scope of protection of the present disclosure. Any modifications, equivalent substitutions, improvements, etc. made within the spirit and principles of this disclosure shall be included within the scope of protection of this disclosure.

[0161] Independent of the grammatical term usage, individuals with male, female or other gender identities are included within the term.

Claims

1.A method (100) for generating a composite edge App, comprising:creating (110) a composite edge App;determining (120) multiple edge Apps to be composited;configuring (130) the composite edge App with the multiple edge Apps, wherein configuring the composite edge App with the multiple edge Apps comprises: composing user interfaces of the multiple edge Apps into user interface of the composite edge App; connecting the multiple edge Apps;generating (140) the composite edge App.2.The method (100) according to claim 1, wherein configuring the composite edge App with the multiple edge Apps comprises:receiving a dashboard configuration operation from a user;configuring a dashboard of the composite edge App based on the dashboard configuration operation.3.The method (100) according to claim 2, the user interface of the composite edge App comprising screen management area, main configuration area, property configuration area and context area, wherein receiving a dashboard configuration operation from a user comprises:receiving order adjustment for the multiple edge Apps from the user in the screen management area;receiving a visual element selection from the context area by user, wherein the visual element is used for visualizing values of metrics;displaying properties of the visual element in the property configuration area.4.The method (100) according to claim 3, wherein configuring the composite edge App with the multiple edge Apps comprises:receiving visual element selection from the user;receiving a topic selection from databus on edge device and decoder specification from the user;parsing payload of the topic to obtain the values of the metrics.5.The method (100) according to claim 1, wherein connecting the multiple edge Apps comprises:receiving edge App selection as data source and topic selection of the data source from the user;receiving edge App selection as data destination and topic selection of the data destination from the user;configuring encoder and decoder between the data source and the data destination.6.The method (100) according to claim 1, wherein the method (100) further comprises:iterating all edge App;updating container name with adding name of the composite edge App as prefix for each edge App;updating network name with adding name of the composite edge App as prefix.7.An apparatus (1100) for generating a composite edge App, comprising:a creating module (1110) , configured to create a composite edge App;a determining module (1120) , configured to determine multiple edge Apps to be composited;a configuring module (1130) , configured to configure the composite edge App with the multiple edge Apps, wherein configuring the composite edge App with the multiple edge Apps comprises: composing user interfaces of the multiple edge Apps into user interface of the composite edge App; connecting the multiple edge Apps;a generating module (1140) , configured to generate the composite edge App.8.An electronic device, comprising a processor (1210) and a memory (1220) , wherein an Application program executable by the processor (1210) is stored in the memory (1220) for causing the processor (1210) to execute a method for identifying building block according to any one of claims 1-6.9.A computer-readable medium comprising computer-readable instructions stored thereon, wherein the computer-readable instructions for executing a method for identifying building block according to any one of claims 1-6.10.A computer program product comprising a computer program, upon the computer program is executed by a processor for executing a method for identifying building block according to any one of claims 1-6.

Images