Method, apparatus, device, medium and product for creating a workstation

Abstract

Embodiments of present disclosure provide a method, an apparatus, an electronic device, a computer-readable storage device, and a computer program product for creating a workstation. The method comprises receiving a user input to create the workstation, wherein the user input comprises one or more requirements for creating the workstation, and wherein the workstation comprises one or more objects comprising at least one conveyor and at least one robot. The method further comprises determining, by a multi-modality generative model, feature information associated with the one or more requirements based on the user input, wherein the feature information represents one or more configurations of the one or more objects. The method further comprises creating the workstation based on the feature information.

Description

METHOD, APPARATUS, DEVICE, MEDIUM AND PRODUCT FOR CREATING A WORKSTATIONFIELD

[0001] Embodiments of the present disclosure generally relate to the field of computer technology and in particular, to a method, an apparatus, an electronic device, a computer-readable medium and a computer program product for creating a workstation.BACKGROUND

[0002] A pick-and-place robot is a type of industrial robot specifically designed for automated picking and placing of items, and widely used in industries such as manufacturing, e-commerce, pharmaceuticals, and the food and beverage sector. These robots efficiently and precisely perform repetitive tasks using mechanical arms and grippers to quickly move items to designated locations, enhancing productivity and minimizing manual labor.

[0003] A workstation for pick-and-place robots is a flexible and customizable working area that includes one or more robots, their control systems, auxiliary equipment, and other peripheral devices, designed to meet the specific requirements of various applications and workpieces. The workstation is designed to be flexible and customizable to meet the specific needs of different applications and workpieces.SUMMARY

[0004] In general, various example embodiments of the present disclosure provide a method, an apparatus, an electronic device, a computer-readable storage device, and a computer program product for creating a workstation.

[0005] In a first aspect, it is provided a method for creating a workstation. The method comprises receiving a user input to create the workstation, wherein the user input comprises one or more requirements for creating the workstation, and wherein the workstation comprises one or more objects comprising at least one conveyor and at least one robot. The method further comprises determining, by a multi-modality generative model, feature information associated with the one or more requirements  based on the user input, wherein the feature information represents one or more configurations of the one or more objects. The method further comprises creating the workstation based on the feature information.

[0006] In a second aspect, it is provided an apparatus for creating a workstation. The apparatus comprises a receiving module configured to receive a user input to create the workstation, wherein the user input comprises one or more requirements for creating the workstation, and wherein the workstation comprises one or more objects comprising at least one conveyor and at least one robot. The apparatus further comprises a determining module configured to determine, by a multi-modality generative model, feature information associated with the one or more requirements based on the user input, wherein the feature information represents one or more configurations of the one or more objects. The apparatus further comprises a creating module configured to create the workstation based on the feature information.

[0007] In a third aspect, it is provided an electronics device. The electronics device comprises a processor; and a memory coupled to the processor, wherein the memory has instructions stored therein, and the instructions, when executed by the processor, cause the device to execute actions of the first aspect.

[0008] In a forth aspect, it is provided a computer-readable medium. The computer-readable medium comprises instructions stored therein, which when executed by a processor, cause the processor to perform methods of the first aspect.

[0009] In a fifth aspect, it is provided a computer program product. The computer program product comprises instructions stored therein, which when executed by a processor, cause the processor to perform methods of the first aspect.

[0010] It is to be understood that the Summary is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become readily comprehensible through the description below.DESCRIPTION OF DRAWINGS

[0011] Through the following detailed descriptions with reference to the accompanying drawings, the above and other objectives, features and advantages of the  example embodiments disclosed herein will become more comprehensible. In the drawings, several example embodiments disclosed herein will be illustrated in an example and in a non-limiting manner, wherein:

[0012] FIG. 1 illustrates a schematic diagram of an example environment in which a plurality of embodiments of the present disclosure can be implemented;

[0013] FIG. 2 illustrates an example layout of a workstation in accordance with some embodiments of the present disclosure;

[0014] FIG. 3 illustrates an example scenario of picking and placing an item in accordance with some embodiments of the present disclosure;

[0015] FIG. 4 illustrates an example feature information in accordance with some embodiments of the present disclosure;

[0016] FIG. 5 illustrates a flowchart of an example process for creating a workstation in accordance with some embodiments of the present disclosure;

[0017] FIG. 6 illustrates a flowchart of an example method for creating a workstation in accordance with some embodiments of the present disclosure;

[0018] FIG. 7 illustrates a block diagram of an example apparatus for creating a workstation in accordance with some embodiments of the present disclosure; and

[0019] FIG. 8 illustrates a block diagram illustrating an electronic device in accordance with some embodiments of the present disclosure.

[0020] Throughout all the drawings, the same or similar reference numerals represent the same or similar elements.DETAILED DESCRIPTION OF EMBODIMENTS

[0021] Principles of the present disclosure will now be described with reference to several example embodiments shown in the drawings. Though example embodiments of the present disclosure are illustrated in the drawings, it is to be understood that the embodiments are described only to facilitate those skilled in the art in better understanding and thereby achieving the present disclosure, rather than to limit the scope of the disclosure in any manner.

[0022] The term comprises "or" includes "and" its variants are to be read as open  terms that mean "includes, but is not limited to" . The term "or" is to be read as "and / or" unless the context clearly indicates otherwise. The term "based on" is to be read as "based at least in part on" . The term "being operable to" is to mean a function, an action, a motion or a state can be achieved by an operation induced by a user or an external mechanism. The term "one embodiment" and "an embodiment" are to be read as "at least one embodiment" . The term "another embodiment" is to be read as "at least one other embodiment" . The terms "first" , "second" , and the like may refer to different or same objects. Other definitions, explicit and implicit, may be included below. A definition of a term is consistent throughout the description unless the context clearly indicates otherwise.

[0023] The functions or algorithms described herein may be implemented in software in one embodiment. The software may consist of computer executable instructions stored on computer readable media or computer readable storage device such as one or more non-transitory memories or other type of hardware-based storage devices, either local or networked. Further, such functions correspond to modules, which may be software, hardware, firmware or any combination thereof. Multiple functions may be performed in one or more modules as desired, and the embodiments described are merely examples. The software may be executed on a digital signal processor, ASIC, microprocessor, or other type of processor operating on a computer system, such as a personal computer, server or other computer system, turning such computer system into a specifically programmed machine.

[0024] The functionality can be configured to perform an operation using, for instance, software, hardware, firmware, or the like. For example, the phrase "configured to" can refer to a logic circuit structure of a hardware element that is to implement the associated functionality. The phrase "configured to" can also refer to a logic circuit structure of a hardware element that is to implement the coding design of associated functionality of firmware or software. The term "module" refers to a structural element that can be implemented using any suitable hardware (e.g., a processor, among others) , software (e.g., an application, among others) , firmware, or any combination of hardware, software, and firmware. The term "logic" encompasses any functionality for performing a task. For instance, each operation illustrated in the flowcharts corresponds to logic for performing that operation. An operation can be performed using, software, hardware, firmware, or the like. The terms, "component" , "system" , and the like may  refer to computer-related entities, hardware, and software in execution, firmware, or combination thereof. A component may be a process running on a processor, an object, an executable, a program, a function, a subroutine, a computer, or a combination of software and hardware. The term, "processor" may refer to a hardware component, such as a processing unit of a computer system.

[0025] The terms "a" or "an" as used herein, are defined as one or more than one. Also, the use of introductory phrases such as "at least one" and "one or more" in the claims should not be construed to imply that the introduction of another claim element by the indefinite articles "a" or "an" limits any particular claim containing such introduced claim element to disclosures containing only one such element, even when the same claim includes the introductory phrases "one or more" or "at least one" and indefinite articles such as "a" or "an" . The same holds true for the use of definite articles.

[0026] Furthermore, the claimed subject matter may be implemented as a method, apparatus, or article of manufacture using standard programming and engineering techniques to produce software, firmware, hardware, or any combination thereof to control a computing device to implement the disclosed subject matter. Computer-readable storage media can include, but are not limited to, magnetic storage devices, e.g., hard disk, floppy disk, magnetic strips, optical disk, compact disk (CD) , digital versatile disk (DVD) , smart cards, flash memory devices, among others. In contrast, computer-readable media, i.e., not storage media, may additionally include communication media such as transmission media for wireless signals and the like.

[0027] The robot (such as a pick-and-place robot) is used in more and more industries, and with the development of industrial automation, enterprises often utilizes virtual simulation software for preliminary modeling and forecasting of production lines to enhance their construction. The market offers numerous feature-rich and powerful software tools for modeling, simulation, and debugging, which also possess a degree of complexity demanding high professional skills from operators although these software are flexible and functionally robust. To create a workstation that aligns with customer requirements through these software, operators must possess the expertise to translate practical needs into digital workstation designs, involving a thorough understanding of the software, the ability to incorporate elements such as robots, workbenches, conveyors, and sensors, and the capability to establish relationships between various materials. Given that customers and sales personnel typically lack  these skills, they must collaborate with professional technicians through multiple rounds of communication to ensure accurate requirement transmission for the establishment of a virtual station.

[0028] However, the current industrial virtual simulation software is complex to operate and demands high professional skills from users. Beyond proficient software manipulation, users must deeply understand the practical applications of various devices, such as conveyors, cameras, and photoelectric sensors, including their usage restrictions. This poses significant limitations on users and makes the station-building process time-consuming and laborious.

[0029] Further, since end-users and sales person often lack the proficiency to use such software, it leads to communication issues, where end-users struggle to clearly convey their needs to professional workstation builders in a single instance due to multiple information transfers. Consequently, it becomes challenging to quickly create an ideal virtual station according to user needs using such software for preliminary planning, prediction, and subsequent optimization and implementation.

[0030] Therefore, a method that can rapidly and automatically build a relatively optimized virtual workstation based on customer requirements and real-world conditions would greatly benefit the initial discussion, feasibility verification, order acquisition, and later-stage design, optimization, and implementation, and thus allowing sales person to demonstrate the solution to customers and facilitate further discussions, and then the professional workstation builders can further refine the scheme based on it.

[0031] The present disclosure proposed a solution for creating a workstation. By implementing the proposed solution, it can quickly and automatically build an optimized virtual workstation based on customer requirements and real environments. In this way, the requirement for professional skills of users can be reduced. Users can quickly create workstations according to their needs, and can directly get an optimized solution.

[0032] FIG. 1 illustrates a schematic diagram of an example environment 100 in which a plurality of embodiments of the present disclosure can be implemented. The example environment 100 is only illustrated and is not intended to suggest any limitations as to scope of use or functionality of embodiments of the disclosure  described herein.

[0033] As shown in FIG. 1, the example environment 100 comprises a computing device 104. An example of the computing device 104 may be a server or a computer. The computing device 104 may further comprise a large language model (LLM) 108. An example of the LLM 108 may be a multi-modality generative model and / or a natural language processing (NLP) model which can process multi-modality inputs. Its primary objective is to empower computers with the ability to comprehend, interpret, and generate human language content. The LLM 108 incorporates a suite of computer algorithms designed to process and analyze extensive amounts of natural language data. Additionally, The LLM 108 has the capability to receive inputs from users (such as user input 102) understand their needs, and subsequently output parameters necessary for creating the workstation.

[0034] The user input 102 may be one or more paragraphs of texts, a piece of audio, a speech or an image (for example, drawn by hand) . The LLM 108 may support direct input of text, speech, and images as carriers of natural language. If user input 102 is texts, it is directly used as input for semantic analysis without further processing. If user input 102 is speech, automatic speech recognition technology is employed to convert the speech content into text information for semantic analysis. If user input 102 is an image, image processing techniques are used to convert the image content into text information for semantic analysis. The LLM 108 may support user input 102 in the form of texts, speeches or an images individually or together at the same time.

[0035] The LLM 108 may be a statistical language model which is built on deep neural networks, with huge parameter scale and strong context-awareness. The LLM 108 may use a large amount of unlabeled text for training through self-supervised learning methods, and can understand and generate human language, and handle a variety of natural language tasks such as text classification, question and answer, dialogue, article writing, code generation, etc. The LLM 108 may have multi-language and multi-modal support and can be applied to cross-cultural and cross-media scenarios. For example, the LLM 108 may receive the user input 102 and understand what workstation the user would like to create. The LLM 108 may then output the feature information to a recommendation model 110.

[0036] The recommendation model 110 is established to provide parameters for  creating the workstation. The recommendation model 110 may be established based on a matching technology using historical data and feature. By continuously recording and learning from new data, the recommendation model 110 may gradually improve the accuracy of its recommendations.

[0037] The computing device 104 may further comprise an application programming interface (API) , which is shown in FIG. 1. The computing device 104 may use the API 110 to create the layout of the workstation and the simulation result of the workstation. The API may act as an intermediary between software components, and thus enabling program interoperability. It can access software to generate and simulate the workstation. The computing device outputs the created layout and / or a simulation result as an output 106.

[0038] Reference is made to FIG. 2, which illustrates an example layout 200 of a workstation in accordance with some embodiments of the present disclosure. As shown in FIG. 2. The layout 200 comprise a robot 202 and two conveyors 204 and 206. The robot 202 may have a gripper to pick up an item at a time or some items at a time. The robot 202 may pick up one or more items 208 (for example, cookies) from the conveyor 204. The robot 202 may place the one or more items 208 into a container 210 on the conveyor 206. The layout 200 may also comprise the one or more cameras 210 and / or one or more input / output (IO) sensors 212. The one or more cameras 210 and / or the one or more IO sensors 212 may be used to make sure that the items are placed at a correct place. For example, on the left bottom of the container.

[0039] In some example embodiments, several requirement associated with the workstation may be set. For example, the cycle time may indicate the frequency of a robot's picking and placing actions within a given period (e.g., one minute) . The picking rate may be calculated by multiplying the number of items picked per cycle time by the cycle time. A picking total count may track the total number of items picked by a robot over a period, while a place total count may track the total number of items placed. The load of a robot may represent the actual number of items it picks and places during a period, and the load of a conveyor may represent the actual number of items it carries. The missed pick and place counts may represent items that were not picked or placed as intended by the robot within a given period.

[0040] Reference is made to FIG. 3, which illustrates an example scenario 300 of  picking and placing an item in accordance with some embodiments of the present disclosure. In the scenario 300, it how a robot 302 picks up an item at a first conveyor and place the item in a container at a second conveyor.

[0041] As shown in FIG. 3, a robot 302 may use its gripper to pick up an item 304. If the robot 302 fails to pick up the item 304 because the first conveyor moves, then the robot 302 may try to pick up the next item. When the item 304 is successfully picked up by the robot 302, the robot 302 may place the item 304 in a preset position in a container. For example, many containers are on the second conveyor and they moves as the second conveyor, and the preset position is the left bottom of a container (such as the triangle area 308 of the container 306) .

[0042] The robot 302 may try to place the item 304 in the container 306 or the container 310 depending on the positions of them and the speed of the second conveyor and any other factors. If the robot 302 tries to place the item 304 in the container 306 but it fails, the robot 302 may try to place the item 304 in the next container (e.g., the container 310) .

[0043] Reference is made to FIG. 4, which illustrates an example feature information 400 in accordance with some embodiments of the present disclosure. As shown in FIG. 4, the LLM (such as the LLM 108 in FIG. 1) may exact into feature information from the user input 102. The feature information may represent a work area 402 and its coordinates. The feature information may also represent one or more objects 404. The objects 404 may comprise one or more robots. The objects 404 may comprise one or more conveyors. The objects 404 may comprise one or more cameras and / or one or more IO sensors. The objects 404 may comprise one or more work areas.

[0044] The one or more configuration (s) 406 of the one or more objects 404 may also be exacted as part of the feature information 400. For example, the configuration (s) 406 may configure the type of the conveyor_1 as the linear type. Each conveyor may have its own type. For another example, the configuration (s) 406 may configure the camera_1 is to be used for the conveyor_1, and the configuration (s) 406 may configure the work area_1 is to be used for the conveyor_1 and the robot_1.

[0045] The recommendation model (such as the recommendation model 110 shown in FIG. 1) may use the feature information 400 (including the work area 402, the object 404 and the configuration 406) to determine the parameter (s) 408 for creating the  workstation. The parameter (s) 408 may comprise the robot speed, the robot rapid, robot task, object generation distance, trigger distance, the conveyor speed, the conveyor acceleration, the conveyor deceleration, the conveyor size, the camera exposure, the camera brightness, the camera contrast, the pick / place elevation, the pick / place time, vacuum activation, vacuum reversion, vacuum off time the load time, a work area range, an allocation strategy, a feeding speed, and / or a gripping approach. In some example embodiment, there may be option (s) 410 corresponding to one or more object (s) 404. For example, the option (s) 410 may enable or disable the corresponding object (s) 404.

[0046] Reference is made to FIG. 5, which illustrates a flowchart of an example process 500 for creating a workstation in accordance with some embodiments of the present disclosure. The entity which performs the process 500 may be the computing device 104 shown in FIG. 1. At 502, the process 500 starts. A natural language conversion model may be established in advance. The natural language conversion model may support the direct input of text, speech and image as the carrier of natural language. If the input is the texts, it is directly used as the input of semantic analysis without processing. If the input is the speech, the content of the speech is converted into text information by using automatic speech recognition technology. Therefore, It can provide input for semantic analysis. If the input is the image, by using image processing technology, the content of the image may be converted into text information, and thus providing input for semantic analysis.

[0047] At 504, the input may be obtained. The input may be multi-modality. If the input is the texts, the process 500 may then proceed to 512. If the input is the speech, the process 500 may then proceed to 508. If the input is the image, the process 500 may then proceed to 510.

[0048] At 508, the speech may be converted to texts by an automatic speech recognition technology. At 510, the image may be converted to texts by an image recognition technology or by an LLM (such as the LLM 108 in FIG. 1) . Texts directly from 506, or texts converted at 508 or 510 may proceed to 512. At 512, the semantic of the texts may be analyzed. For example, a feature information extraction model may be established. By using semantic analysis technology, the computing device may perform information matching and semantic inference on the texts, and may extract the required feature information from the text information, and then display it to the user in the form  of a table.

[0049] At 514, the feature information may be extracted and provided to the user. At 516, the feature information check, correction and / or confirmation may be performed by the user and received by the computing device. By reviewing and refining the feature information, it not only supplement and enhance the necessary station building details, but also utilize this feedback to optimize the natural language conversion model and feature information extraction model. This dual approach aims to enhance the precision and efficiency of voice conversion and feature extraction processes.

[0050] When the computing device receives the corrections or confirmation, it may use the recommendation system to workstation creating parameters based on feature information. For example, a workstation parameter recommendation system may be established. By recording and saving historical data and using feature information matching technology, the recommendation of workstation creating parameters may be generated intelligently, and the accuracy of parameter recommendation gradually improved through continuous recording and learning.

[0051] At 520, the computing device may utilize the software development kit (SDK) of the three-dimension (3D) simulation software, and a comprehensive set of APIs for driving the automatic generation and adjustment of models may be called by the computing device. These APIs will be invoked automatically to establish a workstation and leverage feature information and station creating parameters.

[0052] At 522, the workstation may be created. At 524, the workstation may be optimized. For example, the computing device may an optimization objectives. A multi-objective parameter optimization model for the workstations may be established in advance. By setting optimization objectives such as rhythm, efficiency, and load balance, the multi-objective parameter optimization model may automatically optimize the layout of workstations and parameters such as robot speed, conveyor belt speed, work area range, allocation strategy, feeding speed, and gripping method. The workstations can operate under the optimal layout and parameters.

[0053] At 526, the recommendation system may learn iteratively. The workstation information may be recorded and stored. By logging and archiving workstation information and parameters, it can ensure continuous enhancements to the workstation  parameter recommendation system. This, in turn, boosts the precision of parameter recommendations and automated station building, reducing optimization time and enhancing overall work efficiency. At 528, the process 500 may end.

[0054] By implementing the embodiments of the process 500, an optimized virtual workstation based on customer requirements and real environments can be created quickly and automatically. The requirement for professional skills of users can be reduced. In some example embodiments, users can quickly create workstations according to actual needs, and users are no longer limited by professional knowledge and experience. The accuracy of workstation building may also continue to improve with the increase in the number of station buildings, and thus improving work efficiency and user experience.

[0055] Reference is made to FIG. 6, which illustrates a flowchart of an example method 600 for creating a workstation in accordance with some embodiments of the present disclosure. FIG. 6 will be described with reference to FIG. 1.

[0056] At 602, the computing device 104 receives the user input 102 to create the workstation. The user input 102 may comprise one or more requirements for creating the workstation. The workstation may be the workstation comprising one or more objects comprising at least one conveyor and at least one robot, for example, as described with FIG. 2.

[0057] At 604, the computing device 104 determines, by a multi-modality generative model, feature information associated with the one or more requirements based on the user input. The feature information may represent one or more configurations of the one or more objects, for example, as discussed with FIG. 4.

[0058] At 606, the computing device 104 may create the workstation based on the feature information. For example, the computing device 104 may create the workstation based on a plurality of parameters for creating the workstation which is determined based on the feature information. For another example, the computing device 104 may use the API to create the workstation for the plurality of requirements based on the plurality of parameters. The computing device 104 may output a layout of the workstation and performance parameters of the workstation as the output 106.

[0059] By implementing the embodiments of the method 500, it can reduce the professional skill requirements for users, and thus enabling them to easily build  workstations according to their needs. In some cases, it can enhance pre-sales communication efficiency by converting customer needs into practical solutions promptly, and thus facilitating further discussions and order acquisition. Additionally, in some cases, beginners can easily adopt the solution as a learning tool, and thus lowering the difficulty of learning.

[0060] Reference is made to FIG. 7, which illustrates a block diagram of an example apparatus 700 for creating a workstation in accordance with some embodiments of the present disclosure. The apparatus 700 comprises a receiving module 702 configured to receive a user input to create the workstation, wherein the user input comprises one or more requirements for creating the workstation, and wherein the workstation comprises one or more objects comprising at least one conveyor and at least one robot. The apparatus 700 further comprises a determining module 704 configured to determine, by a multi-modality generative model, feature information associated with the one or more requirements based on the user input, wherein the feature information representing one or more configurations of the one or more objects. The apparatus 700 further comprises a creating module 706 configured to create the workstation based on the feature information.

[0061] In some example embodiments, wherein the user input further may comprise a layout of the workstation. In some example embodiments receiving module 702 may comprise a first module configured to receive at least one of the following: an image comprising the layout of the workstation with texts which describe the one or more requirements, a speech of the layout of the workstation and the one or more requirements; or texts which describe the layout of the workstation and the one or more requirements.

[0062] In some example embodiments, the apparatus 700 may further comprise a second module configured to determine texts describing the image in response to determining that the user input is the image. In some example embodiments, The apparatus 700 may further comprise a third module configured to determine texts corresponding to the speech in response to determining that the user input is the speech.

[0063] In some example embodiments, the determining module 704 may further comprise a fourth module configured to extract a plurality of feature vectors based on the user input; determine semantic information based on the plurality of feature vectors;  obtain history configuration information associated with the user input; and determine the one or more configurations of the one or more objects as the feature information based on the semantic information and the history configuration information.

[0064] In some example embodiments, the fourth module may further comprise a fifth module configured to determine one or more history user inputs which matches the user input based on semantic distances between the user input and the one or more history user inputs; and obtain the history configuration information based on the one or more history user inputs. In some example embodiments, the one or more objects may further comprise at least one of at least one camera; at least one IO sensor; or at least one work area.

[0065] In some example embodiments, the apparatus 700 may further comprise a sixth module configured to receive a user confirmation to the feature information; and determine a plurality of parameters for creating the workstation based on the feature information.

[0066] In some example embodiments, the apparatus 700 may further comprise a seventh module configured to receive a user input to change the feature information; prompt a user interface for users to input a content which the feature information is to be changed; and determine a plurality of parameters for creating the workstation based on the feature information.

[0067] In some example embodiments, the apparatus 700 may further comprise an eighth module configured to update one or more parameters of a recommendation system which determines the plurality of parameters for creating the workstation based on the changed feature information.

[0068] In some example embodiments, the apparatus 700 may further comprise a ninth module configured to receive a user input to optimize the workstation, wherein the user input to optimize the workstation comprises at least one of the following: a rhythm, an efficiency, or a load balance; and update the layout of the workstation and one or more of parameters of the workstation comprising a robot speed, a conveyor belt speed, a work area range, an allocation strategy, a feeding speed, or a gripping approach.

[0069] In some example embodiments, the apparatus 700 may further comprise a tenth module configured to store the updated layout of the workstation and the updated one or more of parameters of the workstation; and update the one or more parameters  of a recommendation system based on the updated layout of the workstation and the updated one or more of parameters of the workstation.

[0070] In some example embodiments, the creating module 706 may comprise an eleventh module configured to create the workstation based on the plurality of parameters for creating the workstation by calling an application programming interface (API) of a three-dimension (3D) simulation software.

[0071] By implementing the example embodiments of FIG. 7, it can quickly and automatically build an optimized virtual workstation based on customer requirements and real environments. In some example embodiments, the requirement for professional skills of users can be reduced. Users can quickly create workstations according to their needs, and can directly get an optimized solution.

[0072] FIG. 8 illustrates a block diagram illustrating an electronic device 800 in accordance with some embodiments of the present disclosure. As indicated, the device 800 includes a central processing unit (CPU) 801, which can execute various appropriate actions and processing based on the computer program instructions stored in a read-only memory (ROM) 802 or the computer program instructions loaded into a random-access memory (RAM) 803 from a storage unit 808. The RAM 803 also stores all kinds of programs and data required by operating the electronic device 800. CPU 801, ROM 802 and RAM 803 are connected to each other via a bus 804, to which an input / output (I / O) interface 805 is also connected.

[0073] A plurality of components in the device 800 are connected to the I / O interface 805, comprising: an input unit 806, such as a keyboard, a mouse and the like; an output unit 807, such as various types of displays, loudspeakers and the like; a storage unit 808, such as a storage disk, an optical disk and the like; and a communication unit 809, such as a network card, a modem, a wireless communication transceiver and the like. The communication unit 809 allows the device 800 to exchange information / data with other devices through computer networks such as Internet and / or various telecommunication networks.

[0074] Each procedure and processing described above, such as the method 600, can be executed by a processing unit 801. For example, in some embodiments, the method 800 can be implemented as computer software programs, which are tangibly included in a machine-readable medium, such as a storage unit 808. In some embodiments, the  computer program can be partially or completely loaded and / or installed to the device 800 via the ROM 802 and / or the communication unit 809. When the computer program is loaded to the RAM 803 and executed by the CPU 801, one or more steps of the above described method 600 are implemented. Alternatively, in other embodiments, the CPU 801 may also be configured in any proper manner to implement the above process / method.

[0075] The present disclosure may be a method, a device, a system and / or a computer program product. The computer program product can include a computer-readable storage medium loaded with computer-readable program instructions thereon for executing various aspects of the present disclosure.

[0076] The computer readable storage medium can be a tangible device that can retain and store instructions for use by an instruction execution device. The computer readable storage medium may be, for example, but not limited to, an electronic storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination thereof. More specific examples (anon-exhaustive list) of the computer readable storage medium would include: a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , a static random access memory (SRAM) , a portable compact disc read-only memory (CD-ROM) , a digital versatile disk (DVD) , a memory stick, a floppy disk, a mechanically encoded device such as punch-cards or raised structures in a groove having instructions recorded thereon, and any suitable combination thereof. A computer readable storage medium, as used herein, is not to be construed as being transitory signals per se, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through a waveguide or other transmission media (e.g., light pulses passing through a fiber-optic cable) , or electrical signals transmitted through a wire.

[0077] Computer readable program instructions described herein can be downloaded to respective computing / processing devices from a computer readable storage medium, or downloaded to an external computer or external storage device via a network, for example, the Internet, a local area network, a wide area network and / or a wireless network. The network may comprise copper transmission cables, optical transmission fibers, wireless transmission, routers, firewalls, switches, gateway  computers and / or edge servers. A network adapter card or network interface in each computing / processing device receives computer readable program instructions from the network and forwards the computer readable program instructions for storage in a computer readable storage medium within the respective computing / processing device.

[0078] Computer readable program instructions for carrying out operations of the present disclosure may be assembly instructions, instruction-set-architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state-setting data, or either source code or object code written in any combination of one or more programming languages, including an object oriented programming language such as Smalltalk, C++ or the like, and conventional procedural programming languages, such as the "C" programming language or similar programming languages. The computer readable program instructions may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer or entirely on the remote computer or server. In the latter scenario, the remote computer may be connected to the user's computer through any type of network, including a local area network (LAN) or a wide area network (WAN) , or the connection may be made to an external computer (for example, through the Internet using an Internet Service Provider) . In some embodiments, by means of state information of the computer readable program instructions, an electronic circuitry including, for example, programmable logic circuitry (PLC) , field-programmable gate arrays (FPGA) , or programmable logic arrays (PLA) can be personalized to execute the computer readable program instructions, thereby implementing various aspects of the present disclosure.

[0079] Aspects of the present disclosure are described herein with reference to flowchart and / or block diagrams of methods, apparatus (systems) , and computer program products according to embodiments of the present disclosure. It will be understood that each block of the flowchart illustrations and / or block diagrams, and combinations of blocks in the flowchart illustrations and / or block diagrams, can be implemented by computer readable program instructions.

[0080] These computer readable program instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus to produce a machine, such that the instructions, which are executed via the processor of the computer or other  programmable data processing apparatus, create means for implementing the functions / acts specified in the flowchart and / or block diagram block or blocks. These computer readable program instructions may also be stored in a computer readable storage medium that can direct a computer, a programmable data processing apparatus, and / or other devices to function in a particular manner, such that the computer readable storage medium having instructions stored therein comprises an article of manufacture including instructions which implement aspects of the function / act specified in the flowchart and / or block diagram block or blocks.

[0081] The computer readable program instructions may also be loaded onto a computer, other programmable data processing apparatus, or other device to cause a series of operational steps to be performed on the computer, other programmable apparatus or other device to produce a computer implemented process, such that the instructions which are executed on the computer, other programmable apparatus, or other device implement the functions / acts specified in the flowchart and / or block diagram block or blocks.

[0082] The flowchart and block diagrams illustrate the architecture, functionality, and operation of possible implementations of systems, methods and computer program products according to various embodiments of the present disclosure. In this regard, each block in the flowchart or block diagrams may represent a module, snippet, or portion of codes, which comprises one or more executable instructions for implementing the specified logical function (s) . In some alternative implementations, the functions noted in the block may be implemented in an order different from those illustrated in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved. It will also be noted that each block of the block diagrams and / or flowchart illustration, and combinations of blocks in the block diagrams and / or flowchart illustration, can be implemented by special purpose hardware-based systems that perform the specified functions or acts, or by combinations of special purpose hardware and computer instructions.

[0083] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be  advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0084] A person of ordinary skill in the art may be aware that, in combination with the examples described in the embodiments disclosed in this specification, units and algorithm steps can be implemented by electronic hardware or a combination of computer software and electronic hardware. Whether the functions are performed by hardware or software depends on particular applications and design constraints of the technical solutions. A person skilled in the art may use different methods to implement the described functions for each particular application, but it should not be considered that the implementation goes beyond the scope of this application.

[0085] It may be clearly understood by a person skilled in the art that, for the purpose of convenient and brief description, for a detailed working process of the foregoing system, apparatus, and unit, refer to a corresponding process in the foregoing method embodiment. Details are not described herein again.

[0086] In the several embodiments provided in this application, it should be understood that the disclosed system, apparatus, and method may be implemented in other manners. For example, the described apparatus embodiment is merely an example. For example, the unit division is merely logical function division and may be other division in actual implementation. For example, a plurality of units or components may be combined or integrated into another system, or some features may be ignored or not performed. In addition, the displayed or discussed mutual couplings or direct couplings or communication connections may be implemented through some interfaces. The indirect couplings or communication connections between the apparatuses or units may be implemented in electronic, mechanical, or other forms.

[0087] The units described as separate parts may be or may not be physically separate, and parts displayed as units may be or may not be physical units, may be  located in one position, or may be distributed on a plurality of network units. Some or all of the units may be selected based on actual requirements to achieve the objectives of the solutions of the embodiments.

[0088] In addition, functional units in the embodiments of this application may be integrated into one processing unit, or each of the units may exist alone physically, or two or more units are integrated into one unit.

[0089] When the functions are implemented in a form of a software functional unit and sold or used as an independent product, the functions may be stored in a computer readable storage medium. Based on such an understanding, the technical solutions in this application essentially, or the part contributing to the prior art, or some of the technical solutions may be implemented in a form of a software product. The computer software product is stored in a storage medium, and includes several instructions for instructing a computer device (which may be a personal computer, a server, a network device, or the like) to perform all or some of the steps of the methods described in the embodiments of this application. The foregoing storage medium includes: any medium that can store program code, such as a USB flash drive, a removable hard disk, a read-only memory (Read-Only Memory, ROM) , a random access memory (Random Access Memory, RAM) , a magnetic disk, or an optical disc.

[0090] The foregoing descriptions are merely specific implementations of this application, but are not intended to limit the protection scope of this application. Any variation or replacement readily figured out by a person skilled in the art within the technical scope disclosed in this application shall fall within the protection scope of this application. Therefore, the protection scope of this application shall be subject to the protection scope of the claims.

Claims

1.A method for creating a workstation, comprising:receiving a user input to create the workstation, wherein the user input comprises one or more requirements for creating the workstation, and wherein the workstation comprises one or more objects comprising at least one conveyor and at least one robot;determining, by a multi-modality generative model, feature information associated with the one or more requirements based on the user input, wherein the feature information represents one or more configurations of the one or more objects; andcreating the workstation based on the feature information.2.The method of claim 1, wherein the user input further comprises a layout of the workstation, and wherein receiving the user input comprises receiving at least one of the following:an image comprising the layout of the workstation with texts which describe the one or more requirements;a speech of the layout of the workstation and the one or more requirements; ortexts which describe the layout of the workstation and the one or more requirements.3.The method of claim 2, further comprising:in response to determining that the user input is the image, determining texts describing the image; orin response to determining that the user input is the speech, determining texts corresponding to the speech.4.The method of claim 1, wherein determining feature information associated with the one or more requirements based on the user input comprises:extracting a plurality of feature vectors based on the user input;determining semantic information based on the plurality of feature vectors;obtaining history configuration information associated with the user input; anddetermining the one or more configurations of the one or more objects as the feature information based on the semantic information and the history configuration information.5.The method of claim 4, wherein obtaining the history configuration information associated with the user input comprises:determining one or more history user inputs which matches the user input based on semantic distances between the user input and the one or more history user inputs; andobtaining the history configuration information based on the one or more history user inputs.6.The method of claim 1, wherein the one or more objects further comprises at least one of the following:at least one camera;at least one input / output (IO) sensor; orat least one work area.7.The method of claim 1, further comprising:receiving a user confirmation to the feature information; anddetermining a plurality of parameters for creating the workstation based on the feature information.8.The method of claim 1, further comprising:receiving a user input to change the feature information;prompting a user interface for users to input a content which the feature information is to be changed; anddetermining a plurality of parameters for creating the workstation based on the changed feature information.9.The method of claim 8, further comprising:updating one or more parameters of a recommendation system which determines the plurality of parameters for creating the workstation based on the changed feature information.10.The method of claim 9, further comprising:receiving a user input to optimize the workstation, wherein the user input to optimize the workstation comprises at least one of the following: a rhythm, an efficiency, or a load balance; andupdating the layout of the workstation and one or more of parameters of the workstation comprising a robot speed, a conveyor belt speed, a work area range, an allocation strategy, a feeding speed, or a gripping approach.11.The method of claim 10, further comprising:storing the updated layout of the workstation and the updated one or more of parameters of the workstation; andupdating the one or more parameters of a recommendation system based on the updated layout of the workstation and the updated one or more of parameters of the workstation.12.The method of claim 1, wherein creating the workstation based on the feature information comprises:creating the workstation based on a plurality of parameters for creating the workstation by calling an application programming interface (API) of a three-dimension (3D) simulation software.13.An apparatus for creating a workstation, comprising:a receiving module configured to receive a user input to create the workstation, wherein the user input comprises one or more requirements for creating the workstation, and wherein the workstation comprises one or more objects comprising at least one conveyor and at least one robot;a determining module configured to determine, by a multi-modality generative model, feature information associated with the one or more requirements based on the user input, wherein the feature information represents one or more configurations of the one or more objects; anda creating module configured to create the workstation based on the feature information.14.An electronic device, comprising:a processor; anda memory coupled to the processor, wherein the memory has instructions stored therein, and the instructions, when executed by the processor, cause the device to execute actions of any of claims 1-12.15.A computer program product having instructions stored therein, which when executed by a processor, cause the processor to perform a method of any of claims 1-12.

Images