Method for use with industrial robot, corresponding device and robotic system

Abstract

A method for use with a first industrial robot (11), the first industrial robot (11) being configured to execute a predetermined operation to a work piece (21), the method comprising: determining a first pose transformation between the work piece (21) and the first industrial robot (11), wherein the work piece (21) comprises an executing feature (22) configured to assist in execute a predetermined operation of the first industrial robot (11) to the work piece (21); actuating an image capturing apparatus (32) to capture an image with at least one angle of view, wherein the image reflects the work piece (21) and the executing feature (22) to determine the relation between the work piece (21) and the executing feature (22); and determining a pose transformation between the executing feature (22) and the first industrial robot (11) based on the first pose transformation between the work piece (21) and the first industrial robot (11) as well as the relation between the work piece (21) and the executing feature (22). A corresponding device and a robotic system are also provided.

Description

METHOD FOR USE WITH INDUSTRIAL ROBOT, CORRESPONDING DEVICE AND ROBOTIC SYSTEMFIELD

[0001] Embodiments of the present disclosure generally relate to the field of an industrial robot, and specifically to a method for use with an industrial robot, a corresponding device and a robotic system.BACKGROUND

[0002] In some applications, for example, the gluing applications, two or more industrial robots are required to handle a same work piece together in one cell. One of the industrial robots is called a measuring robot, which is responsible for measuring each work piece, not only its pose, but also the geometric characteristics of each work piece. The other industrial robot is called an executing robot. The information obtained from the measuring robot will later be used to generate robot commands for execution by the executing robot.

[0003] The desired gluing trace of executing robot is required to accomplish the gluing operation. Traditionally, this is achieved by calibrating the work object of the executing robot, the base frames of the two robots, and the hand-eye of the measuring robot, so that the measurement of the workpiece can ultimately be converted to the work object coordinate system of the executing robot. However, it is actually challenging to accurately calibrate the robot coordinate system. Calibration errors will accumulate and lead to less accurate robot commands, ultimately resulting in poor gluing accuracy.

[0004] Therefore, there is a need for an accurate design to measure and carry out operation to the work piece for multi-robot system.SUMMARY

[0005] In order to address or at least partially address the above and other potential problems, embodiments of the present disclosure provide a method for use with an industrial robot, a corresponding device and a robotic system.

[0006] In a first aspect, there is provided a method for use with a first industrial robot. The first industrial robot being configured to execute a predetermined operation to a work piece, the method comprising: determining a first pose transformation between the work piece and the first industrial robot, wherein the work piece comprises an executing feature configured to assist in execute a predetermined operation of the first industrial robot to the work piece; actuating an image capturing apparatus to capture an image with at least one angle of view, wherein the image reflects the work piece and the executing feature to determine the relation between the work piece and the executing feature; and determining a pose transformation between the executing feature and the first industrial robot based on the first pose transformation between the work piece and the first industrial robot as well as the relation between the work piece and the executing feature.

[0007] According to example embodiments of the present disclosure, the accuracy of robot commands becomes irrelevant to the calibration of robot base frame. Since the calibration of the robot base frame is inaccurate usually, the embodiments of present disclosure may obtain a measurement result with high accuracy.

[0008] In some example embodiments, the image further reflects at least one marker, wherein the at least one marker is provided near the work piece; and wherein a spatial relationship between the at least one marker and the work piece is predetermined; and wherein determining a pose transformation between the executing feature and the first industrial robot is further based on the predetermined spatial relationship between the at least one marker and the work piece.

[0009] In some example embodiments, the image capturing apparatus is operated by a second industrial robot.

[0010] In some example embodiments, the image capturing apparatus comprises a 2D camera and a 3D camera, wherein a pose transformation between the 2D camera and the 3D camera is predetermined.

[0011] In some example embodiments, the method further comprises: generating a target path for the first industrial robot based on the pose transformation between the executing feature and the first industrial robot.

[0012] In some example embodiments, the method further comprises: actuating the first industrial robot to execute the predetermined operation to the work piece along the target  path.

[0013] In some example embodiments, determining a first pose transformation between the work piece and the first industrial robot comprising actuating the first industrial robot to touch the work piece.

[0014] In a second aspect, there is provided an electronic device for use with a first industrial robot. The first industrial robot is configured to execute a predetermined operation to a work piece, the electronic device comprising: a determining module configured to determine a first pose transformation between the work piece and the first industrial robot, wherein the work piece comprises an executing feature configured to assist in execute a predetermined operation of the first industrial robot to the work piece; an actuating module configured to actuate an image capturing apparatus to capture an image with at least one angle of view, wherein the image reflects the work piece and the executing feature to determine the relation between the work piece and the executing feature; and a determining module configured to determine a pose transformation between the executing feature and the first industrial robot based on the first pose transformation between the work piece and the first industrial robot as well as the relation between the work piece and the executing feature.

[0015] In some example embodiments, the image further reflects at least one marker, wherein the at least one marker is provided near the work piece; and wherein a spatial relationship between the at least one marker and the work piece is predetermined; and wherein determining a pose transformation between the executing feature and the first industrial robot is further based on the predetermined spatial relationship between the at least one marker and the work piece.

[0016] In some example embodiments, the image capturing apparatus is operated by a second industrial robot.

[0017] In some example embodiments, the image capturing apparatus comprises a 2D camera and a 3D camera, wherein a pose transformation between the 2D camera and the 3D camera is predetermined.

[0018] In some example embodiments, the electronic device further comprises: a path generating module configured to generate a target path for the first industrial robot based on the pose transformation between the executing feature and the first industrial robot.

[0019] In some example embodiments, the electronic device further comprises: an actuating  module configured to actuate the first industrial robot to execute the predetermined operation to the work piece along the target path.

[0020] In some example embodiments, determining a first pose transformation between the work piece and the first industrial robot comprising actuating the first industrial robot to touch the work piece.

[0021] In a third aspect, there is provided a robotic system. The robotic system comprising: a first industrial robot configured to execute a predetermined operation to a work piece; the first industrial robot being configured to carry out the method of the first aspect; a second industrial robot; and an image capturing apparatus operated by the second industrial robot to capture an image of the work piece.

[0022] It is to be understood that the Summary is not intended to identify key or essential features of embodiments of the present disclosure, nor is it intended to be used to limit the scope of the present disclosure. Other features of the present disclosure will become easily comprehensible through the description below.BRIEF DESCRIPTION OF THE DRAWINGS

[0023] The above and other objectives, features and advantages of the present disclosure will become more apparent through more detailed depiction of example embodiments of the present disclosure in conjunction with the accompanying drawings, wherein in the example embodiments of the present disclosure, same reference numerals usually represent same components.

[0024] Fig. 1 illustrates a schematic diagram of a robotic system according to an embodiment of the present disclosure;

[0025] Fig. 2 illustrates a method for use with the first industrial robot in accordance with an example embodiment of the present disclosure;

[0026] Fig. 3 illustrates a schematic diagram of a robotic system according to another embodiment of the present disclosure; and

[0027] Fig. 4 illustrates a schematic diagram illustrating a device that may be used to implement embodiments of the present disclosure.

[0028] Throughout the drawings, the same or similar reference symbols are used to indicate the same or similar elements.DETAILED DESCRIPTION

[0029] The present disclosure will now be discussed with reference to several example embodiments. It is to be understood these embodiments are discussed only for the purpose of enabling those skilled persons in the art to better understand and thus implement the present disclosure, rather than suggesting any limitations on the scope of the subject matter.

[0030] As used herein, the term “comprises” and its variants are to be read as open terms that mean “comprises, but is not limited to. ” The term “based on” is to be read as “based at least in part on. ” The term “one embodiment” and “an embodiment” are to be read as “at least one embodiment. ” The term “another embodiment” is to be read as “at least one other embodiment. ” The terms “first, ” “second, ” and the like may refer to different or same objects. Other definitions, explicit and implicit, may be comprised below. A definition of a term is consistent throughout the description unless the context clearly indicates otherwise.

[0031] As mentioned previously, the error of calibration in conventional approaches will accumulate and lead to less-accurate robot commands, which eventually results in poor gluing accuracy.

[0032] At least to address the problem existed in the conventional approaches, the present disclosure proposes a method to obtain high accurate robot commands while eliminating the needs of calibrating robot base frames and lowers the requirements of accuracy in hand-eye calibration.

[0033] Example embodiments will be described in more detail hereinafter in accordance with Figs. 1-4. With reference to Fig. 1 at first, which illustrates a schematic diagram of a robotic system 1 according to an embodiment of the present disclosure.

[0034] As illustrated in Fig. 1, the robotic system 1 includes a first industrial robot 11 and a work piece 21 to be handled by the first industrial robot 11. The first industrial robot 11 may be designed to control a tool 12 on a mechanical arm 13 to carry out a variety of actions on the work piece 21. For example, the first industrial robot 11 may carry out a gluing operation on the work piece 21. In such a scenario, the tool 12 may be a gluing nozzle. For another example, the first industrial robot 11 may carry out a machining operation such  as milling operation, a grinding operation, etc. on the work piece 21. The first industrial robot 11 may be referred to as an executing robot herein. The specific types of the actions executed by the first industrial robot 11 are not limited in this regard. The present disclosure will be described hereinafter by taking the gluing operation as examples. However, it is to be understood that this is merely illustrative, rather than restrictive.

[0035] As shown in Fig. 1, the first industrial robot 11 is communicatively coupled to a robot controller (not shown) and the robot controller is configured to manipulate the movement of the mechanical arm 13 according to the predetermined instructions. The communication interaction between the robot controller and the first industrial robot 11 may be in a wired manner. With the help of the robot controller, the tool 12 mounted to the mechanical arm 13 may be driven to a desired position to carry out a predetermined action on the work piece 21, for example, the gluing operation.

[0036] As shown in Fig. 1, the work piece 21 may include an executing feature 22 on it. The executing feature 22 is provided to assist the tool 12 of the first industrial robot 21 to carry out the action. For example, in the gluing scenario, the executing feature 22 may be a target gluing trace; and the tool 12 is designed to move along the target gluing trace to accomplish the gluing action. In such an embodiment, the target gluing trace may be designed in advance to allow the tool 12 to apply glue to the work piece 21 along this target gluing trace. As another example, in the machining scenario, the executing feature 22 may be a through hole or a boss to be machined. In such an embodiment, the through hole or the boss may be designed in advance to allow the tool 12 to machine the work piece 21 so as to process such a through hole or boss to obtain a desired shape on the work piece 21.

[0037] As shown in Fig. 1, the robotic system 1 further includes an image capturing apparatus 32. As shown, the image capturing apparatus 32 may be mounted to a second industrial robot 31. In some example embodiments, the image capturing apparatus 32 may be a 3D camera 323 which is designed to capture 3D images of the work piece 21. The second industrial robot 31 includes a mechanical arm 33 to flexibly handle the image capturing apparatus 32 at a variety of angles of view. The second industrial robot 31 may be referred to as a measuring robot herein. The second industrial robot 31 is communicatively coupled to a robot controller (not shown) and the robot controller is configured to manipulate the movement of the mechanical arm 33 according to the predetermined instructions. The communication interaction between the robot controller  and the second industrial robot 31 may be in a wired manner. With the help of the robot controller, the image capturing apparatus 32 mounted to the mechanical arm 33 may be driven to a desired position and in a desired orientation to obtain the desire images of the work piece 21 from a variety of angles of view.

[0038] In this way, the second industrial robot 31 and the first industrial robot 11 work collectively on the work piece 21. In other words, the information obtained from the image capturing apparatus 32 held by the second industrial robot 31 will eventually influence the controlling of the movement of first industrial robot 11.

[0039] In some example embodiments, the image capturing apparatus 32 may also be operated manually instead of being operated by the second industrial robot 31. However, it is to be understood that by using the second industrial robot 31, the image capturing apparatus 32 may be controlled in a more precise manner.

[0040] Fig. 2 illustrates a method 200 for use with the first industrial robot 11 in accordance with an example embodiment of the present disclosure. The method 200 may be carried out by the robot controller of the robotic system 1.

[0041] At block 202, a first pose transformation between the work piece 21 and the first industrial robot 11 is determined. The first pose transformation between the work piece 21 and the first industrial robot 11 may be determined by means of the coordinate transformation of a coordinate frame 110 of the first industrial robot 11 and a coordinate frame 210 of the work piece 21. In some example embodiments, the coordinate frame 110 of the first industrial robot 11 may be established at the base of the first industrial robot 11. In some example embodiments, the coordinate frame 210 of the work piece 21 may be established at the plane on which the work piece 21 is located. In other possible embodiments, the coordinate frame 210 of the work piece 21 may also be established at some other places where appropriate.

[0042] A variety of methods may be used to determine the first pose transformation between the work piece 21 and the first industrial robot 11. For example, in some example embodiments, the first industrial robot 11 may be actuated to touch the work piece 21 to determine the first pose transformation between the work piece 21 and the first industrial robot 11. In such an embodiment, the first industrial robot 11 may hold a probe sensor to touch the surface of the work piece 21. The poses of the touching may then be used to calibrate the work object frame of the work piece 21. Using this manner to determine the  first pose transformation between the work piece 21 and the first industrial robot 11 has relatively high accuracy. It is to be noted that other manners to determine the first pose transformation between the work piece 21 and the first industrial robot 11 may also be applicable.

[0043] With still reference to Fig. 2, at block 204, the image capturing apparatus 32 is actuated to capture an image with at least one angle of view, wherein the image reflects the work piece 21 and the executing feature 22 to determine the relation between the work piece 21 and the executing feature 22. In some example embodiments, the image capturing apparatus 32 comprises a 2D camera 322 and a 3D camera 323, wherein a pose transformation between the 2D camera 322 and the 3D camera 323 is predetermined. In this block, the transformation between the measurement poses and the work piece 21 including the executing feature 22 thereon may be obtained. It is preferable, when the 2D camera 322 exists, because such information will be used to later convert the measurement from the camera frame 320 to the coordinate frame 210 of the work piece 21.

[0044] In some example embodiments when the 2D camera 322 exists, if the fixture is well manufactured, it is possible to directly take the point cloud of the fixture at the same poses at which the measurements of work piece 21 are taken. Since the fixture is well manufactured, the obtained point cloud of the geometrical features of the fixture may be used to estimate the pose of the fixture in the camera frame. This is equivalent to the transformation between the coordinate frame of the image capturing apparatus 32 and the coordinate frame of the fixture.

[0045] In some example embodiments, at least one marker 25 may be provided to allow the image capturing apparatus 32 to obtain more visual information, which will make the calibration result to be more accurate. Such a manner utilizing the marker 25 will be described with reference to Fig. 3, which illustrates a schematic diagram of a robotic system 1 according to another embodiment of the present disclosure. In some example embodiments, at least three markers 25 are included to obtain a more accurate calibration result.

[0046] In the example embodiments as shown in Fig. 3, the plurality of markers 25 are provided at the same base with the work piece 21. The marker 25 may include one or more feature points 250 which are beneficial for calibration. The spatial relationship between the markers 25 and the work piece 21 are predetermined. In this way, a set of images taken by  the image capturing apparatus 32 may further reflect at least one marker 25, in addition to the work piece 21 and the executing feature 22. In this way, the set of images not only reflects the work piece 21 and the executing feature thereon, but also reflects the markers 25. The markers 25 may be considered as an extension of the work piece 21. Since there are rich information e.g., the feature points 250, contained in marker 25, the image taken by the image capturing apparatus 32 can possess more useful information, so that calibration result can be more accurate.

[0047] With reference back to Fig. 2, at block 206, a pose transformation between the executing feature 22 and the first industrial robot 11 is determined based on the first pose transformation between the work piece 21 and the first industrial robot 11 as well as the relation between the work piece 21 and the executing feature 22. Therefore, the coordinate of the feature executing feature 22 in the coordinate frame of the first industrial robot 11 may be obtained.

[0048] The measurement of the work piece 21 is taken previously by the image capturing apparatus 32 at a few pre-defined poses around the work piece 21, so as to obtain a set of point clouds of the work piece 21 from at least one angle of view. These point clouds are later registered together to form the point cloud of the entire work piece 21. Since the transformation between each measurement poses and the marker frame has been obtained in block 204, the obtained point cloud of the work piece 21 could be presented also in marker frame.

[0049] In some example embodiments, the 3D camera 323 may take the image of the work piece 21 and the 2D camera 322 may take the image of the marker 25. It is to be understood that this is merely illustrative, rather than restrictive.

[0050] In some example embodiments, at block 208, the method 200 may further include generating a target path for the first industrial robot 11 based on the pose transformation between the executing feature 22 and the first industrial robot 11. This is to estimate the desired feature of the work piece 21, in this case, the gluing path out of the point cloud of the work piece. It is to be understood that the resultant target path for the first industrial robot 11 is already in the marker frame. Therefore, it is directly executable by the first industrial robot 11 whose work object frame has been calibrated to the marker frame previously.

[0051] In some example embodiments, at block 209, the method 200 may further include actuating the first industrial robot 11 to execute the predetermined operation to the work piece  21 along the target path. By taking the generated target path in the above step as robot commands, the first industrial robot 11 is actuated to execute the commands accordingly. In this way, the gluing process can be accomplished.

[0052] In a second aspect, there is provided an electronic device for use with a first industrial robot 11. The first industrial robot 11 being configured to execute a predetermined operation to a work piece 21, the electronic device comprising: a determining module configured to determine a first pose transformation between the work piece 21 and the first industrial robot 11, wherein the work piece 21 comprises an executing feature 22 configured to assist in execute a predetermined operation of the first industrial robot 11 to the work piece 21; an actuating module configured to actuate an image capturing apparatus 32 to capture an image with at least one angle of view, wherein the image reflects the work piece 21 and the executing feature 22 to determine the relation between the work piece 21 and the executing feature 22; and a determining module configured to determine a pose transformation between the executing feature 22 and the first industrial robot 11 based on the first pose transformation between the work piece 21 and the first industrial robot 11 as well as the relation between the work piece 21 and the executing feature 22.

[0053] In some example embodiments, the image further reflects at least one marker 25, wherein the at least one marker 25 is provided near the work piece 21; and wherein a spatial relationship between the at least one marker 25 and the work piece 21 is predetermined; and wherein determining a pose transformation between the executing feature 22 and the first industrial robot 11 is further based on the predetermined spatial relationship between the at least one marker 25 and the work piece 21.

[0054] In some example embodiments, the image capturing apparatus 32 is operated by a second industrial robot 31.

[0055] In some example embodiments, the image capturing apparatus 32 comprises a 2D camera 322 and a 3D camera 323, wherein a pose transformation between the 2D camera 322 and the 3D camera 323 is predetermined.

[0056] In some example embodiments, the electronic device further comprises a path generating module configured to generate a target path for the first industrial robot 11 based on the pose transformation between the executing feature 22 and the first industrial robot 11.

[0057] In some example embodiments, the electronic device further comprises an actuating  module configured to actuate the first industrial robot 11 to execute the predetermined operation to the work piece 21 along the target path.

[0058] In some example embodiments, determining a first pose transformation between the work piece 21 and the first industrial robot 11 comprising actuating the first industrial robot 11 to touch the work piece 21.

[0059] In a third aspect, there is provided a robotic system 1. The robotic system comprises a first industrial robot 11 configured to execute a predetermined operation to a work piece 21; the first industrial robot 11 being configured to carry out the method described above. The robotic system further comprises a second industrial robot 31 and an image capturing apparatus 32 operated by the second industrial robot 31. The image capture apparatus 32 is configured to capture an image of the work piece 21.

[0060] Compared to the conventional approaches, the embodiments of the present disclosure proposes a method which utilizes an image capture apparatus to obtain the measurement directly in the marker frame. By doing so, the accuracy of robot commands becomes irrelevant to the calibration of robot base frame. Since the calibration of the robot base frame is not accurate enough usually, the embodiments of present disclosure may obtain a measurement result with high accuracy.

[0061] Fig. 4 is a schematic diagram illustrating a device 400 that may be used to implement embodiments of the present disclosure. As illustrated, the device 400 includes a central processing unit (CPU) 401, which may execute various appropriate actions and processing based on the computer program instructions stored in a read-only memory (ROM) 402 or the computer program instructions loaded into a random access memory (RAM) 403 from a storage unit 408. The RAM 403 also stores all kinds of programs and data required by operating the storage device 400. CPU 401, ROM 402 and RAM 403 are connected to each other via a bus 404 to which an input / output (I / O) interface 405 is also connected.

[0062] A plurality of components in the device 400 are connected to the I / O interface 405, including: an input unit 406, such as keyboard, mouse and the like; an output unit 407, such as various types of displays, loudspeakers and the like; a storage unit 408, such as the magnetic disk, optical disk and the like; and a communication unit 409, such as network card, modem, wireless communication transceiver and the like. The communication unit 409 allows the device 400 to exchange information / data with other devices through computer networks such as Internet and / or various telecommunication networks.

[0063] Each procedure and processing described above may be executed by a processing unit 401. For example, in some embodiments, the method may be implemented as computer software programs, which are tangibly included in a machine-readable medium, such as storage unit 408. In some embodiments, the computer program may be partially or completely loaded and / or installed to the device 400 via ROM 402 and / or the communication unit 409. When the computer program is loaded to RAM 403 and executed by CPU 401, one or more steps of the above described method 200 are implemented.

[0064] In some embodiments, the method 200 described above may be implemented as a computer program product. The computer program product may include a computer-readable storage medium loaded with computer-readable program instructions thereon for executing various aspects of the present disclosure.

[0065] The computer-readable storage medium may be a tangible device capable of holding and storing instructions used by the instruction-executing device. The computer-readable storage medium can be, but not limited to, for example, electrical storage devices, magnetic storage devices, optical storage devices, electromagnetic storage devices, semiconductor storage devices or any random appropriate combinations thereof. More specific examples (non-exhaustive list) of the computer-readable storage medium include: portable computer disk, hard disk, random-access memory (RAM) , read-only memory (ROM) , erasable programmable read-only memory (EPROM or flash) , static random access memory (SRAM) , portable compact disk read-only memory (CD-ROM) , digital versatile disk (DVD) , memory stick, floppy disk, mechanical coding device, such as a punched card storing instructions or an emboss within a groove, and any random suitable combinations thereof. The computer-readable storage medium used herein is not interpreted as a transient signal itself, such as radio wave or other freely propagated electromagnetic wave, electromagnetic wave propagated through waveguide or other transmission medium (such as optical pulses passing through fiber-optic cables) , or electric signals transmitted through electric wires.

[0066] The computer-readable program instructions described herein may be downloaded from the computer-readable storage medium to various computing  / processing devices, or to external computers or external storage devices via Internet, local area network, wide area network and / or wireless network. The network may include copper transmission cables, optical fiber transmission, wireless transmission, routers, firewalls, switches, gateway computers and / or edge servers. The network adapter or network interface in each  computing / processing device receives computer-readable program instructions from the network, and forwards the computer-readable program instructions for storage in the computer-readable storage medium of each computing / processing device.

[0067] The computer program instructions for executing the operations of the present disclosure may be assembly instructions, instructions of instruction set architecture (ISA) , machine instructions, machine-related instructions, microcodes, firmware instructions, state setting data, or a source code or target code written by any combinations of one or more programming languages including object-oriented programming languages and conventional procedural programming languages. The computer-readable program instructions may be completely or partially executed on the user computer, or executed as an independent software package, or executed partially on the user computer and partially on the remote computer, or completely executed on the remote computer or the server. In the case where a remote computer is involved, the remote computer may be connected to the user computer by any type of networks, including local area network (LAN) or wide area network (WAN) , or connected to an external computer (such as via Internet provided by the Internet service provider) . In some embodiments, the electronic circuit is customized by using the state information of the computer-readable program instructions. The electronic circuit may be a programmable logic circuit, a field programmable gate array (FPGA) or a programmable logic array (PLA) for example. The electronic circuit may execute computer-readable program instructions to implement various aspects of the present disclosure.

[0068] The computer-readable program instructions may be provided to the processing unit of a general purpose computer, a dedicated computer or other programmable data processing devices to generate a machine, causing the instructions, when executed by the processing unit of the computer or other programmable data processing devices, to generate a device for implementing the functions / actions specified in one or more blocks of the flow chart and / or block diagram. The computer-readable program instructions may also be stored in the computer-readable storage medium. These instructions enable the computer, the programmable data processing device and / or other devices to operate in a particular way, such that the computer-readable medium storing instructions may comprise a manufactured article that includes instructions for implementing various aspects of the functions / actions specified in one or more blocks of the flow chart and / or block diagram.

[0069] The computer-readable program instructions may also be loaded into computers,  other programmable data processing devices or other devices, so as to execute a series of operational steps on the computers, other programmable data processing devices or other devices to generate a computer implemented process. Therefore, the instructions executed on the computers, other programmable data processing devices or other devices can realize the functions / actions specified in one or more blocks of the flow chart and / or block diagram.

[0070] The accompanying flow chart and block diagram present possible architecture, functions and operations realized by the system, method and computer program product according to a plurality of embodiments of the present disclosure. At this point, each block in the flow chart or block diagram may represent a module, a program segment, or a portion of the instruction. The module, the program segment or the portion of the instruction includes one or more executable instructions for implementing specified logic functions. In some alternative implementations, the function indicated in the block may also occur in an order different from the one represented in the drawings. For example, two consecutive blocks actually may be executed in parallel, and sometimes they may also be executed in a reverse order depending on the involved functions. It should also be noted that each block in the block diagram and / or flow chart, and any combinations of the blocks thereof may be implemented by a dedicated hardware-based system for implementing specified functions or actions, or a combination of the dedicated hardware and the computer instructions.

[0071] Various embodiments of the present disclosure have been described above, and the above explanation is illustrative rather than exhaustive and is not limited to the disclosed embodiments. Without departing from the scope and spirit of each explained embodiment, many alterations and modifications are obvious for those ordinary skilled in the art. The selection of terms in the text aims to best explain principle, actual application or technical improvement in the market of each embodiment or make each embodiment disclosed in the text comprehensible for those ordinary skilled in the art.

[0072] It is to be understood that although the above disclosure are described by taking the object transferring scenario as examples, this is only for illustration without suggesting any limitations as to the scope of the subject matter described here.

[0073] Further, while operations are depicted in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous.  Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the present disclosure, but rather as descriptions of features that may be specific to particular embodiments. Certain features that are described in the context of separate embodiments may also be implemented in combination in a single embodiment. On the other hand, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments separately or in any suitable sub-combination.

[0074] Although the subject matter has been described in language specific to structural features and / or methodological acts, it is to be understood that the subject matter defined in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

Claims

1.A method for use with a first industrial robot (11) , the first industrial robot (11) being configured to execute a predetermined operation to a work piece (21) , the method comprising:determining a first pose transformation between the work piece (21) and the first industrial robot (11) , wherein the work piece (21) comprises an executing feature (22) configured to assist in execute a predetermined operation of the first industrial robot (11) to the work piece (21) ;actuating an image capturing apparatus (32) to capture an image with at least one angle of view, wherein the image reflects the work piece (21) and the executing feature (22) to determine the relation between the work piece (21) and the executing feature (22) ; anddetermining a pose transformation between the executing feature (22) and the first industrial robot (11) based on the first pose transformation between the work piece (21) and the first industrial robot (11) as well as the relation between the work piece (21) and the executing feature (22) .2.The method of claim 1, wherein the image further reflects at least one marker (25) , wherein the at least one marker (25) is provided near the work piece (21) ; and wherein a spatial relationship between the at least one marker (25) and the work piece (21) is predetermined; andwherein determining a pose transformation between the executing feature (22) and the first industrial robot (11) is further based on the predetermined spatial relationship between the at least one marker (25) and the work piece (21) .3.The method of claim 1, wherein the image capturing apparatus (32) is operated by a second industrial robot (31) .4.The method of claim 1, wherein the image capturing apparatus (32) comprises a 2D camera (322) and a 3D camera (323) , wherein a pose transformation between the 2D camera (322) and the 3D camera (323) is predetermined.5.The method of any of claims 1-4, further comprising: generating a target path for  the first industrial robot (11) based on the pose transformation between the executing feature (22) and the first industrial robot (11) .6.The method of claim 5, further comprising: actuating the first industrial robot (11) to execute the predetermined operation to a work piece (21) along the target path.7.The method of claim 1, wherein determining a first pose transformation between the work piece (21) and the first industrial robot (11) comprising actuating the first industrial robot (11) to touch the work piece (21) .8.An electronic device for use with a first industrial robot (11) , the first industrial robot (11) being configured to execute a predetermined operation to a work piece (21) , the electronic device comprising:a determining module configured to determine a first pose transformation between the work piece (21) and the first industrial robot (11) , wherein the work piece (21) comprises an executing feature (22) configured to assist in execute a predetermined operation of the first industrial robot (11) to the work piece (21) ;an actuating module configured to actuate an image capturing apparatus (32) to capture an image with at least one angle of view, wherein the image reflects the work piece (21) and the executing feature (22) to determine the relation between the work piece (21) and the executing feature (22) ; anda determining module configured to determine a pose transformation between the executing feature (22) and the first industrial robot (11) based on the first pose transformation between the work piece (21) and the first industrial robot (11) as well as the relation between the work piece (21) and the executing feature (22) .9.The electronic device of claim 8, wherein the image further reflects at least one marker (25) , wherein the at least one marker (25) is provided near the work piece (21) ; and wherein a spatial relationship between the at least one marker (25) and the work piece (21) is predetermined; andwherein determining a pose transformation between the executing feature (22) and the first industrial robot (11) is further based on the predetermined spatial relationship between the at least one marker (25) and the work piece (21) .10.The electronic device of claim 8, wherein the image capturing apparatus (32) is operated by a second industrial robot (31) .11.The electronic device of claim 8, wherein the image capturing apparatus (32) comprises a 2D camera (322) and a 3D camera (323) , wherein a pose transformation between the 2D camera (322) and the 3D camera (323) is predetermined.12.The electronic device of any of claims 8-11, further comprising: a path generating module configured to generate a target path for the first industrial robot (11) based on the pose transformation between the executing feature (22) and the first industrial robot (11) .13.The electronic device of claim 12, further comprising: an actuating module configured to actuate the first industrial robot (11) to execute the predetermined operation to a work piece (21) along the target path.14.The electronic device of claim 8, wherein determining a first pose transformation between the work piece (21) and the first industrial robot (11) comprising actuating the first industrial robot (11) to touch the work piece (21) .15.A robotic system (1) , comprising:a first industrial robot (11) configured to execute a predetermined operation to a work piece (21) ; the first industrial robot (11) being configured to carry out the method of any of claims 1-7;a second industrial robot (31) ; andan image capturing apparatus (32) operated by the second industrial robot (31) to capture an image of the work piece (21) .

Images