Automated sewing system and controlling method thereof

Abstract

A controlling method of an automated sewing system. Including: obtaining visual information from one or more captured images of a fabric part to be sewn; obtaining information about sewing speed in the sewing direction from a sewing machine motor in the sewing system; generating a seam line trajectory of the fabric part to be sewed based on information about the visual information and information about the sewing speed; and manipulating the fabric part using one or more manipulator in the sewing system based on the generated trajectory.And an automated sewing system.

Description

Automated Sewing System and Controlling Method thereofTECHNICAL FIELD

[0001] The present disclosure relates to Automated Sewing System and Controlling Method thereof.BACKGROUND

[0002] Garment production remains a labor-intensive industry which heavily relies on manual operation of human operators. Accounting for approximately 85%of all textile joining methods, sewing assumes paramount significance in fabricating as well as shaping garment articles. This technique stands as a vital procedural component in the construction of garments, and is typically responsible for 35 to 40%of the total production cost.

[0003] The quality of sewn articles is intricately tied to the proficiency of sewing operators in how precisely and dexterously they manipulate the position and stretch of the fabric parts. Oftentimes high-level skills are required to ensure seamless joining at desired locations, and meanwhile prevent the occurrence of undesirable wrinkles or seam puckering, both of which could readily lead to defective products.

[0004] Among various automation technologies, the use of robots offers an immense potential to substitute manual sewing operations and has thus become an emerging field of development in the automation industry. Several robotic sewing tech companies, such as KMF Maschinenbau, PFAFF Industrial, Softwear Automation, Sewbo, etc. have incorporated different configurations of robot in their automated sewing systems to tackle fabrication of different types of garment or upholstery articles. Fig. 1 shows examples of commercial robotic sewing systems. In the example, “SM” represents Sewing Machine, “R” represents Robot, and “WIP” stands for fabric workpiece.

[0005] However, current auto sewing systems directly use tracking error information to control the sewing process. Such control strategy generally involves a way-point by way-point approach for tracking of intended seam-line trajectory. Besides, before implementing existing sewing control scheme to different sewing tasks, the engineers need to tun the controller parameters to ensure good performance of the control scheme and sewing result.SUMMARY

[0006] According to another aspect of the present disclosure, a controlling method of a sewing system is provided, including: obtaining visual information from one or more captured images of a fabric part to be sewn; obtaining information about sewing speed in the sewing direction from a sewing machine motor in the sewing system; generating a seam line trajectory of the fabric part to be sewed based on information about the visual information and information about the sewing speed; and manipulating the fabric part using one or more manipulator in the sewing system based on the generated trajectory.

[0007] In one example, the seam line trajectory of a fabric part is generated based on time-scaling modeling.

[0008] In one example, the time-scaling modeling is linear, time-scaled, non-holonomic kinematics modelling of the sewing process.

[0009] In one example, the one or more captured image are captured by a visual sensor and includes at least one reference cut-edge of the fabric part and position of a sewing needle in the sewing system.

[0010] In one example, the manipulating of the fabric part includes obtaining desired rotation speed of the fabric part about the needle based on the generated seam line trajectory; and controlling the one or more manipulator to manipulate the fabric part based on the desired rotation speed of the fabric part about the needle and a desired velocity of the fabric part.

[0011] In one example, the manipulating of the fabric part is further based on the current state of each of the one or more manipulator.

[0012] In one example, the current state of each of the one or more manipulator includes at least one of state information from its force sensor; current state information of its end-effector; and desired state information of its end-effector.

[0013] In one example, generating a seam line trajectory of a fabric part to be sewed is further based on a desired margin size with respect to a reference cut edge.

[0014] In one example, generating a seam line trajectory of a fabric part to be sewed is further based on reference information on the fabric part. In a further example, the desired margin size is a constant value or a variable defined by a specified function.

[0015] In one example, wherein the reference information on the fabric part includes at least one of printed line, sewn line, printed pattern and sewn pattern.

[0016] In one example, the method further obtaining an additional trajectory calculated from coordinated motion control based on input including actual force and torque signals of the force sensor, desired external force and torque of the end-effector, incremental information about angular and linear positions and velocities of the end-effector. In a further example, the incremental information obtained based on difference between (i) real-time angular and linear positions and velocities of the end-effector and (ii) planned angular and linear positions and velocities of the end-effector which are calculated based on the generated (or planned) seam line trajectory; and controlling the one or more manipulator based on the generated trajectory and the additional trajectory.

[0017] In one example, the one or more captured images include at least one reference cut-edge of the fabric and the position of the sewing needle.

[0018] According to another aspect of the present disclosure, a sewing system is provided, including: one or more manipulator, each including a force sensor and an end effector;

[0019] one or more visual sensor; the sewing machine, including a motor and a needle; a system controller, including a vision module, and a trajectory control module, the vision module is configured to obtain visual information from one or more images of the fabric part to be sewn captured by the visual sensor, and the trajectory control module is configured to perform: obtaining visual information from the vision module; obtaining information about sewing speed in the sewing direction from the sewing machine motor;

[0020] generating a sewing trajectory of a fabric part to be sewed based on information about the visual information and information about the sewing speed; and manipulating the fabric part using the one or more manipulator based on the generated trajectory.

[0021] According to another aspect of the present disclose, there is provided one or more non-transitory computer readable medium storing instructions which, when executed by a processor of an electronic device, which cause the electronic device to perform operations according to any one of the above-described methods.BRIEF DESCRIPTION OF DRAWINGS

[0022] The aspects, features and advantages of the present disclosure will become apparent from the following description of the embodiments in conjunction with the accompanying drawings, in which:

[0023] Fig. 1 shows examples of commercial robotic sewing systems;

[0024] Fig. 2 shows an exemplary configuration of the automated sewing system according to the embodiment of the disclosure;

[0025] Fig. 3 shows a block diagram illustrating principal components of the system controller according to the embodiment of the disclosure;

[0026] Fig. 4 shows a block diagram exemplifying the multi-level control architecture for automated sewing according to the embodiment of the disclosure;

[0027] Fig. 5 shows sewing outcomes with three different initial states showing the overall and enlarged views of the stitches on the front (upper) and back (lower) sides of the fabrics;

[0028] Fig. 6 illustrates the periodicity of stitches deduced from digitized images of the sewing outcomes; and

[0029] Fig. 7 show a flowchart of the operating method of the sewing system according to the embodiment of the disclosure.DETAILED DESCRIPTION

[0030] In order to make the objectives, solutions and advantages of the embodiments of the present disclosure more clear, the solutions of the embodiments of the present disclosure will be clearly and completely described below with reference to the accompanying drawings of the embodiments of the present disclosure. Obviously, the described embodiments are some, but not all, of the embodiments of the present disclosure. Based on the described embodiments of the present disclosure, all other embodiments obtained by persons skilled in the art without creative efforts shall fall within the scope of the present disclosure.

[0031] Within the realm of automated sewing of fabric articles, a precise control of the sewing path to align it with the intended seam line is pivotal for the automation systems. Fig. 1 shows examples of commercial robotic sewing systems. Many commercial automated sewing systems entail the use of a fixture or clamp (such as the one shown in the upper-left picture of Fig. 1) which provides built-in channels / grooves to delimit the sewing path such that the sewing process can be operated by simple programmes without the need for considering feedbacks from the environment. However, systems of such type necessitate fixture change for each different size or style of the fabric components, leading to tedious reconfiguration works between production runs especially when dealing with low-volume-high-mix production scenarios.

[0032] Employing a robot to directly manipulate fabric parts during sewing without the use of fixture is considered a flexible automation approach that is more capable of customized garment production. Yet the control of the fabric position using a robotic manipulator with respect to the sewing needle is non-trivial and very often involves sophisticated control schemes. There exist several control methods that are applicable to control the position of an object using a manipulator, including adaptive control, visual servoing, impedance control, learning based control, etc., where different types of feedback are used during the course of the manipulation process. The choice of control model depends on various factors such as the manipulator’s capabilities, the complexity of the task, and the desired level of precision of the control.

[0033] Among different control schemes, visual servoing control is a popular technique where the controller uses real-time visual information from a camera to guide manipulator movements. When it comes to trajectory control of an object, the camera images the actual position, usually based on extracted image features, of the object being maneuvered and the system compares the position with the reference waypoint to determine the position error. The manipulator then imposes corrective movement on the object to minimize any such error. The process repeats in a continuous loop so that a desired trajectory is followed by the object. Visual feedback plays crucial roles in visual servoing by providing real-time information to the system for position control. To warrant effective and stable control performance, different types of visual feedback gains and weighting parameters need to be adjusted or tuned before operations. These include for instance, velocity gain, one which determines how fast the manipulator should move to correct the error as the speed of operation is varied. Higher velocity gain leads to faster movements, but excessive gain may cause instability or oscillations. Position error gain and image Jacobian gain, among others, also play vital roles in determining the behaviors of a visual servoing control, and all of these require meticulous tuning to ensure optimal performance.

[0034] With regard to the automated sewing using a manipulator for fabric position control, we propose a control method which involves a “time-scaling” modelling of the sewing process. Such model is operative to generate (which could be used interchangeably with the word “plan” in the context) a desired sewing trajectory based on a desired seam line, which is then converted to a continuous trajectory of the end-effector. Thus, sewing is conducted on the desired seam line without having to compare step-by-step the actual position and the waypoint during the operation as in the case of conventional visual servoing. A key benefit of the proposed method is that consistent sewing performance can be achieved over a wide range of sewing speeds (so long as the motion capabilities of the manipulator and the sewing machine allow) , where the sewing performance here refers to the system rising time, convergence speed, settling time, etc., from control perspectives. And more, the above method streamlines the operation by eliminating the need for tuning various control parameters or weighting factors which are otherwise necessary for conventional visual servoing prior to commencing a different sewing operation (e.g. sewing at a different speed) .

[0035] According to one embodiment of the disclosure, an automated sewing system is provided, including an industrial sewing machine, various perception sensors (e.g. including visual sensors and force sensors) , and at least one robotic manipulator each with an end-effector for maneuvering fabric parts to facilitate sewing operations.

[0036] According to another embodiment of the disclosure, there is provided a control approach which involves modelling of the sewing process as a non-holonomic process using time scaling, through which the kinematics of the sewing process is modelled in desired seam line direction domain instead of time domain. With this, sewing speed and rotation speed of the fabric can be controlled individually.

[0037] Based on the disclosed hardware and the proposed kinematic model of the sewing process, a feedback control scheme is designed which ensures essentially the same sewing performance and sewing seam line results under different sewing speeds, given that the feedback fabric rotation speed and sewing speed are under hardware’s limitation.

[0038] In particular, based on the time scaling modelling of the sewing process and state feedback control, sewing speed control and sewing direction control designed is divided. What’s more, the designed system ensures that the same sewing results can be obtained under different sewing speed cases without changing the control scheme and coefficient, if the feedback rotation speed is within the limitation.

[0039] This advantage greatly increases the efficiency of sewing controller designed of the automated sewing process. Specifically, it can save the efforts before different sewing tasks, where the engineers conventionally need to tune the controller parameters for existing control scheme to ensure that the obtained seam line coincides with the desired seam line. Instead, they just need to consider the largest sewing speed by using the proposed method to make sure the feedback rotation speed under the maximum limitation. As long as the feedback rotation speed is under limitation, the same sewing performance can be obtained in different sewing tasks.

[0040] With the proposed modeling of sewing process, and the detected edge or desired sewing seam path of the fabric by the vision module, the sewing machine controls the sewing speed and the end-effector controls the sewing direction by manipulating the fabric on the table, to complete the sewing task and to obtain the designed sewing line.

[0041] The present disclosure relates to an automated sewing system which comprises an industrial sewing machine (or, simply referred to as sewing machine in the context) including a needle to sew one or more fabric parts, a work surface, a manipulator (e.g., a robotic manipulator) , an end-effector for maneuvering the one or more fabric parts, a force sensor, a visual sensor (such as a camera) , and a system controller.

[0042] An exemplary physical configuration of an automated sewing system is illustrated in Fig. 2. In Fig. 2, the automated sewing system (also simply sewing system) includes one or more manipulator, each including a force sensor and an end effector; one or more visual sensor (shown as a camera in Fig. 2) ; the sewing machine, including a motor (not shown in Fig. 2) and a needle; and a system controller. The needle coordinate is defined with x being always parallel to the fabric edge. The end-effector used for moving fabric materials may come with different designs and mechanisms depending on the type of fabric materials to be handled. For instances, the end-effector may comprise one or more vacuum cups, or soft pads made of elastic materials such as rubber or foam that provide adequate traction on the fabric. Here in this embodiment, we adopt a simple foam-pad, which contains no internal actuator, as an exemplary end-effector for maneuvering the fabric.

[0043] The force sensor is interposed between the distal joint of the manipulator and the end-effector to detect (i) the downward force exerted by the end-effector against the fabric, (ii) the lateral forces associated with the tensions in the fabric, so that these forces can be assessed and controlled in the course of fabric manipulation, and (iii) the torque applied on the contact face between the end-effector and work surface to adjust the pose of the end-effector for uniform force.

[0044] When the operation begins, the fabric part on the work surface is engaged by the end-effector and subsequently brought to the needle of the sewing machine through controlled motion of the manipulator. (Note that the fabric part here may refer to a single fabric piece or a stack of multiple fabric pieces) . The images of the fabric to be sewn, including at least one reference cut-edge of the fabric and the position of the sewing needle, are constantly under surveillance of the visual sensor (e.g. the camera as shown in fig. 2) which provides relevant visual data to the controller.

[0045] Fig. 3 is a block diagram illustrating the principal components of the system controller. The system controller comprises a processor (e.g. an Intel central processing unit) and one or more memory where the control programme and data for computation are stored. The memory includes the following modules: a trajectory control module, a manipulator control module, a sewing motor control module and a vision module. The memory-stored trajectory control module serves to control the stitching path over time, whose direction is in turn steered by the motions of the manipulator with respect to the sewing needle. The trajectory control module further communicates with a manipulator control module, a sewing motor control module and a vision module. The manipulator control module implements control routines in conjunction with a servo controller which is further connected to a force sensor (e.g. ATI multi-axis F / T sensor) and a manipulator (e.g. Denso 6-DoF industrial robot) . The sewing motor control module controls the speed of the sewing machine and the size of stitches through another servo controller. On the other hand, the vision module processes the image data from a digital camera (e.g. a Photron monochrome streaming camera) which is configured to detect the cut edge of the fabric part. Processed image data is subsequently transmitted to the trajectory control module as an input signal.

[0046] Time-scaling modelling of sewing process

[0047] The key feature of the present disclosure lies in the incorporation of a time-scaling modelling scheme in the control of the sewing process to achieve steady and precise stitches. Time-scaling modeling for a kinematic system involves manipulating the time scale variable in the kinematic equations that describe the motions associated with the sewing process. The application of such modelling allows for (i) generation of a desired trajectory and (ii) precise control of the motion of the fabric part, including its position, velocity, and acceleration, over a specified time period.

[0048] To apply the said modelling, the kinematics of the sewing process is modeled as a non-holonomic process. A non-holonomic system refers to one where the number of control inputs (such as velocities) is less than the number of independent degrees of freedom or directions in which the system can move. Consider the sewing process, for example, the fabric engaged by the feed dog and presser foot of a sewing machine may move forward or backward or be rotated about the sewing needle, but may not move sideways, resulting in a non-holonomic constraint that limits the possible motions of the fabric.

[0049] In an embodiment, the non-holonomic kinematics of the sewing process can be modelled as:

[0050] where νs is the sewing speed in the sewing direction (i.e., the feeding direction of the feed dog) , ωs is the rotation speed of the fabric about the needle, x is the travel distance of the needle point (i.e., the position of the needle on the fabric during sewing, or the projection of the needle on the fabric when the needle is up without contact with the fabric) along the desired sewing direction, y is the distance from the needle point to the desired seam line, wherein the desired sewing direction refers to the tangent of the desired seam line at the point closest to the needle point; θ represents the angle between the desired sewing direction and the xn axis of the coordinate system Σn respective to the needle (refer to Fig. 2) , the xn axis, yn axis and zn axis in the coordinate system Σn are perpendicular to each other. The coordinate system Σn is defined with xn axis towards the opposite sewing direction. Subsequently, a time-scaling approach is introduced to the above model for a more precise and linearized representation of the sewing process. Taking a general nonlinear system with the state transition f (t, ξ (t) , u (t) ) as an example, the time-scaled model is defined in this embodiment as:

[0051] where ξ and u represent system states and inputs, respectively, the variable τ is defined as the time scale variable, and the function η (ξ) is defined as the continuous time-scaling function. The time-scaled model is satisfied if τ is monotonically increasing (or decreasing) and ∞> η (ξ) > 0 (or -∞<η (ξ) < 0) .

[0052] To derive the time-scaled model for the proposed kinematics of the non-holonomic sewing process, a coordinate transformation, z1 = x, z2 = tan θ, z3 = y, is applied to transform kinematics after time-scaling. The corresponding transformed inputs are v1=-vs cos θ and v2=ωs / cos2θ. Consequently, the chained form representation of the sewing process kinematics is given by

[0053] Then, the time-scaled kinematics can be obtained by introducing time scale variable τ = z1 and the time-scaling function η (ξ) =v1 (z1) , satisfying the relation dt / dz1 = 1 / v1. By substitution, the kinematics model is transferred from time domain to z1 domain and the state-space model of sewing process kinematics may be presented as follows:

[0054] where μ1 =v1 and μ2 =v2 / v1 are defined as new inputs for model linearization.

[0055] Real-time Sewing Control Architecture

[0056] In an embodiment, the time-scaled non-holonomic kinematics model of the sewing process is employed to control the automated sewing along a desired seam line which maintains a margin “m” with respect to the aligned cut edges of two or more fabric layers without inducing wrinkles. The margin “m” may be a constant value or a variable defined by a specified function.

[0057] Using the exemplary configuration illustrated in Fig. 2, the sewing operation entails three sub-tasks: controls of (i) sewing speed, (ii) sewing direction, and (iii) fabric tension. The first two sub-tasks are primarily connected to controlling the trajectory of the seam line, whereas the third sub-task is crucial for ensuring the quality of stitches. A fundamental workflow of the sewing process is outlined as follows.

[0058] During the sewing operation, one side of the fabric part, positioned between and engaged by the presser foot and the feed dog, undergoes stitching at a specific feeding speed as controlled by the sewing machine. Concurrently, the manipulator exerts pressure through the end-effector on another side of the fabric part against the sewing table. This pressure creates static friction that serves to stabilize the positions of the fabric layers. It ensures that the end-effector maintains a slip-free static contact relative to the upper (topmost) sliding fabric, and individual fabric layers within the fabric stack also remain static relative to one another. As such, the fabric position can be controllably manipulated by the end-effector’s movement across the sewing table, which possesses a flat and smooth surface. The motions of the end-effector are strategically employed to control the fabric’s feeding angle, i.e., rotation about the sewing needle, thereby achieving the desired direction of the sewing seam line. To prevent undesirable deformations such as wrinkles, bunching, and puckering, the end-effector applies a controlled lateral force to the fabric in the opposite direction of sewing during the feeding motion. The tension so induced is crucial for the avoidance of wrinkles and puckering and in turn preserves the quality of resulting stitches.

[0059] Fig. 4 is a block diagram illustrating a multi-level real-time control strategy for the automated sewing operation. The architecture comprises a higher-level controller (hereafter referred to as an “upper control layer” ) and a lower-level controller (also referred to as a “lower control layer” ) , each serving specific purposes. The upper control layer may be in a Window OS Node, and may involve a time-scaling model based feedback controller (which corresponds to the Trajectory Control Module in fig. 3) and the visual sensor. The upper control layer of such control system is responsible for planning the sewing task. It receives real-time data pertaining to the ongoing sewing operation from visual sensor (s) and the sewing machine. Subsequently, it formulates the seam line trajectory through the time-scaling model-based feedback controller, based upon the linear time-scaling model described beforehand in z1 domain. In this specific layer, the upper layer is controlled in z1 domain. Specifically, Ik, the image captured by the visual sensor at z1, serves as an input to the visual sensor portion which estimates z2 and z3 The sewing speed vs read from the industrial sewing machine, together with z2 and z3, are provided to the time-scaling model-based feedback controller to generate or plan the trajectory based on the model. With the inputs, v2 could be determined by the following formula: v2 =-k2z2v1-k3z3v1

[0060] where k2 and k3 are control coefficient and scaling factor.

[0061] Once the trajectory is generated, the model-based control outputs the desired rotation speed ωs to the lower control layer via shared memory based on the following relation: ωs= v2cos2θ.

[0062] The lower control layer is responsible for synchronizing the rotational and feeding motions that lead to the desired trajectory of the end-effector and thus the seam line trajectory on the fabric. The lower control layer may be in a INtime OS Node, and may involves a trajectory generator, the manipulator (s) , a manipulator controller (s) , the one or more servo controller, the industrial sewing machine, the force sensor and a coordinated motion control portion. With desired sewing speed vs and desired rotation speed ωs received as an input signal, the lower control layer could control the industrial sewing machine, the manipulator (s) , the force sensor, and in this layer, the coordinated motion control is done. First, with those inputs, the geometric-based trajectory generation portion of this control layer implements synchronization motion control and output the desired angular and linear velocities of the end-effector, representable by a 6x1 vector twist,  with respective to the world coordinate system.

[0063] To ensure precise coordination of the feeding motion and fabric tension during the operation, the lower control layer also administers coordinated motion control. The coordinated motion control portion is configured to take a plurality of inputs including (i) the actual force and torque signals, representable by a 6x1 vector body wrench, f Ff, from the force / torque sensor (shown as F / T Sensor in Fig. 4) , (ii) the desired external force and torque of the end-effector, representable by wrench with respect to the end-effector’s coordinate system, and (iii) the incremental information about angular and linear positions and velocities of the end-effector, representable by respectively, with respect to the end-effector’s coordinate system. In a further example, the incremental information about the angular and linear positions and velocities of the end-effector, representable by respectively, is obtained based on difference between (i) real-time angular and linear positions and velocities of the end-effector of the manipulator and (ii) planned angular and linear positions and velocities of the end-effector. In a further example, the planned angular and linear positions and velocities of the end-effector are calculated by the Geometric-Based Trajectory Generation portion. The trajectory calculated from the coordinated motion control portion may be defined as "offset" , "delta" or "compensate" one compared to the main trajectory obtained from the geometric based trajectory generation portion. Then the coordinated motion control portion determines the delta pose and velocity displacement of the end-effector, representable by with respect to the end-effector’s coordinate system, facilitating a suitable fabric tension to preserve the shape and flatness of the fabric layers during feeding and rotation.  further undergoes a transformation to  with respect to the world coordinate system and summed up with before feeding back to the manipulator controller portion in the control loop.

[0064] Other key parameters adopted in the lower layer include the desired sewing speed,  as an input of the trajectory generator portion, which in turn output a desired motor speed,  to the servo controller of the industrial sewing machine motor. In a further embodiment, the desired motor speed is input to the Servo Controller which generates electrical pulses, e.g. pulse-width modulation signals, to the servo, which in turn vary the speed of the motor of the Industrial Sewing Machine. The trajectory obtained from the geometric-based trajectory generation portion and the trajectory obtained from the coordinated motion control portion (after transferring to the world coordinate) are combined and the combined result serves as an input into the manipulator controller portion, which outputs the desired velocities,  to the servo controller of the manipulator. In a further embodiment, the desired velocity is output by the Inverse Jacobian, which further serves as an input to the Servo Controller, where electrical pulses are generated to control the motors of the manipulator (which could also be referred to as a robotic arm) .

[0065] With the above control strategy implemented, the present automated sewing system is operative to plan the seam line trajectory in real-time using the time-scaling model and maintain the desired size of stitches regardless of changes in the speed of feeding and rotational motion. The above model is distinctly advantageous to industrial applications in the sense that it saves the need for tedious tuning of various parameters or weighting factors that are otherwise necessitated by conventional visual-servoing control schemes. And more, the present algorithm of the synchronization motion control is operative to prevent excessive forces to develop in the subject fabric. To this end, the end-effector actuates the fabric part only in specific interval of the stitching cycle when the sewing needle is raised above the fabric part, whereas it arrests the actuation when the needle is inserted into the fabric, thereby mitigating the risks of undue local damage to the fabric part at the needle point. It is apparent that the system and method of the present disclosure may be used in relation to any two-dimensional fabric sewing operation.

[0066] Experimental validation

[0067] Fig. 5 shows three different scenarios where the present sewing system was employed to perform automated sewing on two aligned rectangularly shaped fabric pieces along a predetermined seam line with different initial positions of the fabric relative to the sewing needle. The sewing speed vs was set to be 12 mm / s and a constant margin of 20 mm from the longer edge of the fabrics was predefined for the desired seam line. The experiment results evidenced that the seam lines of different initial states converged to a constant margin with respect to the reference cut edge. The starting margins of the three scenarios were respectively around 15 mm, 20 mm and 23 mm.In the cases of scenario 1 and scenario 3, the real-time control of the sewing system effectively attained the desired margin with a minimal static error of 0.1 mm and without overshoots. In the case of scenario 2, where the initial position error was 0.1 mm, the static error was measured to be 0.1 mm upon convergence.

[0068] Fig. 6 illustrates the periodicity of stitches deduced from digitized images of the sewing outcomes. The size of the stitches in all the above scenarios were accurately controlled to be approximately 2.4 mm before and after convergence to the steady state. These results validate the precision of the present sewing system as well as its capability of reaching and stably maintaining the desired state over time.

[0069] Fig. 7 show a flowchart of the operating method of the sewing system according to the embodiment of the disclosure. In fig. 7, in step 101, visual information is obtained from one or more captured images of a fabric part to be sewn; in step 201, information about sewing speed in the sewing direction is obtained from a sewing machine motor; in step 301, a sewing trajectory of the fabric part is generated based on information about the visual information and information about the sewing speed. Information about the visual information may be Ik, the image captured by the visual sensor as mentioned above. In a further embodiment, the information about the visual information may provide a distinct feature (s) (e.g. a line or pattern, eight a printed one or a sewn one) on the fabric part that purposely serves as a reference of the sewing trajectory to be sewed. In a further embodiment, the sewing trajectory of a fabric part to be sewed may be further based on the desired margin size with respect to a reference cut edge, or alternatively, based on some other reference information which gives out clues for the trajectory (e.g. a line or pattern, either a printed one or a sewn one) . In one embodiment, the desired margin size could be predetermined or set as necessary in the sewing system. And in step 401, the fabric part is manipulated using one or more manipulator based on the generated trajectory.

[0070] Those skilled in the art will understand that the above-described illustrative embodiments are described herein and are not intended to be limiting. It should be understood that any two or more of the embodiments disclosed herein may be combined in any combination. Furthermore, other embodiments may be utilized and other changes may be made without departing from the spirit and scope of the subject matter presented herein. It will be readily appreciated that the various aspects of the disclosed invention, as generally described herein and illustrated in the accompanying drawings, may be arranged, substituted, combined, separated, and designed in various different configurations, all of which are herein was envisaged.

[0071] Those of skill in the art will understand that the various illustrative logical blocks, modules, circuits, and steps described herein can be implemented as hardware, software, or combinations of both. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their function sets. Whether such a feature set is implemented as hardware or software depends on the specific application and design constraints imposed on the overall system. Those skilled in the art may implement the described function sets in varying ways for each particular application, but such design decisions should not be interpreted as causing a departure from the scope of this application.

[0072] The various illustrative logical blocks, modules, and circuits described in this application may be implemented or performed in general-purpose processors, digital signal processors (DSPs) , application specific integrated circuits (ASICs) , field programmable gate arrays (FPGAs) or other programmable logic devices, discrete gates or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described herein. A general-purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine. A processor may also be implemented as a combination of computing devices, such as a combination of a DSP and a microprocessor, multiple microprocessors, one or more microprocessors cooperating with a DSP core, or any other such configuration.

[0073] The steps of a method or algorithm described herein may be embodied directly in hardware, in a software module executed by a processor, or in a combination of the two. A software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, or any other form of storage medium known in the art. An exemplary storage medium is coupled to the processor such the processor can read information from, and write information to, the storage medium. In the alternative, the storage medium may be integrated into the processor. The processor and storage medium may reside in the ASIC. The ASIC may reside in an electronic device. In the alternative, the processor and storage medium may reside in the electronic device as discrete components.

[0074] In one or more exemplary designs, the functions may be implemented in hardware, software, firmware, or any combination thereof. If implemented in software, the functions may be stored on or transmitted over as one or more instructions or code in a computer-readable medium. Computer-readable media comprises both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another. A storage medium can be any available medium that can be accessed by a general purpose or special purpose computer.

[0075] The above description is only exemplary embodiments of the present invention and is not intended to limit the scope of the present invention, which is defined by the appended claims.

Claims

1.A controlling method of a sewing system, including:obtaining visual information from one or more captured images of a fabric part to be sewn;obtaining information about sewing speed in the sewing direction from a sewing machine motor in the sewing system;generating a seam line trajectory of the fabric part to be sewed based on information about the visual information and information about the sewing speed; andmanipulating the fabric part using one or more manipulator in the sewing system based on the generated trajectory.2.The method of claim 1, wherein the seam line trajectory of a fabric part is generated based on time-scaling modeling.3.The method of claim 2, wherein the time-scaling modeling is linear, time-scaled, non-holonomic kinematics modelling of the sewing process.4.The method of any of claims 1-3, wherein the one or more captured image are captured by a visual sensor in the sewing system and includes at least one reference cut-edge of the fabric part and a position of a sewing needle in the sewing system.5.The method of any of claims 1-4, wherein the manipulating of the fabric part includes obtaining desired rotation speed of the fabric part about the needle based on the generated seam line trajectory; and controlling the one or more manipulator to manipulate the fabric part based on the desired rotation speed of the fabric part about the needle and a desired velocity of the fabric part.6.The method of any of claims 1-5, wherein the manipulating of the fabric part is further based on the current state of each of the one or more manipulator.7.The method of claim 6, wherein the current state of each of the one or more manipulator includes at least one of state information from its force sensor; current state information of its end-effector; and desired state information of its end-effector.8.The method of any of claims 1-6, wherein generating a seam line trajectory of a fabric part to be sewed is further based on a desired margin size with respect to a reference cut edge.9.The method of claim 8, wherein the desired margin size is a constant value or a variable defined by a specified function.10.The method of any of claims 1-9, wherein generating a seam line trajectory of a fabric part to be sewed is further based on reference information on the fabric part.11.The method of claim 10, wherein the reference information on the fabric part includes at least one of printed line, sewn line, printed pattern and sewn pattern.12.The method of any of claims 1-11, wherein the one or more captured images include at least one reference cut-edge of the fabric and the position of the sewing needle.13.The method of claim 6 or 7, the method further obtaining an additional trajectory calculated from coordinated motion control based on input including actual force and torque signals of the force sensor, desired external force and torque of the end-effector, incremental information between real-time angular and linear positions and velocities of the end-effector and planned angular and linear positions and velocities of the end-effector based on the generated seam line trajectory; and controlling the one or more manipulator based on the generated trajectory and the additional trajectory.14.A sewing system, including:one or more manipulator, each including a force sensor and an end effector;one or more visual sensor;a sewing machine, including a motor and a sewing needle;a system controller, including a vision module, and a trajectory control module, wherein the vision module is configured to obtain visual information from one or more images of the fabric part to be sewn captured by the one or more visual sensor, and the trajectory control module is configured to perform:obtaining visual information from the vision module;obtaining information about sewing speed in the sewing direction from the motor;generating a sewing trajectory of a fabric part to be sewed based on information about the visual information and information about the sewing speed; andmanipulating the fabric part using the one or more manipulator based on the generated trajectory.15.The sewing system of claim 14, wherein the sewing system further includes a coordinated motion control portion.16.The sewing system of claim 14 or 15, wherein the sewing system is configured to perform the method as claimed in any of claims 2-13.17.One or more non-transitory computer readable medium storing instructions which, when executed by a processor of an electronic device, cause the electronic device to perform operations according to a method in one of claims 1-13.

Images