Artificial intelligence (AI)-enabled real-time defect detection system for additive manufacturing based on multimodal data and method thereof

Abstract

An artificial intelligence (AI)-enabled real-time defect detection system for additive manufacturing based on multimodal data, comprising: a data collection module (130) configured to collect and generate multimodal data; wherein the data collection module (130) comprises at least one image sensor and at least one non-image sensor; at least one image data preprocessing module (132) and at least one non-image data preprocessing module (142); a feature extraction module (134); a multimodal fusion module (136); a model training module (138); and a real-time defect detection module (140). A method for detecting defects in additive manufacturing, comprising the steps of: collecting multimodal data; preprocessing the multimodal data; extracting features from the multimodal data; fusing the multimodal features; building a multimodal model; training the multimodal model with the preprocessed data; and detecting one or more defects in real time.

Description

An artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data and the method thereofFIELD OF THE INVENTION

[0001] The present invention relates to a field of additive manufacturing (AM) systems. More particularly, the present invention pertains to an artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data and the method thereof.BACKGROUND OF THE INVENTION

[0002] AM, also referred to as three-dimensional (3D) printing, is a process of fabricating physical objects by successively adding material layer by layer based on a digital model. AM technologies are widely used across multiple industries due to their ability to produce complex geometries, reduce material waste, and support rapid prototyping and small-batch production. The process involves layer-by-layer material deposition to build parts directly from digital models, offering unprecedented design flexibility and customization.

[0003] Recent developments have focused on the integration of artificial intelligence (AI) , particularly deep learning models such as convolutional neural networks (CNNs) , into AM systems. These AI-enhanced systems aim to enable in-situ monitoring, real-time anomaly detection, and autonomous process control. In this context, image data and sensor readings are utilized increasingly to detect irregularities and ensure product quality during the manufacturing process.

[0004] Despite the advancements in this field, several limitations remain in the current state of the art. Existing AM monitoring solutions typically employ a limited range of data acquisition devices, often relying on a single camera type or minimal sensor integration. This limited instrumentation restricts the scope of quality inspection, particularly with respect to detecting near surface and internal defects. Consequently, critical defects may go undetected during the build process, which undermines the reliability of the final product and necessitates additional post-process inspection.

[0005] Furthermore, monitoring systems may face limitations due to their design being closely tailored to specific materials, such as metals or alloys. This material-specific focus often results in monitoring strategies, sensor configurations, or processing parameters that are not easily adaptable to other materials like polymers, ceramics, or composites. Although some established AM monitoring systems have incorporated AI to address this issue, their adaptability remains constrained by limited sensor integration and narrowly trained models.

[0006] Some of these examples are discussed in the following prior arts.

[0007] WIPO patent publication no. WO2022060472A2 relates to in-situ process monitoring of a part being made via additive manufacturing. The process involves capturing computed tomography (CT) scans of a post-built part. A neural network (NN) is used during the building of a new part to process multi-modal sensor data. Spatial and temporal registration techniques are used to align the data to x, y, z coordinates on the build plate. During the building of the part, the multi-modal sensor data is superimposed on the build plate. Machine learning is used to train the NN to correlate the sensor data to a defect label or a non-defect label by identifying certain patterns in the sensor data at the x, y, z location to identify a defect in the CT scan at x, y, z. The NN is then used to predict where defects are or will occur during an actual building of a part. However, the model in said invention may be more prone to overfitting on the majority classes (non-defective data) , leading to a lower robustness in real-world scenarios with varied defect patterns. It may also face challenges in handling raw or unbalanced data. Besides, the system may be incapable of detecting defects in some regions, particularly near-surface defects that are not visible through standard imaging techniques.

[0008] United States patent publication no. 20220143704A1 relates to a monitoring system for in-situ identification of anomalies of a workpiece in a 3D printing manufacturing process. The monitoring system includes an optical sensor having an optical path; an infrared sensor having an IR path; an optical device configured to merge the optical and the IR paths to obtain a merged optical path, which is arranged to be directed to the workpiece during a first stage of a 3D printing manufacturing process to obtain a first perception data; and a processor configured to identify anomalies of the workpiece based on the first perception data. A method is also provided. The method includes steps of: merging an optical path of an optical sensor and an infrared path of an IR sensor using an optical device to obtain a merged path; directing the merged path to the workpiece during a first stage of a 3D printing manufacturing process to obtain a first perception data; and identifying anomalies of the workpiece based on the first perception data. However, the system disclosed in said invention solely identifies anomalies based on the first perception data, which comprises optical and infrared paths. Therefore, it may not be sufficient for comprehensive internal defect inspection, effective structural integrity monitoring, and accurate detection of near-surface anomalies. Said invention primarily employs image processing algorithms and relies on a deep learning model trained by historical data, which may face the issue of class imbalance, where non-defect samples vastly outnumber defect samples, leading to a biased model that may underperform in identifying minority (defect) cases.

[0009] United States patent publication no. 10857738B2 relates to systems and methods of monitoring solidification quality and automatically correcting any detected defect in additive manufacturing. The disclosure includes a build station for manufacturing one or more parts and a controller having one or more computer-vision-based systems coupled to the build station. One or more cameras are provided to obtain a plurality of images of the solidified parts at predetermined settings. The disclosure introduces a predictive model trained by a machine learning algorithm. The predictive model calculates the level of solidification quality of a manufactured part and the build parameter values to be adjusted. The disclosure also introduces a plurality of validation coupons having various shapes to enhance accuracy in manufacturing, wherein the validation coupons further include block data which is distributed to an electronic ledger system. However, said system may encounter limitations in detecting near surface, and internal defects, as well as in supporting comprehensive structural monitoring. Moreover, said invention preprocesses the captured images sequentially to extract features and create a training dataset, then trains a predictive model by adjusting build parameters and labeling them based on inspection results. Without addressing class imbalance, the trained model may become biased toward the majority class (typically 'no defect') , potentially overlooking rare but critical defects and resulting in a high false negative rate.

[0010] United States patent publication no. 10234848B2 relates to methods for control of post-design free-form deposition processes or joining processes using machine learning algorithms to improve fabrication outcomes. The machine learning algorithms use real-time object property data from one or more sensors as input and are trained using training data sets that comprise: i) past process simulation data, past process characterization data, past in-process physical inspection data, or past post-build physical inspection data for a plurality of objects that include at least one object that is different from the object to be fabricated; and ii) training data generated through a repetitive process of randomly choosing values for each of one or more input process control parameters and scoring adjustments to process control parameters as leading to either undesirable or desirable outcomes, the outcomes being based respectively on the presence or absence of defects detected in a fabricated object arising from the process control parameter adjustments. However, the random variation of control parameters in said invention may not cover all types of defects, especially rare or unusual ones. This can result in a dataset that does not fully represent real-world conditions, making the model less reliable when deployed, particularly for detecting uncommon defects in real-time.

[0011] Accordingly, there is a need for improved additive manufacturing monitoring systems that provide more comprehensive data acquisition and address the limitations associated with imbalanced training data sets. The present invention seeks to overcome these and other shortcomings in prior art.SUMMARY OF THE INVENTION

[0012] It is an objective of the present invention to provide an artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data that is capable of detecting defects on various levels, including surface, near-surface, and internal defects, while also providing continuous structural health monitoring.

[0013] It is also an objective of the present invention to provide an artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing that utilizes multimodal data to train and operate a multimodal model for accurate and continuous detection of defects during the manufacturing process.

[0014] It is further an objective of the present invention to provide a predetermined loss function to address class imbalance issue.

[0015] Accordingly, these objectives may be achieved by following the teachings of the present invention. The present invention relates to an artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data, comprising: a data collection module configured to collect and generate multimodal data; wherein the data collection module comprises at least one image sensor and at least one non-image sensor; at least one image data preprocessing module and at least one non-image data preprocessing module; a feature extraction module; a multimodal fusion module; a model training module; and a real-time defect detection module.BRIEF DESCRIPTION OF THE DRAWINGS

[0016] The features of the invention will be more readily understood and appreciated from the following detailed description when read in conjunction with the accompanying drawings of the preferred embodiment of the present invention, in which:

[0017] Fig. 1 illustrates a flowchart of one of the representations of the steps in the system in the present invention; and

[0018] Fig. 2 illustrates a structural diagram of the present invention, which schematically represents the physical arrangement and interrelation of its constituent components. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT

[0019] For the purposes of promoting and understanding of the principles of the invention, reference will now be made to the embodiments illustrated in the drawings and described in the following written specification. It is understood that the present invention includes any alterations and modifications to the illustrated embodiments and includes further applications of the principles of the invention as would normally occur to one skilled in the art to which the invention pertains.

[0020] The present invention teaches an artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data, comprising: a data collection module 130 configured to collect and generate multimodal data; wherein the data collection module 130 comprises at least one image sensor and at least one non-image sensor; at least one image data preprocessing module 132 and at least one non-image data preprocessing module 142; a feature extraction module 134; a multimodal fusion module 136; a model training module 138; and a real-time defect detection module 140.

[0021] In accordance with a preferred embodiment of the present invention, the at least one image sensor comprises an optical camera 118 and a near-infrared (NIR) camera 120 and the at least one non-image sensor comprises an acoustic emission sensor 122 and an eddy current sensor 124.

[0022] In a preferred embodiment of the present invention, the optical camera 118 and the near-infrared camera 120 are primarily employed as image sensors for surface and shallow defect detection. Eddy current sensors 124 are suitable for detecting near-surface defects 104, whereas acoustic emission sensors 122 are more effective for internal defect 106 detection and structural monitoring. Currently, AI technology applied in additive manufacturing defect detection primarily relies on data collected from optical cameras 118, also known as visible light cameras. However, there is no existing technology or research that integrates optical cameras 118, near-infrared cameras 120, eddy current sensors 124, and acoustic emission sensors 122 for the purpose of training a multimodal model for comprehensive defect detection.

[0023] In accordance with a preferred embodiment of the present invention, the feature extraction module 134 is optionally configured to include one or more of a Convolutional Neural Network (CNN) , a Temporal Convolutional Network (TCN) , or a Long Short-Term Memory (LSTM) . The CNN is configured to extract features from optical 108 and NIR image data 110, the TCN is configured to extract features from eddy current data 112, and the LSTM is configured to extract features from acoustic emission data 114.

[0024] In accordance with a preferred embodiment of the present invention, the model training module 138 comprises a deep neural network and a predetermined loss function configured to account for class imbalance and sample classification difficulty. The deep neural network is trained using the predetermined loss function.

[0025] In accordance with a preferred embodiment of the present invention, the real-time defect detection module 140 is configured to detect one or more of surface defects 102, near-surface defects 104, and internal defects 106.

[0026] The present invention also discloses a method for detecting defects in additive manufacturing, comprising the steps of: collecting multimodal data from at least one image sensor and at least one non-image sensor; preprocessing the collected multimodal data; extracting features from the preprocessed multimodal data; fusing the extracted multimodal features; building a multimodal model using a deep learning algorithm; training the multimodal model with the preprocessed data using a predetermined loss function and an Adam optimiser; and detecting one or more defects in real time.

[0027] In accordance with a preferred embodiment of the present invention, the preprocessing of the collected multimodal data comprising the steps of: enhancing images, including adjusting contrast and removing noise; cropping images and resizing the cropped images to a uniform size; and normalizing image pixel values for data collected from the at least one image sensor. The at least one image sensor is preferably an optical camera 118 and a NIR camera 120.

[0028] In accordance with a preferred embodiment of the present invention, the preprocessing of the collected multimodal data comprising the steps of: denoising the data by applying filters to remove noise; extracting features; and normalizing the extracted features for data collected from the at least one non-image sensor. The at least one non-image sensor is preferably an eddy current sensor 124 and an acoustic emission sensor 122.

[0029] In accordance with a preferred embodiment of the present invention, the preprocessing of the collected multimodal data further comprising the steps of: applying data synchronization and alignment to temporally correlate data from different modalities; aligning data points from each sensors using interpolation techniques; creating a unified representation from multimodal data using early fusion techniques; combining the data at the input level before feeding it into the multimodal model; and labelling the data using microscopic defect detection to determine the presence of one or more defects.

[0030] In accordance with a preferred embodiment of the present invention, the detecting of one or more defects in real time comprising the step of: labelling quality abnormalities upon detection of one or more defects.EXAMPLE

[0031] The invention is further described with reference to the drawings shown in Figs. 1 to 2.

[0032] The present invention involves seven crucial steps, which are collecting multimodal data from at least one image sensor and at least one non-image sensor; preprocessing the collected multimodal data; extracting features from the preprocessed multimodal data; fusing the extracted multimodal features; building a multimodal model using a deep learning algorithm; training the multimodal model with the preprocessed data using a predetermined loss function and an Adam optimiser; and detecting one or more defects in real time.

[0033] The present invention is applicable to Powder Bed Fusion (PBF) techniques.

[0034] The flowchart of one of the representations of the steps in the system in the present invention are illustrated in Fig. 1, while Fig. 2 depicts a structural diagram of the present invention, which schematically represents the physical arrangement and interrelation of its constituent components.

[0035] As a first step, multimodal data is collected from at least one image sensor and at least one non-image sensor, each capturing distinct aspects of the monitored environment or process. In a preferred embodiment, the data are collected from an optical camera 118, a near-infrared (NIR) camera 120, an acoustic emission sensor 122, an eddy current sensor 124, and printing process variables during the additive manufacturing process.

[0036] The optical camera 118 is preferably mounted above a print area to capture a top view of an entire print bed and is configured to collect optical image data 108 of each layer of a part being formed during addictive manufacturing process. Meanwhile, the NIR camera 120 is preferably mounted above the print area to capture thermal radiation information of the entire print bed and is configured to collect NIR image data 110 of each layer of a part being formed during additive manufacturing process.

[0037] In a preferred embodiment, the acoustic emission sensor 122 is mounted on a printing platform and is configured to collect acoustic emission data 114 during additive manufacturing process. Further, the eddy current sensor 124 is mounted under the printing platform and is configured to collect eddy current data 112 during additive manufacturing process.

[0038] It is to be understood that the present invention is not limited to the specific sensors described herein. For example, other types of sensors capable of detecting surface or internal defects may be substituted or used in combination without departing from the scope of the invention, as defined by the appended claims.

[0039] After that, the collected multimodal data are preprocessed to ensure consistency, eliminate noise, and prepare it for subsequent analysis and model training. For the data collected from the image sensors such as the optical camera 118 and the NIR camera 120, the preprocessing methods include enhancement of images, including adjusting contrast and removing noise, cropping images and resizing the cropped images to a uniform size, and normalizing image pixel values.

[0040] Meanwhile, for the data collected from the non-image sensor such as an eddy current sensor 124, the preprocessing methods include denoising the data by applying both low-pass and high-pass filters to remove the noise, extracting mel-spectrogram features, and normalizing the extracted features.

[0041] Further, for the data collected from the non-image sensor such as an acoustic emission sensor 122, the preprocessing methods include denoising the data by applying both band-pass and adaptive filters to remove noise, extracting time-domain features, frequency-domain features, and wavelet features, and normalizing the extracted features.

[0042] After preprocessing the data, feature extraction techniques are applied. For image data 116, a CNN in combination with a Feature Pyramid Network (FPN) are used to extract features. For eddy current data 112, a TCN in combination with a Wavelet transform are employed to extract features. For acoustic emission data 114, LSTM in combination with a Fast Fourier Transform (FFT) are utilized to extract features.

[0043] Spatial feature tensor constitutes the representation obtained after the feature extraction from the image data 116, while time series feature vector constitutes the representation obtained after feature extraction from eddy current data 112 and acoustic emission data 114.

[0044] Then, each data point from every sensor is tagged with a precise timestamp, enabling the matching of data points across different modalities based on their timestamps. Since sensors operate at different sampling rates, interpolation techniques are applied to align the data points. For instance, data from a sensor with a lower sampling rate can be interpolated to match the higher sampling rate of another sensor.

[0045] Once the data are synchronized and aligned, early fusion techniques are applied to create a unified representation for multimodal data training. The multimodal fusion module 136 is configured to fuse features from different data. Data from different modalities are combined at the input level before being fed into the model. This involves concatenating feature vectors or merging raw data. In order to make different modal features interact in the same dimensional space, the data are projected into a unified dimension through a linear layer. In a preferred embodiment, the dimension is set to 256.

[0046] Image feature projection is performed by applying a two-dimensional convolution (Conv2d) layer with output dimensions of (256, 256, 1) and is followed by a flattening process. This process converts a spatial tensor with dimensions of (1, 256, H', W') to a sequence of dimensions of (1, L, 256) , where L is the effective length of the spatial feature, such as H'×W'. H' and W' are the height and width of the image data 108, 110 respectively.

[0047] Acoustic emission and eddy current feature projections are performed by applying a linear layer with output dimensions of (128, 256) . This process converts a time series vector with dimensions of (1, 128) to a single-step sequence with dimensions of (1, 1, 256) .

[0048] Subsequently, the data are labelled into two categories, namely “defect” and “no defect” , based on microscopic defect detection results.

[0049] Table 1 shows representations after feature extraction for each sensor and the example of the data dimensions in a preferred embodiment. Table 1: Post-feature Extraction Representations and Dimensions

[0050] Then, the next step is to build a multimodal model using a deep learning algorithm. The multimodal model is built using Transformer architecture, which is a deep learning model originally designed for natural language processing tasks. It has since been adapted for a variety of applications, including multimodal models. The architecture is notable for its use of self-attention mechanisms, which enable it to better capture dependencies between input elements compared to traditional recurrent or convolutional models.

[0051] For this transformer model, multi-dimensional associations are captured simultaneously through 8-head parallel attention, including, for example, the association between an abnormal thermal gradient of the molten pool and low-frequency of eddy currents vibrations.

[0052] The system further adopts Query-Key-Value attention paradigm, wherein the image spatial features (Query) actively attend to the acoustic emission and eddy current temporal features, which serve as the Key and / or Value) . This structure enables the system to perform cross-modal reasoning, establishing correlations across modalities from morphological anomaly to acoustic anomaly, and further to electromagnetic anomaly.

[0053] After the multi-head attention output is compressed by the linear layer with dimensions of (256×8, 256) , the cross-modal fusion feature with dimensions of (1, 256) is obtained. This feature also includes: the location and morphological information of image space anomalies; the timing and frequency domain information of acoustic emission sound wave anomalies; and the displacement and vibration information of eddy current signal anomalies.

[0054] The following step is to train the multimodal model with the preprocessed data using the predetermined loss function and an Adam optimiser for parameter optimization. The predetermined loss function is as follows.

[0055] Let yi be the true label (0 or 1) for the ith sample, and be the predicted probability of the ith sample. Assume that there are N samples.

[0056] First, the numbers of positive and negative samples are computed as follows:

[0057] Next, the weights for positive and negative samples are computed as follows: where ε is a small number to prevent division by zero.

[0058] Subsequently, the focal factor is defined by the following formula: where γ is the modulation parameter of the focal factor

[0059] Next, the Dynamic Weighted Focal Loss (DWFL Loss) is defined as follows:

[0060] Finally, the trained model is applied for real-time defect detection. If defects, such as voids, cracks, warping, and other irregularities, are detected, they are classified as quality abnormalities, indicating that the product may not meet the required standards or specifications. The present invention explained above is not limited to the aforementioned  embodiment and drawings, and it will be obvious to those having an ordinary skill in the art of the present invention that various replacements, deformations, and changes may be made without departing from the scope of the invention.

Claims

1.An artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data, comprising:a data collection module (130) configured to collect and generate multimodal data;wherein the data collection module (130) comprises at least one image sensor and at least one non-image sensor;at least one image data preprocessing module (132) and at least one non-image data preprocessing module (142) ;a feature extraction module (134) ;a multimodal fusion module (136) ;a model training module (138) ; anda real-time defect detection module (140) .2.The artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data, according to claim 1, wherein the at least one image sensor comprises an optical camera (118) and a near-infrared (NIR) camera (120) and the at least one non-image sensor comprises an acoustic emission sensor (122) and an eddy current sensor (124) .3.The artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data, according to claim 1, wherein the feature extraction module (134) is optionally configured to include one or more of a Convolutional Neural Network (CNN) , a Temporal Convolutional Network (TCN) , or a Long Short-Term Memory (LSTM) .4.The artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data, according to claim 1, wherein the model training module (138) comprises a deep neural network and a predetermined loss function configured to account for class imbalance and sample classification difficulty.5.The artificial intelligence (AI) -enabled real-time defect detection system for additive manufacturing based on multimodal data, according to claim 1, wherein the real-time defect detection module (140) is configured to detect one or more of surface defects (102) , near-surface defects (104) , and internal defects (106) .6.A method for detecting defects in additive manufacturing, comprising the steps of:collecting multimodal data from at least one image sensor and at least one non-image sensor;preprocessing the collected multimodal data;extracting features from the preprocessed multimodal data;fusing the extracted multimodal features;building a multimodal model using a deep learning algorithm;training the multimodal model with the preprocessed data using a predetermined loss function and an Adam optimiser; anddetecting one or more defects in real time.7.The method for detecting defects in additive manufacturing, according to claim 6, wherein the preprocessing of the collected multimodal data comprising the steps of:enhancing images, including adjusting contrast and removing noise;cropping images and resizing the cropped images to a uniform size; andnormalizing image pixel values for data collected from the at least one image sensor.8.The method for detecting defects in additive manufacturing, according to claim 6, wherein the preprocessing of the collected multimodal data comprising the steps of:denoising the data by applying filters to remove noise;extracting features; andnormalizing the extracted features for data collected from the at least one non-image sensor.9.The method for detecting defects in additive manufacturing, according to claim 6, wherein the preprocessing of the collected multimodal data further comprising the steps of:applying data synchronization and alignment to temporally correlate data from different modalities;aligning data points from each sensors using interpolation techniques;creating a unified representation from multimodal data using early fusion techniques;combining the data at the input level before feeding it into the multimodal model; andlabelling the data using microscopic defect detection to determine the presence of one or more defects.10.The method for detecting defects in additive manufacturing, according to claim 6, wherein the detecting of one or more defects in real time comprising the step of:labelling quality abnormalities upon detection of one or more defects.

Images