A method and system for data acquisition in online optical inspection for additive manufacturing

Abstract

A method and system for data acquisition in online optical inspection for additive manufacturing (AM), comprising the steps of: (a) acquiring optical data by applying a plurality of continuous or pulsed parallel laser beams onto at least one region of interest (108) during the AM process, the at least one region comprises finite static or moving locations including in a cooling region and a printed region (210); and (b) recording reflected laser patterns (110) using at least one image sensor (204) positioned to capture interactions between the plurality of parallel laser beams and the at least one region of interest; the surfaces of the at least one region become solid for each subsequent deposition layer, concurrently with the recording of changes in the reflected laser patterns over at least one image sequence; the changes include abnormal surface geometric profile patterns during material cooling with underlying subsurface defects.

Description

A method and system for data acquisition in online optical inspection for additive manufacturingFIELD OF THE INVENTION

[0001] The present invention relates to the field of online optical defect detection methods and systems. More particularly, the present invention pertains to a method and system for data acquisition in online optical inspection for additive manufacturing including laser powder bed fusion, electron beam powder bed fusion, and directed energy deposition.BACKGROUND OF THE INVENTION

[0002] Additive Manufacturing (AM) , also known as 3D Printing or Layered Manufacturing, has become a mainstream manufacturing technology, in contrast to traditional subtractive manufacturing methods such as drilling, cutting, and other machining approaches. For fabricating mechanical parts with various shapes and structures, a general-purpose AM machine can be capable. With AM, there is no need for costly, shape-specific molds as required in material, including metal or plastic, injection molding.

[0003] AM has been widely adopted for mass production in mission-critical applications, including medical and dental implants, as well as automotive and aeronautic parts. However, several types of defects such as voids, lack of fusion, and / or abnormal residual stress can arise due to improper process parameters and control, and / or substandard material quality. During productions, AM parts with high severity defects should be scrapped, as they can be difficult to post-process for production output. In end-use scenarios, defects may lead to functional nonconformities, such as reduced mechanical strength or durability, and can even result in failures during field operations. These issues may trigger quality complaints, end-product market recalls and even litigations.

[0004] Destructive quality inspections are common but costly, requiring significant offline testing time, specialized equipment, and expert personnel. Moreover, such inspections cannot provide 100%quality assurance, as they have limited sampling sizes. Testing many samples is commercially impractical, as it reduces the production yield of intact and usable parts. In contrast, cost effective non-destructive testing (NDT) methods for quality inspections, whether conducted online or offline, are highly valuable in AM. NDT helps minimizing the delivery of defective parts, supporting Failure Mode, Effects, and Criticality Analysis (FMECA) to drive continuous improvements in design and manufacturing, and enabling the identification and characterization of anomaly patterns in AM machines for predictive maintenances, thereby improving overall equipment effectiveness.

[0005] Lasers have been widely utilized for identifying and detecting material surface characteristics such as morphologies and defects. At nanoscale, the Atomic Force Microscope (AFM) is a mainstream technology. A laser beam is pointed at the top surface of a bending cantilever in dynamics due to attraction or repulsion atomic forces acted on its underneath probe needle tip when sampling on material surface. The reflected laser patterns on the image sensor sensitively represent the corresponding local surface characteristics. Accordingly, there exists a need for an alternative approach that directs lasers onto the material surface and detects changes in the surface geometric profile with high sensitivity during material cooling in additive manufacturing, thereby eliminating the requirement for additional mechanical structures used for laser reflections.

[0006] Some of these examples are discussed in the following prior arts. China patent publication no. 112304870A discloses a point-to-point laser ultrasonic powder bed fusion (PBF) additive manufacturing on-line detection system and method. A laser ultrasonic receiver and a printing laser share a printing laser galvanometer and a mirror are used in time-sharing, wherein the mirror mirrors the printing laser and the mirror. The excitation laser emits pulse laser to the detection surface, so that it is excited to generate ultrasonic waves. The laser ultrasonic receiver emits detection laser and receives reflected light from the detection surface, and the vibration of the surface to be detected is detected through an optical interference principle and is used for receiving surface waves generated by laser excitation. However, the laser-ultrasonic system and method are expensive and complex. Moreover, the additive manufacturing process and the laser ultrasonic detection process of the part are carried out alternately, and with no data acquisition performed during the rapid material cooling phase that follows immediately after the printing of heating laser. There is a need to provide a defect detection method and system in additive manufacturing which are simpler, faster, and enable real-time and wide-area monitoring.

[0007] China patent publication no. 113781585A discloses an additive manufacturing part surface defect online detection method and system. The method involves acquiring three-dimensional point cloud data of the surface topography of a current printing layer during the forming process of additive manufacturing; The 3D point cloud data are projected onto the plane to obtain a 2D topography image. In this image, pixels are classified and labeled based on the type of defect, allowing feature values and corresponding label values for each defect type to be obtained. Therefore, it enables pixel-level classification of surface defects. However, the method and system focus solely on surface defect detection using 3D point cloud data of the topography of the current layer, without incorporating data acquisition during the rapid material cooling phase that occurs immediately after exposure to the heating laser. There is a need to provide a defect detection method and system in additive manufacturing that goes beyond surface defect detection with real-time detection.

[0008] United States patent publication no. 2024070838A1 discloses additive manufacturing defect detection method and system. The method includes obtaining an image representing a volume of molten material; extracting one or more features from the image; providing one or more features to a trained machine learning model; obtaining output from the trained machine learning model; and determining, using the output, a defect in a part. The method is primarily directed toward imaging molten material such as the melt pool via thermal or optical means. In the system, only one laser, which is the AM heating laser, is used, and no additional laser is provided for data acquisition during the rapid material cooling phase that occurs immediately after the printing of heating laser. It may therefore lack the capability to effectively monitor a broader area, including adjacent regions.SUMMARY OF THE INVENTION

[0009] It is an objective of the present invention to provide a method and system for defect detection in AM that enables comprehensive online monitoring of both surface and subsurface defects, including at the solidified regions by using a plurality of parallel laser beams.

[0010] It is a further objective of the present invention to provide a method and system for data acquisition in online optical inspection for detecting defects that arise during material melting and cooling immediately after printing in additive manufacturing.

[0011] It is a further objective of the present invention to provide a method and system capable of detecting anomalies, including subsurface defects that manifest as abnormal changes in surface geometric profile during material cooling, through the analysis of reflected laser patterns.

[0012] It is also an objective of the present invention to provide a method and system of defect detection in AM that integrates an artificial intelligence (AI) or rule-based method for automated, real-time prediction of defects, thereby reducing reliance on post-processing quality inspections.

[0013] Accordingly, these objectives are achieved by following the teachings of the present invention. The present invention relates to a method for data acquisition in online optical inspection for additive manufacturing, comprising the steps of: (a) acquiring optical data by applying a plurality of parallel laser beams onto at least one region of interest during the AM process, wherein the at least one region comprises finite static or moving locations including in a cooling region and a printed region; and (b) recording reflected laser patterns using at least one image sensor positioned to capture interactions between the plurality of parallel laser beams and the at least one region of interest; wherein surfaces of at least one region become solid for each subsequent deposition layer, concurrently with the recording of changes in the reflected laser patterns over at least one image sequence; wherein the changes include abnormal surface geometric profile variations during material cooling with underlying subsurface defects.

[0014] These present invention also relates to a system for data acquisition system in online optical inspection for additive manufacturing, comprising: at least one processor communicatively coupled with at least one computing device; an additive manufacturing machine configured to fabricate mechanical parts through successive material deposition cycles; and a camera system mounted on the additive manufacturing machine and operatively connected to the at least one processor; wherein the camera system comprises at least one image sensor, at least one auto-focusing lens unit, at least one optical filter, a shutter, signal processing and control electronics, and a plurality of parallel laser sources configured to be operatively coordinated with the camera system; wherein the at least one processor is configured to: acquire and store image data from the at least one image sensor during material deposition cycles; and analyse the acquired image data to predict anomalies in additive manufacturing using an artificial intelligence or rule-based method.BRIEF DESCRIPTION OF THE DRAWINGS

[0015] The features of the invention will be more readily understood and appreciated from the following detailed description when read in conjunction with the accompanying drawings of the preferred embodiment of the present invention, in which:

[0016] FIG. 1 illustrates a flowchart of additive manufacturing process in the present invention;

[0017] FIG. 2 illustrates a diagram of data acquisition system for online optical inspection in an additive manufacturing machine in the present invention;

[0018] FIG. 3a illustrates an example diagram of continuous or pulsed laser patterns on finite static locations including in a cooling region and a printed region;

[0019] FIG. 3b illustrates another example diagram of continuous or pulsed laser patterns on finite static locations including in a cooling region and a printed region, covering extended areas as the AM laser moves along the printing direction; and

[0020] FIG. 4 illustrates an example diagram of continuous or pulsed laser patterns on finite moving locations including in a cooling region and a printed region. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT

[0021] For the purposes of promoting and understanding of the principles of the invention, reference will now be made to the embodiments illustrated in the drawings and described in the following written specification. It is understood that the present invention includes any alterations and modifications to the illustrated embodiments and includes further applications of the principles of the invention as would normally occur to one skilled in the art to which the invention pertains.

[0022] The present invention teaches a method for data acquisition in online optical inspection for additive manufacturing, comprising the steps of: (a) acquiring optical data by applying a plurality of parallel laser beams onto at least one region of interest 108 during the AM process, wherein the at least one region comprises finite static or moving locations including in a cooling region and a printed region 210; and (b) recording reflected laser patterns 110 using at least one image sensor 204 positioned to capture interactions between the plurality of parallel laser beams and the at least one region of interest; wherein surfaces of at least one region become solid for each subsequent deposition layer, concurrently with the recording of changes in the reflected laser patterns over at least one image sequence; wherein the changes include abnormal surface geometric profile patterns during material cooling with underlying subsurface defects.

[0023] In accordance with a preferred embodiment of the present invention, the method further comprises the steps of: directing the plurality of parallel laser beams onto the at least one region of interest through at least one auto-focusing lens unit 206 and at least one optical filter 208; wherein the plurality of parallel laser beams comprises continuous or discrete beams; blocking one or more wavelengths corresponding to heating laser, if present, and attenuating optical emissions generated by sparks occurring at a melt pool using the at least one optical filter 208; and selecting a wavelength for the parallel laser beams to ensure that the filtered reflected laser patterns are clearly captured.

[0024] In accordance with a preferred embodiment of the present invention, the step (b) recording reflected laser patterns 110 further comprises the steps of: capturing a sequence of images using the at least one image sensor 204 to record the reflected laser patterns 110 resulting from the interaction of the plurality of parallel laser beams with the at least one region of interest; and recording the reflected laser patterns 110 over a period of time corresponding to continuous changes in a surface geometric profile at the cooling region; wherein the parallel laser patterns comprise continuous or pulsed outputs at finite static or moving locations.

[0025] In accordance with a preferred embodiment of the present invention, the method further comprises the step of: quantifying changes in the reflected laser patterns for anomaly detection and / or characterization using optical flow techniques; and predicting anomalies in cooling and printed regions 210 based on the deviations in the reflected laser patterns using an artificial intelligence or rule-based method 112.

[0026] In accordance with a preferred embodiment of the present invention, the method further comprises the step of: associating the changes in the surface geometric profile during material cooling including with underlying subsurface defects, or with vibrations originating from environmental and machine-and / or process-related sources. A plurality of continuous or pulsed incident laser beams is configurated in parallel to monitor over time, local surface geometric profile variations in at least two regions, including a cooling region and a printed region. These regions respectively represent a dynamic region undergoing changes in residual stress and a quasi-static region that has almost completed such changes. Both regions are connected and adjacent, experiencing the same external factors, including vibrations.

[0027] The present invention also discloses a data acquisition system in online optical inspection for additive manufacturing, comprising: at least one processor communicatively coupled with at least one computing device; an additive manufacturing machine configured to fabricate mechanical parts through successive material deposition cycles; and a camera system 202 mounted on the additive manufacturing machine and operatively connected to the at least one processor; wherein the camera system 202 comprises at least one image sensor 204, at least one auto-focusing lens unit 206, at least one optical filter 208, a shutter, signal processing and control electronics, and a plurality of parallel laser sources 214 configured to be operatively coordinated with the camera system 202; wherein the at least one processor is configured to: acquire and store image data from the at least one image sensor 204 during material deposition cycles; and analyse the acquired image data to predict anomalies in additive manufacturing using an artificial intelligence or rule-based method.

[0028] In accordance with a preferred embodiment of the present invention, the at least one image sensor 204 is configured to capture a sequence of images, each image recording reflected laser patterns 110 from a plurality of parallel laser beams re-directed to at least one cooling region and at least one printed region 210; wherein incident rays may, but are not limited to, maintain a fixed direction throughout the data acquisition and / or online optical inspection. A plurality of parallel laser beams sample simultaneously at both the cooling region and the printed region 210 to facilitate data comparison on the acquired image sequence. Although anomalies in AM do not occur frequently, they can be reproduced using known Failure Mode, Effects, and Criticality Analysis (FMECA) techniques to fine-tune or customize the implementation of the present invention.

[0029] In accordance with a preferred embodiment of the present invention, a heating laser or focused energy beam is used for powder melting, and each of the parallel laser beams has a reflected direction that varies differently and independently according to changes in a surface geometric profile within the cooling region.

[0030] In accordance with a preferred embodiment of the present invention, the at least one optical filter 208 is selected and configured to block light re-directed from the heating laser, if present, to attenuate light from spark emissions generated at the melt pool to varying degrees, and to transmit the reflected optical pattern of the parallel laser beams, thereby enabling the at least one image sensor 204 to capture filtered optical patterns.

[0031] In accordance with a preferred embodiment of the present invention, the at least one auto-focusing lens unit 206 is positioned between the at least one optical filter 208 and the at least one image sensor 204, wherein the at least one optical filter 208 is alternatively positioned between the at least one auto-focusing lens unit 206 and the at least one image sensor 204.

[0032] In accordance with a preferred embodiment of the present invention, the artificial intelligence model is a trained machine learning model configured to perform online detection of anomaly changes in surface geometric profile indicative of defects. EXAMPLE

[0033] FIG. 1 illustrates an example flowchart of a mainstream AM process integrated with the optical data acquisition method for online inspection, according to the present invention. The AM process includes depositing AM powder materials 102; wherein the AM powder materials may comprise metallic and non-metallic materials; directing a heating laser, if present, or focused energy beam at specific regions; melting and fusing the AM powder materials 104; and cooling fused materials from temperature significantly higher than that of build chamber 216, wherein the cooling step is denoted as 106. The cooling region has changing internal residual stress, and its surface geometric profile is altering accordingly and with anomaly when any defect presents. In the present invention, the AM process is augmented with an online data acquisition method by applying a plurality of parallel laser beams re-directed at the cooling region and printed region 210.

[0034] The reflection patterns captured by the at least one image sensor 204 may be affected by vibrations originating from environmental and machine-and / or process-related sources. High-speed image acquisitions minimize motion blur, enabling subsequent analysis of surface geometric profile variations potentially influenced by the vibrations. For data acquisition and analytics, the parallel laser beams are identical to each other but have a wavelength that is different from that of the AM heating laser if any is used for powder melting. The said wavelength is also outside any high-intensity range of the optical emission spectrum generated by sparks at the melt pool, which may result from the heating laser or other focused energy beam applied onto the powders. The surface texture, surface roughness, and surface geometric profile at each reflection location influence the reflected laser patterns observed in the image data.

[0035] These re-directed laser beams pass through at least one auto-focusing lens unit 206 and at least an optical filter 208 and being captured in the image sequence. The at least one auto-focusing lens unit 206 can be positioned in front of both the at least one optical filter 208 and at least one image sensor 204. Alternatively, as illustrated in FIG. 2, the at least one optical filter 208 can be positioned in front of both the at least one auto-focusing lens unit 206 and at least one image sensor 204. Further, optical elements including beam splitter or dichroic mirror, can be used and controlled automatically to re-direct the optical paths according to the location and orientation of the camera system 202 and the locations and orientations of laser sources, including the plurality of parallel laser sources 214 and heating laser or focused energy beam source 212.

[0036] As further illustrated in FIG. 1, changes in the reflected laser patterns captured by the at least one image sensor 204 are recorded and subsequently used to predict and detect anomalies in the cooling and printed regions 210. This analysis may be performed using an artificial intelligence or rule-based method. Lastly, the AM process includes moving the printing heat source beyond in the existing depositing layer and subsequent layers 114.

[0037] FIGs. 3a-3b illustrate a diagram of continuous or pulsed parallel laser beams point onto finite static locations on the printing deposition layer. The array of locations, as shown in FIGs. 3a-3b, covers both the cooling region (s) and the printed region (s) 210. The cooling region is solidified with temperature higher than that of AM build chamber 216 and the printed region 210 with temperature close to that of AM build chamber 216. FIG. 3a depicts the regions sampled with the parallel laser pattern while the AM heating laser or focused energy beam is concurrently printing and melting the powder materials. FIG. 3b shows the extended regions are also being covered by the updated sampling array with parallel laser pattern after the AM heating laser or focused energy beam moved further along its printing direction. As illustrated in FIG. 3b, one of the parallel laser beams is highlighted which samples over time at the same location but at different cooling statuses, from at the center of the cooling region to be close to the printed region 210. There is no sharp boundary between the cooling region and printed region 210, however the latter exhibits a much lower temperature and relatively closer to that of AM build chamber 216.

[0038] Alternatively, the parallel laser pattern may be in continuous or pulsed outputs sampling on finite moving locations. FIG. 4 illustrates a diagram of parallel laser patterns with continuous or pulsed output sampled on finite moving locations on the printing deposition layer. These sampling locations shift across the cooling region and printed region 210 and dynamically follow the past printing trajectory and synchronize with current printing speed of the heating laser or focused energy beam used in the AM printing process.

[0039] In the present invention, a melting pool transits into a cooling region once the AM heating laser or focused energy beam, which serves as the heat source, moves beyond that location. Reflected laser point patterns are captured in a sequence of images, recording the cooling status at locations including the cooling region, which spatially shifts over time following the printing path of the heating laser or focused energy beam. A plurality of laser beams reflected from different spatial locations on the printing deposition layer are utilized to enable downstream data analytics and comparative analysis of thermal and geometric changes.

[0040] Each of the continuous parallel laser beams results in a sweeping optical pattern on each image, affected by the changing surface geometric profile, vibrations, spatters ejected from melt pool, and nano particles generated during material vaporisation in the finite static locations, is illustrated in FIG. 3a and FIG. 3b. Meanwhile, each of the continuous parallel laser beams results in a sweeping optical pattern on each image, affected by the changing surface geometric profile, vibrations, spatters ejected from melt pool, and nano particles generated during material vaporisation in the finite moving reflection locations is illustrated in FIG. 4.

[0041] For the pulsed parallel laser beams pointed locations shown in FIGs. 3a-3b and 4, the pulses are synchronized and share the same frequency as the image sequence. Also, each pulse occurs within the exposure period of its corresponding image, enabling effective capture of reflected signals. Further, each of the pulsed parallel laser beams results in a distinct optical pattern on each image, influenced by the changing surface geometric profile, vibrations and spatters ejected from the melt pool, and nanoparticles generated during material vaporisation in finite static locations, is further illustrated in FIG. 3a and FIG. 3b. Each of the pulsed parallel laser beams results in a distinct optical pattern on each image, influenced by the changing surface geometric profile, vibrations, spatters ejected from melt pool, and nano particles generated during material vaporisation and the shifting reflection point at a finite moving location is further illustrated in FIG. 4.

[0042] The present invention explained above is not limited to the aforementioned embodiments, and it will be obvious to those having an ordinary skill in the art of the present invention that various replacements, deformations, and changes may be made without departing from the scope of the invention.

Claims

1.A method for data acquisition in online optical inspection for additive manufacturing (AM) , comprising the steps of:(a) acquiring optical data by applying a plurality of parallel laser beams onto at least one region of interest (108) during the AM process, wherein the at least one region comprises finite static or moving locations including in a cooling region and a printed region (210) ; and(b) recording reflected laser patterns (110) using at least one image sensor (204) positioned to capture interactions between the plurality of parallel laser beams and the at least one region of interest;wherein surfaces of the at least one region become solid for each subsequent deposition layer, concurrently with the recording of changes in the reflected laser patterns over at least one image sequence;wherein the changes include abnormal surface geometric profile patterns during material cooling with underlying subsurface defects.2.The method for data acquisition in online optical inspection for additive manufacturing, according to claim 1, wherein the method further comprises the steps of:directing the plurality of parallel laser beams onto the at least one region of interest through at least one auto-focusing lens unit (206) and at least one optical filter (208) ;wherein the plurality of parallel laser beams comprises continuous or discrete beams;blocking one or more wavelengths corresponding to heating laser, if present, and attenuating optical emissions generated by sparks occurring at a melt pool using the at least one optical filter (208) ; andselecting a wavelength for the parallel laser beams to ensure that the filtered reflected laser patterns are clearly captured.3.The method for data acquisition in online optical inspection for additive manufacturing, according to claim 1, wherein the step (b) recording reflected laser patterns (110) further comprises the steps of:capturing a sequence of images using the at least one image sensor (204) to record the reflected laser patterns (110) resulting from the interaction of the plurality of parallel laser beams with the at least one region of interest; andrecording the reflected laser patterns (110) over a period of time corresponding to continuous changes in a surface geometric profile during a cooling phase;wherein the parallel laser patterns comprise continuous or pulsed outputs at finite static or moving locations.4.The method for data acquisition in online optical inspection for additive manufacturing, according to claim 1, wherein the method further comprises the steps of:quantifying changes in the reflected laser patterns for anomaly detection and / or characterization using optical flow techniques; andpredicting anomalies in cooling regions and printed regions (210) based on the deviations in the reflected laser patterns using an artificial intelligence or rule-based method (112) .5.The method for data acquisition in online optical inspection for additive manufacturing, according to claim 1, wherein the method further comprises the step of:associating the changes in the surface geometric profile during material cooling including with underlying subsurface defects, or with vibrations originating from environmental and machine-and / or process-related sources.6.A data acquisition system in online optical inspection for additive manufacturing, comprising:at least one processor communicatively coupled with at least one computing device;an additive manufacturing machine configured to fabricate mechanical parts through successive material deposition cycles; anda camera system (202) mounted on the additive manufacturing machine and operatively connected to the at least one processor;wherein the camera system (202) comprises at least one image sensor (204) , at least one auto-focusing lens unit (206) , at least one optical filter (208) , a shutter, signal processing and control electronics, and a plurality of parallel laser sources (214) configured to be operatively coordinated with the camera system (202) ;wherein the at least one processor is configured to:acquire and store image data from the at least one image sensor (204) during material deposition cycles; andanalyse the acquired image data to predict anomalies in additive manufacturing using an artificial intelligence or rule-based method.7.The data acquisition system in online optical inspection for additive manufacturing, according to claim 6, wherein the at least one image sensor (204) is configured to capture a sequence of images, each image recording reflected laser patterns (110) from a plurality of parallel laser beams re-directed to at least one cooling region and at least one printed region (210) ; wherein incident rays may, but are not limited to, maintain a fixed direction throughout the data acquisition and / or online optical inspection.8.The data acquisition system in online optical inspection for additive manufacturing, according to claim 7, wherein a heating laser or focused energy beam is used for powder melting, and each of the parallel laser beams has a reflected direction that varies differently and independently according to changes in a surface geometric profile within the cooling region.9.The data acquisition system in online optical inspection for additive manufacturing, according to claim 8, wherein the at least one optical filter (208) is selected and configured to block light re-directed from the heating laser, if present, to attenuate light from spark emissions generated at the melt pool to varying degrees, and to transmit the reflected optical pattern of the parallel laser beams, thereby enabling the at least one image sensor (204) to capture filtered optical patterns.10.The data acquisition system in online optical inspection for additive manufacturing, according to claim 9, wherein the at least one auto-focusing lens unit (206) is positioned between the at least one optical filter (208) and the at least one image sensor (204) , wherein the at least one optical filter (208) is alternatively positioned between the at least one auto-focusing lens unit (206) and the at least one image sensor (204) .11.The data acquisition system in online optical inspection for additive manufacturing, according to claim 6, wherein the artificial intelligence is a trained machine learning model configured to perform online detection of anomaly changes in surface geometric profile indicative of defects.

Images