3D modeling of fabric composites using CT images and convolutional neural networks

Abstract

Models, software and methods for performing image segmentation for determining a structure of fiber-reinforced composite material having weft and warp yarn cross-sections, such as woven carbon fiber reinforced polymer (CFRP). Such methods include performing image segmentation for a plurality of micro-CT images of cross-sections of a fiber-reinforced composite material using CNN-based algorithms based on morphological characteristics of cross-sections; and generating a 3D geometry model of the fiber-reinforced composite material, based on the multiple micro-CT images, integrated with local fiber orientation information. Such methods can utilize micro-CT images all obtained from a front view without requiring any micro-CT images from a side view. Methods of training models to automatically perform the methods are also provided.

Description

3D MODELING OF FABRIC COMPOSITES USING CT IMAGES AND CONVOLUTIONAL NEURAL NETWORKSCROSS-REFERENCES TO RELATED APPLICATIONSThis application claims the benefit of priority of U.S. Provisional Application No. 63 / 621,551 filed January 16, 2024, the entire contents of which are incorporated herein by reference.FIELD OF ARTThe present invention pertains generally to structural analysis of composite materials, in particular 3D modeling of fabric composites, such as carbon fabric composite materials.BACKGROUNDFiber-reinforced composite (FRC) materials with woven structures inside are playing an increasingly important role in many fields such as automotive production, aerospace, civil engineering and construction due to their excellent properties such as high formability, high specific strength and high corrosion resistance. From the perspective of composition, FRC materials mainly include fibers and matrices. Due to the strong anisotropy of fibers, FRC materials also exhibit significant anisotropy, leading to high correlation between their inner structures and homogenized performance. To efficiently obtain the performance of materials in different states such as processing and final products, the numerical modeling and virtual characterization techniques of FRCs are attracting widespread attention from both academia and industry. Due to the significant impact of woven yarn structures on thermal-mechanical properties of composite materials, accurate reconstruction of the inner structure of FRCs are crucial for achieving reliable virtual characterization.While there have been advancements in this field, current methods rely on assumptions and approximations as to the shape of the figures, which limit the accuracy of the analysis and models. Accordingly, current approaches are lacking and fail to provide a high degree of accuracy in models of composite materials. Thus, there remains a need for improved methods by which to model composite materials, particularly fabric composites such as carbon fabric composites.BRIEF SUMMARYEmbodiments of the subject invention pertains generally to structural analysis of composite materials, in particular method and programs for 3D modeling of fiber-reinforced composites, such as carbon fiber composite material.In one aspect, the invention pertains to a method of image analysis to determine a structure of composite materials, specifically fiber-reinforced composites having weft and warp yarn cross-sections, such as woven carbon fiber reinforced polymer (CFRP) . In some embodiments, the method includes steps of: performing image segmentation for a plurality of micro-CT images of cross-sections of a fiber-reinforced composite material using CNN-based algorithms based on morphological characteristics of the cross-sections; and generating a 3D geometry model of the fiber-reinforced composite material integrated with local fiber orientation information.In some embodiments, the method further includes performing image segmentation includes separating and extracting all yarn cross-sections from the plurality of micro-CT slices by performing CNN-based algorithms. In some embodiments, before the image segmentation processes, another CNN-based image classification step is conducted where the plurality of micro-CT images is divided into different groups according to their morphological characteristics (e.g. normal state, transition state, compact state) . High representativity of the training sets for the CNN-based image segmentation algorithms is ensured by collected micro-CT images from all the different groups divided by the image classification process. In some embodiments, image segmentation after the image classification includes performing both semantic segmentation and instance segmentation. In some embodiments, the plurality of micro-CT images is all obtained from a front view such that the 3D geometry model is determined from the plurality of micro-CT images without utilizing any micro-CT images from a side view, which reduces time and costs of imaging.In some embodiments, the method further includes conducting semantic segmentation which separate cross-sections of warp and weft yarns in all micro-CT scanning images using CNN-based algorithms. In some embodiments, the methods further include conducting CNN-based object detection to separate cross-sections of individual warp yarns that are artificially connected in the semantic segmentation results. In some embodiments, the methods further include using the segmented cross-sections of weft yarns in all micro-CT images to directly generate 3D geometry model of all weft yarns of the scanned fabric composite sample without simplification and loss of geometrical details. In some embodiments, the methods further include exporting the binarized cross-sections of the geometry model of weft yarns in the side view which is normal to the real micro-CT scanning direction. In some embodiments, the methods further include conducting CNN-based object detection to separate cross-sections of individual weft yarns that are artificially connected in binarized cross-sections of the geometry model of weft yarns in the side view. In some embodiments, the methods further include establishing the 3D models of individual warp yarns and weft yarns directly based on the separated individual cross-sections of warp yarns and weft yarns. In some embodiments, the methods further include assembling all the 3D models of individual warp yarns and weft yarns to generate the 3D geometry model of the scanned fabric composite sample, so as to avoid loss of geometrical details. In some embodiments, the methods further include making Boolean operation for the elimination of penetration among adjacent yarns in the 3D geometry model. In some embodiments, the method further includes estimating the local fiber orientations at any position within the 3D geometry model using an analytical function with consideration of the continuity of the adjacent cross sections of yarns in reality.In another aspect, the invention pertains to a software program having a trained model for performing image segmentation on micro-CT images to determine a structure of a fiber-reinforced composite material, wherein the software program has executable instructions configured to perform: image segmentation for a plurality of micro-CT images of cross-sections of a fiber-reinforced composite material using CNN-based algorithms based on morphological characteristics of the cross-sections; and generating a 3D geometry model of the fiber-reinforced composite material integrated with local fiber orientation information. In some embodiments, the fiber orientation information is estimated by an analytical function and integrated to the constructed 3D model. In some embodiments, the fiber-reinforced composite material is a fabric having weft and warp yarn cross-sections, such as woven carbon fiber reinforced polymer (CFRP) . In some embodiments, the software further separates and extracts all individual yarn cross-sections from the plurality of micro-CT slices by performing CNN-based image segmentation. In some embodiments, the CNN-based image classification step, before the image segmentation processes, is conducted where the plurality of micro-CT images is divided into three different groups according to their morphological characteristics. In some embodiments, high representativity of the training sets for the CNN-based image segmentation algorithms is ensured by collected micro-CT images from all the different groups divided by the image classification process. In some embodiments, the image segmentation, after the image classification step, includes performing both semantic segmentation and instance segmentation. In some embodiments, the plurality of micro-CT images is all obtained from a front view. In some embodiments, the 3D geometry model is determined from the plurality of micro-CT images without utilizing any micro-CT images from a side view, which reduces the time and costs associated with extensive CT imaging. Methods of training such models are also detailed herein.BRIEF DESCRIPTION OF THE DRAWINGSFigure 1 shows (a) one prepreg sample scanned using the micro-CT and (b) some examples of micro-CT scanning slices at different locations of the samples showing differing states, in accordance with some embodiments.Figure 2 shows an overview of an exemplary method including task (i) and task (ii) , in accordance with some embodiments.Figure 3 shows the architecture of the ResNet50 that can perform the method, in accordance with some embodiments.Figure 4A shows a confusion matrix of the ResNet50, FIG. 4B shows curves of training and validation accuracy, and FIG. 4C shows curves of training and validation loss, in accordance with some embodiments.Figure 5 shows the architecture of the U-Net, in accordance with some embodiments.Figure 6 shows a micro-CT slice with manual annotation indicating the weft and warp yarns, in accordance with some embodiments.Figure 7A shows the mIOU curve, Figure 7B show the loss curve of the U-Net, and Figure 7C shows segmentation of micro-CT slices from different morphological states using the trained U-Net, in accordance with some embodiments.Figure 8 shows training performance curves of the YOLO v8, in accordance with some embodiments.Figure 9Aindividual cross-sections of warp yarns marked by the YOLO v8, FIG. 9B shows binarization of semantic segmentation masks, which only contain cross-sections of warp yarns, predicted by the U-Net, and FIG. 9C shows instance segmentation of the cross-sections of warp yarns achieved via combination of the U-Net and YOLO v8, in accordance with some embodiments.Figure 10 shows 3D digital model of weft yarns in the side view generated using a 3D Slicer, the binarized side view slices having been exported from the 3D digital model of weft yarns, in accordance with some embodiments.Figures 11A-11C show various cross sections, including: FIG. 11A showing masks of individual cross sections of weft yarns in side view slices by manual annotation, FIG. 11B showing individual cross sections of weft yarns marked with red boxes, and FIG. 11C showing instance segmentation of the cross sections of weft yarns in the side view slices, in accordance with some embodiments.Figures 12A-12C show sequential schematics including FIG. 12A showing assembly of 3D models of yarns, FIG. 12B showing cropping of the RVE of the scanned sample, and FIG. 12C conformal mesh of the RVE, in accordance with some embodiments.Figure 13 shows a Boolean operation between overlapped yarns in the RVE, a difference operation between the yarns in red color and blue color was conducted to eliminate the overlapping zones, in accordance with some embodiments.Figure 14 shows a schematic diagram of the local fiber orientation calculation based on the reconstructed geometry model and associated equations, in accordance with some embodiments.Figure 15 shows a flowchart of an exemplary method, in accordance with some embodiments.DETAILED DESCRIPTIONThe present invention pertains generally to structural analysis of composite materials, in particular 3D modeling of fabric composites, in particular, carbon fiber composite materials.1. OverviewIn one aspect, there is high relevance between inner fabric architecture and homogenized properties of fabric composites due to the significant anisotropy of the fiber reinforcement. To conduct accurate numerical modeling and virtual characterization of fabric composites at mesoscale, modeling of real fabric structure is crucial. Therefore, multiple research works have been conducted aiming to establish reliable tools to reconstruct 3D fabric architectures of various composites.Modeling of fabric composites can be performed at different length-levels (see [1-3] of references listed in Para

[0060] ) due to multiscale features of these materials, but the most commonly utilized level for material study is the mesoscale, where influence of both fabric structure and constituents on homogenized response of composites can be modeled. The most straightforward and widely used tools for mesoscopic model construction are bespoke packages, such as TexGen [4] and WiseGen [5] . But the oversimplified modeling strategies based on estimate path and constant cross-section of yarns using analytical functions in such packages may cause severe errors, such as yarn-to-yarn penetration (see [6] ) , especially for closely packed composites.As an improvement, micro-CT scanning that can directly obtain cross-sectional views of 3D fabric architectures in composites has attracted growing attention recently (see [7-11] ) . Once raw micro-CT images for different cross-section of the scanned fabrics are obtained, yarns and matrix can be easily differentiated by their colors, but splitting of yarns in similar colors is not as convenient, and other more detailed image features should be utilized, among which the most straightforward one is that neighboring yarns can be distinguished by their different fiber orientations. Following this principle, warp and weft yarns of woven composites have been successfully extracted using 3D structural tensors (see [12-14] ) that represent local fiber orientations of the yarn pixels (see [7-10] ) . However, CT equipment with very high resolution of no more than 2 μm / pixel, and long scanning time are of utmost importance to capture the fiber features at the micron level, making reconstruction following this strategy very expensive.To complete reconstruction with economical scanning resolution of no less than 10 μm / pixel that can only identify features at millimeter yarn-level, most previous researchers could only manually separate yarns in all images (see

[0011] ) , which was extremely time-consuming. In addition, information about local fiber orientations was not obtained, so complex numerical modeling requesting input of local material anisotropy could not be performed subsequently.In recent years, benefiting from the rapid development of artificial intelligence (AI) , especially Convolutional Neural Networks (CNN) , some research teams have started to utilize CNN-based image segmentation algorithms to automatically separate individual yarn cross-sections in micro-CT slices of woven composite materials (see [15-19] ) . Song et al. [15, 16] trained the U-Net

[0020] neural network using manual annotation of yarn cross-sections in a certain amount of 2D CT scanning slices of a woven glass fabric reinforced plastic (GFRP) samples. The trained U-Net network successfully segmented individual yarn cross-sections in all the rest 2D CT scanning slices. And the three-dimensional geometry of individual yarns were reconstructed based on these segmented cross-sections. Mendoza et al.

[0017] converted the virtual fabric composite models, which were generated via finite element simulation, into a large number of "pseudo" CT scanning slices containing yarn cross-sectional contour information, and trained Mask R-CNN neural networks

[0021] using these "pseudo" CT scanning slices to segment individual yarn cross-sections in real CT scanning slices of fabric composite samples.Although some researchers have started the work of applying CNN-based image segmentation algorithms in mesoscopic geometry reconstruction of fabric composites, typically, they have simplified the yarn cross-sections to ellipse or polygon shapes during the image segmentation process. Although such simplification could be beneficial to subsequent 3D geometric reconstruction of yarns based on a sweeping operation using a series of yarn cross-sections in CAD software, such as ProE, as described in

[0015] , a lot of morphological information as to the real inner structures of fabric composites are lost, which can severely decrease the accuracy of subsequent numerical modeling based on the reconstructed fabric geometry. Besides the oversimplification of yarn cross-sectional contours, estimation of the nonuniform distribution of local fiber orientations within the reconstructed fabric composite geometry models was rarely discussed in the existing CNN-based reconstruction methods, which would significantly influence local material properties during the subsequent numerical analysis. Most of the previous research simply assumed that the fibers within a yarn were parallel and shared the same path as that of the yarn centerline. And the local fiber orientation at any location within a yarn was simply treated with reference to the tendency of the yarn centerline (see [15-19] ) . However, due to variation of the yarn cross-sections caused by the weaving processes, the local fiber orientations within a yarn are usually nonuniform. Therefore, a more accurate local fiber orientation estimation method, which can take critical physical characteristics of the yarns into consideration, is urgently needed. Lastly, some previous studies (see [15, 16, 18, 19] ) still implement the traditional watershed algorithm in post-processing steps to isolate connected yarns after the semantic segmentation with CNN algorithms, which could lead to lower reliability of these approaches in real applications because of the over-segmentation problem of the watershed algorithm (see

[0022] ) .To address the above issues, the present invention aims to identify the individual yarn cross-sections of fabric composite materials from micro-CT scanning slices. This approach can be based on various computer vision algorithms, including but not limited to U-Net

[0020] and YOLO v8

[0023] , two common CNN algorithms currently utilized in the field of computer vison. During the training processes of these two CNNs, ResNet50-based

[0029] image classification was implemented for training data optimization. It is appreciated that various other image classification systems and algorithms could be used. Furthermore, virtual weft yarns were reconstructed to obtain their cross-sections without additional CT scanning. Advantageously, this reduces the need for extensive CT scanning, which is costly and time-consuming. Based on the yarn cross-sections recognition, reconstruction of the 3D representative volume element (RVE) models of fabric composite materials at the mesoscale was achieved. In addition, an estimation algorithm of local fiber orientations within the reconstructed fabric composite models was established which considered essential physical characteristics of the yarns, in order to reliably generate principal axes of local material anisotropy for subsequent numerical analysis.After the completion of this work, an image-processing tool was built for efficient reconstruction of real architectures containing separate yarns in fabric composites, so as to enable convenient preparation of woven composite RVE models for multiphysics numerical modeling for the first time. The following sections detail this work and are structured as: the invested materials, micro-CT equipment and the overview of the developed method are described in Section 2 first. Then, the extraction of yarn cross-sections from micro-CT images are elaborated in steps, including data set preparation, such as by ResNet50 as described in Section 3.2, semantic segmentation of yarns in different orientations, such as by U-Net as described in Section 3.3 and instance segmentation of parallel yarns with connections, such as by YOLO v8 as described in Section 3.4. Afterwards, modeling and meshing of 3D RVEs for finite element analysis (FEA) based on the individual 2D cross-sections of warp and weft yarns are described in Section 4.1. Finally, an analytical function of local fiber orientation in the reconstructed RVE taking the physical characteristics of the real yarn morphology into consideration are explained in detail in Section 4.2.2. Materials and methods2.1 Materials and micro-CT equipmentThe following described details as to an exemplary implenetation of the methods of the present invention. It is appreciated that variations of this implementation can be realized in keeping with the inventive concepts herein. The fabric composite samples investigated in the current implementation were 2×2 twill prepregs composing of YZ-05 thermoset resin and T300 carbon fibers, which were supplied by the Shandong Jiangshan Fiber Technology Co., Ltd. (Dezhou, China) . There were about 4.375 yarns per centimeter length within the prepregs, and the thickness of one layer of prepreg was 1.1 mm on average. One prepreg sample with one layer and a size of 2 cm×1 cm is demonstrated in Figure 1A. Similar samples were scanned using the Comet Yxlon FF35 CT with a resolution of 18 μm / pixel. Micro-CT slices were scanned starting form one of the short edges of the 1 cm×2 cm sample along the long edge’s direction with an interval of 0.02 mm. A total number of 951 slices were obtained for one sample after disposing the low-quality slices near edges of the sample. Each raw micro-CT slice was cropped into a region of interest (ROI) with a size of 795 pixels×80 pixels. Length scale of the ROI was about 0.0146 mm / pixel. Figure 1B illustrated some examples of the cropped micro-CT slices. The micro-CT slices of the woven fabric composite samples can be roughly divided into three different classes based on morphological characteristics of yarn cross-sections. For better reference, these classes were named highly compacted state, normal state and transition state. The highly compacted state corresponded to the regions within the woven fabric composites where the neighboring yarns are contacting tightly as presented in the middle micro-CT slice in Figure 1B. As contrast, more free contours of yarn cross-sections can be observed in the slices named as normal states as presented in the top micro-CT slice in Figure 1B. Lastly, the transition states contain incomplete yarn cross-sections within the slices as presented in the bottom micro-CT slice in Figure 1B.2.2 Overview of the methodAs demonstrated in Figure 2, the overall process of the developed method can be divided into two main tasks: Task (i) separating the individual yarn cross-sections from micro-CT slices, and Task (ii) generating 3D geometry model of the fabric composite sample involving the local fiber orientation information. In Task (i) , which is further described in Section 3, weft and warp yarn cross-sections in selected raw micro-CT scanning slices were manually labeled as training data set for the U-Net network. After the weft and warp yarn cross-sections in all micro-CT slices were segmented by the trained U-Net, a YOLO v8 network was trained and utilized to separate the contacted yarns in parallel directions. As for Task (ii) , which is discussed further in Section 4, a 3D geometry model of the scanned sample was established through volume rendering using all the segmented yarn cross-sections obtained in Task (i) . After carrying out Boolean operation for overlapping elimination and meshing operation for FEA, local fiber orientation at each element of the geometry model was calculated using an estimation algorithm considering critical physical characteristics of real yarns.3. Extraction of yarn cross-sections from micro-CT images3.1 Principles of CNN-based image segmentationTo establish the valid geometry models where individual yarns are independently identified with no overlapping or penetration, the first task is to separate and extract all yarn cross-sections from the micro-CT slices using CNN-based image segmentation techniques. In the present work, the CNN-based image segmentation contained two main tasks: semantic segmentation and instance segmentation (see for example,

[0024] and

[0025] ) . The former one extracted different classes of yarn cross-sections, including weft and warp yarns with different yarn orientations, from their background through the U-Net

[0020] network using colorful masks, which were groups of pixels within the raw images that were painted into the same color for better identification. On the other hand, the latter one aimed to identify individual instances of objects within a same class

[0025] , which meant to separate the individual cross-sections of weft or warp yarns based on the segmentation masks of U-Net. The instance segmentation task was achieved through the YOLO v8

[0023] network in the present work. While particular algorithms were utilized in the described work, it is appreciated these concepts are applicable to the use of various other algorithms and networks as well.Both U-Net and YOLO v8 are typical CNN networks. Training, validation and predicting processes were the three main steps of utilizing CNN networks. During the training step of a CNN network, the CNN predicts a series of input images with masks and calculates the difference between these predicted masks with the ground truth annotated by humans using certain loss functions. The parameters, such as the weights of connections between neurons, in the CNN were adjusted using the gradient descent method under the control of optimizer to better fit the ground truth based on comparison results calculated by the loss functions. The series of images used in the training step were named as the training data set. After the parameter fitting in the training step, another series of images named as the validation data set were predicted by the trained CNN for the validation step. The similarity degree between the prediction results and manually labeled ground truth of the validation data set was mathematically evaluated using certain algorithms, such as the mean intersection over union (mIOU)

[0037] detailed in Section 3.3.2, as validation accuracy of the trained CNN. In some embodiments, certain hyperparameters, such as the number of hidden layers in CNN, could be tuned according to the evaluation of validation data set in case of overfitting

[0026] . Finally, the testing step of a CNN was conducted, and its main operation was similar to that of the validation step except for that architecture of the CNN was not modified any more. The image series used in the testing process was named as testing data set. And the similarity degree between the prediction results and ground truth of the testing data set was called testing accuracy. This testing process was not necessary in real applications, and in some embodiments, the validation data set could sometimes substitute the testing data set, see for example

[0027] .3.2 Image classification by ResNet 50In some previous works, the micro-CT slices worked as training, validation or testing data sets of CNN-based image segmentation networks were picked up randomly or simply in a number sequence along the scanning direction (see for example, [15, 16] ) . However, to improve the predictive performance of image segmentation networks, the data sets should be as representative as possible (see

[0028] ) , which means most of the variation states of the detected images should be covered.For the present work specifically, to ensure high representativity of the selected micro-CT slices, which formed the datasets to train the appropriate image segmentation networks, micro-CT slices from all the three classes in Figure 1B should be picked up. Considering the time-consuming process to manually divide all micro-CT slices into three classes, a CNN based classifier was utilized in the dataset pretreatment step. In the present work, the classifier was formed by the ResNet50, the basic structure of which is illustrated in Figure 3 and constructed in a suitable manner, such as in the reference

[0029] . Different from the CNN-based image segmentation tool, the trained ResNet50 can classify micro-CT slices into different groups according to their morphological characteristics. This process is also known as image classification , such as in

[0030] . In the present application, in order to train the ResNet50 to do the image classification of micro-CT slices, the first 150 micro-CT slices of one scanned sample were manually classified into three classes as highly compacted state, normal state, and transition state, as discussed previously. By observation, the occurrences of highly compacted, transition and normal states, as illustrated in Figure 1B, were highly periodic in the micro-CT slices, which assist faster manual grouping of all micro-CT slices that finally costed about 10 minutes. In the presented work, the micro-CT slices forming the training and validation data sets to train the ResNet50 were selected evenly from the three classes, and the slice number ratio of the 2 datasets was 3: 1. The training process of the ResNet50 network was performed using 20 epochs on an NVIDIA 3050 GPU with 4GB memory. The initial learning rate was 0.001, the batch size was set as 4, and the training was finished within 5 minutes. Figure 4A illustrates the confusion matrix of the ResNet50 after training, where each element represents the misclassification ratio between the corresponding two classes in the vertical axis representing the actual class label of an image and the horizontal axis indicating the predicted class label of the same image. For example, 2%of the micro-CT slices in the normal state were misclassified into the highly compacted state by the ResNet50 based on the confusion matrix. The accuracy and loss curves of both training and validation processes were also plotted in Figure 4B and 4C. The accuracy was calculated as average correct classification rate of the ResNet50, while the loss, which can be treated as the average degree of dispersion between prediction and ground truth, was defined using the cross entropy function, as described in

[0031] . Based on above curves, the trained ResNet50 could achieve an average classification accuracy of 95%. In the subsequent image segmentation processes, the trained ResNet50 could help divide the target micro-CT slices into the aforementioned three morphological classes, which could assist to create training datasets with high representativity for the image segmentation networks.3.3 Semantic segmentation by U-NetU-Net is a semantic segmentation algorithm based on CNN, as described in

[0020] . There were an abundant number of cases where U-Net network was applied for semantic segmentation tasks (see [32, 33] ) . In the current work, U-Net trained on the customized datasets were applied to segmentation of the yarn cross-sections in micro-CT slices.3.3.1 Architecture of U-NetThe U-Net mainly consists of two parts, as demonstrated in Figure 5, the first of which is the contracting path, and the second one is the expansive path (see

[0020] ) . The contracting path belongs to a typical convolutional network which is formed with repeated convolution layers, each followed by a rectified linear unit (ReLU) activation function and a max pooling operation. During the expansive path, the spatial information is shrunk while feature information is increased. The expansive path combines the feature and spatial information through a sequence of up-convolutions and concatenations with high-resolution features from the contracting path. In this work, as illustrated in Figure 5, the contracting path composed of 4 blocks, each of which has 2 convolution layers using 3x3 kernel with 1 stride, a ReLU function and a 2×2 Max Pooling operator with 2 strides. In each block of the contracting path, the number of feature channels of the input image was doubled. There were four blocks in the expansive path, which was symmetric to those in the contracting path. In each convolution block, there was an up-sampling of the feature map followed by an up-convolution with a 2x2 kernel which reduced the number of feature channels by half, a concatenation which contained the corresponding cropped feature map from the symmetric step in the contracting path, and two convolution layers with 3x3 kernel, each followed by a ReLU activation function. The convolution layers in each block of the expansive path increased the image resolution and decreased the image depth. During the convolution in the expansive path, the image cropping operation was essential due to the loss of border pixels. Followed by the final convolution block of the expansive path, a convolution layer with 1x1 kernel was employed to map image features to the appropriate classes. In the presented work, the input micro-CT images were resized into 572 pixels × 572 pixels before the U-Net process for the ease of convolution.3.3.2 Implement of U-NetThe first step to train a U-Net algorithm was dataset preparation via manual labeling of the micro-CT slices with yarn cross-section contours. In this work, 80 micro-CT slices were evenly selected from the three classes of highly compacted state, normal state and transition state, which in total composed all of the 951 slices of one scanned sample as introduced in Section 3.2. Contours of the yarn cross-sections in the 80 micro-CT slices were manually labeled with line segments in the LabelMe toolbox (see

[0034] ) . The masks of yarn cross-sections could be generated automatically based on the labeled contours. The cross-sections of yarns with different principal directions were painted into masks with different colors to represent different classes in U-Net. In this research specifically, yarns parallel to long edge of the scanned sample were noted as warp yarns, and their cross-section masks were labeled in red. On the other hand, yarns parallel to short edge of the scanned sample were named as weft yarns, and their cross-section masks were labeled in green. Figure 6 presented an example of the annotated micro-CT slices.Then a splitting script was applied to randomly divide the 80 annotated images into a training data set with 72 images and a validation data set with 8 images. There was no special testing data set in this case, because accuracy of the trained U-Net was assessed directly using the validation data set, as explained in Section 3.1. During the training process, the hyperparameters, such as training epochs, batch size, optimizer and learning rate, of the network was manually adjusted via trial and error based on validation accuracy of the trained U-Net. In the presented work, ADAM optimizer (see

[0035] ) was applied with 100 training epochs. The initial learning rate was 0.0001. The minimum learning rate was 10-5, and the batch size was set to 1. VGG-16

[0036] was selected as the backbone. The training process of U-Net was performed on the NVIDIA RTX 3050 GPU on a computer with an AMD 5800H processor, and the training could be completed within 10 minutes. It is appreciated other hardware and processors could be utilized.Figures 7A-7B illustrated the learning performance of the U-Net network with both accuracy and loss curves. The accuracy was defined with mIOU (see

[0037] ) , which was widely utilized in the deep learning field. The definition of mIOU could be presented as:where P and G were the areas of prediction zones and ground truth zones in the target image, respectively. In this work, mIOU was the average ratio of intersection areas of the prediction zones and ground truth zones to their union in validation images. The loss curve was drawn based on the loss functions of every epoch in both training and validation processes. The smoothed curves of both training loss curve and validation loss curve were also drawn. Loss function of cross entropy (see

[0031] ) was utilized to calculate the loss. According to Figure 7A, mIOU accuracy of the U-Net increased gradually with the increase of training epochs and stabilized at around 87%after 70 epochs. Meanwhile in Figure 7B, both training and validation loss of the U-Net decreased to around 10%and stabilized after 70 epochs.The ideal mIOU score for image segmentation depended on the specific application and the complexity of the images being segmented. In general, a higher mIOU score indicated better segmentation accuracy, but the acceptable range of mIOU scores could vary depending on the context. For reference, an mIOU score of around 0.9 was normally regarded as accurate diagnosis in medical imaging applications (see

[0038] ) . Therefore, mIOU of 87%of the trained U-Net was treated to be capable of realizing the target segmentation. The trained U-Net predicted all the 951 slices of a sample within 20 seconds. Figure 7C demonstrates three examples of the micro-CT slices corresponding to the three different morphological classes, as discussed in Section 3.2, and their segmentation results by the trained U-Net network. Segmentation results for cross-sections of the weft and warp yarns were marked in the micro-CT slices. The masks of weft and warp yarns were in green and red, respectively, consistent with the manual annotation.3.4 Instance Segmentation by YOLO v8The warp and weft yarn cross sections in each micro-CT slice were successfully separated in previous steps. However, cross-sections of some yarns along the same direction still showed artificial connections, especially for those yarn cross-sections in the highly compacted state illustrated in Figure 7C, hindering accurate reconstruction of geometry models of the scanned samples. Although some researchers (see [15, 16, 18, 19] ) have applied the watershed algorithm (see

[0039] ) to separate these connecting yarns after the CNN-based semantic segmentation, the high sensitivity to noise and problem of oversegmentation (see

[0022] ) , which may wrongly separate cross-section of a complete yarn into several pieces, of the watershed method severely limited its reliability in this work. Instead, to automatically isolate the connected yarns more reliably, the YOLO v8

[0023] , which was a powerful CNN network focusing on object detection and instance segmentation tasks, was utilized in this work.3.4.1 Introduction of YOLO v8YOLO v8 was one of the newest computer vision models built by Ultralytics Inc.

[0023] . As an out-of-the-box CNN network focused on object detection and instance segmentation, the YOLO v8 was open-source on GitHub (see

[0040] ) and accessible through a Python package as well as a command line interface during application. To avoid verbosity, the detailed architecture of YOLO v8 was not introduced here. In the current work, the YOLO v8 was trained to find the minimum circumscribed box of cross-section of every individual yarn within the micro-CT slices, and the results was next utilized to separate connected yarn cross-sections in the semantic segmentation realized by the trained U-Net from Section 3.3. Due to disparate morphologies of the cross-sections of weft and warp yarns in the micro-CT slices, instance segmentation of the weft and warp yarns was conducted separately, as described further in Section 3.4.2 and 3.4.3.3.4.2 Instance segmentation of cross-sections of warp yarnsAlthough an already-established CNN network, the YOLO v8 still needed training with customized datasets before applying it to object detection of individual yarn cross-sections. These customized datasets were the same as those for the U-Net. During training, most of the hyperparameters, except the number of training epochs and batch size, were kept to be the default values. In practice, the training epoch number was set to be 200 with a batch size of 1. Training of the YOLO v8 was carried out on an NVIDIA Tesla T4 GPU with 16 Gb RAM, which was provided by the Google Colab (see

[0041] ) .Training performance of the YOLO v8 was demonstrated in Figure 8, which shows validation loss, training loss and mAP50 accuracy. The loss was calculated by the cross entropy loss function (see

[0031] ) . The accuracy was calculated using mAP50

[0042] , which was a popular metric to evaluate the performance of object detection tasks. It was defined as the mean average precision (mAP) of the CNN at an intersection over union (IOU) threshold of 0.5 (see

[0042] ) . The mAP50 score ranged from 0 to 1, with higher values indicating better object detection accuracy. Based on the curves in Figure 8, the mAP50 accuracy of the YOLO v8 after training could achieve as high as 94.1%when evaluated with the validation set.The trained YOLO v8 was utilized to detect all 951 micro-CT slices and identify cross-sections of individual warp yarns using red boxes, as shown in Figure 9A. Meanwhile, micro-CT slices only containing the segmentation masks of the warp yarns from U-Net were binarized, as shown in the Figure 9B, where all cross-sections of warp yarns were painted into white with black background. Based on coordinates of the red boxes marked by YOLO v8, a dedicated script written in Python 3 could help blacken the area within every odd or even numbered box counted from left hand side within each binarized image. In this way, as demonstrated in Figure 9C, only the cross-sections of even or odd numbered warp yarns (noted as even or odd warps) counted from left hand side in each binarized image were kept, and they were not connected with other cross-sections anymore. All binarized images were processed twice, one time for odd warps and another time for even warps, by the blackening script to separate all warp yarns.3.4.3 Instance segmentation of cross-sections of weft yarnsIt should be noted that although the individual cross-sections of both warp and weft yarns were successfully extracted and mark with colorful masks by semantic segmentation through the trained U-Net, as illustrated in Figure 7B, the obtained cross-sections of weft yarns were parallel to the centerlines of corresponding weft yarns in physical world. Therefore, it was impossible to separate the connecting weft yarns in this view where only one weft yarn existed in each micro-CT slice. To achieve the instance segmentation of weft yarns, cross-sections of the weft yarns in the view orthogonal to the current scanning direction should be obtained. For clearer reference, the watching view along the scanning direction of micro-CT introduced in Section 2 was named as the front view, and the watching view rotated counterclockwise by 90 degrees from the front view was named the side view.In the current work, cross-sections of the weft yarns in the side view were obtained via a digital approach instead of real micro-CT scanning from the side view. To obtain the cross-sections of weft yarns in the side view, the 3D digital model of weft yarns was firstly constructed through volume rendering, as documented in

[0043] , where a graphic technique created a three-dimensional representation of 2D micro-CT scanning data based on masks of cross-sections of the weft yarns in the front view obtained from the trained U-Net. This volume rendering was completed using the open-access package 3D Slicer (see

[0044] ) , and the generated 3D digital model of weft yarns of a sample was presented in Figure 10. The embedded Screen Capture module in 3D Slicer could export the cross-section images in the side view of the 3D model of weft yarns with required interval distance. These exported side view slices could be treated as the “virtual micro-CT scanning slices” of the sample in the side view. There were 600 side view slices exported from the 3D digital model of weft yarns, some of them were presented in Figure 10.It is worth noting that these side view slices were all binarized for easier processing in the following instance segmentation steps. They only contained cross-sections of the weft yarns and demonstrated similar morphological characteristics as those of the warp yarns in real micro-CT slices from the front view. One reason not to utilize real micro-CT scanning in the side view was to reduce scanning cost. In addition, the “virtual micro-CT scanning slices” in the side view was obtained directly from the semantic segmentation results in the front view, so overlapping between the cross-sections of warp and weft yarns were suppressed to the greatest extent possible, ensuring the lowest degree of penetration error happened during the assembly of solid models of weft and warp yarns, as discussed in Section 4.1.To finish the instance segmentation of cross-sections of weft yarns in the side view slices, the YOLO v8 was employed again similarly to the instance segmentation of the cross-sections of warp yarns in the front view. However, because only the binarized cross-sections of weft yarns were contained in the side view slices, new datasets should be created to train a new YOLO v8. The side view slices with sequence number from 71 to 190 were selected as the new dataset and were manually annotated, by using the LabelMe in this work. The contours of individual cross-sections of weft yarns in the side view slices were labeled with line segments manually. Then, the area within each closed contour was automatically converted into the mask of individual cross-section of weft yarn by LabelMe, as demonstrated in Figure 11A. The 120 annotated images were then randomly split into training and validation dataset in a ratio of 9: 1. The training protocol was exactly the same as that in Section 3.4.2, where YOLO v8 was trained for instance segmentation of cross-sections of warp yarns in the front view. After training, the YOLO v8 could achieve a validation accuracy of 99.5%mAP50 in detecting the individual cross-sections of weft yarns in the side view slices. Through the trained YOLO v8, each individual cross-section of weft yarns in all 600 side view slices were identified and marked with a red box, as shown in Figure 11B. Finally, similar to the instance segmentation of cross-sections of warp yarns in Section 3.4.2, the areas within the red boxes of the odd and even numbered cross-sections of weft yarns counted from left hand side in the binarized side view slices were blackened respectively to separate individual cross-sections of weft yarns. The instance segmentation process of the cross-sections of weft yarns in the side view slices is illustrated in Figure 11C.4. Generation of 3D RVEs for finite element modeling4.1 3D modeling and meshingThe individual cross-sections of warp and weft yarns from previous sections could be directly converted into 3D geometry models of individual yarns through volume rendering using the open-access packages 3D Slicer as discussed in Section 3.4.3. The generated 3D models of various yarns were in the format of stereolithography (STL) , which contained only hollow shells. After conversion into solid bodies format (e.g. STEP files using the Autodesk Fusion 360

[0045] ) , these 3D models of individual yarns were aligned and assembled according to physical locations of corresponding yarns in the scanned sample, as demonstrated in Figure 12A. The assembly was furtherly cropped into the size of 8mm×8mm to form a RVE that could be applied to virtual material characterization, as shown in Figure 12B, where yarns were painted in different colors for better differentiation. Due to the minor errors introduced from volume rendering where the yarn surfaces between two adjacent cross-sections were generated by estimation, there existed some tiny penetrations between adjacent yarns in the assembly. Therefore, Boolean operation was applied to eliminate the penetration between adjacent yarns in the assembly, as illustrated in Figure 13. Specifically, overlapped volumes on one of the adjacent two yarns were cut off, which was also called difference operation. The volume ratio of all overlapping zones to the whole RVE was as small as 5%, which verified the feasibility of using Boolean operation to eliminate the penetration among yarns.Then, the RVE could be meshed with conformal elements automatically, such as by use of the HyperMesh package

[0046] , as presented in Figure 12C. About ten million tetrahedral elements (C3D4) were generated in the RVE. For higher computational efficiency, a dedicated mapping algorithm, such as that proposed in

[0047] , could be applied to convert the conformal mesh into voxel mesh with fewer elements.4.2 Estimation of local fiber orientation combining physical characteristicsBecause the high anisotropy of fabric composite materials, numerical modeling of the RVE of fabric composite samples in FEA relied on not only the 3D geometry model and the mesh, but also the local fiber orientation information of each element for anisotropic property allocation. Most previous publications about the micro-CT based RVE reconstruction for fabric composites simply estimated local fiber orientation of an element as local direction of the centerline of the yarn (see [15-19] ) . Such estimation stood on the assumption that all fibers within a yarn were parallel to the yarn path. Though this approach worked with high efficiency, such assumption ignored the truth that the cross-sections of a yarn changed along the yarn path which could lead to the different fiber paths at and apart from the center of the yarn. In the peripheral area of the shrunk yarn cross sections, the fiber orientations had the components of moving closer to the centerline of yarn due to the conservation of fiber quantity in each yarn cross section. Thus, the assumption could lead to inaccuracies in the model. Therefore, an improved estimation algorithm of local fiber orientation within the reconstructed RVE was established, which could be summarized as the following equations:z′=z+d           (6)θ′=θ            (7)where x, y, z, x′, y′, and z′ were the coordinates of two arbitrary points within two adjacent yarn cross-section slices, which were denoted as slice I and slice II on a same yarn. Distance of slices I and II is d, as illustrated in Figure 14. O′ (x) and O′ (y) were the x and y coordinates of center of the yarn cross-section profile in slice II. Angle θ was the angle between the positive direction of y-axis and the connecting line between the point (x, y, z) and the profile center of the yarn cross-section in slice I. The length of this connecting line was τ. Distance between the profile center and the cross point of the connecting line and yarn cross section profile in slice I was named as L. θ′, τ′and L′were defined in the same way in slice II as their non-primed counterpart in slice I. The two points (x, y, z) and (x′, y′, z′) could be treated to be on the same fiber within the yarn if equation (7) and (8) were satisfied. is the estimated result of local fiber orientation at the point (x, y, z) . This function was developed in consideration of critical physical constraints, including cross-section shape, smooth and continuous fiber path, and conservative fiber numbers within each yarn.The above Eqs. (2) – (8) defined analytical relationship between the Cartesian coordinates (x, y, z) and local fiber orientation of an arbitrary point inside a yarn of the reconstructed RVE model. Based on this analytical algorithm, the local fiber orientation at each element in the conformal mesh obtained in Section 4.1 could be calculated based on the element center coordinates.5. Results and discussionA new micro-CT-based RVE reconstruction method for fabric composites combining the CNN-based image segmentation tools U-Net, and YOLO v8, and critical physical characteristics of real fabric composites was developed in this work. The developed method enabled the highly accurate modeling of inner structures of fabric composites without geometric simplification of yarns that are applied in most of the current RVE generation packages. The high-resolution but expensive micro-CT equipment to identify individual fibers for local anisotropy determination was not required either. In addition, the automated reconstruction process of RVE can help researchers eliminate the time-consuming manual separation of yarn cross-sections from the micro-CT slices. Compared with the previous research which also applied CNN tools for RVE reconstruction of fabric composites from micro-CT slices (see [15-19] ) , the current work exhibited excellent performance as well as some innovative adaptions, which could be realized individually or in any combination:1) Implementation of both sematic segmentation by U-Net and object detection by YOLO v8, instead of the watershed algorithm that might involve oversegmentation, to achieve instance segmentation and separate connecting cross-sections of yarns. Training data sets for both the U-Net and YOLO v8 were efficiently prepared via automatic image classification using the ResNet50.2) Extraction of individual cross-sections of weft and warp yarns only using the micro-CT scanning slices from the front view. The extraction of individual cross sections of the weft yarns were conducted in the “virtual micro-CT slices” in the side view, which were obtained by slicing the 3D digital model of weft yarns without the redundant micro-CT scanning data from the side view obtained in the real world. The micro-CT scanning cost and the probability of penetration error happened during the assembly of weft and warp yarns were both decreased accordingly.3) An analytical function to estimate local fiber orientations in the reconstructed RVE considering critical physical characteristics, including the continuous variation of yarn cross-sections and the conservation of fiber numbers within a yarn, of the real yarns.The developed method demonstrated great potential in the FEA-based virtual characterization of fabric composite materials. Compared with the traditional approaches where the oversimplified geometry models were imported from CAD-based RVE generation package, the implement of the presented RVE reconstruction method can ensure high-performance FEA simulation where the accumulated errors caused by the imprecision of the geometry models will be restrained as much as possible. FIG. 15 depicts a method flowchart of the general aspects of the methods described herein.To understand the background and various aspects of the state of the art, reference is made to the following references. [1] Gao Z, Chen L. A review of multi-scale numerical modeling of three-dimensional woven fabric [J] . Composite Structures, 2021, 263: 113685. [2] Vanaerschot A, Cox B N, Lomov S V, et al. Experimentally validated stochastic geometry description for textile composite reinforcements [J] . Composites science and technology, 2016, 122: 122-129. [3] El Said B, Ivanov D, Long A C, et al. Multi-scale modelling of strongly heterogeneous 3D composite structures using spatial Voronoi tessellation [J] . Journal of the Mechanics and Physics of Solids, 2016, 88: 50-71. [4] Sherburn M. Geometric and mechanical modelling of textiles [D] . University of Nottingham, 2007. [5] Verpoest I, Lomov S V. Virtual textile composites software WiseTex: Integration with micro-mechanical, permeability and structural analysis [J] . Composites Science and Technology, 2005, 65 (15-16) : 2563-2574. [6] Zhang W, Bostanabad R, Liang B, et al. A numerical Bayesian-calibrated characterization method for multiscale prepreg preforming simulations with tension-shear coupling [J] . Composites Science and Technology, 2019, 170: 15-24. [7] Wijaya W, Kelly P A, Bickerton S. A novel methodology to construct periodic multi-layer 2D woven unit cells with random nesting configurations directly from μCT-scans [J] . Composites Science and Technology, 2020, 193: 108125. [8] Straumit I, Lomov S V, Wevers M. Quantification of the internal structure and automatic generation of voxel models of textile composites from X-ray computed tomography data [J] . Composites Part A: Applied Science and Manufacturing, 2015, 69: 150-158. [9] Liu Y, Straumit I, Vasiukov D, et al. Prediction of linear and non-linear behavior of 3D woven composite using mesoscopic voxel models reconstructed from X-ray micro-tomography [J] . Composite structures, 2017, 179: 568-579.

[0010] Wintiba B, Vasiukov D, Panier S, et al. Automated reconstruction and conformal discretization of 3D woven composite CT scans with local fiber volume fraction control [J] . Composite Structures, 2020, 248: 112438.

[0011] Huang W, Causse P, Brailovski V, et al. Reconstruction of mesostructural material twin models of engineering textiles based on Micro-CT Aided Geometric Modeling [J] . Composites Part A: Applied Science and Manufacturing, 2019, 124: 105481.

[0012] Naouar N, Vasiukov D, Park C H, et al. Meso-FE modelling of textile composites and X-ray tomography [J] . Journal of Materials Science, 2020, 55: 16969-16989.

[0013] Bigun J. Optimal orientation detection of linear symmetry [J] . 1987.

[0014] Estépar R S J. Local structure tensor for multidimensional signal processing: applications to medical image analysis [M] . Presses univ. de Louvain, 2007.

[0015] Song Y, Qu Z, Liao H, et al. Material twins generation of woven polymer composites based on ResL-U-Net convolutional neural networks [J] . Composite Structures, 2023, 307: 116672.

[0016] Chen Y, Chen Y, Wang D, et al. Generating 3D digital material twins for woven ceramic‐matrix composites from μCT images [J] . Journal of the American Ceramic Society, 2022, 105 (1) : 481-497.

[0017] Mendoza A, Trullo R, Wielhorski Y. Descriptive modeling of textiles using FE simulations and deep learning [J] . Composites Science and Technology, 2021, 213: 108897.

[0018] Blusseau S, Wielhorski Y, Haddad Z, et al. Instance segmentation of 3D woven fabric from tomography images by Deep Learning and morphological pseudo-labeling [J] . Composites Part B: Engineering, 2022, 247: 110333.

[0019] Ali M A, Guan Q, Umer R, et al. Efficient processing of μCT images using deep learning tools for generating digital material twins of woven fabrics [J] . Composites Science and Technology, 2022, 217: 109091.

[0020] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation [C]  / / Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18. Springer International Publishing, 2015: 234-241.

[0021] He K, Gkioxari G, Dollár P, et al. Mask r-cnn [C]  / / Proceedings of the IEEE international conference on computer vision. 2017: 2961-2969.

[0022] Kornilov A S, Safonov I V. An overview of watershed algorithm implementations in open source libraries [J] . Journal of Imaging, 2018, 4 (10) : 123.

[0023] Ultralytics, Explore YOLOv8. https:  / / yolov8. com. (Accessed Nov, 01 2023) .

[0024] Guo D, Pei Y, Zheng K, et al. Degraded image semantic segmentation with dense-gram networks [J] . IEEE Transactions on Image Processing, 2019, 29: 782-795.

[0025] Yi J, Wu P, Jiang M, et al. Attentive neural cell instance segmentation [J] . Medical image analysis, 2019, 55: 228-240.

[0026] Ying X. An overview of overfitting and its solutions [C]  / / Journal of physics: Conference series. IOP Publishing, 2019, 1168: 022022.

[0027] Brownlee J. What is the difference between test and validation datasets [J] . Machine Learning Mastery, 2017, 14.

[0028] Borovicka T, Jirina Jr M, Kordik P, et al. Selecting representative data sets [J] . Advances in data mining knowledge discovery and applications, 2012, 12: 43-70.

[0029] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition [C]  / / Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

[0030] Lu D, Weng Q. A survey of image classification methods and techniques for improving classification performance [J] . International journal of Remote sensing, 2007, 28 (5) : 823-870.

[0031] De Boer P T, Kroese D P, Mannor S, et al. A tutorial on the cross-entropy method [J] . Annals of operations research, 2005, 134: 19-67.

[0032] Siddique N, Paheding S, Elkin C P, et al. U-net and its variants for medical image segmentation: A review of theory and applications [J] . Ieee Access, 2021, 9: 82031-82057.

[0033] Krithika alias AnbuDevi M, Suganthi K. Review of Semantic Segmentation of Medical Images Using Modified Architectures of UNET [J] . Diagnostics, 2022, 12 (12) : 3064.

[0034] Russell B C, Torralba A, Murphy K P, et al. LabelMe: a database and web-based tool for image annotation [J] . International journal of computer vision, 2008, 77: 157-173.

[0035] Zhang Z. Improved adam optimizer for deep neural networks [C]  / / 2018 IEEE / ACM 26th international symposium on quality of service (IWQoS) . Ieee, 2018: 1-2.

[0036] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J] . arXiv preprint arXiv: 1409.1556, 2014.

[0037] Murphy A H. The Finley affair: A signal event in the history of forecast verification [J] . Weather and forecasting, 1996, 11 (1) : 3-20.

[0038] El Amraoui K, Ezzaki A, Masmoudi L, et al. Machine learning algorithm for Avocado image segmentation based on quantum enhancement and Random forest [C]  / / 2022 2nd International Conference on Innovative Research in Applied Science, Engineering and Technology (IRASET) . IEEE, 2022: 1-7.

[0039] Gonzalez R C. Digital image processing [M] . Pearson education india, 2009.

[0040] Jocher, G., Chaurasia, A., &Qiu, J. (2023) . YOLO by Ultralytics (Version 8.0.0) [Computer software] . https:  / / github. com / ultralytics / ultralytics

[0041] Bisong E, Bisong E. Google colaboratory [J] . Building machine learning and deep learning models on google cloud platform: a comprehensive guide for beginners, 2019: 59-64.

[0042] Bochkovskiy A, Wang C Y, Liao H Y M. Yolov4: Optimal speed and accuracy of object detection [J] . arXiv preprint arXiv: 2004.10934, 2020.

[0043] Drebin R A, Carpenter L, Hanrahan P. Volume rendering [J] . ACM Siggraph Computer Graphics, 1988, 22 (4) : 65-74.

[0044] Pieper S, Halle M, Kikinis R. 3D Slicer [C]  / / 2004 2nd IEEE international symposium on biomedical imaging: nano to macro (IEEE Cat No. 04EX821) . IEEE, 2004: 632-635.

[0045] Verma G. Autodesk fusion 360 black book [M] . BPB Publications, 2018.

[0046] Gunder A. Hyperworks: on digital literature and computer games [M] . 2004.

[0047] Feng Y, Wang Z, Liu M, et al. Numerical prediction for viscoelasticity of woven carbon fiber reinforced polymers (CFRPs) during curing accounting for variation of yarn angle caused by preforming [J] . Composites Part A: Applied Science and Manufacturing, 2023: 107631.

[0047] U. S. Patent Publication No. 2023 / 0009054.In the foregoing specification, the invention is described with reference to specific embodiments thereof, but those skilled in the art will recognize that the invention is not limited thereto. Various features, embodiments and aspects of the above-described invention can be used individually or jointly. Further, the invention can be utilized in any number of environments and applications beyond those described herein without departing from the broader spirit and scope of the specification. The specification and drawings are, accordingly, to be regarded as illustrative rather than restrictive. It will be recognized that the terms “comprising, ” “including, ” and “having, ” as used herein, are specifically intended to be read as open-ended terms of art. Any references to publications, patents, or patent applications are incorporated herein by reference in their entirety for all purposes.

Claims

1.A method comprising:performing image segmentation for a plurality of micro-CT images of cross-sections of a fiber-reinforced composite material using CNN-based algorithms based on morphological characteristics of the cross-sections; andgenerating a 3D geometry model of the fiber-reinforced composite material, based on the plurality of micro-CT images of cross-sections, integrated with local fiber orientation information.2.The method of claim 1, wherein the fiber-reinforced composite material is a fabric comprising weft and warp yarns, such as woven carbon fiber reinforced polymer (CFRP) .3.The method of any preceding claim, wherein the plurality of images is divided into differing states of the fabric, which comprises: a normal state, a highly compacted state, and a transition state, through image classification.4.The method of any preceding claim, wherein performing image segmentation comprises separating and extracting all yarn cross-sections from the plurality of micro-CT slices by performing CNN-based algorithms.5.The method of claim 4, wherein a high representativity of training sets for the CNN-based image segmentation algorithms is ensured by dividing the collected micro-CT images into differing groups or states by image classification .6.The method of claim 4, wherein the image segmentation comprises performing both semantic segmentation and instance segmentation.7.The method of any preceding claim, wherein the images of the plurality of micro-CT images are all obtained from a front view.8.The method of claim 7, wherein the 3D geometry model is determined from the plurality of micro-CT images without utilizing any micro-CT images from a side view.9.The method of any preceding claim, further comprising:conducting semantic segmentation which separate cross sections of warp and weft yarns of the material in all micro-CT scanning images using CNN-based algorithms.10.The method of any preceding claim, further comprising:conducting CNN-based object detection to separate cross-sections of individual warp yarns that are artificially connected in the semantic segmentation results.11.The method of any preceding claim, further comprising:using the segmented cross-sections of weft yarns in all micro-CT images to directly generate the 3D geometry model of all weft yarns of the scanned fabric composite sample without simplification and loss of geometrical details.12.The method of any preceding claim, further comprising:exporting the binarized cross-sections of the geometry model of weft yarns in a side view which is normal to the real micro-CT scanning direction.13.The method of any preceding claim, further comprising:conducting CNN-based object detection to separate cross-sections of individual weft yarns that are artificially connected in binarized cross-sections of the geometry model of weft yarns in a side view.14.The method of any preceding claim, further comprising:establishing the 3D models of individual warp yarns and weft yarns directly based on the separated individual cross-sections of warp yarns and weft yarns.15.The method of claim 14, further comprising:assembling all the 3D models of individual warp yarns and weft yarns to generate the 3D geometry model of the scanned fabric composite sample, so as to avoid loss of geometrical details.16.The method of any preceding claim, further comprising:making Boolean operation for the elimination of penetration among adjacent yarns in the 3D geometry model.17.The method of any preceding claim, further comprising:estimating the local fiber orientations at any position within the 3D geometry model using an analytical function with consideration of the continuity of the adjacent cross sections of yarns in reality.18.A software program comprising a trained model for performing image segmentation on micro-CT images to determine a structure of a fiber-reinforced composite material, wherein the software program comprises executable instructions configured to perform:image segmentation for a plurality of micro-CT images of cross-sections of a fiber-reinforced composite material using CNN-based algorithms based on morphological characteristics of the cross-sections; andgenerate a 3D geometry model of the fiber-reinforced composite material, based on the plurality of micro-CT images, integrated with local fiber orientation information.19.The software program of claim 18, wherein the fiber-reinforced composite material is a fabric comprising weft and warp yarns, such as woven carbon fiber reinforced polymer (CFRP) .20.The software program of claim 18 or 19, wherein performing image segmentation comprises separating and extracting all yarn cross-sections from the plurality of micro-CT slices by performing CNN-based algorithms.21.The software program of any of claims 18-20, wherein the image segmentation comprises performing both semantic segmentation and instance segmentation.22.The software program of any of claims 18-21, wherein the images of the plurality of micro-CT images are all obtained from a front view.23.The software program of any of claims 18-22, wherein the 3D geometry model is determined from the plurality of micro-CT images without utilizing any micro-CT images from a side view.

Images