Methods and systems for determining sample coating composition

Abstract

A computer-implemented method (1500) for providing a digital representation (1420) associated with a reference coating on a surface area of an object, the reference coating comprising an effect pigment, the method (1500) comprising: obtaining (1510) at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; and generating (1520) the digital representation of the reference coating, wherein the digital representation comprises at least one of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, and reference coating thickness data; and corresponding apparatuses, client-server architectures, uses, computer program elements and computer-readable media.

Description

METHODS AND SYSTEMS FOR DETERMINING SAMPLE COATING COMPOSITIONTECHNICAL FIELD

[0001] The invention relates to preparing a sample coating, and more particularly to providing a digital representation associated with a reference coating and for providing a sample coating composition for preparing the sample coating.

[0002] TECHNICAL BACKGROUND

[0003] The present disclosure relates, in general terms, to identification of effect pigments in coatings.

[0004] To protect and  / or decorate a substrate, e.g. a body of a vehicle such as a car, it may be provided with a surface coating. Surface coatings may be applied as a monocoat, two-layer coating comprising a colorcoat as basecoat and a clearcoat for protecting the colorcoat from damage, or a three-layer coating (tricoat) further comprising a mid-coat layer for creating a more aesthetically pleasing finish, for example.

[0005] Formulations for coatings (coating formulations, coating compositions) may be pigmented coating formulations, e.g. opaque coating formulations, comprising one or more pigments. Types of pigments comprise color pigments and effect pigments, for example. The color pigments have an optical effect that is based on selective light absorption and  / or light scattering. The effect pigments have an optical effect that is based on directed light reflection, light refraction and  / or light interference. A pigmented coating formulation comprising only a color pigment or color pigments may be referred to as solid color formulation. A pigmented coating formulation comprising an effect pigment or effect pigments may be referred to as effect coating formulation. For example, a coating on a car body is prepared by applying at least one coating formulation to a surface of the car body and curing the applied coating formulation (s) . The curing may be performed per applied coating formulation, or jointly for the applied coating formulations, such that the applied coating formulations are cured simultaneously. Typical coatings comprise at least one colorcoat layer having a pigmented coating formulation, and at least one clearcoat layer on top of the colorcoat layer. An effect pigment of a given type comprises effect pigment flakes made of a given material and typically having non-uniform contours, i.e. irregular edges, non-uniform sizes, that may cause different size distributions for different effect pigments. Materials may comprise aluminum and mica, for example.Effect pigments flakes in coatings may overlap with each other and  / or may create agglomerates. Moreover, effect pigments interacting with solid pigments may potentially lead to color variations of the effect pigment flakes and  / or affect the texture appearance. Thus, identification of effect pigments, that uses image analysis, for a unique classification of the effect pigments is extremely difficult and complex.

[0006] For repairing an existing coating, that may have been damaged in a car collision, by stone chipping or by scratches, for example, an unknown automotive color needs to be identified, so that a matching coating can be applied. Identification typically starts with identifying the effect pigments used for the coating to be matched. The step of identifying the effect pigments is still a demanding, mostly manual step requiring comprehensive expert knowledge. A colorist examines a color sample under a microscope and identifies candidates of effect pigment types for a first color match. The colorist may need to test repeatedly a number of coating compositions, even when the vehicle’s original equipment manufacturing (OEM) coating is known. For a set of new vehicles having a given OEM coating, their color and  / or appearance may vary owing to a number of reasons including differences, for example, in application techniques and atmospheric conditions, that may vary from production plant to plant, time of year and year to year, for example. Further, the car body and add-on parts such as bumpers and casings of exterior rearview mirror may be made of different material, have different textures, have been produced in different production plants and  / or have been coated in different paint shops. Thus, coatings of the car body and add-on parts, even for a supposedly same color, may have different formulations, requiring different repair formulations in case of repair. Moreover, colors and  / or appearances of the vehicles may change individually owing for a number of reasons including use, car, environmental conditions and solar radiation, for example.

[0007] Thus, color adjustment of a sample coating formulation to match the color and  / or appearance of a reference coating is an iterative process. As such, starting with a preliminary sample coating formulation, a sample coating formulation usually has to be adjusted several times until an adjusted sample coating having a color and  / or appearance that sufficiently match the color of the reference coating has been found, rendering the color adjustment process time consuming and expensive.

[0008] For developing new coating formulations and  / or for analyzing coating formulations of unknown coatings, tools, such as digital tools, may support developers and colorists alike.

[0009] However, there remains a need for identifying an effect pigment in a coating with high accuracy. Further, there remains a need for identifying an effect pigment with a low concentration  / occurrence in a coating. Furthermore, there remains a need for identifying an effect pigment with rare presence  / use in coatings.

[0010] Moreover, for repairing the existing coating of a car’s bodywork, for example, in a local bodyshop, it may be necessary to cut out a part of the bodywork and send the part to a central or global color laboratory. At the color laboratory, an expert colorist may use the cut-off part as a reference or “standard” and try to find a sample coating composition replicating the appearance of the reference.

[0011] Thus, there remains a need for providing a sample coating composition associated with a reference coating and for preparing a sample coating associated with the sample coating composition.SUMMARY

[0012] In an aspect, the disclosure relates to a computer-implemented method for providing a digital representation associated with a reference coating on a surface area of an object, the reference coating comprising an effect pigment, the method comprising: obtaining at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference light detection and ranging system (Lidar) data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; and generating the digital representation of the reference coating, wherein the digital representation comprises at least one of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, and reference coating thickness data.

[0013] The computer-implemented method, corresponding apparatus and corresponding client-server architecture may allow preparing and  / or providing a virtual representation of the reference coating. However, the digital representation of the reference coating may not comprise reference coating composition data. Providing the virtual representation of the reference coating may remove the need for a physical presence of the reference coating on the surface area of the object, such as a cut-off part from a car’s bodywork, for example, for analyzing the reference coating and  / or determining the sample coating composition. As a result, they may remove the need for transporting the reference coating or cut-off part from a first location such as a bodyshop to a second location such as a laboratory. Compared color matching at the bodyshop, they may allow for, or enable, improved color matching at the laboratory. They may also remove the need from transporting the reference coating or cut-off part from one laboratory to another laboratory. Thus, they may reduce a time delay, save time and  / or allow for faster repair. They may reduce consumption of energy and  / or raw material. The may reduce waste. They may reduce cost. They may reduce environmental impact. They may increase availability and  / or accessibility. Further, they may allow retaining and  / or storing the virtual representation over an extended period of time. They may also allow retaining and  / or storing the virtual representation at a central location or at decentral locations. Moreover, they may allow for establishing a collection, library or database of coatings such as reference coatings. They may allow for browsing the collection of coatings. As a result, they may foster further improvements of the color matching process. Further, they may allow determining effect pigment data associated with an effect pigment comprised in the reference coating on the surface area of the object as described herein.

[0014] Availability and  / or accessibility of the digital representation of the reference coating may allow for providing a sample coating composition for preparing a sample coating without a need for physical presence of the reference coating on the surface area of the object.

[0015] Thus, in another aspect, the disclosure relates to a computer-implemented method for providing a sample coating composition for preparing a sample coating, the method comprising: obtaining a digital representation of a reference coating on a surface area of an object, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; determining sample coating composition data associated with a sample coating composition by matching at least one, or some, of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, reference coating thickness data and meta-data associated with the reference coating with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; and providing the sample coating composition associated with the determined sample coating composition data as the sample coating composition.

[0016] As a result, the appearance of the sample coating matches the appearance of the reference coating.

[0017] In another aspect, the disclosure relates to a computer-implemented method for providing a sample coating composition for preparing a sample coating, the method comprising: obtaining a digital representation of a reference coating on a surface area of an object, the reference coating comprising an effect pigment, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; receiving an indication mark associated with the effect pigment, wherein the indication mark identifies an effect pigment pixel in the plurality of pixels, wherein the effect pigment pixel is associated with the effect pigment in the plurality of pixels; segmenting, using the indication mark, the reference coating image data into segmented image data associated with the effect pigment; generating an effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different effect pigments; determining, based on the effect pigment class, reference effect pigment data associated with the effect pigment; determining sample coating composition data associated with a sample coating composition by matching the digital representation of the reference coating and determined reference effect pigment data with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; and providing the sample coating composition associated with the determined sample coating composition data as the sample coating composition.

[0018] The computer-implemented method, corresponding apparatus and corresponding client-server architecture may allow providing, from the digital representation, the sample coating composition for preparing the sample coating. However, the digital representation of the reference coating may not comprise reference coating composition data. Using the virtual representation of the reference coating may remove the need for a physical presence of the reference coating on the surface area of the object, such as a cut-off part from a car’s bodywork, for example, for determining the sample coating composition. As a result, they may remove the need for transporting the reference coating or cut-off part from a first location such as a bodyshop to a second location such as a laboratory. Compared color matching at the bodyshop, they may allow for, or enable, improved color matching at the laboratory. They may also remove the need from transporting the reference coating or cut-off part from one laboratory to another laboratory. Thus, they may reduce a time delay, save time and  / or allow for faster repair. They may reduce consumption of energy and  / or raw material. The may reduce waste. They may reduce cost. They may reduce environmental impact. They may increase availability and  / or accessibility. Further, they may allow determining effect pigment data associated with an effect pigment comprised in the reference coating on the surface area of the object as described herein.

[0019] By using the digital representation of the reference coating that may comprise a microscopic image of the reference coating, the effect pigmentation may be reliably determined by using indication marks in combination with the trained data-driven model. This way, the color matching process may be significantly improved without requiring extensive knowledge on the physical reference and  / or coating effect pigments, especially on effect pigments only present in small amounts or rarely present within coatings. A more reliable determination of effect pigments present within the reference coating may allow reducing a number of trials required to produce a sample coating visually matching the reference coating, for example the coating associated with the microscope image being analysed, in appearance. Thus, efficiency of the color matching process may be improved. The computer-implemented method, corresponding apparatus and corresponding client-server architecture may allow to reducing an amount of coating materials, raw materials, energy and  / or waste associated with the color matching process.

[0020] By using the digital representation of the reference coating, the color matching process may be performed irrespective of the location of the physical reference coating. Thus, they may improve flexibility with respect to the location where the color matching process is performed and  / or avoid physical transport of the reference coating associated with environmental impact. As a result, efficiency of the color matching process may be improved while the environmental impact associated with the color matching process may be reduced.

[0021] In another aspect, the disclosure relates to an apparatus for providing a digital representation associated with a reference coating on a surface area of an object, the reference coating comprising an effect pigment, the apparatus comprising: an input interface configured to: obtain at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; and a processing unit configured to: generate the digital representation of the reference coating, wherein the digital representation comprises at least one of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, and reference coating thickness data.

[0022] In another aspect, the disclosure relates to an appartus for providing a sample coating composition for preparing a sample coating, the apparatus comprising: an input interface configured to: obtain a digital representation of a reference coating on a surface area of an object, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; and a processing unit configured to: determine sample coating composition data associated with a sample coating composition by matching at least one, or some, of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, reference coating thickness data and meta-data associated with the reference coating with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; and provide the sample coating composition associated with the determined sample coating composition data as the sample coating composition.

[0023] As a result, the appearance of the sample coating matches the appearance of the reference coating.

[0024] In another aspect, the disclosure relates to an apparatus for providing a sample coating composition for preparing a sample coating, the apparatus comprising: an input interface configured to: obtain a digital representation of a reference coating on a surface area of an object, the reference coating comprising an effect pigment, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; a processing unit configured to: receive an indication mark associated with the effect pigment, wherein the indication mark identifies an effect pigment pixel in the plurality of pixels, wherein the effect pigment pixel is associated with the effect pigment in the plurality of pixels; segment, using the indication mark, the reference coating image data into segmented image data associated with the effect pigment; generate an effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different effect pigments; determine, based on the effect pigment class, reference effect pigment data associated with the effect pigment; determine sample coating composition data associated with a sample coating composition by matching the digital representation of the reference coating and determined reference effect pigment data with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; and provide the sample coating composition associated with the determined sample coating composition data as the sample coating composition.

[0025] In another aspect, the disclosure relates to a client-server architecture for providing a digital representation associated with a reference coating on a surface area of an object, the reference coating comprising an effect pigment, wherein: a client is configured to: obtain at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; and a server is configured to: generate the digital representation of the reference coating, wherein the digital representation comprises at least one of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, and reference coating thickness data.

[0026] In another aspect, the disclosure relates to a client-server architecture for providing a sample coating composition for preparing a sample coating, wherein: a client is configured to: obtain a digital representation of a reference coating on a surface area of an object, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; and a server is configured to: determine sample coating composition data associated with a sample coating composition by matching at least one, or some, of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, reference coating thickness data and meta-data associated with the reference coating with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; and provide the sample coating composition associated with the determined sample coating composition data as the sample coating composition.

[0027] As a result, the appearance of the sample coating matches the appearance of the reference coating.

[0028] In another aspect, the disclosure relates to a client-server architecture for providing a sample coating composition for preparing a sample coating, wherein: a client is configured to: obtain a digital representation of a reference coating on a surface area of an object, the reference coating comprising an effect pigment, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; and a server is configured to: receive an indication mark associated with the effect pigment, wherein the indication mark identifies an effect pigment pixel in the plurality of pixels, wherein the effect pigment pixel is associated with the effect pigment in the plurality of pixels; segment, using the indication mark, the reference coating image data into segmented image data associated with the effect pigment; generate an effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different effect pigments; determine, based on the effect pigment class, reference effect pigment data associated with the effect pigment; determine sample coating composition data associated with a sample coating composition by matching the digital representation of the reference coating and determined reference effect pigment data with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; and provide the sample coating composition associated with the determined sample coating composition data as the sample coating composition.

[0029] EMBODIMENTS

[0030] There is a need to improve preparation of a sample coating.

[0031] An object of the present disclosure is to provide a method for providing, from a reference coating on a surface area of an object, a sample coating composition for preparing a sample coating.

[0032] In the following, embodiments of the present disclosure will be outlined by ways of examples. It is to be understood that the present disclosure is not limited to said embodiments and  / or examples.

[0033] In another embodiment of the computer-implemented method, obtaining the reference coating image data may comprise capturing microscopic image data using a microscope.

[0034] The method may provide improved quality of the reference coating data. Thus, the result of the color matching process may be improved. As a result, the appearance of the sample coating may more closely match the appearance of the reference coating.

[0035] In another embodiment of the computer-implemented method, capturing the microscopic image data may comprises using a magnification factor of at least one of 10x, 20x, 50x, 100x and 200x.

[0036] The method may provide sufficient quality and  / or detail of the reference coating data. The method may allow adjusting the magnification factor of the microscope to a value suitable for the color matching process.

[0037] In another embodiment of the computer-implemented method, capturing the microscopic image data may comprise obtaining an image in a brightfield condition. Additionally or alternatively, capturing the microscopic image data may comprise obtaining another image in a darkfield condition. Additionally or alternatively, capturing the microscopic image data may comprise obtaining additional image (s) in light conditions using light of different wavelengths.

[0038] The method may allow capturing the images in different light condition. Thus, the method may allow gathering additional information. The additional information may improve the result of the color matching process.

[0039] In another embodiment of the computer-implemented method, obtaining the reference color data may comprise capturing spectrophotometer data using a spectrophotometer. In another embodiment of the computer-implemented method, obtaining the reference reflectance data may comprise capturing spectrophotometer data using a spectrophotometer.

[0040] The method may allow gathering additional information. The additional information may improve the result of the color matching process.

[0041] In another embodiment of the computer-implemented method, capturing the spectrophotometer data may comprise capturing reflectance curve data.

[0042] The method may allow gathering additional information about reflectance of the reference coating in dependence of material such as effect pigments in the reference coating. Thus, this additional information may be highly relevant for the result of the color matching process.

[0043] In another embodiment of the computer-implemented method, capturing reflectance curve data may comprise capturing a set of reflectance curve data each of which being associated with a geometry of a plurality of geometries.

[0044] The method may allow gathering additional information about reflectance of the reference coating in dependence of an angle of view. Thus, this additional information may be relevant for the result of the color matching process. Thus, the method may be useful when the color matching process is used for analyzing complex and  / or complicated color compositions.

[0045] In another embodiment of the computer-implemented method, obtaining the reference gloss data may comprise capturing gloss data using a glossmeter.

[0046] The method may integrate with existing equipment such as laboratory equipment and the glossmeter.

[0047] In another embodiment of the computer-implemented method, obtaining the reference radar data may comprise measuring at least one of relative permittivity and transmission.

[0048] In another embodiment of the computer-implemented method, measuring the at least one of relative permittivity and transmission may comprise measuring at a frequency from 76 GHz to 81 GHz.

[0049] In another embodiment of the computer-implemented method, obtaining the reference Lidar data may comprise measuring an infrared (IR) reflectance.

[0050] In another embodiment of the computer-implemented method, measuring the infrared reflectance may comprise measuring the infrared reflectance at a wavelength of at least one of 905 nm and 1550 nm.

[0051] In another embodiment of the computer-implemented method, obtaining the reference coating thickness data may comprise measuring the thickness using a coating thickness gauge.

[0052] The method may allow gathering important information, that may have a significant influence on the visual appearance of the coating (s) .

[0053] In another embodiment of the computer-implemented method, obtaining the meta-data comprises obtaining at least one of a creation date of the reference coating image data, a creation date of the reference color data, a creation date of the reference reflection data, a creation date of the reference coating thickness data, a position of the part of the reference coating on the surface area, environmental data associated with an environmental condition of the reference coating and illumination data associated with an illumination condition of the reference coating and a comment.

[0054] The method may allow gathering of auxiliary information. Whereas the auxiliary information may not directly influence the appearance of the coating, any auxiliary information may be useful for improving the color matching process. For example, knowledge about a car manufacture, car model, model year and  / or production site associated with the reference coating and  / or its digital representation may be useful for improving the color matching process. The method may render a collection, library or database of coatings more useful.

[0055] In other embodiment (s) of the computer-implemented method (s) , the digital representation (s) may be at least one of a digital twin and digital coating twin. The method may allow representing the coating along and  / or across its lifecycle. The digital twin may allow representing the object or parts thereof, for example.

[0056] In another embodiment, the computer-implemented method may be performed at a first location.

[0057] The first location may be a bodyshop, a local bodyshop or an office associated with or near to the bodyshop, for example.

[0058] In another embodiment of the computer-implemented method, may be performed at a second location.

[0059] The second location may be a laboratory, an international laboratory, located in a country and  / or on continent being different from the bodyshop’s and  / or office’s country and  / or continent. Thus, the method may allow performing the color matching process at a day and  / or time when the bodyshop and  / or office may not be operating. Thus, the method may safe more time.

[0060] In another embodiment, the computer-implemented method may further comprise: determining sample clearcoat composition data associated with a sample clearcoat composition by matching the reference gloss data with a plurality of clearcoat composition data, each of which being associated with a clearcoat composition of a plurality of clear coat compositions, and providing the sample clearcoat composition associated with the determined sample clearcoat composition data with the sample coating composition.

[0061] The method may allow performing the color matching process for a coating system comprising more than one coating, for example: a two-layer coating comprising a colorcoat as basecoat and a clearcoat for protecting the colorcoat from damage, or a three-layer coating further comprising a mid-coat layer for creating a more aesthetically pleasing finish.

[0062] In another embodiment, the computer-implemented method may further comprise: preparing the sample coating based on provided sample coating composition and reference coating thickness data.

[0063] The method may allow exactly replicating the reference coating and, thus, restoring the object or recreating an exact copy of the object.

[0064] In another embodiment, the computer-implemented method may further comprise: determining sample coating image data associated with the prepared sample coating, and comparing the determined sample coating image data with the reference coating image data.

[0065] The method may allow comparing the sample coating with the reference coating and  / or checking the sample coating against the reference coating.

[0066] In another embodiment, the computer-implemented method may further comprise: determining sample color data associated with the prepared sample coating, and comparing the determined sample color data with the reference color data.

[0067] The method may allow comparing the sample coating with the reference coating and  / or checking the sample coating against the reference coating. The method may include color data.

[0068] In another embodiment, the computer-implemented method may further comprise: determining sample reflection data associated with the prepared sample coating, and comparing the determined sample refection data with the reference reflection data.

[0069] The method may allow comparing the sample coating with the reference coating and  / or checking the sample coating against the reference coating. The method may include reflection data.

[0070] In another embodiment, the computer-implemented method may further comprise: determining sample texture data of the prepared sample coating, and comparing the determined sample texture data with the reference texture data.

[0071] The method may allow comparing the sample coating with the reference coating and  / or checking the sample coating against the reference coating. The method may include texture data.

[0072] In another embodiment, the computer-implemented method may further comprise: determining sample radar data of the prepared sample coating, and comparing the determined sample radar data with the reference radar data.

[0073] In another embodiment, the computer-implemented method may further comprise: determining sample Lidar data of the prepared sample coating, and comparing the determined sample Lidar data with the reference Lidar data.

[0074] In another embodiment of the computer-implemented method, an appearance of the sample coating matches another appearance of the reference coating.

[0075] Thus, the method may have provided for a reliable and  / or beneficial color matching process.

[0076] In another embodiment, the computer-implemented methods provide the digital representation and for providing, based on the digital representation, a sample coating composition.

[0077] The method (s) may provide for a flexible and versatile color matching process.

[0078] In another embodiment, the computer-implemented methods may provide the digital representation and, based on the digital representation, for providing a sample coating composition, wherein the first location is different from the second location.

[0079] The method (s) may provide for an even more flexible and versatile color matching process. The steps for providing the digital representation and for providing, based on the digital representation, a sample coating composition may be performed across different places, countries, continents and  / or time zones.

[0080] Another embodiment may provide for use of the digital representation as generated by the method (s) for providing for a sample coating composition for preparing a sample coating.

[0081] The use may comprise establishing a collection, library or database of coatings such as reference coatings. The use may comprise creating and  / or simulating novel coating compositions.

[0082] Another embodiment may provide for a computer program element with instructions, which when executed on a computer is configured to carry out at least one of the steps of the methods.

[0083] The computer program element may allow performing the method (s) therein. Alternatively, the computer program element may allow distributing performance of the method (s) across a plurality of computer program elements, such as a network of computer program elements. The computer program elements may be located across different places, countries, continents and  / or time zones.

[0084] Another embodiment may provide for a computer-readable medium storing data as generated by the method (s) for providing the digital representation associated with the reference coating and  / or for providing for a sample coating composition for preparing a sample coating.

[0085] The computer-readable medium may allow storing the data. Additionally or alternatively, the computer-readable medium may allow transporting the data. Additionally or alternatively, the computer-readable medium may allow distributing the data. Additionally or alternatively, the computer-readable medium may allow archiving the data.

[0086] In another embodiment, a computer-implemented method for determining effect pigment data associated with an effect pigment comprised in a coating on a surface area of an object comprises: receiving coating data associated with the coating, and at least one indication mark associated with the effect pigment, wherein the coating data comprise coating image data of at least a part of the coating, wherein the coating image data comprise a plurality of pixels, wherein the at least one indication mark identifies at least one effect pigment pixel in the plurality of pixels, wherein at least one effect pigment pixel is associated with the effect pigment in the plurality of pixels; segmenting, using the at least one indication mark, the coating image data into segmented image data associated with the effect pigment; generating at least one effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different effect pigments; and determining, based on the at least one effect pigment class, the effect pigment data associated with the effect pigment.

[0087] The method may provide for identifying the effect pigment in the coating with a high accuracy. Thus, the method may provide for a more reliable determination of the effect pigments being responsible for a visual appearance of the coating. Further, the method may provide for a significantly improved color-matching process, even without requiring extensive knowledge on effect pigments. Furthermore, the method may reduce a number of test  / trials  / iterations required to produce a sample coating that visually matches appearance to a reference coating associated with the image data being analyzed. Moreover, the method may reduce an amount of energy; materials comprising, for example, raw material, coating material, and consumable; and  / or waste may be reduced. In case of providing the segmenting and the classifying separately, the method may also allow implementing, testing, training and updating the steps individually. Thus, the method may reduce time for implementing and  / or maintaining the method and  / or increase efficiency. As a result, time for, cost for and  / environmental impact of developing new coating formulations and  / or for analyzing coating formulations of unknown coatings, for example when repairing an existing coating, may be reduced. Additionally or alternatively, the method may provide separate changes of the segmenting and  / or the classifying, and, thus, flexible adjustment to use of new pigments in coatings. Thus, the method may provide for identifying the new effect pigments in the coatings.

[0088] In another embodiment, the computer-implemented method further comprises: receiving, for generating the at least one indication mark, user input indicating the at least one effect pigment pixel.

[0089] The method may provide for identifying the effect pigment based on a user-provided selection such as a manual selection. Thus, the method may provide for identifying the effect pigment in the coating with an even higher accuracy.

[0090] In another embodiment, the computer-implemented method further comprises: displaying the image data on a display; and detecting the user input in response to displaying the image date.

[0091] In another embodiment, the computer-implemented method further comprises: generating the at least one indication mark by applying at least one of a point, a region of interest, a minimum bounding box and a minimum bounding rectangle around the at least one effect pigment pixel.

[0092] The method may provide for identifying the effect pigment having a low concentration and  / or a low occurrence in a coating. The method may provide for identifying the effect pigment even when having a rare presence and  / or a rare use in coatings. Additionally or alternatively, the method may provide for identifying the effect pigment based on an automatic selection. Moreover, the method may provide for identifying the effect pigment using image segmentation methods and  / or deep learning such as Segment Anything (Meta AI, April 2023) . Thus, the method may provide for identifying the effect pigment in the coating with an even higher accuracy.

[0093] In another embodiment of the computer-implemented method, segmenting the coating image data comprises: using a data-driven segmentation model trained on segmentation data sets comprising image data of a plurality of elements with associated indication marks. The plurality of elements may be a plurality of objects, for example.

[0094] In another embodiment of the computer-implemented method, generating the at least one effect pigment class comprises at least one of: determining a candidate effect pigment and identifying the determined candidate effect pigment as the at least one effect pigment class, and determining a plurality of votes for a plurality of candidate effect pigments and identifying the candidate effect pigment of the plurality of candidate effect pigments having at least one of a maximum number of votes and a highest averaged probability of the plurality of votes as the at least one effect pigment class; and the candidate effect pigment has at least one of a maximum occurrence within a plurality of effect pigment classes comprising the at least one effect pigment class and a maximum probability within the plurality of effect pigment classes. The highest averaged probability may be a highest accumulated probability.

[0095] In another embodiment, the computer-implemented method further comprises: analyzing at least one of occurrences and probabilities within the plurality of effect pigment classes; and providing a result of the analysis to a user.

[0096] In another embodiment, the computer-implemented method further comprises determining a vote for a candidate effect pigment by applying a multi-class classification method and a softmax activation to the effect pigment data.

[0097] In another embodiment, the computer-implemented method further comprises identifying the effect pigment comprised in the coating.

[0098] In another embodiment, the computer-implemented method further comprises determining at least one of a color, a texture, at least one match criterion, at least one color match criterion, at least one texture color match criterion and at least one reflectance match criterion of the coating.

[0099] In another embodiment, the computer-implemented method further comprises determining statistics of the at least one effect pigment class.

[0100] In another embodiment, the computer-implemented method further comprises determining a formulation of the coating.

[0101] In another embodiment, the computer-implemented method further comprises identifying the formulation in a database comprising a plurality of formulations.

[0102] In another embodiment, the computer-implemented method further comprises searching the database for the formulation, using at least one of the at least one match criterion, the at least one color match criterion, the at least one texture color match criterion and the at least one reflectance match criterion and the statistics.

[0103] In another embodiment, the computer-implemented method further comprises generating a statistics histogram, using the statistics.

[0104] In another embodiment of the computer-implemented method, the coating data further comprise coating identifier associated with the coating.

[0105] In another embodiment of the computer-implemented method, the coating data further comprise at least one of spectral data and reflectance data associated with the coating.

[0106] In another embodiment of the computer-implemented method, the coating data further comprise texture data associated with the coating.

[0107] In another embodiment of the computer-implemented method, the coating data further comprise color data associated with the coating, wherein the color data comprise at least one of color values, RGB values and CIE L*a*b*values.

[0108] In another embodiment of the computer-implemented method, the coating image data comprise a set of image data respectively acquired from the coating under different illumination conditions.

[0109] In another embodiment of the computer-implemented method, the coating image data are microscopic image data.

[0110] In another embodiment of the computer-implemented method, the at least one effect pigment class comprises at least one of an effect pigment type, an effect pigment category and an effect pigment property.

[0111] In another embodiment of the computer-implemented method, the coating comprises a plurality of different pigments, and the effect pigment is one of the plurality of different pigments.

[0112] In another embodiment, a computer-implemented method for training a data-driven classification model for generating at least one effect pigment class by classifying segmented image data comprises: applying classification data sets comprising labelled image data of a plurality of different effect pigments in at least one coating to the data-driven classification model; wherein the labelled image data are respectively associated with at least one of effect pigment type, effect pigment category, effect pigment property, effect pigment size and effect pigment color of the different effect pigments.

[0113] The method may provide for correlating the segmented image data and the labelled image data. The method may provide for improved identification of the effect pigment in the coating. Additionally or alternatively, the method may provide a change of the classification separate a change of the segmentation, and, thus, flexible adjustment to use of new pigments in coatings. Thus, the method may provide for less complex, more data-efficient and  / or more robust training and  / or shorter training times. Moreover, the method may allow to implement the data-driven classification model using, for example, an artificial neural network (ANN) , a convolutional neural network (CNN) , deep learning, an EfficientNet such as a EfficientNet B0, a residual neural network (residual network, ResNet) such as a ResNet 50, machine learning (ML) and  / or ensemble learning.

[0114] In another embodiment, a computer program element with instructions, which when executed on at least one computing node is configured to carry out the steps of the methods.

[0115] The computer program element may also provide for identifying the effect pigment in the coating with a high accuracy.

[0116] In another embodiment, an apparatus for determining effect pigment data associated with an effect pigment comprised in a coating on a surface area of an object comprises: an input device configured to receive coating data associated with the coating, and at least one indication mark associated with the effect pigment, wherein the coating data comprise coating image data of at least a part of the coating, wherein the coating image data comprise a plurality of pixels, wherein the at least one indication mark identifies at least one effect pigment pixel in the plurality of pixels, wherein at least one effect pigment pixel is associated with the effect pigment in the plurality of pixels; at least one computing node configured to: segment, using the at least one indication mark, the coating image data into segmented image data associated with the effect pigment; generate at least one effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on data sets comprising labelled image data of a plurality of different effect pigments; and determine, based on the at least one effect pigment class, the effect pigment data associated with the effect pigment.

[0117] The apparatus may provide for identifying the effect pigment in the coating with a high accuracy. Thus, the apparatus may provide for a more reliable determination of the effect pigments being responsible for a visual appearance of the coating. Further, the apparatus may provide for a significantly improved color-matching process, even without requiring extensive knowledge on effect pigments. Furthermore, the apparatus may reduce a number of test  / trials  / iterations required to produce a sample coating that visually matches appearance to a reference coating associated with the image data being analyzed. Moreover, the apparatus may reduce an amount of energy; materials comprising, for example, raw material, coating material, and consumable; and  / or waste may be reduced. In case of providing the configuration to segment and configuration to classify separately, the apparatus may also allow implementing, testing, training and updating the configurations individually. Thus, the apparatus may reduce time and  / or necessary amount of training data for implementing and  / or maintaining the apparatus and  / or increase efficiency. As a result, time for, cost for and  / environmental impact of developing new coating formulations and  / or for analyzing coating formulations of unknown coatings, for example when repairing an existing coating, may be reduced. Additionally or alternatively, the apparatus may provide separate changes of the segmenting and  / or the classifying, and, thus, flexible adjustment to use of new pigments in coatings. Thus, the apparatus may provide for identifying the new effect pigments in the coatings.

[0118] In another embodiment, an apparatus for providing coating data associated with a coating on a surface area of an object comprise: an output device configured to provide the coating data associated with the coating to an apparatus for determining effect pigment data associated with an effect pigment comprised in the coating, wherein the coating data comprise coating image data of at least a part of the coating, wherein the coating image data comprise a plurality of pixels.

[0119] The apparatus allows to provide the apparatus for determining the effect pigment data associated with the effect pigment comprised in the coating on the surface area of the object with the coating data associated with the coating data. Thus, the apparatus may provide for improved identification of the effect pigment in the coating with a high accuracy. Additionally or alternatively, the apparatus provides for a central and  / or more efficient use of the apparatus for determining the effect pigment data, for example in a remote configuration.

[0120] Another embodiment is directed to a client-server architecture for determining effect pigment data associated with an effect pigment comprised in a coating on a surface area of an object, wherein: a client is configured to provide coating data associated with the coating, wherein the coating data comprise coating image data of at least a part of the coating, wherein the coating image data comprise a plurality of pixels; and a server is configured to: receive the coating data associated with the coating, and at least one indication mark associated with the effect pigment, wherein the coating data comprise coating image data of at least a part of the coating, wherein the coating image data comprise a plurality of pixels, wherein the at least one indication mark identifies at least one effect pigment pixel in the plurality of pixels, wherein at least one effect pigment pixel is associated with the effect pigment in the plurality of pixels segment, using the at least one indication mark, the coating image data into segmented image data associated with the effect pigment; generate at least one effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on data sets comprising labelled image data of a plurality of different effect pigments; and determine, based on the at least one effect pigment class, the effect pigment data associated with the effect pigment.

[0121] The client-server architecture allows to provide the coating data from the client to the server. Thus, the client-server architecture may provide for improved identification of the effect pigment in the coating with a high accuracy. Additionally or alternatively, the client-server architecture provides for a central and  / or more efficient determination of the effect pigment data. Thus, the client-server architecture allows centrally to provide the server with resources such configuration to segment, a configuration to classify and an up-to-date database comprising a plurality of formulations for coatings, for example. The server may centrally determine the effect pigment data for a plurality of clients. The client-server architecture may provide for a cloud-based solution. The client-server architecture may provide for a cloud-based solution. Thus, the client-server architecture may prevent a need to distribute the database. Thus, the client-server architecture may provide for ease of maintenance. The client-server architecture may allow to offer determination of the effect pigment data, identification of the effect pigment, analysis of a formulation, identification of the formulation and  / or search for the formulation in the database as a service (aaS) , for example knowledge as a service (KaaS) .

[0122] Another embodiment is directed to a use of effect pigment data associated with an effect pigment comprised in a coating on a surface area of an object as generated according to the methods for at least one of identifying the effect pigment, analyzing a formulation of the coating and producing the coating.

[0123] The use of the effect pigment data may provide for improved identification of the effect pigment in the coating with a high accuracy, improved analysis of the formulation of the coating and  / or production of the coating. The use of the effect pigment data may also allow to new services such as knowledge as a service (KaaS) .BRIEF DESCRIPTION OF THE DRAWINGS

[0124] In the following, the present disclosure is further described with reference to the enclosed figures. The same reference numbers in the drawings and this disclosure are intended to refer to the same or like elements, components, and  / or parts.

[0125] Fig. 1 illustrates an exemplary flow chart of a computer-implemented method 10 for determining effect pigment data associated with an effect pigment comprised in a coating on a surface area of an object according to an aspect of the present invention;

[0126] Fig. 2 illustrates an exemplary flow chart of a computer-implemented method 20 for training a data-driven classification model for generating at least one effect pigment class by classifying segmented image data according to an aspect of the present invention;

[0127] Fig. 3 illustrates an exemplary diagram of an apparatus 30 for determining effect pigment data associated with an effect pigment comprised in a coating on a surface area of an object according to an aspect of the present invention;

[0128] Fig. 4 illustrates an exemplary flow diagram 40 according to an aspect of the present invention;

[0129] Fig. 5 illustrates an exemplary system architecture showing a first configuration of the classification module;

[0130] Fig. 6 illustrates an exemplary system architecture showing a second configuration of the classification module;

[0131] Fig. 7 illustrates an exemplary system architecture showing a third configuration of the classification module;

[0132] Fig. 8 illustrates an exemplary system architecture showing a fourth configuration of the classification module;

[0133] Fig. 9 illustrates an exemplary system architecture showing a fifth configuration of the classification module;

[0134] Fig. 10 illustrates exemplary preprocessing of training data for a classification module according to an aspect of the present invention;

[0135] Fig. 11 illustrates exemplary training of a classification module according to an aspect of the present invention;

[0136] Fig. 12 illustrates exemplary effect pigment classes;

[0137] Fig. 13 illustrates a multi-sample evaluation method 130 according to an aspect of the present invention;

[0138] Fig. 14 illustrates an exemplary flow chart of a method for preparing a sample coating based on a reference coating according to an aspect of the present invention;

[0139] Fig. 15 illustrates an exemplary flow chart of a computer-implemented method for providing a digital representation associated with a reference coating on a surface area of an object according to an aspect of the present invention;

[0140] Fig. 16 illustrates an exemplary diagram of an apparatus for providing a digital representation associated with a reference coating on a surface area of an object according to an aspect of the present invention;

[0141] Fig. 17 illustrates an exemplary flow chart of a computer-implemented method for providing a sample coating composition for preparing a sample coating according to an aspect of the present invention; and

[0142] Fig. 18 illustrates an exemplary diagram of an apparatus for providing a sample coating composition for preparing a sample coating according to an aspect of the present invention.DETAILED DESCRIPTION

[0143] The following embodiments are mere examples for implementing the method, system or application device disclosed herein and shall not be considered limiting.

[0144] The present disclosure has been described in conjunction with preferred embodiments and examples as well. However, other variations can be understood and effected by those persons skilled in the art and practicing the claimed invention, from the studies of the drawings, this disclosure and the claims.

[0145] Any steps presented herein can be performed in any order. The methods disclosed herein are not limited to a specific order of these steps. It is also not required that the different steps are performed at a certain place or in a certain computing node of a distributed system, i.e. each of the steps may be performed at different computing nodes using different equipment  / data processing.

[0146] As used herein, “determining” also comprises “initiating or causing to determine” , “generating” also comprises “initiating and  / or causing to generate” and “providing” also comprises “initiating or causing to determine, generate, select, send and  / or receive” . The wording “initiating or causing to perform an action” comprises any processing signal that triggers a computing node or device to perform the respective action.

[0147] In the claims as well as in the description, the word “comprising” or “including” , or similar wording does not exclude other elements or steps and shall not be construed limiting to elements or steps outlined. The indefinite article “a” or “an” does not exclude a plurality. A single element or other unit may fulfil the functions of several entities or items recited in the claims. The mere fact that certain measures are recited in the mutual different dependent claims does not indicate that a combination of these measures cannot be used in an advantageous implementation, or that further elements may be comprised.

[0148] The wording “providing data” in the scope of this disclosure may comprise any interface configured to provide data. This may comprise an application programming interface (API) , a human-computer interface or human-machine interface such as a display, and  / or a software module interface. The wording “providing data” may comprise communication of data or submission of data to the interface, in particular display of data to a user, or use of data by the receiving entity.

[0149] The term ” computer” represents any processing device, for example, computing node, processing node, microprocessor, microcontroller, client-server architecture, cloud-based solution.

[0150] The term “region of interest” (ROI) represents a portion of an image on which to operate on. A region of interest may be represented as a segmentation mask, binary mask image, bounding box (BBOX) , minimum bounding box (MBB) , bounding rectangle or minimum bounding rectangle (MBR) , for example.

[0151] The term “indication mark” represents an indication or a reference to a region of interest or the like. The terms “indication mark” , “identification mark” , “label mark” and “selection mark” may be used synonymously.

[0152] The term “segmented image data” represents a portion of the coating image data being associated with the effect pigment. The terms “segmented image data” , “image patch” and “sub-image data” may be used synonymously.

[0153] The terms “Segment Anything” (Segment Anything Model, SAM, Meta AI, April 2023) and “Segment Anything 2” (SAM 2, Meta AI, July 2024) represent segmentation techniques providing zero-shot segmentation of unfamiliar objects and images without additional training. For example, trained on 11 million images and 1.1 billion masks, SAM has “learnt” a general notion of what objects are, and it may be applied “out of the box” for automatic segmentation such as effect pigment detection in microscopic images.

[0154] The term ” transfer learning “represents a concept, wherein the architecture of a pre-configured neural network is used, but a classification layer of the neural network has been deleted and replaced with a new, own classification layer. The classification layer is usually a fully connected layer.

[0155] The term “ensemble learning” represents a machine-learning (ML) technique that aggregates at least two learning techniques, for example, an (artificial) network and a regression model, in order to produce better predictions. The terms “ensemble learning” and “committee-based learning” may be used synonymously. Ensemble learning uses base elements as individual models. The terms “base element” , “base estimator” , “base learner” , “base model” and “base predictors” may be used synonymously. The base elements may be classified in weak elements, e.g. weak learners, and strong elements, e.g. strong learners. Base elements that perform little better than random guessing, i.e. > 50 %, may be referred to as weak elements. Base elements that provide high predictive performance, e.g. > 80 %, may be referred to as strong elements. By combining a plurality of base elements, ensemble learning may yield a lower overall error rate while retaining complexities and advantages of the base elements.

[0156] The term “ensemble evaluation” represents use of ensemble learning for data evaluation. For example, multiple individual sub-images, or “image patches” , of pigments, known to belong to the same pigment type, may be passed to the classification model. As a result, the pigment class with a maximum number of votes or a highest probability is returned.

[0157] The term “vote” represents a result of the classifications associated with a pigment for a particular sub-image, i.e. for each sub-image, the pigment having the highest probability.

[0158] The term “voting” represents combining of predictions from multiple different models such as classifiers or regressors, and making a final prediction based on a majority vote or an averaging. The majority vote is usually used with the classifier. The average is usually used with the regressors. The voting uses the same but data different models. The term “hard voting” represents a type of voting, wherein each model casts a vote, and a majority of votes is decisive. The term “soft voting” represents a type of voting, wherein each model gives a probability estimate, and the highest averaged probability is decisive.

[0159] The term “EfficientNet B0” represents a convolutional neural network (CNN) that has been trained on more than a million images from a database of the ImageNet (http:  / / www. image-net. org) . The pre-trained network can classify images into 1000 object categories, such as keyboard, mouse, pencil and many animals. As a result, the network has learned rich feature representations for a wide range of images. However, the pre-configured EfficientNet B0 may also be used for transfer learning.

[0160] The term “appearance” may refer to a visual impression of a coated object to the eye of an observer and may include a perception wherein a spectral aspect and  / or geometric aspect of a surface of the coated object is integrated with its viewing and illumination environment. In general, the appearance may include color, visual texture such as coarseness characteristics caused by effect pigments, sparkle characteristics, gloss and  / or other visual effects of the surface, especially when viewed from varying viewing angles and  / or with varying illumination angles.

[0161] The term “texture characteristics” may refer to the coarseness characteristics and  / or sparkle characteristics of an effect coating layer. The coarseness characteristics and  / or sparkle characteristics of the effect coating layer may be determined from texture images acquired by a multi-angle spectrophotometer, for example.

[0162] The term “reference coating” may refer to a coating having defined properties, such as defined colorimetric properties. The reference coating may be prepared by applying a defined coating material or materials to a surface, and curing the coating material (s) , with the proviso that at least one of the defined coating materials comprises at least one effect pigment.

[0163] The term “reference coating composition” may refer to the coating material (s) used to prepare the reference coating.

[0164] In contrast reference coating, the term “sample coating” may refer to a coating that is to be prepared and evaluated in comparison with the reference coating with respect to at least one of defined properties, such as a colorimetric property or texture property. The sample coating may be prepared in the same way or a similar way as the reference coating. Preferably, the sample coating may be prepared by using the same number and  / or type of coating compositions as used for preparing the reference coating.

[0165] The term “sample coating composition” may refers to the coating material (s) used to prepare the sample coating.

[0166] The term “digital twin” may refer to a virtual representation, usually digital representation, of a physical entity such as a person, object, process, location and  / or system in the real world. As a digital counterpart, the digital twin may be configured to reflect the entity as its real-world counterpart accurately by using real-time data and  / or an advanced technology such as simulation, machine learning and reasoning. The digital twin may allow monitoring, analyzing, and  / or optimizing the physical entity and its performance throughout its lifecycle, for example.

[0167] The term “digital coating twin” or “digital color twin” may refer to the virtual representation, or digital representation, of a surface coating such as a pigmented coating, for example. Further, the term “digital reference coating twin” may refer to the digital coating twin of the reference coating. Furthermore, the term “digital sample coating twin” may refer to the digital coating twin of the sample coating.

[0168] The term “light detection and ranging system” (Lidar) may refer a method for determining a range by targeting an object or a surface with a laser and measuring the time for light reflected therefrom to return to a receiver.

[0169] Various units, circuits, entities, nodes or other computing components may be described as ”configured to” perform a task or tasks. The wording “configured to” shall recite structure meaning ” having circuitry that” performs the task or tasks on operation. The units, circuits, entities, nodes or other computing components can be configured to perform the task even when the unit  / circuit  / component is not operating. The units, circuits, entities, nodes or other computing components that form the structure corresponding to “configured to” may comprise hardware circuits and  / or memory storing program instructions executable to implement the operation.

[0170] The units, circuits, entities, nodes or other computing components may be described as performing a task or tasks, for convenience in the description. Such descriptions shall be interpreted as including the phrase “configured to” . Any recitation of “configured to” is expressly intended not to invoke 35 U.S.C. § 112 (f) interpretation.

[0171] In general, the methods, apparatuses, systems, computer elements, nodes or other computing components described herein may comprise memory, software components and hardware components. The memory can comprise volatile memory such as random-access memory (RAM) , static random-access memory (SRAM) or dynamic random-access memory (DRAM) and  / or non-volatile memory such as optical or magnetic disk storage, flash memory, read-only memory (ROM) , programmable read-only memory (PROM) , etc. The hardware components may comprise any combination of combinatorial logic circuitry, clocked storage devices such as flops, registers, latches, etc., finite-state machines, memory such as static random-access memory or embedded dynamic random-access memory, custom-designed circuitry, programmable logic arrays, etc.

[0172] Any disclosure and embodiments described herein relate to the methods, systems, apparatuses, devices, chemicals, materials, services, uses, computer program elements outlined above and vice versa. Advantageously, the benefits provided by any of the embodiments and examples equally apply to all other embodiments and examples and vice versa.

[0173] All terms and definitions used herein are understood broadly and have their general meaning.

[0174] For successful color matching, a precise knowledge of the effect pigment composition is necessary. Determination of the effect pigment composition is mainly a manual process. Sample coatings are observed under a microscope, and expert knowledge of a colorist is required to identify effect pigments in coating. Difficult cases require a sequential comparison of effect pigments in sample with existing drawdowns of pre-selected pigments, and a final selection of pigments by side-to-side comparison based on visual similarity of flakes.

[0175] Fig. 1 illustrates an exemplary flow chart of a computer-implemented method 10 for determining effect pigment data associated with an effect pigment comprised in a coating on a surface area of an object according to an aspect of the present invention.

[0176] The computer-implemented method 10 comprises the following steps: receiving 12 coating data and indication mark, segmenting 14 coating image data, classifying 16 segmented image data, and determining 18 effect pigment data.

[0177] At step 12, the computer-implemented method 10 receives coating data associated with the coating, and at least one indication mark associated with the effect pigment. The coating data comprise coating image data of at least a part of the coating. The coating image data comprise a plurality of pixels. The image data may have been obtained using an image sensor. The image sensor may be comprises in a camera, spectrophotometer, microscope or smartphone, for example. The image data may conform to a defined specification. The at least one indication mark identifies at least one effect pigment pixel in the plurality of pixels. The at least one indication mark may have been obtained by a manual selection of the effect pigment in the coating image data, for example. A user may select the effect pigment by clicking, for example using a pointing device such as a mouse, on the effect pigment displayed on a display, for example. Additionally or alternatively, the user may select the effect pigment by drawing a bounding box, such as a minimum bounding rectangle, around the displayed effect pigment. For effect pigments having a low occurrence in the coating, manual selection allows to determine effect pigment data correspondingly having low occurrence in the coating data associated with the coating with high accuracy. Ensemble evaluation and accumulation of votes and  / or probabilities may further improve accuracy. Additionally or alternatively, the at least one indication mark may have been obtained by an automatic pigment detection. At least one effect pigment pixel is associated with the effect pigment in the plurality of pixels.

[0178] At step 14, the computer-implemented method 10 segments, using the at least one indication mark, the coating image data into segmented image data associated with the effect pigment. The segmented image data may be represented by an image patch of a single effect pigment, cropped by a bounding box.

[0179] At step 15, the computer-implemented method 10 generates at least one effect pigment class by classifying, using a data-driven classification model, from the segmented image data. The at least one effect pigment class may comprise an effect pigment type, effect pigment categories such as silver dollar (SD) and  / or effect pigment property such as an effect pigment size or effect pigment color, for example. The data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different pigments, such as different effect pigments. The classification may use EfficientNet B0, a softmax activation and  / or sigmoid activation, for example. The classification may output the at least one effect pigment class with at least one associated probability. For example, the classification may output the at least one effect pigment class with a plurality of associated probabilities, each of which being associated with a pigment of the plurality of different (effect) pigments.

[0180] At step 18, the computer-implemented method 10 determines, based on the at least one effect pigment class, the effect pigment data associated with the effect pigment. The method may output an indication of or a recommendation for the effect pigment comprised in the coating. The determination may comprise evaluation and  / or statistically analyzing the plurality of associated probabilities. The evaluation may comprise ensemble evaluation and  / or voting. The (ensemble) evaluation may comprise obtaining a plurality of weak predictions, for example using a plurality of weak predictors, and congregating the plurality of weak predictions and extracting the indication or recommendation. The extraction of the indication or recommendation may use voting.

[0181] Fig. 2 illustrates an exemplary flow chart of a computer-implemented method 20 for training a data-driven classification model for generating at least one effect pigment class by classifying segmented image data according to an aspect of the present invention.

[0182] The computer-implemented method 20 comprises the following step: applying 22 classification data sets.

[0183] At step 22, computer-implemented method 20 applies classification data sets comprising labelled image data of a plurality of different effect pigments in at least one coating to the data-driven classification model. The labelled image data are respectively associated with at least one of effect pigment type, effect pigment category, effect pigment property such as an effect pigment size or effect pigment color of the different effect pigments. The method aims to correlate the image data with the corresponding associated label data.

[0184] The computer-implemented method 20 may further comprise the following step: correlating 24 image data with associated label data. The image data may comprise sub-images or image patches of pigments. The label data may comprise pigment classes associated with the pigments.

[0185] The data-driven classification model may be implemented as CNN, for example. The data-driven classification model may comprise at least one feature-detection layer to process image data. The at least one feature-detection layer may be implemented as an EfficientNet such as an EfficientNet B0 and  / or a ResNet such as a ResNet 50, for example. Additionally or alternatively, the data-driven classification model may comprise at least one layer to process image meta data and  / or at least final classification layer.

[0186] The training of the data-driven classification model may use microscopic images of effect pigment mass-tones, and  / or a mixture with black pigment and  / or white pigment. These images usually comprise more than one effect pigment of the same known effect pigment type. An image segmentation method can be used automatically to crop sub-images of known effects pigments types out of these images such that a target, for example the effect pigment type, is known for each of the sub-images. Thus, use of manual image annotation may be avoided.

[0187] The training of the data-driven classification model may use transfer learning and  / or pre-defined weights. Using transfer learning and  / or pre-defined weights for training the data-driven classification model may reduce training time and  / or costs.

[0188] Fig. 3 illustrates an exemplary diagram of an apparatus 30 for determining effect pigment data associated with an effect pigment comprised in a coating on a surface area of an object according to an aspect of the present invention.

[0189] The apparatus 30 comprises an input device 32 and at least one computing node 34. The apparatus 30 may be configured to implement the method 10 described with reference to Fig. 1. The apparatus 30 may further comprise an output device (not shown) .

[0190] The input device 32 is configured to receive coating data associated with the coating, and at least one indication mark associated with the effect pigment. The coating data comprise coating image data of at least a part of the coating. The coating image data comprise a plurality of pixels. The at least one indication mark identifies at least one effect pigment pixel in the plurality of pixels. At least one effect pigment pixel is associated with the effect pigment in the plurality of pixels.

[0191] The at least one computing node 34 is configured to segment, using the at least one indication mark, the coating image data into segmented image data associated with the effect pigment.

[0192] The at least one computing node 34 is further configured to generate at least one effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on data sets comprising labelled image data of a plurality of different effect pigments.

[0193] The at least one computing node 34 is configured to determine, based on the at least one effect pigment class, the effect pigment data associated with the effect pigment.

[0194] Fig. 4 illustrates an exemplary flow diagram 40 according to an aspect of the present invention.

[0195] The flow diagram 40 comprises a pigment detection module 44, pigment classification module 46 and pigment recommendation module 48. The pigment classification module 46 may comprise a voting module 47.

[0196] The pigment detection module 44 receives an image 42, such as a microscopic image, depicting at least a part of a coating comprising an effect pigment. The (microscopic) image 42 represents coating image data comprised in coating data associated with the coating. The (microscopic) image 42 comprise a plurality of pixels. At least one effect pigment pixel in the plurality of pixels is associated with the effect pigment. The pigment detection module 44 further receives at least one indication mark (not shown) associated with the effect pigment. The at least one indication mark identifies at least one effect pigment pixel in the plurality of pixels.

[0197] The pigment detection module 44 is configured to segment, using the at least one indication mark, the coating image data into segmented image data associated with the effect pigment.

[0198] The pigment classification module 46 is configured to generate at least one effect pigment class by classifying, using a data-driven classification model, from the segmented image data. The data-driven classification model has been trained on data sets comprising labelled image data of a plurality of different effect pigments. The pigment classification module 46 is further configured to determine, based on the at least one effect pigment class, the effect pigment data associated with the effect pigment.

[0199] The pigment classification module 46 may comprise a voting module 47. The voting module 47 may be configured to obtain a plurality of weak predictions, for example using a plurality of weak predictors, and congregating the plurality of weak predictions and extracting the indication or recommendation using voting. Even for a relatively low predictive performance, e.g. just larger than 50 %, of the individual weak predictors, a vote of the plurality of weak predictors may provide for determination of the effect pigment data with high accuracy. The vote may be a majority vote or an average vote, for example.

[0200] The pigment recommendation module 48 may provide an indication of or a recommendation for the effect pigment comprised in the coating. Additionally or alternatively, the pigment recommendation module 48 may provide an indication of or a recommendation for a formulation of the coating.

[0201] Fig. 5 illustrates an exemplary system architecture showing a first configuration of the classification module. The classification module comprises a convolutional neural network (CNN) for classifying image data, such as microscopic image data. The image data may be provided in any suitable image format, including, but not limited, grayscale image data and RGB (red, green, blue) image data, for example, and  / or any suitable depth including, but not limited, 8 bits and 32 bits, for example. The classification module has been trained to map the input image data associated with an effect pigment to an output, i.e. target. In this configuration, the input to the classification module comprises single image data, i.e. image data associated with a single image. The image data may correspond to an image representing the effect pigment. In this configuration, the output of the classification module comprises one output, for example, an effect pigment type.

[0202] Fig. 6 illustrates an exemplary system architecture showing a second configuration of the classification module. In this configuration, the input to the classification module comprises single image data, i.e. image data associated with a single image, and image meta-data associated with the single image. The image meta-data may correspond to additional input data comprising, for example, at least one of spectral data, texture data and color values of a spectrophotometric measurement. The image meta-data may potentially improve model accuracy of the classification module. In this configuration, the output of the classification module comprises one output, for example, an effect pigment type.

[0203] Fig. 7 illustrates an exemplary system architecture showing a third configuration of the classification module. In this configuration, the input to the classification module comprises image data associated with more than one image and image meta-data associated with more than one image. For example, the input to the classification module may comprise image data associated with a first image and a second image, and image meta-data associated with the first image and  / or second image. The first image may be obtained in a “brightfield” condition, and  / or the second image may be obtained in a “darkfield” condition, for example. For example, the microscopic images may be taken under “brightfield” illumination and  / or “darkfield” illumination. In this configuration, the output of the classification module comprises one output (target) , for example, an effect pigment type. However, as the output may be obtained from multiple inputs representing multiple samples, merging predictions obtained from the multiple samples may provide for higher accuracy.

[0204] Fig. 8 illustrates an exemplary system architecture showing a fourth configuration of the classification module. In this configuration, the output of the classification module comprises more than one output, i.e. multiple outputs or targets. For example, the output may comprise a first output, second output and third output. The first output may be related to a pigment category, the second output may be related to a pigment property, and the third output may be related to a pigment type, for example.

[0205] Fig. 9 illustrates an exemplary system architecture showing a fifth configuration of the classification module. In this configuration, the input to the classification module comprises image data associated with more than one image and image meta-data associated with more than one image, the output of the classification module comprises more than one output.

[0206] Fig. 10 illustrates exemplary preprocessing of training data for a classification module according to an aspect of the present invention.

[0207] The exemplary preprocessing comprises input, pre-processing and target values.

[0208] The input comprises an image such as a microscopic image, of reduced mass-tones of effect pigments.

[0209] The pre-processing comprises detection of the effect pigments in the image and cropping sub-images of individual effect pigments from the image. The detection of the effect pigments may use a segmentation technique such as Segment Anything. The pre-processing may further comprise isolating the effect pigments in the associated sub-images, i.e. removing features that are not related to the effect pigments. The effect pigments may be isolated using pigment masks, that match the respective effect pigment.

[0210] The target values comprise automatic annotations of the image, with effect pigment type, effect pigment category and  / or effect pigment property, for example.

[0211] The training data comprises pairs of sub-images and target values for effect pigments in the image.

[0212] Fig. 11 illustrates exemplary training of a classification module according to an aspect of the present invention.

[0213] The classification module comprises a CNN such as the EfficientNet B0. The CNN receives training data comprising pairs of sub-images and target values for effect pigments. The training data may have been obtained using the exemplary preprocessing of training data described with reference to Fig. 10.

[0214] During a feed-forward process, the training data is applied to the CNN and the CNN outputs a softmax classification for current values of its set of weights. A loss function determines an error such as a cross entropy for the current output and the target values such as the effect pigment types.

[0215] During an error-backpropagation process, the weights of the CNN are adjusted in order to minimize the loss function.

[0216] Fig. 12 illustrates exemplary effect pigment classes. The classes for effect pigments may be subdivided into a plurality of subclasses such as Pigment Type and Category, Pigment Color and Pigment Size, for example. The subclass Pigment Type and Category may be subdivided into a plurality of sub-subclasses. The sub-subclasses of the subclass Pigment Type and Category may comprise Aluminum and Interference, for example. The sub-subclass Aluminum may comprise at least one of Cornflake, Silver Dollar (SD) and  for example.

[0217] The sub-subclass Interference may comprise at least one of (natural) Mica,  and Glass Flake, for example. The subclass Pigment Color may indicate a color of a corresponding effect pigment and may comprise at least one of Silver, White, Red and Blue, for example. The subclass Pigment Size may indicate a size of a corresponding pigment relative to a plurality of different pigments and may comprise at least one of extra small (XS) , small (S) , medium (M) , large (L) and extra-large (XL) , for example.

[0218] Fig. 13 illustrates a multi-sample evaluation method 130 according to an aspect of the present invention. The multi-sample evaluation method 130 comprises a multiple input ensemble 1310, classification model 1320, multiple outputs 1330, voting 1340 and output 1350.

[0219] The multiple input ensemble 1310 comprises a plurality of inputs. The multiple inputs may comprise image data and image meta data associated with the image data. For example, the image data may represent one or more effect pigments.

[0220] The classification model 1320 represents a weak model. The classification model 1320 may comprise a plurality of weak predictors. These weak predictors generate, based on the multiple inputs 1310, the multiple outputs 1330. The weak predictors may predict classes associated with the one or more effect pigments.

[0221] The multiple outputs 1330 comprises a plurality of outputs such as a plurality of predictions or a plurality of votes regarding predictions and  / or probabilities of the classes.

[0222] The voting 1340 represents a strong model. The voting 1340 represents a multi-sampling evaluation.

[0223] The output 1350 comprises one or more classified effect pigments, based on a majority of the votes or a highest averaged probability of the votes.

[0224] Fig. 14 illustrates an exemplary flow chart of a method 1400 for preparing a sample coating based on a reference coating according to an aspect of the present invention.

[0225] The method 1400 comprises digitalization 1410, matching1430, and reproduction1450.

[0226] At step 1410, the method 1400 comprises creating 1412 a digital representation 1420 of a reference coating. The reference coating may be located on a surface area of an object, such as a car. The reference coating may comprise an effect pigment. The method 1400 may create 1412 the digital representation 1420 from at least one of a microscope image, spectrophotometer data, glossmeter data and coating thickness data obtained from the reference coating.

[0227] The method 1400 may create 1412 the digital representation 1420 of the reference coating at a first location 1401, such as a bodyshop.

[0228] As illustrated in Fig. 14, the digital representation1420 may optionally be transferred from the first location 1401 to a second location 1402, such as a laboratory.

[0229] At step 1430, the method 1400 comprises determining 1432, based on the digital representation of the reference coating, a sample coating composition 1440.

[0230] As illustrated in Fig. 14, the sample coating composition 1440 may optionally be transferred from the second location 1402 to the first location 1401, where it may be used preparing a sample coating. Alternatively, the sample coating composition 1440 may optionally be transferred from the second location 1402 to a third location, where it may be used for preparing the sample coating.

[0231] At step 1450, the method comprises spraying 1452 the sample coating. The sample coating may be sprayed on the object or another object, such as a replace part being prepared for replacing a damaged part.

[0232] Fig. 15 illustrates an exemplary flow chart of a computer-implemented method 1500 for providing a digital representation 1420 associated with a reference coating on a surface area of an object according to an aspect of the present invention.

[0233] The method 1500 comprises obtaining 1510 reference coating data, and generating 1520 the digital representation.

[0234] At step 1510, the method 1500 comprises obtaining least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating. The reference coating image data comprise a plurality of pixels.

[0235] Obtaining 1510 the reference coating image data may comprise capturing microscopic image data using a microscope. Capturing the microscopic image data may comprise using a magnification factor of at least one of 10x, 20x, 50x, 100x and 200x, for example. Capturing the microscopic image data may comprise obtaining an image in a brightfield condition. Additionally or alternatively, capturing the microscopic image data may comprise obtaining an (other) image in a darkfield condition.

[0236] Additionally or alternatively, obtaining 1510 the reference color data may comprise capturing spectrophotometer data using a spectrophotometer.

[0237] Additionally or alternatively, obtaining 1510 the reference reflectance data may comprise capturing spectrophotometer data using a spectrophotometer. Additionally, capturing the spectrophotometer data may comprise capturing reflectance curve data. Capturing the reflectance curve data may comprise capturing a set of reflectance curve data. Each of the reflectance curve data may be associated with a geometry of a plurality of geometries.

[0238] Additionally or alternatively, obtaining 1510 the reference gloss data may comprise capturing gloss data using a glossmeter.

[0239] Additionally or alternatively, obtaining 1510 the reference radar data comprises measuring at least one of relative permittivity and transmission.

[0240] Additionally, measuring the at least one of relative permittivity and transmission comprises measuring at a frequency from 76 GHz to 81 GHz.

[0241] Additionally or alternatively, obtaining 1510 the reference Lidar data comprises measuring an infrared reflectance.

[0242] Additionally, measuring the infrared reflectance comprises measuring the infrared reflectance at a wavelength of at least one of 905 nm and 1550 nm.

[0243] Additionally or alternatively, obtaining 1510 the reference coating thickness data may comprise measuring the thickness using a coating thickness gauge.

[0244] Additionally or alternatively, obtaining 1510 the meta-data may comprise obtaining at least one of a creation date of the reference coating image data, a creation date of the reference color data, a creation date of the reference reflection data, a creation date of the reference coating thickness data, a position of the part of the reference coating on the surface area, environmental data associated with an environmental condition of the reference coating and illumination data associated with an illumination condition of the reference coating, information associated with the object, information associated with a producer of the object, information associated with the object, information associated with a producer of the object, and a comment.

[0245] At step 1520, the method 1500 comprises generating the digital representation of the reference coating. The digital representation comprises at least one of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, and reference coating thickness data.

[0246] The digital representation may be at least one of a digital twin and digital coating twin.

[0247] The method 1500 may be performed at a first location 1401 such as bodyshop.

[0248] The method 1500 may be implemented as a computer program element with instructions, which when executed on a computer is configured to carry out the steps the method 1500.

[0249] The digital representation 1420 as generated according to the method 1500 may be used for varying applications along and  / or across the lifecycle of a coating.

[0250] The digital representation 1420 may be stored on a computer-readable medium.

[0251] Availability and  / or accessibility of the digital representation 1420 of the reference coating may allow for providing a sample coating composition 1440 for preparing a sample coating without a need for physical presence of the reference coating on the surface area of the object.

[0252] Thus, a computer-implemented method for providing a sample coating composition 1440 for preparing a sample coating may comprise: obtaining a digital representation of a reference coating on a surface area of an object, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; determining sample coating composition data associated with a sample coating composition by matching at least one, or some, of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, reference coating thickness data and meta-data associated with the reference coating with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; and providing the sample coating composition associated with the determined sample coating composition data as the sample coating composition. As a result, the appearance of the sample coating matches the appearance of the reference coating.

[0253] Fig. 16 illustrates an exemplary diagram of an apparatus 1600 for providing a digital representation 1420 associated with a reference coating on a surface area of an object according to an aspect of the present invention.

[0254] The apparatus 1600 comprises an input interface 1610 and a processing unit 1620.

[0255] The input interface 1610 is configured to: obtain 1510 at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating. The reference coating image data comprise a plurality of pixels.

[0256] The processing unit 1620 is configured to: generate 1520 the digital representation of the reference coating. The digital representation comprises at least one of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, and reference coating thickness data.

[0257] The digital representation may be at least one of a digital twin and digital coating twin.

[0258] The apparatus 1600 may be located at a first location 1401 such as a bodyshop.

[0259] The apparatus 1600 may comprise or be implemented as at least one of a computer, processing device, computing node, processing node, microprocessor, microcontroller, client-server architecture, and cloud-based solution.

[0260] The apparatus 1600 may be implemented as a client-server architecture. For example, a client may be configured to: obtain 1510 the reference coating data; and a server may be configure to: generate 1520 the digital representation.

[0261] Fig. 17 illustrates an exemplary flow chart of a computer-implemented method 1700 for providing a sample coating composition 1440 for preparing a sample coating according to an aspect of the present invention.

[0262] The method 1700 comprises obtaining 1710 a digital representation, receiving 1720 an indication mark, segmenting 1730 reference coating image data, generating 1740 an effect pigment class, determining 1750 reference effect pigment data, determining 1760 sample coating composition data, and providing 1770 the sample coating composition.

[0263] At step 1710, the method 1700 comprises obtaining a digital representation of a reference coating on a surface area of an object. The reference coating comprises an effect pigment. The digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating. The reference coating image data comprise a plurality of pixels.

[0264] At step 1720, the method 1700 comprises receiving an indication mark associated with the effect pigment. The indication mark identifies an effect pigment pixel in the plurality of pixels. The effect pigment pixel is associated with the effect pigment in the plurality of pixels.

[0265] At step 1730, the method 1700 comprises segmenting, using the indication mark, the reference coating image data into segmented image data associated with the effect pigment.

[0266] At step 1740, the method 1700 comprises generating an effect pigment class by classifying, using a data-driven classification model, from the segmented image data. The data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different effect pigments.

[0267] At step 1750, the method 1700 comprises determining, based on the effect pigment class, reference effect pigment data associated with the effect pigment.

[0268] At step 1760, the method 1700 comprises determining sample coating composition data associated with a sample coating composition by matching the digital representation of the reference coating and determined reference effect pigment data with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions.

[0269] At step 1770, the method 1700 comprises providing the sample coating composition associated with the determined sample coating composition data as the sample coating composition.

[0270] Additionally, the method 1700 may further comprise: determining sample clearcoat composition data associated with a sample clearcoat composition by matching the reference gloss data with a plurality of clearcoat composition data, each of which being associated with a clearcoat composition of a plurality of clear coat compositions, and providing the sample clearcoat composition associated with the determined sample clearcoat composition data with the sample coating composition.

[0271] Additionally or alternatively, the method 1700 may further comprise: preparing the sample coating based on provided sample coating composition and reference coating thickness data.

[0272] Additionally or alternatively, the method 1700 may further comprise: determining sample coating image data associated with the prepared sample coating, and comparing the determined sample coating image data with the reference coating image data.

[0273] Additionally or alternatively, the method 1700 may further comprise: determining sample color data associated with the prepared sample coating, and comparing the determined sample color data with the reference color data.

[0274] Additionally or alternatively, the method 1700 may further comprise: determining sample reflection data associated with the prepared sample coating, and comparing the determined sample refection data with the reference reflection data.

[0275] Additionally or alternatively, the method 1700 may further comprise: determining sample texture data of the prepared sample coating, and comparing the determined sample texture data with the reference texture data.

[0276] Additionally or alternatively, the method 1700 may further comprise: preparing the sample coating based on provided sample coating composition and reference coating thickness data.

[0277] The digital representation may be at least one of a digital twin and digital coating twin.

[0278] The method 1700 may performed at a second location 1402 such as a laboratory.

[0279] An appearance of the sample coating may match another appearance of the reference coating.

[0280] The method 1700 may be implemented as a computer program element with instructions, which when executed on a computer is configured to carry out the steps the method 1700.

[0281] The composition data as generated according to the method 1700 may be used for varying applications along and  / or across the lifecycle of a coating.

[0282] The composition data may be stored on a computer-readable medium.

[0283] Fig. 18 illustrates an exemplary diagram of an apparatus 1800 for providing a sample coating composition 1440 for preparing a sample coating according to an aspect of the present invention.

[0284] The apparatus 1800 comprises an input interface 1810 and a processing unit 1820.

[0285] The input interface 1810 is configured to: obtain 1710 a digital representation of a reference coating on a surface area of an object, the reference coating comprising an effect pigment. The digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating. The reference coating image data comprise a plurality of pixels.

[0286] The processing unit 1820 is configured to: receive 1720 an indication mark associated with the effect pigment; segment 1730, using the indication mark, the reference coating image data into segmented image data associated with the effect pigment; generate 1740 an effect pigment class by classifying, using a data-driven classification model, from the segmented image data; determine 1750, based on the effect pigment class, reference effect pigment data associated with the effect pigment; determine 1760 sample coating composition data associated with a sample coating composition by matching the digital representation of the reference coating and determined reference effect pigment data with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; and provide 1770 the sample coating composition associated with the determined sample coating composition data as the sample coating composition. The indication mark identifies an effect pigment pixel in the plurality of pixels. The effect pigment pixel is associated with the effect pigment in the plurality of pixels. The data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different effect pigments.

[0287] The digital representation may be at least one of a digital twin and digital coating twin.

[0288] The apparatus 1800 may be located at a second location 1402 such as a laboratory.

[0289] The apparatus 1800 may comprise or be implemented as at least one of a computer, processing device, computing node, processing node, microprocessor, microcontroller, client-server architecture, and cloud-based solution.

[0290] The apparatus 1800 may be implemented as a client-server architecture. For example, a client may be configured to: obtain 1710 the digital representation; and a server may be configured to: receive 1720 the indication mark, segment 1730 the reference coating image data, generate 1740 the effect pigment class, determine 1750 the reference effect pigment data, determine 1760 the sample coating composition data, and provide 1770 the sample coating composition.

[0291] REFERENCE NUMERALS 10 method 12 receiving coating data and indication mark 14 segmenting coating image data 16 classifying segmented image data 18 determining effect pigment data 20 training method 22 applying classification data sets 24 correlating image data with associated label data 30 apparatus 32 input device 34 computing node 40 flow diagram 42 (microscopic) image 44 pigment detection module 46 pigment classification module 47 voting module 48 pigment recommendation module 130 multi-sample evaluation method 1310 multiple input ensemble 1320 classification model 1330 multiple outputs 1340 voting 1350 output 1400 method for preparing sample coating 1401 location 1 1402 location 2 1410 digitalization 1412 creating digital representation of reference coating 1420 digital representation 1430 matching 1432 determining sample composition 1440 sample composition 1450 reproduction 1452 spraying sample coating 1500 method for providing digital representation 1510 obtaining reference coating data 1520 generating digital representation 1600 apparatus for providing digital representation 1610 input interface 1620 processing unit 1700 method for providing sample coating composition 1710 obtaining digital representation 1720 receiving indication mark 1730 segmenting reference coating image data 1740 generating effect pigment class 1750 determining reference effect pigment data 1760 determining sample coating composition data 1770 providing sample coating composition 1800 apparatus for providing sample coating composition 1810 input interface 1820 processing unit

Claims

A computer-implemented method (1500) for providing a digital representation (1420) associated with a reference coating on a surface area of an object, the reference coating comprising an effect pigment, the method (1500) comprising:obtaining (1510) at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; andgenerating (1520) the digital representation of the reference coating, wherein the digital representation comprises at least one of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, and reference coating thickness data.A computer-implemented method (1500) of claim 1, wherein:obtaining (1510) the reference coating image data comprises capturing microscopic image data using a microscope;capturing microscopic image data comprises using a magnification factor of at least one of 10x, 20x, 50x, 100x and 200x;capturing microscopic image data comprises obtaining an image in a brightfield condition;capturing microscopic image data comprises obtaining another image in a darkfield condition;obtaining (1510) the reference color data comprises capturing spectrophotometer data using a spectrophotometer;obtaining (1510) the reference reflectance data comprises capturing spectrophotometer data using a spectrophotometer;capturing the spectrophotometer data comprises capturing reflectance curve data;capturing reflectance curve data comprises capturing a set of reflectance curve data each of which being associated with a geometry of a plurality of geometries;obtaining (1510) the reference gloss data comprises capturing gloss data using a glossmeter;obtaining (1510) the reference radar data comprises measuring at least one of relative permittivity and transmission;measuring the at least one of relative permittivity and transmission comprises measuring at a frequency from 76 GHz to 81 GHz;obtaining (1510) the reference Lidar data comprises measuring an infrared reflectance;measuring the infrared reflectance comprises measuring the infrared reflectance at a wavelength of at least one of 905 nm and 1550 nm;obtaining (1510) the reference coating thickness data comprises measuring the thickness using a coating thickness gauge;obtaining (1510) the meta-data comprises obtaining at least one of a creation date of the reference coating image data, a creation date of the reference color data, a creation date of the reference reflection data, a creation date of the reference coating thickness data, a position of the part of the reference coating on the surface area, environmental data associated with an environmental condition of the reference coating and illumination data associated with an illumination condition of the reference coating, information associated with the object, information associated with a producer of the object, information associated with the object, information associated with a producer of the object, and a comment;the digital representation is at least one of a digital twin and digital coating twin; orthe method (1500) is performed at a first location (1401) .A computer-implemented method (1700) for providing a sample coating composition (1440) for preparing a sample coating, the method (1700) comprising:obtaining (1710) a digital representation of a reference coating on a surface area of an object, the reference coating comprising an effect pigment, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels;receiving (1720) an indication mark associated with the effect pigment, wherein the indication mark identifies an effect pigment pixel in the plurality of pixels, wherein the effect pigment pixel is associated with the effect pigment in the plurality of pixels;segmenting (1730) , using the indication mark, the reference coating image data into segmented image data associated with the effect pigment;generating (1740) an effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different effect pigments;determining (1750) , based on the effect pigment class, reference effect pigment data associated with the effect pigment;determining (1760) sample coating composition data associated with a sample coating composition by matching the digital representation of the reference coating and determined reference effect pigment data with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; andproviding (1770) the sample coating composition associated with the determined sample coating composition data as the sample coating composition.The computer-implemented method (1700) of claim 3, wherein:the digital representation is at least one of a digital twin and digital coating twin; orthe method (1700) is performed at a second location (1402) .The computer-implemented method (1700) of one of claims 3-4, further comprising:determining sample clearcoat composition data associated with a sample clearcoat composition by matching the reference gloss data with a plurality of clearcoat composition data, each of which being associated with a clearcoat composition of a plurality of clear coat compositions, andproviding the sample clearcoat composition associated with the determined sample clearcoat composition data with the sample coating composition; orpreparing the sample coating based on provided sample coating composition and reference coating thickness data; ordetermining sample coating image data associated with the prepared sample coating, andcomparing the determined sample coating image data with the reference coating image data; ordetermining sample color data associated with the prepared sample coating, andcomparing the determined sample color data with the reference color data; ordetermining sample reflection data associated with the prepared sample coating, andcomparing the determined sample refection data with the reference reflection data; ordetermining sample texture data of the prepared sample coating, andcomparing the determined sample texture data with the reference texture data; ordetermining sample radar data of the prepared sample coating, andcomparing the determined sample radar data with the reference radar data; ordetermining sample Lidar data of the prepared sample coating, andcomparing the determined sample Lidar data with the reference Lidar data.The computer-implemented method (1700) of one of claims 3-5, wherein:an appearance of the sample coating matches another appearance of the reference coating.A method for preparing a sample coating based on a reference coating, comprising:the computer-implemented method (1500) for providing the digital representation of one of claims 1-2; andthe computer-implemented method (1700) for providing a sample coating composition of one of claim 3-6.A method for preparing a sample coating based on a reference coating, comprising:the computer-implemented method (1500) for providing the digital representation of claim 2; andthe computer-implemented method (1700) for providing a sample coating composition of claim 4;wherein the first location (1401) is different from the second location (1402) .An apparatus (1600) for providing a digital representation (1420) associated with a reference coating on a surface area of an object, the reference coating comprising an effect pigment, the apparatus (1600) comprising:an input interface (1610) configured to:obtain (1510) at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; anda processing unit (1620) configured to:generate (1520) the digital representation of the reference coating, wherein the digital representation comprises at least one of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data, reference Lidar data, and reference coating thickness data.An apparatus (1800) for providing a sample coating composition (1440) for preparing a sample coating, the apparatus (1800) comprising:an input interface (1810) configured to:obtain (1710) a digital representation of a reference coating on a surface area of an object, the reference coating comprising an effect pigment, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; anda processing unit (1820) configured to:receive (1720) an indication mark associated with the effect pigment, wherein the indication mark identifies an effect pigment pixel in the plurality of pixels, wherein the effect pigment pixel is associated with the effect pigment in the plurality of pixels;segment (1730) , using the indication mark, the reference coating image data into segmented image data associated with the effect pigment;generate (1740) an effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different effect pigments;determine (1750) , based on the effect pigment class, reference effect pigment data associated with the effect pigment;determine (1760) sample coating composition data associated with a sample coating composition by matching the digital representation of the reference coating and determined reference effect pigment data with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; andprovide (1770) the sample coating composition associated with the determined sample coating composition data as the sample coating composition.A client-server architecture for providing a digital representation associated with a reference coating on a surface area of an object, the reference coating comprising an effect pigment, wherein:a client is configured to:obtain (1510) at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; anda server is configured to:generate (1610) the digital representation of the reference coating, wherein the digital representation comprises at least one of the reference coating image data, reference color data, reference reflection data, reference gloss data, reference texture data, reference radar data of, reference Lidar data, and reference coating thickness data.A client-server architecture for providing a sample coating composition for preparing a sample coating, wherein:a client is configured to:obtain (1710) a digital representation of a reference coating on a surface area of an object, the reference coating comprising an effect pigment, wherein the digital representation comprises at least one of reference coating image data of at least a part of the reference coating, reference color data of the reference coating, reference reflection data of the reference coating, reference gloss data of the reference coating, reference texture data of the reference coating, reference radar data of the reference coating, reference Lidar data of the reference coating, reference coating thickness data associated with a thickness of the reference coating on the surface area and meta-data associated with the reference coating, wherein the reference coating image data comprise a plurality of pixels; anda server is configured to:receive (1720) an indication mark associated with the effect pigment, wherein the indication mark identifies an effect pigment pixel in the plurality of pixels, wherein the effect pigment pixel is associated with the effect pigment in the plurality of pixels;segment (1730) , using the indication mark, the reference coating image data into segmented image data associated with the effect pigment;generate (1740) an effect pigment class by classifying, using a data-driven classification model, from the segmented image data; wherein the data-driven classification model has been trained on classification data sets comprising labelled image data of a plurality of different effect pigments;determine (1750) , based on the effect pigment class, reference effect pigment data associated with the effect pigment;determine (1760) sample coating composition data associated with a sample coating composition by matching the digital representation of the reference coating and determined reference effect pigment data with a plurality of coating composition data, each of which being associated with a coating composition of a plurality of coating compositions; andprovide (1770) the sample coating composition associated with the determined sample coating composition data as the sample coating composition.Use of the digital representation (1420) as generated according to the method (1500) of one of claims 1-2 for providing a sample coating composition (1440) for preparing a sample coating.A computer program element with instructions, which when executed on a computer is configured to carry out at least one of the steps according to the method (1500, 1700) of one of claims 1-8.A computer-readable medium storing data as generated according to the method (1500, 1700) of one of claims 1-8.

Images