Methods and systems for correcting bright-dark lines on screens

Abstract

Embodiments of the present disclosure provide a method, a system, and an electronic device for correcting a bright-dark line on a screen, the method comprising: obtaining a screen image of a screen, determining, based on a preset detection process, a mask image corresponding to a screen outline on the screen image, determining a correction coefficient of the bright-dark line on the screen and correcting the bright-dark line on the screen based on the correction coefficient.

Description

METHODS AND SYSTEMS FOR CORRECTING BRIGHT-DARK LINES ON SCREENS

[0001] CROSS-REFERENCE TO RELATED APPLICATION

[0002] The present disclosure claims priority to Chinese application No. 202310672939.1, filed on June 07, 2023, and the contents of the present disclosure are incorporated herein by reference.TECHNICAL FIELD

[0003] The present disclosure relates to the technical field of display screen correction, and in particular, to a method and system for correcting a bright-dark line on a screen.BACKGROUND

[0004] A light-emitting diode (LED) screen is usually spliced from several display units, and each display unit contains several light-emitting diodes. Influenced by the manufacturing process and the assembly process, a spacing between light points at a junction of the two display units of the LED screen is not consistent with a spacing between light points inside the display unit, resulting in a bright-dark line from the perspective of the human eye's visual senses. In some cases, it is possible to observe and find out a side of the display unit that has a difference through observation, and then adjust the parameter of the side on the correction software, as well as change the color of the corresponding position according to the adjusted parameter, and then observe the LED display. If no difference is found, then the correction is completed. But this process requires repeated observation of the LED display and adjustment of the coefficient of the side of the display unit, which has low efficiency and high labor cost, and relies on artificial experience, and the lack of a unified correction standard also results in low correction accuracy.

[0005] Therefore, there is a need to provide methods and systems for quickly and accurately correcting bright-dark lines on screens to.SUMMARY

[0006] One of the embodiments of the present disclosure provides a method for correcting a bright-dark line on a screen, the method comprising: obtaining a screen image of a screen; determining, based on a preset detection process, a mask image corresponding to a screen outline on the screen image; determining, based on the mask image, a correction coefficient of the bright-dark line on the screen; and correcting the bright-dark line on the screen based on the correction coefficient.

[0007] One of the embodiments of the present disclosure provides a system for correcting a bright-dark line on a screen, the system comprising: an obtaining module, configured to obtain a screen image of a screen; a determining module, configured to determine, based on a preset detection process, a mask image corresponding to a screen outline on the screen image; a calculating module, configured to determine a correction coefficient of the bright-dark line on the screen based on the mask image; and a correcting module, configured to correct the bright-dark line on the screen based on the correction coefficient.

[0008] One of the embodiments of the present disclosure provides a method for correcting a bright-dark line on a screen, the method comprising: obtaining a screen image of a screen when the screen is in a specified  image display state; performing an upsampling process and a downsampling process on the screen image to determine an upsampling image; detecting a screen outline on the upsampling image; obtaining a mask image by performing a masking process on the screen image based on the screen outline; and determining, a correction coefficient of the bright-dark line on the screen based on the mask image; and correcting the bright-dark line on the screen based on the correction coefficient.

[0009] One of the embodiments of the present disclosure provides an electronic device, the electronic device comprising a memory and a processor, and the processor is configured to execute program instructions stored in the memory to implement the steps in the method for correcting a bright-dark line on a screen.BRIEF DESCRIPTION OF THE DRAWINGS

[0010] The present disclosure will be further illustrated by way of exemplary embodiments, which will be described in detail by means of the accompanying drawings. These embodiments are not limiting, and in these embodiments, the same numbering denotes the same structure, where:

[0011] FIG. 1 is a schematic diagram illustrating an exemplary application scenario of a system for correcting a bright-dark line on a screen according to some embodiments of the present disclosure;

[0012] FIG. 2 is a flowchart illustrating an exemplary process for correcting a bright-dark line on a screen according to some embodiments of the present disclosure;

[0013] FIG. 3 is a schematic diagram illustrating a process for obtaining a screen image according to some embodiments of the present disclosure;

[0014] FIG. 4 is a flowchart illustrating a process for performing an upsampling process and a downsampling process on a screen image according to some embodiments of the present disclosure;

[0015] FIG. 5 is a schematic diagram illustrating an exemplary grayscale image according to some embodiments of the present disclosure;

[0016] FIG. 6 is a schematic diagram illustrating a process for determining an exemplary downsampling binary image according to some embodiments of the present disclosure;

[0017] FIG. 7 is a schematic diagram illustrating an exemplary upsampling binary image according to some embodiments of the present disclosure;

[0018] FIG. 8 is a schematic diagram illustrating a process for determining an exemplary mask image according to some embodiments of the present disclosure;

[0019] FIG. 9 is a flowchart illustrating a process for determining a correction coefficient of a bright-dark line on a screen according to some embodiments of the present disclosure;

[0020] FIG. 10 is a schematic diagram illustrating a process for determining an exemplary spatial corrected image according to some embodiments of the present disclosure;

[0021] FIG. 11 is a flowchart illustrating an exemplary process for determining a correction coefficient of a bright-dark line according to some embodiments of the present disclosure;

[0022] FIG. 12 is a schematic diagram illustrating a process for determining a correction coefficient of a bright-dark line according to some embodiments of the present disclosure;

[0023] FIG. 13 is a flowchart illustrating an exemplary process for determining floating point coordinates according to some embodiments of the present disclosure;

[0024] FIG. 14 is a schematic diagram illustrating a process for determining floating point coordinates of an  enabled light point according to some embodiments of the present disclosure;

[0025] FIG. 15 is a schematic diagram illustrating exemplary modules of a system for correcting a bright-dark line on a screen according to some embodiments of the present disclosure; and

[0026] FIG. 16 is a flowchart illustrating an exemplary process for correcting a bright-dark line on a screen according to some other embodiments of the present disclosure.DETAILED DESCRIPTION

[0027] In order to more clearly illustrate the technical solutions of the embodiments of the present disclosure, the accompanying drawings required to be used in the description of the embodiments are briefly described below. Obviously, the accompanying drawings in the following description are only some examples or embodiments of the present disclosure, and it is possible for a person of ordinary skill in the art to apply the present disclosure to other similar scenarios in accordance with the accompanying drawings without creative labor. Unless obviously obtained from the context or the context illustrates otherwise, the same numeral in the drawings refers to the same structure or operation.

[0028] It should be understood that the terms "system, " "device, " "unit, " and / or "module" are used herein as a way to distinguish between different components, elements, parts, sections, or assemblies at different levels. However, the words may be replaced by other expressions if other words accomplish the same purpose.

[0029] As shown in the present disclosure and the claims, unless the context clearly suggests an exception, the words "a, " "an, " "one, " "one kind, " and / or "the" do not refer specifically to the singular, but may also include the plural. Generally, the terms "including, " and "comprising" suggest only the inclusion of clearly identified steps and elements that do not constitute an exclusive list, and the method or device may also include other steps or elements.

[0030] Flowcharts are used in the present disclosure to illustrate operations performed by a system in accordance with embodiments of the present disclosure. It should be appreciated that the preceding or following operations are not necessarily performed in an exact sequence. Instead, steps can be processed in reverse order or simultaneously. Also, it is possible to add other operations to these processes or remove a step or steps from them.

[0031] Related technology displays a specified test pattern on an LED screen, identifies a bright-dark line therein by scanning the test pattern, calculates a compensation coefficient, and corrects a bright-dark line area based on the compensation coefficient. But in this manner, it is easy to misjudge a bright-dark line caused by non-splicing, and the correction may lead to deterioration of screen uniformity. It is difficult to realize bright-dark line correction for LED screens of larger sizes. Other technologies designate a light point area of a certain window size as a statistical unit and determine whether there is a bright-dark line caused by splicing according to the existence of many consecutive statistical units that have similar brightness values and are higher or lower than the brightness of other statistical units in the same line. Then, based on whether there is a bright line or a dark line, the brightness compensation coefficient is calculated using different brightness information. However, the manner does not have the same scale of projection of each light bar on the image when the image is acquired at a certain tilt angle, resulting in an inaccurately calculated gap correction coefficient: only one gap can be corrected at a time, while lighting the screen in the form of light bars also limits the possibility of correcting both horizontal and vertical gaps at the same time.

[0032] In view of the foregoing, some embodiments of the present disclosure propose a method and system for correcting a bright-dark line on a screen. A screen outline on a screen image is detected, and after the screen outline has been localized, the screen image is subjected to a masking process based on the screen outline to obtain a mask image, a correction coefficient of the bright-dark line corresponding to the screen is determined from the mask image, and finally the bright-dark line is corrected based on the correction coefficient. The method has low requirements for image acquisition equipment and correction personnel, and it is easy and fast to operate, which can not only accurately locate a screen region in an image under the interference of other brightness information, but also can adapt to a certain tilt angle of an acquired image and allow the screen to have a certain number of dead lights or light points with abnormal brightness, so that non-professional cameras can also meet the correction accuracy of LED screens with small gaps.

[0033] FIG. 1 is a schematic diagram illustrating an exemplary application scenario of a system for correcting a bright-dark line on a screen according to some embodiments of the present disclosure.

[0034] As shown in FIG. 1, an application scenario 100 of the system for correcting the bright-dark line on the screen may include a device 110, a processing device 120, a terminal device 130, a storage device 140, and a network 150.

[0035] The device 110 is a device of which a bright-dark line on a screen needs to be corrected. In some embodiments, the device 110 may include a device having a display screen (e.g., LED screen, OLED screen, etc. ) , such as a mobile device (e.g., a cell phone) , a tablet, a laptop, an outdoor or indoor advertising screen, etc., or any combination thereof.

[0036] The processing device 120 may process data and / or information obtained from the device 110, the terminal device 130, the storage device 140, or other components of the application scenario 100 of the system. For example, the processing device 120 may obtain a screen image of a screen from the device 110; determine, based on a preset detection process, a mask image corresponding to a screen outline on the screen image; determine, based on the mask image, a correction coefficient of the bright-dark line on the screen; and correct, based on the correction coefficient, the bright-dark line on the screen. In some embodiments, the processing device 120 may be local or remote. For example, the processing device 120 may access information and / or data from the device 110, the terminal device 130, and / or the storage device 140 via the network 150. In some embodiments, the processing device 120 may be a part of the device 110.

[0037] In some embodiments, the processing device 120 includes one or more processing engines (e.g., a single-chip processing engine or a multi-chip processing engine) .

[0038] The terminal device 130 may be a user-operated terminal. The terminal device 130 is capable of providing functional components related to user interaction and realizing user interaction functions (e.g., providing or displaying information and data to a user) . The user is a person, for example, who corrects an LED screen, and the terminal device 130 has an image acquisition function. By way of example only, the terminal device 130 may be one of a mobile device, a tablet computer, a laptop computer, a desktop computer, etc., and other devices having input and / or output functions or any combination thereof. In some embodiments, the terminal device 130 may be integrated into the device 110, i.e., the two may perform all functions as a whole. In some embodiments, the user may use the terminal device 130 to take a picture of a screen of the device 110 to obtain a screen image of the screen.

[0039] The storage device 140 may store data, instructions, and / or any other information. In some  embodiments, the storage device 140 may store data obtained from the device 110 and / or the processing device 120. For example, the screen image of the screen, a mask image, the correction coefficient of the bright-dark line, or the like. In some embodiments, the storage device 140 may include one or more storage components, each of which may be a stand-alone device or may be part of other devices. In some embodiments, the storage device 140 may include random access memory (RAM) , read-only memory (ROM) , mass storage, removable memory, volatile read / write memory, etc., or any combination thereof. In some embodiments, the storage device 140 may be implemented on a cloud platform.

[0040] The network 150 may include any suitable network capable of facilitating the exchange of information and / or data. In some embodiments, at least one component of the application scenario 100 of the system for correcting a bright-dark line on a screen (e.g., the device 110, the processing device 120, the terminal device 130, the storage device 140) may exchange information and / or data with at least one other component of the application scenario 100 of the system via the network 150. For example, the processing device 120 may obtain the screen image of the screen from the device 110 via the network 150, etc.

[0041] It should be noted that the application scenario 100 of the system for correcting a bright-dark line on a screen is provided for illustrative purposes only and is not intended to limit the scope of the present disclosure. For a person of ordinary skill in the art, a variety of modifications or variations may be made in accordance with the description of the present disclosure. For example, the application scenario 100 of the system for correcting a bright-dark line on a screen may also include a database. As another example, the application scenario 100 of the system for correcting a bright-dark line on a screen may be implemented on other devices with similar or different functionality. However, these variations and modifications do not depart from the scope of the present disclosure.

[0042] FIG. 2 is a flowchart illustrating an exemplary process for correcting a bright-dark line on a screen according to some embodiments of the present disclosure. In some embodiments, a process 200 may be performed by a processing device (e.g., the processing device 120) . As shown in FIG. 2, the process 200 may include the following steps.

[0043] Step 210, a screen image of a screen is obtained.

[0044] The screen is a display screen whose screen display needs to be corrected. The screen display to be corrected may include a presence of a bright line or a dark line, etc., on the screen display.

[0045] In some embodiments, the screen may be any display screen that uses a light-emitting diode (LED) as a light source. For example, the screen may be a cell phone screen, a computer screen, a smartwatch screen, or the like, and the present disclosure does not limit this.

[0046] The screen image is an image that includes the screen. In some embodiments, the screen image may be an image in which preset content is displayed by the screen. In some embodiments, the screen comprises a plurality of display units spliced together. Each of the display units comprises a plurality of light points, and each of the display units may be viewed as a dot matrix comprising a plurality of light points. Due to a manufacturing process and an assembly process, a spacing between light points at the junction of two adjacent display units of the screen may not be consistent with a spacing between light points inside the display units, which may cause a bright line or a dark line in the visual perception of the human eye, therefore, the screen needs to be corrected to avoid this problem. In some embodiments, the screen image may include one or more bright-dark lines. In some embodiments, the processing device 120 may enable the screen to  display an image to be displayed (i.e., the preset content) by controlling display parameters of each light point.

[0047] In some embodiments, the screen image may be acquired via an image capture terminal (e.g., the terminal device 130) . Exemplary image capturing terminals may include non-professional terminals such as smartphones, video cameras, or the like.

[0048] In some embodiments, an acquired screen image of the screen may be a real-time image or a pre-acquired and stored image. For example, for a display screen that broadcasts advertisements in real-time, the screen image may be acquired in real-time by an image capturing terminal (e.g., a camera) . In some embodiments, the screen image of the screen may also be pre-acquired and pre-stored (e.g., stored in the storage device 140) , and the processing device obtains the screen image by accessing from the storage device, the database, or by invoking a relevant data interface.

[0049] In some embodiments, in order to avoid the acquired screen image being unable to correct the screen because of the light point sticking, a specified image may be selected to enable the light point in the screen according to a certain interval, so as to ensure that the light point in the acquired screen image is distinct and enable the subsequent correction of the dark-light line. Additionally, one may select any location on the screen as a specified image state.

[0050] In some embodiments, the processing device 120 may light the screen in accordance with a specified image display state; and capture a screen image of the screen in the specified state. The specified image display state refers that the display of the screen is a specified image, the specified image may be a preset image, and by displaying the specified image through the screen, the screen may be in a preset display state.

[0051] In some embodiments, the specified image state includes lighting light points of the screen at a certain interval; or, setting light points at preset positions of the screen to a specified state.

[0052] In some embodiments, lighting at a certain interval may be to light according to an arranged spacing between light points, e.g., the spacing may be a number of light points spaced apart by 1, 2, 3, 5, 10, and so on. Exemplarily, assuming that there are 500 light points in each row and column of the screen, respectively, the lighting at a certain interval may be lighting one light point at an interval of one light point in each row, and lighting 4 light points at an interval of 4 light points in each column. Therefore, in each row, there are 250 light points, and in each column, there are 100 light points.

[0053] In some embodiments, the preset location of the screen may be any location of the screen that is pre-specified. For example, a pre-set location may be a corner of the screen, the middle of the screen, a row or column of the screen, or a combination of any number of locations.

[0054] Understandably, for the correction of the display screen, although normally one or several corrections of the display screen may be completed for normal use, there may also be cases of real-time corrections of the display screen in some special cases. For example, for an outdoor advertising screen, the display effect may be affected by the intensity of the light, whether or not it rains, the intensity of the haze, etc., and in order to achieve a good display effect, it is necessary to correct the display screen according to a current situation in real-time. When the light points of the screen are lit at a certain interval, the screen may not be able to display the content normally, for example, the playback of advertisements.

[0055] The specified state is a pre-set display state of the light point. The specified state includes lighting the light point, extinguishing the light point, or lighting the light point according to a preset brightness. In some embodiments, by setting the light point at a preset location of the screen to the specified state, the  processing device may be made to implement the process for correcting a bright-dark line on a screen disclosed herein when the screen normally displays the content.

[0056] For example, when advertising content is displayed on the screen, the light point at a preset location of the screen is highlighted (with a brightness greater than that of the light point of the advertising content) or extinguished, and then, after acquiring the screen image of the screen, it is converted into a grayscale image capable of distinguishing the light point of the preset location by a preset image pre-processing manner, and then a mask image is obtained by executing a subsequent preset detection process that performs subsequent correction of the bright-dark line.

[0057] In some embodiments, the processing device may acquire the mask image by way of a machine learning model. For example, the processing device may input a screen image acquired with a light point at a preset location of the screen in a specified state into a pre-trained mask image acquisition model, and the mask image acquisition model outputs the mask image. The mask image acquisition model may be a neural network model, for example, a convolutional neural network. The training of the model may be based on pre-acquired image samples and labels. The labels may be obtained by manual labeling. A training manner may include a gradient descent manner, etc., and more descriptions of the model training manner may be found in the relevant descriptions elsewhere in the present disclosure.

[0058] In some embodiments, input data of the mask image acquisition model may also include information related to a surrounding environment of the screen, for example, the intensity of the light, whether it is raining, and the intensity of the haze.

[0059] FIG. 3 is a schematic diagram illustrating a process for obtaining a screen image according to some embodiments of the present disclosure. A screen is deployed on a screen terminal, an image acquisition terminal 330 is configured to obtain the screen image of the screen, the image acquisition terminal 330 and a screen terminal 320 are both communicatively connected to a server 310. The server 310 serves as an execution subject of a method for correcting a bright-dark line on a screen, and the image acquisition terminal 330 include, but is not limited to, a smartphone, a camera, or the like. In response to an instruction of correcting a bright-dark line, the screen terminal 320 enters a specified image display state, the screen terminal 320 displays a specified image through the screen in the specified image display state, and then the image acquisition terminal 330 obtains the screen image by performing image acquisition of the screen displaying a specified image, and sends the screen image to the server 310. It is to be understood that the image acquisition terminal 330 in the above-described embodiment and the server 310 may be deployed separately or integrated, which is not limited in the present disclosure. In some embodiments, the screen terminal may also be the device 110. In some embodiments, the server 310 may also be the processing device 120. In some embodiments, the image acquisition terminal 330 may also be the terminal device 130.

[0060] In some embodiments of the present disclosure, the specified image displayed in the specified image display state may be flexibly selected according to an actual situation, so as to make the screen image obtained by acquiring accurately, and to improve the accuracy of the subsequent bright-dark line correction. For example, brightness information of the environment light may be acquired, and then the specified image may be selected according to the brightness information of the environment light. For example, if the brightness information of the environment light is greater than a preset brightness, a first image is selected as the specified image, and if the brightness information of the environment light is less than the preset brightness, a  second image is selected as the specified image, and a light point enable interval corresponding to the first image is greater than a light point enable interval corresponding to the second image. For example, an image acquisition quality parameter of an image acquisition terminal may be obtained, and the specified image may be selected according to the image acquisition quality parameter. For example, if the image acquisition quality parameter is less than a preset image acquisition quality, the first image is selected as the specified image, and if the image acquisition quality parameter information is greater than the preset image acquisition quality, the second image is selected as the specified image, and the light point enable interval corresponding to the first image is greater than the light point enable interval corresponding to the second image.

[0061] Step 220, a mask image corresponding to a screen outline on the screen image is determined based on a preset detection process.

[0062] The mask image is a binary image used to determine a screen outline region on the screen image. The mask image contains screen contents corresponding to the screen outline, for example, white (image pixel value of 1) is used to indicate a specified area and black (image pixel value of 0) is used to indicate a non-selected area in the mask image, while other information interferences outside the screen outline, such as brightness interferences, etc., are filtered out, which improves the accuracy of the subsequent bright-dark line correction for the mask image and reduces the correction error due to the interfering information.

[0063] The preset detection process is a preset way / manner for detecting a position or region of the screen outline on the screen image. Locating the screen outline and performing a masking process to the screen outline by the preset detection process may determine a corresponding mask image. In some embodiments, the preset detection process may be a manner based on an image processing algorithm, a machine learning model, or the like. For example only, the preset detection process may be a Gaussian pyramid sampling algorithm, an inflation algorithm, a filtering algorithm, or the like.

[0064] In some embodiments, the processing device 120 may perform an upsampling process and a downsampling process on the screen image to obtain an upsampling image, detecting a screen outline in the upsampling image, and perform the masking process on the screen image based on the screen outline to obtain the mask image.

[0065] Determining the screen outline before performing the masking process ensures that when the masking process is performed, a mask image corresponding to a screen outline portion of the screen image may be accurately obtained for effective masking. For specific instructions on determining the screen outline by the upsampling process and the downsampling process, please refer to FIG. 4 and its related descriptions.

[0066] In some embodiments, the processing device 120 may perform the masking process on the screen image based on the screen outline to obtain the mask image by performing a screen display edge detection on the screen outline to obtain a screen display region; performing a grayscaling process on the screen image to obtain a grayscale image; and obtaining the mask image by mapping the screen display region into the grayscale image and extracting image content of the grayscale image located within the screen display region.

[0067] The screen display edge detection refers to a process of aligning and adapting between the screen image and a screen edge. In some embodiments, an initially extracted screen outline may not be smooth, and the screen display edge detection is required to obtain a screen display region that is divided more standardly. In some embodiments, the processing device 120 may determine the screen outline by a screen outline detection manner. Exemplary screen outline detection manners may include Canny edge detection, Sobel  operators, Laplacian operators, or the like.

[0068] After obtaining the screen outline, the screen outline edge detection is performed to obtain a screen display edge, and then the screen display region is obtained based on the screen display edge.

[0069] The screen display region is a region corresponding to light points of the screen. For example, the screen display region may include a region corresponding to lighted points, unlighted points, faulty light points, or the like. In some embodiments, the processing device 120 may obtain the screen display edge by performing a fitting point selection on the screen outline, and then fitting based on selected fitting points.

[0070] The grayscaling process is a process of converting an image in color to the grayscale image. Each pixel of the grayscale image represents only brightness information and contains no color information. For example, the grayscale image may be a pure white image (grayscale value of 255) , a pure black image (grayscale value of 0) . The grayscale image takes up less memory and runs faster compared to a color image; in addition, the grayscale image may visually increase contrast and highlight the screen display region.

[0071] In some embodiments, the processing device 120 maps the screen display region into the grayscale image, extracts image content in the grayscale image located within the screen display region, and obtains the mask image. FIG. 8 is a schematic diagram illustrating a process for determining an exemplary mask image according to some embodiments of the present disclosure. Exemplary processing is shown in FIG. 8, the processing device 120 may perform a masking process on a grayscale image based on a screen display region, extract image content located within the screen display region while filtering image content not located within the screen display region, and then obtain a mask image.

[0072] Step 230, a correction coefficient of the bright-dark line on the screen is determined based on the mask image.

[0073] The correction coefficient of the bright-dark line on the screen is a parameter that is used when correcting the bright-dark line on the screen image.

[0074] In some embodiments, the correction coefficient of the bright-dark line may be obtained by spatially correcting the mask image and calculating floating point coordinates. For specific instructions on the determination of the correction coefficient of the bright-dark line, please see FIGs. 9, 10, 11, 12, and their related descriptions.

[0075] Step 240, the bright-dark line on the screen is corrected based on the correction coefficient.

[0076] After obtaining the correction coefficient of the bright-dark line, the correction coefficient may be applied to light points on both sides of a corresponding slit to achieve the effect of correcting a bright-dark line due to splicing. For example, pixels of the light points on both sides of the silt are processed by the correction coefficient to obtain a corrected screen image.

[0077] The process for correcting a bright-dark line on a screen provided in some embodiments of the present disclosure does not require a professional image acquisition device, and such correction may be accomplished by a common camera, and correction may be performed on multiple silts at the same time, the mask image can filter the external information interference and improve the accuracy of the correction, and the correction coefficient is calculated by multiple manners, which enhances the generalizability of the process.

[0078] It should be noted that the foregoing description of the process 200 is intended to be merely exemplary and illustrative, and does not limit the scope of application of the present disclosure. For a person skilled in the art, various corrections and changes may be made to the process 200 under the guidance of the  present disclosure. However, these corrections and changes remain within the scope of the present disclosure. For example, a preprocessing step may be included in the process 200.

[0079] FIG. 4 is a flowchart illustrating an exemplary process for performing an upsampling process and a downsampling process on a screen image according to some embodiments of the present disclosure. In some embodiments, a process 400 may be performed by a processing device (e.g., the processing device 120) . As shown in FIG. 4, the process 400 may include following steps.

[0080] Step 410, a count of samplings corresponding to a screen image is obtained.

[0081] The count of samplings is a count of upsampling processes and downsampling processes. In some embodiments, the count of samplings may be represented by N, where N is a positive integer. The count of samplings may be predetermined or flexibly selected based on actual circumstances.

[0082] In some embodiments, the processing device 120 may determine the count of samplings based on at least one of an image size of the screen image or a preset interval threshold of lighted points corresponding to the screen image.

[0083] Understandably, the count of samplings is related to a count of sampling points (i.e., a count of light points) , and a spacing between sampling light points (i.e., a preset interval threshold of lighted points) . The larger the image size, the larger the interval between the light points, and the more samplings need to be performed to enable more accurate outline detection. The larger the preset interval threshold of lighted points corresponding to the screen image, i.e., the larger the spacing between the sampling light points, the more samplings need to be performed, to ensure that all portions of the screen are fully sampled.

[0084] In some embodiments, the count of samplings may be determined by pre-setting, by manual setting, or automatically determined by artificial intelligence, pre-set rules (e.g., a pre-set relationship between image size and count of samplings, etc. ) , etc.

[0085] Step 420, a downsampling binary image is obtained by performing the downsampling process on the screen image based on the count of samplings.

[0086] In some embodiments, the screen image may be subject to a grayscaling process before performing the downsampling process on the screen image. The grayscale processing may further reduce extraneous information in the screen image. Exemplarily, FIG. 5 is a schematic diagram illustrating an exemplary grayscale image according to some embodiments of the present disclosure.

[0087] The downsampling process may be Gaussian pyramid downsampling. The downsampling process reduces the dimensionality of the image features and preserves the valid information related to outline detection. In some embodiments, the downsampling process may be a process of reducing a size of an image. For example, during the downsampling process, the processing device 120 may divide the screen image into a plurality of windows, replace all pixels corresponding to light points within a window with a single pixel, and perform this operation on all windows to achieve the downsampling process.

[0088] The downsampling binary image is an image obtained after the screen image is subjected to the downsampling process. FIG. 6 is a schematic diagram illustrating a process for determining an exemplary downsampling binary image according to some embodiments of the present disclosure. Exemplary downsampling binary images are shown in FIG. 6. Compared to FIG. 5, the downsampling binary image in FIG. 6 is scaled down to fit the screen and contains only black and white colors.

[0089] Assuming that the count of samplings is N, FIG. 5 is processed with the Gaussian pyramid  downsampling for N times to obtain a downsampling result, and the downsampling result is binarized to obtain the downsampling binary image shown in FIG. 6. After the downsampling process, a dotted region corresponding to enabled light points used to display a specified image is as close as possible to a closed graph.

[0090] Step 430, an upsampling binary image is obtained by performing the upsampling process on the downsampling binary image based on the count of samplings.

[0091] The upsampling processing may be Gaussian pyramid upsampling. In some embodiments, the upsampling process may be a process of magnifying an image. The upsampling process may be a process of resizing the image size to fit the screen size. As an example only, the upsampling process may include interpolation, inverse convolution, inverse pooling, and other manners.

[0092] The upsampling binary image is an image obtained after the downsampling binary image is processed by the upsampling process. In some embodiments, an image size of the upsampling binary image is the same as the image size of the screen image for ease of subsequent processing. For example purposes only, FIG. 7 is a schematic diagram illustrating an exemplary upsampling binary image according to some embodiments of the present disclosure. Gaussian pyramid upsampling is performed on the downsampling binary image shown in FIG. 6 for N times to obtain an upsampling result, and the upsampling result is binarized to obtain the upsampling binary image shown in FIG. 7.

[0093] Step 440, the screen outline on the upsampling binary image is detected.

[0094] In some embodiments, the processing device 120 may perform an image processing on the upsampling binary image to determine edges of the upsampling binary image and use the edges as the screen outline. Exemplary image processing manners include Canny edge detection, Sobel operators, Laplacian operators, or the like.

[0095] For example, the processing device 120 may detect all outlines in the upsampling binary image and sort each outline based on an outline area of each outline, and select an outline with a largest outline area among a sorting result as the screen outline corresponding to the screen.

[0096] It should be noted that, in addition to the Gaussian pyramid upsampling and the Gaussian pyramid downsampling, the screen outline may also be determined by expansion, low-pass filtering, etc., which is not limited in the present disclosure.

[0097] In this embodiment, the screen outline is determined by a combination of the Gaussian pyramid upsampling and the Gaussian pyramid downsampling, which can effectively exclude the influence of the environment light on the screen localization, and reduce the environment requirements for correction.

[0098] FIG. 9 is a flowchart illustrating a process for determining an exemplary correction coefficient of a bright-dark line according to some embodiments of the present disclosure. In some embodiments, a process 900 may be performed by a processing device (e.g., the processing device 120) . As shown in FIG. 9, the process 900 may include following steps.

[0099] Step 910, reference point coordinates of a screen display region in a mask image are determined.

[0100] The reference point coordinates are coordinates of light points of the mask image used in spatial correction. The reference point coordinates may be coordinates of corner points of the screen display region in the mask image, or coordinates of other points of the screen display region, which are not limited by the present disclosure. As an example only, assuming that a geometric center of the mask image is an origin of a  coordinate system (the origin of the coordinate system may also be other points, such as corner points, etc. ) , the reference point coordinates may include upper left corner point coordinates (x0, y0) , upper right corner point coordinates (x1, y1) , lower right corner point coordinates (x2, y2) , and lower left corner point coordinates (x3, y3) .

[0101] In some embodiments, the reference point coordinates may be determined after establishing a coordinate system for the mask image. For example, a Cartesian coordinate system may be established based on using a pixel point of the mask image as a coordinate origin, and using coordinates of four top corners of the mask image as reference coordinate points.

[0102] Step 920, a spatial corrected image is determined by performing an image transformation on the mask image based on the reference point coordinates.

[0103] The spatial corrected image is an image obtained by performing the image transformation on the mask image according to the reference point coordinates.

[0104] In some embodiments, specific ways of transforming an image may include a Perspective Transformation (PT) of the image. The perspective transformation may be used to change a perspective or orientation of an image. The image transformation may be used to correct the perspective distortion of an image. The essence of the perspective transformation is to project an image to a new view plane, for example, the processing device 120 may mathematically map coordinates of each pixel point in the mask image.

[0105] In some embodiments, the processing device 120 may determine a transformation matrix based on the reference point coordinates; and project the mask image into a reference image space based on the transformation matrix to obtain the spatial corrected image.

[0106] The transformation matrix may be a matrix used to adjust a position of each point in an image. In some embodiments, the transformation matrix may be determined based on coordinates of a reference point before and after the perspective transformation. FIG. 10 is a schematic diagram illustrating a process for determining an exemplary spatial corrected image according to some embodiments of the present disclosure. As shown in FIG. 10, by means of the upper left corner point coordinates (x0, y0) , the upper right corner point coordinates (x1, y1) , the lower right corner point coordinates (x2, y2) , and the lower left corner point coordinates (x3, y3) , it is possible to determine that coordinates of corner reference points in the reference image space are (x0, y0) , (x1, y0) , (x1, y2) , (x0, y2) , and then based on the coordinates of the four corner points before and after the perspective transformation, the transformation matrix may be determined.

[0107] The reference image space is a preset image viewpoint. For example, the reference image space is a front view perspective of a two-dimensional space.

[0108] By projecting the mask image into the reference image space using the transformation matrix, it can eliminate the skewing of the screen display region in the screen image due to the inaccurate acquisition shooting angle of the image acquisition terminal when acquiring the screen image.

[0109] In some embodiments, the image transformation may also be implemented by a machine learning model. For example, an input to the machine learning model comprises the mask image, and the output is the spatial corrected image after performing the perspective transformation. Exemplary machine learning models may include Convolutional Neural Networks (CNN) , Recurrent Neural Networks (RNN) , and so on.

[0110] In some embodiments, the processing device 120 may train a machine learning model based on a  large number of training samples. The training samples may be pairs of an original image and an image that has undergone the perspective transformation. The processing device 120 may train the machine learning model using training samples and continuously adjust model parameters to minimize a loss function via a backpropagation algorithm. The processing device 120 then evaluates the performance of the machine learning model with a validation dataset, checking whether the model can accurately perform the perspective transformation. Model training is complete when the machine learning model can accurately perform the perspective transformation (or when the loss function satisfies a preset condition) .

[0111] In some embodiments, the input to the machine learning model may also include a shooting angle and a shooting distance. The inclusion of the above factors may improve the accuracy of image information after the perspective transformation.

[0112] Step 930, the correction coefficient of the bright-dark line on the screen is determined based on the spatial corrected image.

[0113] For example, the correction coefficient may be calculated by a following Equation (1) :

[0114] Where, coefdenotes the correction coefficient of the bright-dark line; k denotes a preset intensity factor, through which a coefficient intensity may be controlled to achieve different degrees of correction; d denotes a spacing between light points at a slit; and e denotes a spacing between light points within a display unit. The spacing between light points at the silt and the spacing between light points within the display unit may be determined by length measurement in the spatial corrected image.

[0115] In this embodiment, the perspective transformation makes a projection scale of an actual screen on the image converge, which can be adapted to shooting and acquisition at multiple angles and distances and reduce condition requirements for an image acquisition process.

[0116] FIG. 11 is a flowchart illustrating an exemplary process for determining a correction coefficient of a bright-dark line according to some embodiments of the present disclosure. In some embodiments, a process 1100 may be performed by a processing device (e.g., the processing device 120) . As shown in FIG. 11, the process 1100 may include following steps.

[0117] Step 1110, a connectivity domain detection is performed on a spatial corrected image to obtain connectivity domain centroids corresponding to all connectivity domains.

[0118] A connectivity domain is an image region consisting of pixel points in an image that have the same pixel value and are located adjacent to each other. For example, the processing device 120 may determine consecutive pixel points whose pixel values are non-zero in the spatially corrected image as a connectivity domain and consecutive pixel points whose pixel values are zero as a connectivity domain. It will be appreciated that since the spatial corrected image is already a binary image, only one pixel value is included in the same connectivity domain.

[0119] In some embodiments, the processing device 120 may use a point of a mass center of the connectivity domain as the connectivity domain centroids. The center point of the connectivity domain may be determined, for example, by geometric calculations.

[0120] Step 1120, floating point coordinates corresponding to each enabled light point are determined based on the connectivity domain centroids corresponding to the all connectivity domains.

[0121] The floating point coordinates are coordinates corresponding to a projection point of the connectivity  domain centroids on the reference image space. FIG. 12 is a schematic diagram illustrating a process for determining a correction coefficient of a bright-dark line according to some embodiments of the present disclosure. As shown in FIG. 12, each enabled light point is 1220 in FIG. 12, and enabled light points and unenabled light points may form a dotted matrix 1210 in FIG. 12 in a reference image space, the floating point coordinates are projected coordinates of each connectivity domain centroid. In FIG. 12, the enabled light points are indicated as white (bright) light points.

[0122] In some embodiments, the processing device 120 may process the connectivity domain centroid to determine the floating point coordinates. For example, the processing device 120 may determine a target centroid based on the connectivity domain centroid, and determine the floating point coordinates based on an enabled light point corresponding to the target centroid. For instructions on determining the floating point coordinates, please see FIG. 13, FIG. 14 and their related descriptions.

[0123] Step 1130, a correction coefficient of bright-dark line is determined based on floating point coordinates corresponding to each enabled light point.

[0124] In some embodiments, the processing device 120 may determine a baseline light point spacing based on the floating point coordinates corresponding to each enabled light point. As an example of a horizontal bright-dark line, enabled light point coordinates U1 and U2 are in the same display unit, and enabled light point coordinates D1 and D2 are in different display units. For example, the calculation of the baseline light point spacing is determined by Equation (2) :

[0125] Where, e denotes a light point spacing within a display unit (i.e., the baseline light point spacing) ; dotnum denotes a count of unenabled light spots between two enabled light points, e.g., a count of unenabled light points between two enabled light points in FIG. 12 is 3.

[0126] In some embodiments, the processing device 120 may determine a bright-dark line light point spacing based on the floating point coordinates corresponding to an enabled light point adjacent to the bright-dark line on the screen. For example, calculating the bright-dark line light point spacing is determined by Equation (3) : d= (D2-U2) - (3* (dotnum+1) -1) *e    (3)

[0127] Where, d denotes a spacing between light points at a tilt (i.e., the bright-dark line light point spacing) .

[0128] In some embodiments, the processing device 120 may calculate, based on the baseline light point spacing and the bright-dark line light point spacing, a correction coefficient of a bright-dark line corresponding to a light point that is adjacent to the bright-dark line on the screen. Based on the baseline light point spacing and the bright-dark line light point spacing, the correction coefficient of the bright-dark line corresponding to the light point that is adjacent to the bright-dark line on the screen may be determined by the Equation (1) .

[0129] In the present embodiment, relocating a search starting point in the locating of the light point can effectively avoid the problem of omission of the light point from being located and the problem of mislocating caused by the accumulation of errors in a search process.

[0130] FIG. 13 is a flowchart illustrating an exemplary process for determining floating point coordinates according to some embodiments of the present disclosure. In some embodiments, a process 1300 may be performed by a processing device (e.g., the processing device 120) . As shown in FIG. 13, the process 1300  may include following steps.

[0131] Step 1310, all connectivity domain centroids are traversed to obtain currently traversed connectivity domain centroids and the currently traversed connectivity domain centroids are designated as a target centroid.

[0132] The target centroid is a connectivity domain centroid that is currently being traversed when traversing all connectivity domain centroids.

[0133] In some embodiments, the processing device 120 may obtain a count of rows lightrow and a count of columns lightcol of light points that have been enabled on a screen when the screen is in a specified image display state, and obtain a width w and a height h of a screen display region in a spatial corrected image, and based on the data, calculate and obtain an average row and column spacing drow and dcol of each enabled light point in the spatial corrected image. For example, the average row-column spacing is calculated by Equations (4) and (5) :

[0134] Traversing each connectivity domain centroid in the spatial corrected image in the following way: designate floating point coordinates of light points obtained from a previous traversal as a starting point, and use a traversal window with a width and height of dcol and drow to search for a connectivity domain centroid on the spatial corrected image in sequence according to a step size of dcol (in the row direction) and drow (in the column direction) , and use connectivity domain centroids that currently have been searched as currently traversed target centroids. Specifically, the traversal for a first traversed connectivity domain centroid is performed as follows: starting from coordinates of an upper left corner point of the outer rectangle of the screen display region of the spatial corrected image, searching for the connectivity domain centroid within an area of 1.5 *dcol pixels to the right and 1.5 *drow pixels to the down, and then search for the connectivity domain centroid, and designate connectivity domain centroids that have been searched as the first traversed connectivity domain centroid.

[0135] Step 1320, a pre-selected region on the spatial corrected image corresponding to the target centroid is obtained.

[0136] The pre-selected region is a pre-defined window region. For example, the processing device 120 may use the currently traversed connectivity domain centroids as the target centroid, and then designate a rectangular region using coordinates of the target centroid as a center and having width and height of dcol and drow in the spatial corrected image as the pre-selected region corresponding to the target centroid.

[0137] Step 1330, pixel points whose pixel values satisfy a preset condition on the pre-selected region are extracted to obtain a target light point region.

[0138] The target light point region is a region consisting of enabled light points.

[0139] In some embodiments, a pixel point whose pixel value satisfies the preset condition may be a pixel point whose brightness is greater than a preset brightness threshold, or a pixel point whose pixel value is greater than a preset pixel value threshold. The preset brightness threshold may be flexibly calculated based on a spacing between enabled light points, environment brightness information, and so on, and the present disclosure does not limit this. As an example only, the processing device 120 may extract pixel points with a brightness greater than 100 in the pre-selected region (a rectangular region with a width and height of dcol and  drow, respectively) to obtain the target light point region.

[0140] Step 1340, floating point coordinates of an enabled light point corresponding to the target centroid are obtained based on the target light point region.

[0141] In some embodiments, the floating point coordinates may be obtained by calculating based on the target light point region.

[0142] In some embodiments, the processing device 120 may calculate coordinates of a mass center corresponding to the target light point region and designate the coordinates of the mass center as the floating point coordinates corresponding to the enabled light point. As an example only, the processing device 120 may set the Z-axis on top of a two-dimensional spatial corrected image, where the Z-axis denotes brightness. Therefore, a three-dimensional space representing row-column-brightness is obtained. In this three-dimensional space, each pixel corresponds to a brightness value, and a connectivity domain constitutes a three-dimensional graph, with a center of the three-dimensional graph being the mass center of the connectivity domain. Designating the mass center as the floating point coordinates corresponding to the enabled light point can make the floating point coordinates reflect the brightness information, which is beneficial for the accurate determination of the correction coefficient. FIG. 14 is a schematic diagram illustrating a process for determining floating point coordinates of an enabled light point according to some embodiments of the present disclosure. In FIG. 14, the processing device 120 may extract a connectivity domain centroid of each connectivity domain in a spatial corrected image, traverse each connectivity domain centroid, obtain a pre-selected region in the spatial corrected image based on coordinates of currently traversed connectivity domain centroids (a target centroid) , extract pixel points whose pixel value in the pre-selected region satisfies a preset condition, obtain a target light point region, and then obtain, based on the target light point region, floating point coordinates of an enabled light point corresponding to the target centroid.

[0143] In some embodiments, if there is no pixel point whose pixel value satisfies the preset condition in the target light point region, there may be a light point failure, and a center of currently traversed windows may be used as the floating point coordinates of the enabled light point at that location and use the coordinates as a starting point to continue moving a traversal window to search for a next enabled light point.

[0144] Through traversing each connectivity domain centroid in turn and gradually calculating floating point coordinates of each enabled light point, it can effectively avoid the problem of missed locating and wrong locating of enabled light points caused by the accumulated errors in the process of searching, and the use of the connectivity domain centroid to for the primary locating of enabled light points and the calculation of the mass center for a secondary locating on the basis of the primary locating can not only avoid the inaccurate exposure leading to the existence of more than one connectivity domain centroids on the image, which impacts a locating result but also can obtain more accurate floating point coordinates.

[0145] FIG. 15 is a schematic diagram illustrating exemplary modules of a system for correcting a bright-dark line on a screen according to some embodiments of the present disclosure. As shown in FIG. 15, a system 500 for correcting a bright-dark line on a screen includes an obtaining module 1510, a determining module 1520, a calculating module 1530, and a correcting module 1540.

[0146] The obtaining module 1510 is configured to obtain a screen image of a screen.

[0147] In some embodiments, the obtaining module 1510 is further configured to light the screen in accordance with a specified image display state and to capture a screen image of the screen in a specified  image state.

[0148] In some embodiments, the obtaining module 1510 is further configured to light light points of the screen at a certain interval; or, set light points at preset positions of the screen to a specified state.

[0149] The determining module 1520 is configured to determine, based on a preset detection process, a mask image corresponding to a screen outline on the screen image.

[0150] In some embodiments, the determining module 1520 is further configured to perform an upsampling process and a downsampling process on the screen image to obtain an upsampling image, detect a screen outline on the upsampling image, and perform a masking process on the screen image based on the screen outline to obtain a mask image.

[0151] In some embodiments, the determining module 1520 is further configured to obtain a count of samplings corresponding to the screen image; perform the downsampling process on the screen image based on the count of samplings to obtain a downsampling binary image; perform the upsampling process on the downsampling binary image based on the count of samplings to obtain an upsampling binary image, and detect the screen outline on the upsampling binary image.

[0152] In some embodiments, the screen comprises a plurality of light points, and the determining module 1520 is further configured to determine the count of samplings based on at least one of an image size of the screen image or a preset interval threshold of lighted points corresponding to the screen image.

[0153] In some embodiments, the determining module 1520 is further configured to perform a screen display edge detection on the screen outline to obtain a screen display region, perform a grayscaling process on the screen image to obtain a grayscale image; and obtain the mask image by mapping the screen display region into the grayscale image, and extract image content of the grayscale image located within the screen display region to obtain the mask image.

[0154] The calculating module 1530 is configured to determine, based on the mask image, a correction coefficient of the bright-dark line on the screen.

[0155] In some embodiments, the calculating module 1530 is further configured to determine reference point coordinates of a screen display region in the mask image, perform an image transformation on the mask image based on the reference point coordinates to determine a spatial corrected image, and determine the correction coefficient based on the spatial corrected image.

[0156] In some embodiments, the calculating module 1530 is further configured to determine a transformation matrix based on the reference point coordinates, and obtain a spatial corrected image by projecting the mask image into a reference image space based on the transformation matrix.

[0157] In some embodiments, the screen includes a plurality of light points, and the calculating module 1530 is further configured to perform a connectivity domain detection on the spatial corrected image to obtain connectivity domain centroids corresponding to all connectivity domains, determine floating point coordinates corresponding to each enabled light point based on the connectivity domain centroids corresponding to the all connectivity domains, and determine the correction coefficient based on the floating point coordinates corresponding to the each enabled light point.

[0158] In some embodiments, the calculating module 1530 is further configured to traverse the connectivity domain centroids to obtain currently traversed connectivity domain centroids, designate the currently traversed connectivity domain centroids as a target centroid, obtain a pre-selected region on the spatial corrected image  corresponding to the target centroid, extract pixel points whose pixel values satisfy a preset condition on the pre-selected region to obtain a target light point region, and obtain floating point coordinates of an enabled light point corresponding to the target centroid based on the target light point region.

[0159] In some embodiments, the calculating module 1530 is further configured to calculate coordinates of a mass center corresponding to the target light point region, and designate the coordinates of the mass center as the floating point coordinates corresponding to the enabled light point.

[0160] In some embodiments, the calculating module 1530 is further configured to determine a baseline light point spacing based on the floating point coordinates corresponding to the each enabled light point, determine a bright-dark line light point spacing based on the floating point coordinates corresponding to an enabled light point adjacent to the bright-dark line on the screen, and calculate, based on the baseline light point spacing and the bright-dark line light point spacing, the correction coefficient of the bright-dark line corresponding to the light point adjacent to the bright-dark line on the screen.

[0161] The correcting module 1540 is configured to correct the bright-dark line on the screen based on the correction coefficient.

[0162] It should be noted that the above description of the system 1500 for correcting the bright-dark line on the screen and its modules is for descriptive convenience only, and does not limit the present disclosure to the scope of the cited embodiments. It is to be understood that for a person skilled in the art, after understanding the principle of the system, it may be possible to arbitrarily combine individual modules or form a subsystem to connect with other modules without departing from this principle. In some embodiments, the modules described above may be different modules in a single system, or a single module may implement the functions of two or more of the modules described above. For example, the individual modules may share a common storage module, and the individual modules may each have their own storage module. Morphs such as these are within the scope of protection of the present disclosure.

[0163] FIG. 16 is a flowchart illustrating an exemplary process for correcting a bright-dark line on a screen according to another embodiment of the present disclosure. In some embodiments, a process 1600 may be performed by a processing device (e.g., the processing device 120) . As shown in FIG. 16, the process 1600 may include steps 1610 to 1640 as follows.

[0164] Step 1610, a screen image of a screen is obtained when the screen is in a specified image display state.

[0165] The screen may be a cell phone screen, a computer screen, a smartwatch screen, or the like, and the present disclosure does not limit this.

[0166] The specified image display state is a state of displaying a specified image, the specified image may be a preset image, and by displaying the specified image through the screen, the screen may be in a preset display state.

[0167] For example, the screen consists of a plurality of light points, and by controlling display parameters of each light point, the screen may be enabled to display an image to be displayed, and in order to avoid the screen image acquired may not be corrected because of the light points sticking, a specified image selected is enabled to display the light points in the screen at a certain interval to ensure that the collected light points on the screen image are clearly and to facilitate the subsequent correction of the bright-dark line. In some embodiments, the screen image of the screen may be acquired by an image acquisition terminal when the  screen is in the specified image display state, and more description of the relevant contents may be found in the relevant part of the preceding section, such as step 210.

[0168] Step 1620, an upsampling process and a downsampling process are performed on the screen image to obtain an upsampling image and a screen outline is detected on the upsampling image.

[0169] The downsampling process is configured to reduce an image and the upsampling process is configured to enlarge a size of an image.

[0170] By performing the upsampling process and the downsampling process on the screen image, other information in the screen image may be filtered out, and the screen outline corresponding to the screen in the specified image display state may be retained.

[0171] In some embodiments, as shown in FIG. 4, the performing the upsampling process and the downsampling process on the screen image to obtain the upsampling image and detecting the screen outline on the upsampling image includes: obtaining a count of samplings corresponding to the screen image, obtaining a downsampling binary image by performing the downsampling process on the screen image based on the count of samplings, obtaining an upsampling binary image by performing the upsampling process on the downsampling binary image based on the count of samplings, and detecting the screen outline on the upsampling binary image.

[0172] The count of samplings may be pre-set or flexibly selected based on the actual situation. For example, the screen comprises a plurality of light points, the screen displays the specified image when the screen is in the specified image display state, and the specified image is used to enable the light points in accordance with a preset interval threshold; and the obtaining the count of samplings corresponding to the screen image comprises determining the count of samplings based on at least one of an image size of the screen image or a preset interval threshold of lighted points corresponding to the screen image.

[0173] The screen image is then sequentially subjected to the downsampling process and the upsampling process based on the count of samplings.

[0174] The downsampling process and the upsampling process may be performed using the same sampling technique, such as Gaussian pyramid sampling technique, or other sampling techniques with low-pass filtering, etc., in order to make a dotted region corresponding to the light points into one closed graphics.

[0175] Optimally, before performing the downsampling process and the upsampling process on the screen image sequentially based on the count of samplings, the screen image may also be subjected to a grayscaling process to obtain a grayscale image, and then the downsampling process and the upsampling process may be performed on the grayscale image sequentially based on the count of samplings. The process of the grayscaling process is to unify multiple channel values (e.g., R-channel values, G-channel values, B-channel values) for each pixel point into the same value, and the grayscale image may be changed from multi-channel to single-channel.

[0176] Exemplarily, the grayscaling process is performed on the screen image to obtain the grayscale image as shown in FIG. 5, the count of samplings is N, and Gaussian pyramid downsampling process is performed on FIG. 5 for N times to obtain a downsampling result, and the downsampling result is binarized to obtain a downsampling binary image shown in FIG. 6, and after the downsampling process, a dotted matrix region corresponding to enabled light points for displaying the specified image is as close as possible to a closed graphics. Then, the downsampling binary image shown in FIG. 6 is subjected to Gaussian pyramid  upsampling process for N times to obtain an upsampling result, and the upsampling result is binarized to obtain an upsampling binary image shown in FIG. 7. Optionally, to facilitate subsequent processing, an image size of the upsampling binary image shown in FIG. 7 is the same as an image size of the screen image.

[0177] Then, a maximum outline detection is performed on the upsampling binary image shown in FIG. 7, and the screen outline corresponding to the screen in the specified image display state is obtained. For example, all outlines on the upsampling binary image are detected and each outline is sorted based on an outline area of each outline, and an outline with a largest outline area is selected from the sorting result as the screen outline corresponding to the screen. Further descriptions of the upsampling process and the downsampling process on the screen image may be found in the preceding related sections, such as FIG. 2 to FIG. 7.

[0178] Step 1630, a masking process is performed on the screen image based on the screen outline to obtain a mask image.

[0179] The masking process is used to divide the screen image.

[0180] The screen image is subjected to the masking process based on the screen outline to obtain the mask image, which contains screen content corresponding to the screen outline and filters out the interference of other information outside the screen outline, such as brightness interference, to improve the accuracy of the subsequent correction of the bright-dark line on the mask image.

[0181] In some embodiments, as shown in FIG. 8, performing the masking process on the screen image based on the screen outline to obtain the mask image includes: performing a screen display edge detection on the screen outline to obtain a screen display region, performing a grayscaling process on the screen image to obtain a grayscale image, and obtaining the mask image by mapping the screen display region into the grayscale image and extracting image content of the grayscale image located within the screen display region to obtain the mask image.

[0182] An initially extracted screen outline may not be smooth, and it is necessary to perform the screen display edge detection to obtain a more standardized division of the screen display region.

[0183] After obtaining the screen outline, the screen outline is fitted to obtain a screen display edge, and then the screen display region is obtained based on the screen display edge. It may be that the fitting point selection is performed on the screen outline, and then the screen display edge is obtained by fitting based on a selected fitting point.

[0184] Further, the screen display region is mapped to the grayscale image, and image contents in the grayscale image located within the screen display region are extracted to obtain the mask image.

[0185] For example, referring to FIG. 8, FIG. 8 is a schematic diagram illustrating a process for determining a mask image according to some embodiments of the present disclosure, as shown in FIG. 8, the grayscaling process is performed on the grayscale image based on the screen display region, and image contents located within the screen display region are extracted, and image contents not located within the screen display region are filtered to obtain the mask image. For more information about obtaining the mask image, please refer to the relevant parts of the previous sections, such as FIG. 2, FIG. 8, and so on.

[0186] Step 1640, a correction coefficient of the bright-dark line on the screen is determined based on the mask image and correcting the bright-dark line on the screen based on the correction coefficient.

[0187] The correction coefficient is used to correct the light points of the screen to eliminate the bright-dark  line on the screen.

[0188] Because the mask image filters out the interference information, a corresponding correction coefficient of the bright-dark line on the screen determined based on the mask image is more accurate.

[0189] In some embodiments, the determining the correction coefficient of the bright-dark line on the screen based on the mask image includes: determining reference point coordinates of a screen display region in the mask image, determining a spatial corrected image by performing an image transformation on the mask image based on the reference point coordinates, and determining, based on the spatial corrected image, the correction coefficient of the bright-dark line on the screen.

[0190] The reference point coordinates may be coordinates of corner points of the screen display region in the mask image, or coordinates of other points in the screen display region, which are not limited by the present disclosure.

[0191] A transformation matrix may be a perspective transformation matrix by which the mask image is projected into a reference image space to eliminate a skewed screen display region in the screen image caused by an inaccurate acquisition shooting angle of an image acquisition terminal when acquiring the screen image.

[0192] Taking coordinates of reference points as the coordinates of the corner points of the screen display region in the mask image as an example, as shown in FIG. 10, four corner points of an outer quadrilateral of the screen display region in the mask image are taken as the reference points, then coordinates of an upper left corner point (x0, y0) , coordinates of upper right corner point (x1, y1) , coordinates of the lower right corner point (x2, y2) , and coordinates of lower left corner point (x3, y3) are used as the reference points, with the upper left corner point as a target, so as construct a perspective transformation matrix based on [ (x0, y0) , (x1, y0) , (x1, y2) , (x0, y2) ] . The essence of the perspective transformation is to project an image to a new view plane. The mask image is projected to the reference image space based on the perspective transformation matrix, and the spatial corrected image is obtained to determine the correction coefficient of the bright-dark line on the screen based on the spatial corrected image. Further instructions on obtaining the spatial corrected image can be found in the previous sections, such as FIG. 9 and FIG. 10.

[0193] In some embodiments, the screen includes a plurality of light points, and the determining the correction coefficient of the bright-dark line on the screen based on the spatial corrected image includes: performing a connectivity domain detection on the spatial corrected image to obtain connectivity domain centroids corresponding to all connectivity domains, determining floating point coordinates corresponding to each enabled light point based on the connectivity domain centroids corresponding to the all connectivity domains, and determining the correction coefficient based on the floating point coordinates corresponding to the each enabled light point.

[0194] The connectivity domain is an image region consisting of foreground pixel points with the same pixel value and adjacent positions in an image.

[0195] Exemplarily, the connectivity domain detection is performed on the spatial corrected image to obtain a connectivity domain corresponding to each enabled light point contained in the spatial corrected image, and then coordinates corresponding to the connectivity domain centroid of each connectivity domain are used as corresponding floating point coordinates of each enabled light point.

[0196] For example, extracting pixel points in the spatial corrected image whose brightness is greater than a preset brightness threshold, designating a region in which a count of neighboring pixel points is greater than a  preset count as a connectivity domain corresponding to each enabled light point, and then obtaining coordinates of each pixel point in the connectivity domain, calculating a coordinate mean, and using calculated mean coordinates as the connectivity domain centroids, i.e., obtaining the floating point coordinates corresponding to each enabled light point.

[0197] In some embodiments, in order to improve the accuracy of the floating point coordinates, extracting the floating point coordinates corresponding to the each enabled light point based on the connectivity domain centroids corresponding to the all connectivity domains includes: traversing the connectivity domain centroids to obtain currently traversed connectivity domain centroids, designating the currently traversed connectivity domain centroids as a target centroid; obtaining a pre-selected region on the spatial corrected image corresponding to the target centroid, extracting pixel points whose pixel values satisfy a preset condition on the pre-selected region to obtain a target light point region, and obtaining floating point coordinates of an enabled light point corresponding to the target centroid based on the target light point region.

[0198] For example, obtaining a count of rows light_row and a count of columns light_col of enabled light points of the screen in the specified image display state, and obtaining a width w and a height h of the screen display region in the spatial corrected image, and calculating based on the above data to obtain an average row-column spacing drow and dcol for each of the enabled light points in the spatial corrected image, i.e., a row spacing drow = h  /  (light_row-1) , and similarly, a column spacing dcol=w /  (light_col -1) . Traversing each connectivity domain centroid in the spatial corrected image in the following way: take floating point coordinates of light points obtained from the previous traversal as a starting point, and use a traversal window with the width and height of dcol and drow to search for the connectivity domain centroid on the spatial corrected image in sequence according to a step size of dcol (in the row direction) and drow (in the column direction) , and use currently searched connectivity domain centroids as currently traversed target centroids. Specifically, the traversal for a first traversed connectivity domain centroid is performed as follows: starting from the coordinates of the upper left corner point of the outer rectangle of the screen display region of the spatial corrected image, searching for connectivity domain centroids within a region of 1.5 *dcol pixels to the right and 1.5 *drow pixels to the down, and then designate searched connectivity domain centroids as the first traversed connectivity domain centroid.

[0199] Then, the currently traversed connectivity domain centroid is taken as the target centroid, and then designate a rectangular region that has width and height of dcol and drow, respectively and is centered on coordinates of the target centroid in the spatial corrected image as a pre-selected region corresponding to the target centroid, and pixel points in the pre-selected region whose pixel values satisfying a preset condition are extracted, and the target light point region is obtained.

[0200] The pixel point whose pixel value satisfies the preset condition may be a pixel point whose brightness is greater than a preset brightness threshold, or it may be judged on the basis of other types of pixel values, which may be determined based on a specified image to be displayed on the screen. The preset brightness threshold may be obtained by flexible calculation based on an interval between enabled light points, environment brightness information, etc., and the present disclosure does not limit this.

[0201] According to the target light point region extracted above, obtain floating point coordinates of the enabled light point corresponding to the target centroid, e.g., calculate coordinates of a mass center of the target light point region, and use the coordinates of the mass center as the floating point coordinates of the  enabled light point to obtain the floating point coordinates of the enabled light points combined with brightness information, so that the subsequent determination of the correction coefficient is more accurate.

[0202] Specifically, if there is no pixel point whose pixel values satisfies the preset condition in the target light point region, there may be a light point failure, and a center of a current traversal window may be used as the floating point coordinates of the enabled light point at that location and used as a starting point to continue moving the traversal window to search for the next enabled light point.

[0203] By traversing each connectivity domain centroid in turn, and calculating the floating point coordinates of each enabled light point step by step, the problem of missed locating and wrong locating of enabled light points caused by the accumulated errors in the process of searching can be avoided, and by using the connectivity domain centroid for the primary locating of the enabled light points and calculating the mass center for the secondary locating on the basis of the primary locating, this not only can avoid inaccurate exposure leading to the existence of more than one connectivity domain centroid on the image, which impacts locating results, but also can obtain more accurate floating point coordinates.

[0204] In some embodiments, the processing device 120 may obtain the floating point coordinates in a following manner: extracting connectivity domain centroids of each connectivity domain in the spatial connected image, traversing the connectivity domain centroids to obtain currently traversed connectivity domain centroids; designating the currently traversed connectivity domain centroids as a target centroid, obtaining a pre-selected region on the spatial corrected image corresponding to the target centroid, extracting pixel points whose pixel values satisfy a preset condition on the pre-selected region to obtain a target light point region, and obtaining floating point coordinates of an enabled light point corresponding to the target centroid based on the target light point region.

[0205] Further, the correction coefficient of the bright-dark line on the screen is determined based on the floating point coordinates corresponding to each enabled light point.

[0206] In some embodiments, the determining the correction coefficient based on the floating point coordinates corresponding to the each enabled light point includes determining a baseline light point spacing based on the floating point coordinates corresponding to the each enabled light point, determining a bright-dark line light point spacing based on the floating point coordinates corresponding to an enabled light point adjacent to the bright-dark line on the screen, and calculating, based on the baseline light point spacing and the bright-dark line light point spacing, the correction coefficient of the bright-dark line corresponding to the light point adjacent to the bright-dark line on the screen.

[0207] First of all, the screen consists of a number of display units spliced together, and each display unit consists of a number of light points, and a location of splicing of each display unit is a location of the bright-dark line on the screen, based on a width and height of the screen, a width and height of the display unit, and a count of light points between the enabled light points, the location of the bright-dark line on the image may be determined.

[0208] Then, based on the floating point coordinates corresponding to each enabled light point, a spacing between each light point is calculated to obtain the baseline light point spacing, i.e., a spacing between light points within the display unit, and based on the corresponding floating point coordinates of an enabled light point adjacent to the bright-dark line on the screen, a spacing between light points adjacent to the bright-dark line on the screen is calculated to obtain the bright-dark line light point spacing, i.e., a spacing of light units  between the display unit, then, based on the baseline light point spacing and the bright-dark line light point spacing, the correction coefficient of the bright-dark line corresponding to the light point adjacent to the bright-dark line on the screen is determined. Further explanation on determining the correction coefficient of the bright-dark line can be found in the previous related sections, such as FIG. 11.

[0209] The process for correcting a bright-dark line on a screen provided in an embodiment of the present disclosure, by obtaining a screen image of a screen in a specified image display state, performing an upsampling process and a downsampling process on the screen image to obtain an upsampling image, detecting a screen outline on the upsampling image, this can effectively exclude the influence of environment light, directly and accurately locate the screen outline, and reduce the requirements of the correction environment, furthermore, by performing a masking process on the screen image based on the screen outline to obtain a mask image, determining a correction coefficient of the bright-dark line on the screen based on the mask image, and then correcting the bright-dark line on the screen based on the correction coefficient, this can correct a plurality of bright-dark lines at the same time, and improve the efficiency and accuracy of correction.

[0210] Some embodiments of the present disclosure further provide an electronic device comprising a memory and a processor, the processor being used to execute program instructions stored in the memory for realizing a method for correcting a bright-dark line on a screen as described in any of the above embodiments.

[0211] The beneficial effects brought about by some embodiments of the present disclosure include at least: (1) the process has low professional requirements for image acquisition device and correction personnel with easy and fast operation, and can simultaneously correct multiple bright-dark lines on the screen; (2) locating a screen region by an upsampling process and a downsampling process can effectively exclude the influence of environment light, locate the screen more accurately, and reduce the requirements for the correction environment; (3) based on reference point coordinates of a mask image to determine a spatial corrected image, so that a projection scale of the screen on the image tends to be consistent, which can be adapted to the multi-angle acquisition and shooting; (4) in determining the target light point region, the relocating of a search starting point can effectively avoid the light point leakage and mislocalization problems caused by the accumulation of errors in the search process; (5) combined with the brightness information obtained by the floating point coordinates of the enabled light point can improve the accuracy of the correction coefficient determined subsequently; (6) a manner for determining the target light point region based on the connectivity domain centroids and determining the floating point coordinates of the enabled light point based on the coordinates of the mass center corresponding to the target light point region can avoid the existence of multiple connectivity domain centroids corresponding to the light points on the image caused by the inaccuracy of the exposure, and at the same time, and can further improve the accuracy of the floating point coordinates of the enabled light point.

[0212] The basic concepts have been described above, and it is apparent to those skilled in the art that the foregoing detailed disclosure is intended as an example only and does not constitute a limitation of the present disclosure. While not expressly stated herein, a person skilled in the art may make various modifications, improvements, and amendments to the present disclosure. Those types of modifications, improvements, and amendments are suggested in the present disclosure, so those types of modifications, improvements, and amendments remain within the spirit and scope of the exemplary embodiments of the present disclosure.

[0213] Also, the present disclosure uses specific words to describe embodiments of the present disclosure.  such as "an embodiment" , "one embodiment" , and / or "some embodiment" means a feature, structure, or characteristic associated with at least one embodiment of the present disclosure. Accordingly, it should be emphasized and noted that "an embodiment" or "one embodiment" , or "a number of embodiments" referred to two or more times in different locations in the present disclosure means a feature, structure, or characteristic related to at least one embodiment of the present disclosure. In addition, certain features, structures, or characteristics of one or more embodiments of the present disclosure may be suitably combined.

[0214] In addition, unless expressly stated in the claims, the order of the processing elements and sequences, the use of numerical letters, or the use of other names described herein are not intended to limit the order of the processes and methods of the present disclosure. While some embodiments of the invention that are currently considered useful are discussed in the foregoing disclosure by way of various examples, it should be appreciated that such details serve only illustrative purposes, and that additional claims are not limited to the disclosed embodiments, rather, the claims are intended to cover all amendments and equivalent combinations that are consistent with the substance and scope of the embodiments of the present disclosure. For example, although the implementation of various components described above may be embodied in a hardware device, it may also be implemented as a software only solution, e.g., an installation on an existing server or mobile device.

[0215] Similarly, it should be noted that in order to simplify the presentation of the disclosure of the present disclosure, and thereby aid in the understanding of one or more embodiments of the invention, the foregoing descriptions of embodiments of the present disclosure sometimes group multiple features together in a single embodiment, accompanying drawings, or a description thereof. However, this method of disclosure does not imply that more features are required for the objects of the present disclosure than are mentioned in the claims. Rather, claimed subject matter may lie in less than all features of a single foregoing disclosed embodiment.

[0216] Some embodiments use numbers describing the number of components, attributes, and it should be understood that such numbers used in the description of embodiments are modified in some examples by the modifiers "approximately" , "nearly" , or "substantially" . Unless otherwise noted, the terms "approximately, " "about, " or "generally" indicates that a ±20%variation in the stated number is allowed. Correspondingly, in some embodiments, the numerical parameters used in the present disclosure and claims are approximations, which approximations are subject to change depending on the desired characteristics of individual embodiments. In some embodiments, the numerical parameters should take into account the specified number of valid digits and utilize a general digit retention method. While the numerical domains and parameters used to confirm the breadth of their ranges in some embodiments of the present disclosure are approximations, in specific embodiments, such values are set to be as precise as practicable.

[0217] For each of the patents, patent applications, patent application disclosures, and other materials cited in the present disclosure, such as articles, books, specification sheets, publications, documents, or the like, are hereby incorporated by reference in their entirety into the present disclosure. Application history documents that are inconsistent with or conflict with the contents of the present disclosure are excluded, as are documents (currently or hereafter appended to the present disclosure) that limit the broadest scope of the claims of the present disclosure. It should be noted that in the event of any inconsistency or conflict between the descriptions, definitions, and / or use of terms in the materials appended to the present disclosure and those set forth herein, the descriptions, definitions and / or use of terms in the present disclosure shall prevail.

[0218] Finally, it should be understood that the embodiments described in the present disclosure are only used to illustrate the principles of the embodiments of the present disclosure. Other deformations may also fall within the scope of the present disclosure. As such, alternative configurations of embodiments of the present disclosure may be considered to be consistent with the teachings of the present disclosure as an example, not as a limitation. Correspondingly, the embodiments of the present disclosure are not limited to the embodiments expressly presented and described herein.

Claims

1.A method for correcting a bright-dark line on a screen, the method comprising:obtaining a screen image of a screen;determining, based on a preset detection process, a mask image corresponding to a screen outline on the screen image;determining, based on the mask image, a correction coefficient of the bright-dark line on the screen; andcorrecting the bright-dark line on the screen based on the correction coefficient.2.The method according to claim 1, wherein the determining, based on the preset detection process, the mask image corresponding to the screen outline on the screen image includes:performing an upsampling process and a downsampling process on the screen image to obtain an upsampling image ;detecting a screen outline on the upsampling image ; andperforming a masking process on the screen image based on the screen outline to obtain the mask image.3.The method according to claim 2, wherein the performing the upsampling process and the downsampling process on the screen image to obtain the upsampling image, and detecting the screen outline on the upsampling image includes:obtain a count of samplings corresponding to the screen image;obtaining a downsampling binary image by performing the downsampling process on the screen image based on the count of samplings;obtaining an upsampling binary image by performing the upsampling process on the downsampling binary image based on the count of samplings; anddetecting the screen outline on the upsampling binary image.4.The method according to claim 3, wherein the screen includes a plurality of light points, and the obtaining the count of samplings corresponding to the screen image includes:determining the count of samplings based on at least one of an image size of the screen image or a preset interval threshold of lighted points corresponding to the screen image.5.The method according to claim 2, wherein the performing the masking process on the screen image based on the screen outline to obtain the mask image includes:performing a screen display edge detection on the screen outline to obtain a screen display region;performing a grayscaling process on the screen image to obtain a grayscale image; andobtaining the mask image by mapping the screen display region into the grayscale image and extracting image content of the grayscale image located within the screen display region.6.The method according to claim 1, wherein the determining the correction coefficient of the bright-dark line on the screen based on the mask image includes:determining reference point coordinates of a screen display region in the mask image;determining a spatial corrected image by performing an image transformation on the mask image based on the reference point coordinates; anddetermining, based on the spatial corrected image, the correction coefficient of the bright-dark line on the screen.7.The method according to claim 6, wherein the determining the spatial corrected image by performing the image transformation on the mask image based on the reference point coordinates includes:determining a transformation matrix based the reference point coordinates; anddetermining the spatial corrected image by projecting the mask image into a reference image space based on the transformation matrix.8.The method according to claim 6, wherein the screen includes a plurality of light points, and the determining the correction coefficient of the bright-dark line on the screen based on the spatial corrected image includes:performing a connectivity domain detection on the spatial corrected image to obtain connectivity domain centroids corresponding to all connectivity domains;determining floating point coordinates corresponding to each enabled light point based on the connectivity domain centroids corresponding to the all connectivity domains; anddetermining the correction coefficient based on the floating point coordinates corresponding to the each enabled light point.9.The method according to claim 8, wherein the determining the floating point coordinates corresponding to the each enabled light point based on the connectivity domain centroids corresponding to the all connectivity domains includes:traversing the connectivity domain centroids to obtain currently traversed connectivity domain centroids;designating the currently traversed connectivity domain centroids as a target centroid;obtaining a pre-selected region on the spatial corrected image corresponding to the target centroid;extracting pixel points whose pixel values satisfy a preset condition on the pre-selected region to obtain a target light point region; andobtaining floating point coordinates of an enabled light point corresponding to the target centroid based on the target light point region.10.The method according to claim 9, wherein the obtaining the floating point coordinates of the enabled light point corresponding to the target centroid based on the target light point region includes:calculating coordinates of a mass center corresponding to the target light point region; anddesignating the coordinates of the mass center as the floating point coordinates corresponding to the enabled light point.11.The method according to claim 8, wherein the determining the correction coefficient based on the floating point coordinates corresponding to the each enabled light point includes:determining a baseline light point spacing based on the floating point coordinates corresponding to the each enabled light point;determining a bright-dark line light point spacing based on the floating point coordinates corresponding to an enabled light point adjacent to the bright-dark line on the screen; andcalculating, based on the baseline light point spacing and the bright-dark line light point spacing, the correction coefficient of the bright-dark line corresponding to the light point adjacent to the bright-dark line on the screen.12.The method according to claim 1, wherein the obtaining the screen image of the screen includes:lighting the screen in accordance with a specified image display state; andcapturing the screen image of the screen when the screen is in a specified image state.13.The method according to claim 12, wherein the specified image state includes:lighting light points of the screen at regular intervals; or,setting a light point at a preset position of the screen as a specified state.14.A system for correcting a bright-dark line on a screen, the system comprising:an obtaining module, configured to obtain a screen image of a screen;a determining module, configured to determine, based on a preset detection process, a mask image corresponding to a screen outline on the screen image;a calculating module, configured to determine a correction coefficient of the bright-dark line on the screen based on the mask image; anda correcting module, configured to correct the bright-dark line on the screen based on the correction coefficient.15.A method for correcting a bright-dark line on a screen, comprising:obtaining a screen image of a screen when the screen is in a specified image display state;performing an upsampling process and a downsampling process on the screen image to determine an upsampling image;detecting a screen outline on the upsampling image;obtaining a mask image by performing a masking process on the screen image based on the screen outline; anddetermining, a correction coefficient of the bright-dark line on the screen based on the mask image; andcorrecting the bright-dark line on the screen based on the correction coefficient.16.An electronic device, wherein the electronic device includes a memory and a processor, and the processor is configured to execute program instructions stored in the memory to implement steps in a method as claimed in any one of claims 1 to 13.

Images