Methods and apparatus for pest counter and classification methodology

Abstract

Various examples are directed to apparatus and methods for a pest counter and classification methodology. A method includes receiving an image from a pest control device and analyzing the image to identify large insects and count a first number of large insects based on a number of pixels in a bitmapped set of contours of the image. The identified large insects are masked in the image using white pixels to cover the identified large insects, and a second number of small insects in the masked image is determined. The first number of large insects and the second number of small insects are combined into a composite table, and the composite table is provided as an output to a user of the computer system.

Description

METHODS AND APPARATUS FOR PEST COUNTER AND CLASSIFICATION METHODOLOGYTECHNICAL FIELD

[0001] This disclosure relates generally to methods and apparatus for a pest counter and classification methodology.BACKGROUND

[0002] Pest control systems may include cameras or other sensors in pest control devices to detect and identify pests captured or observed by the pest control devices. Images from the cameras or other sensors may be used to determine or count a number of the pests by analyzing the images. However, varying sizes of pests captured by the pest control devices and displayed in the images may increase the difficulty of determining the number of pests, causing a less accurate and more time consuming calculation, and further requiring a higher resolution of image detection.

[0003] There is a need in the art for methods and apparatus for a pest counter and classification methodology of a pest control system that provides more reliable, faster and more accurate counting and classification.SUMMARY

[0004] The present apparatus and methods provide a system for pest counter and classification methodology. Various examples are directed to a computer system comprising one or more processors and a data storage system in communication with the one or more processors. The data storage system comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to receive an image from a pest control device and analyze, using machine learning, the image to identify large insects and count a first number of large insects based on a number of pixels in a bitmapped set of contours of the image. The identified large insects in the image are masked using white pixels to cover the identified large insects. A second number of small insects in the masked image are determined, and the first number of large insects and the second number of small  insects are combined into a combined number of insects. The combined number of insects are provided as an output to a user of the computer system.

[0005] Various examples include a method for classifying and counting pests in a pest control system. The method includes receiving an image from a pest control device and analyzing the image to identify large insects and count a first number of large insects based on a number of pixels in a bitmapped set of contours of the image. The identified large insects are masked in the image using white pixels to cover the identified large insects, and a second number of small insects in the masked image is determined. The first number of large insects and the second number of small insects are combined into a composite table, and the composite table is provided as an output to a user of the computer system.

[0006] This Summary is an overview of some of the teachings of the present application and not intended to be an exclusive or exhaustive treatment of the present subject matter. Further details about the present subject matter are found in the detailed description and appended claims. The scope of the present invention is defined by the appended claims and their legal equivalents.BRIEF DESCRIPTION OF THE DRAWINGS

[0007] The drawings illustrate generally, by way of example, various embodiments discussed in the present document. The drawings are for illustrative purposes only and may not be to scale.

[0008] FIG. 1 illustrates an example embodiment of a flowchart for classifying and counting pests in a pest control system, according to various embodiments.

[0009] FIG. 2 illustrates an example embodiment of a method for classifying and counting pests in a pest control system, according to various embodiments.

[0010] FIG. 3 illustrates an example machine learning module for classifying and counting pests in a pest control system, according to various embodiments;

[0011] FIGS. 4A-4D are illustrations of embodiments of images used for classifying and counting pests in a pest control system, according to various embodiments;

[0012] FIG. 5 is a block diagram of a machine in the example form of a computer system within which a set of instructions may be executed, for causing the machine to perform any one or more of the methodologies discussed herein.DETAILED DESCRIPTION

[0013] The following detailed description of the present subject matter refers to subject matter in the accompanying drawings which show, by way of illustration, specific aspects and embodiments in which the present subject matter may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present subject matter. References to “an” , “one” , or “various” embodiments in this disclosure are not necessarily to the same embodiment, and such references contemplate more than one embodiment. The scope of the present invention is defined by the appended claims, along with the full scope of legal equivalents to which such claims are entitled.

[0014] The present application provides a software algorithm that takes an original photographic image of insects or other pests on a glue trap or similar pest control device, creates a bitmapped set of contours of the insects, identifies large insects based on the number of pixels in the contour, masks large insects as white pixels, and runs a machine learning or artificial intelligence (AI) algorithm on the masked image to classify and count smaller insects. In various examples, masking of larger insects provides a speedier and more accurate determination of smaller insects. In some embodiments, the present system crops the image carefully to focus on an area of interest and to avoid boundaries of a trap which may introduce error in the AI classification algorithm. In various embodiments, the present system uses a sensor or camera in the pest control device to monitor performance of a light source, including but not limited to an ultraviolet (UV) light source in the pest control device to determine when the UV light is ready for service, and notifies a user of the need for UV light servicer. In some embodiments, the present system uses a sensor or camera in the pest control device to monitor performance of a light in the pest control device to determine when the light is ready for replacement, and notifies a user of the need for light replacement. In various embodiments, it is understood that the light may be reused by replacement of the glue board of the device. In various embodiments, the power source of the light may be replaced. In various embodiments, other attractants may be used, such as thermal (i.e., heater) , chemical (for example, pheromones) , baits, and in various combinations and with or without light sources. Other service items may be performed using the present subject matter, which may include servicing or renewal of thermal and / or chemical and / or bait attractants. The present subject matter combines large insect detection with small insect detection to enhance processing and output of the system.

[0015] The present subject matter provides for large insect masking to enhance small insect detection and processing, in various embodiments. In some examples, the present  system uses a learned database to classify and count large insects at the same time, and then masks large insects and to make the large insect image into white bitmapped pixels. The present system can them count smaller images of small insects based primarily on dot size, such that there is no need to use a training set of insect images to count the small dots representing small insects, in various embodiments. The present system thus results in less error-based processing of insects, is computationally faster, less central processing unit (CPU) intensive, and lends itself to cloud based or edge based computing, in various embodiments. The present algorithm counts dots or contours and labels the image, and then takes the large insect counts and adds the small insect counts to a composite table classifying all insects, in various examples. The present system is much faster that the prior methods of using classifiers and training data for an entire image, which is wasteful, slow, CPU intensive, and introduces more training data error. For example, the previous system of masking the larger insects resulted in classification and counting of insects from an image that used seven seconds of computing time, while the present method obtained superior results in under three seconds. Without masking, the large insects may erroneously appear as a collection of small insects. With masking, less processing time is needed for the small insect counting thus resulting in a faster, more robust, and more accurate classification and counting procedure. In addition, the present method may be used with a lower resolution camera in the detector of the pest control device. The present system and method may be used without training data (or library entries) for all insects, as there is no need to use small insect training or classification data, in various embodiments.

[0016] According to various embodiments, the present method includes three phases: (1) large insect detection based on a shape of an insect using a trained library; (2) large insect masking from the image; and (3) small insect detection and metrics / counting, based on contours or dots. By masking the large insects, error from counting the small insects caused by the large insects is removed during small insect processing. The resulting small insect processing is faster because the present method does not require a deep learning algorithm to use classifications and can instead do counting of small insects based primarily on the dots on the image (after masking the large insects) . In addition, the present system requires less computational resources, such that the present method may be executed on a cloud or edge device to save processing and computing power.

[0017] In various examples, the present system may crop an image area to remove the perimeter of image, to avoid errors introduced into training due to dark areas outside of the perimeter of the image, such as an image of a glue trap. By cropping the image, the boundary  errors do not influence the deep learning algorithm or induce error in the training and eventual use of the data, which is compounded during processing. In various examples, the present system detects the area of a glue board on an image, and crops the imager to the board so as to reduce inferences from the background which can influence and inject error into the deep learning algorithm. Thus, the present system provides for classification and counting that is more accurate and includes less error due to uncropped images (as in the prior systems) . In this manner, the present system increases efficiency and accuracy and reduces CPU processing time.

[0018] In some embodiments, the present system uses a camera or sensor that is placed in the pest control device, such as a UV capture device, to act as UV light sensor and to monitor performance of the UV trap light. The camera captures an image of UV light over time to determine if the UV trap light is working properly or not, in various embodiments. If the UV trap light is not performing correctly, the present system then can provide an alert so that service persons can service the UV trap light, which may include replacement of the UV light, a power source, or other service function, in various embodiments. In some examples, the present system can detect a contrast in brightness of an image when the trap light is illuminated to determine if the UV trap light should be serviced. In some examples, the present system may monitor coverage of a grey area on the glue board to determine if the glue board should be replaced. The present system provides an alert if it is determined that the UV trap light or the glue board should be replaced, in various embodiments.

[0019] FIG. 1 illustrates an example embodiment of a flowchart 100 for classifying and counting pests in a pest control system, according to various embodiments. An image 102 is used as an input for a first detection process 104. In various examples, the first detection process 104 includes large insect detection. The first detection process 104 includes resizing 114 the image and applying an object detection model 124 to detect and count large insects, in various embodiments. The resulting image has a mask 106 applied to cover the detected large insects, in various embodiments, and the masked image is used as an input to a second detection process 108. In various examples, the second detection process 108 includes small insect detection. The second detection process 108 includes using a greyscale 118 of the image, applying an adaptive threshold 128, and finding contours 138 of the detected small insects, in various embodiments. In various examples, the contours 138 are identified and counted, and then combined with the counted large insects and provided as an output to a user.

[0020] In various embodiments, large insect data is processed in the first detection  process 104, large insects are masked out in a bitwise manner, small insect data is processed in the second detection process 108, and the results are combined into a table using the bitwise image of insects. The present system provides for converting large insect silhouettes or contours into white space so as to not throw off the learning model and to save time by avoiding counting defective large insect dark bits as possible small insect spots and inducing error into the analysis, in various embodiments.

[0021] FIG. 2 illustrates an example embodiment of a method for classifying and counting pests in a pest control system, according to various embodiments. The method 200 includes receiving an image from a pest control device, at step 202. At step 204, the image is analyzed using machine learning to identify large insects and count a first number of large insects based on a number of pixels in a bitmapped set of contours of the image. The identified large insects in the image are masked using white pixels to cover the identified large insects, at step 206. At step 208, a second number of small insects is determined in the masked image. The first number of large insects and the second number of small insects are combined into a combined number of insects, at step 210. At step 212, the combined number of insects is provided as an output to a user of the computer system. In various embodiments, the combined number of insects is provided as a composite table on a graphical user interface (GUI) .

[0022] According to various examples, the method 200 further includes cropping the image from the pest control device to an area of interest to avoid boundaries of the pest control device. The method 200 may further include analyzing the image from the pest control device to monitor performance of an ultraviolet light source of the pest control device. In some embodiments, the method 200 may further include determining whether the ultraviolet light source and / or its components should be serviced based on the monitored performance, and notifying the user that the ultraviolet light source or components, such as its glue board or power source, should be serviced based on the determination. In various examples, the method further includes determining the second number of small insects in the masked image by counting images based on dot size.

[0023] In some examples, determining the second number of small insects in the masked image includes providing contours of the small insects in the masked image, and counting the contours of the small insects in the masked image. A first threshold size for large insects is programmable by the user, in some embodiments. The method 200 may further include converting the received image from a gray scale image to a binary image prior to analyzing the image, in some examples. In various embodiments, at least a portion of the computer  system includes a cloud-based storage device. At least a portion of the computer system includes a mobile computing device, in various embodiments.

[0024] FIGS. 4A-4D are illustrations of embodiments of images used for classifying and counting pests in a pest control system, according to various embodiments. In FIG. 4A, an original image 400 from a pest control device imaging sensor is used for a pest classification and counting system. The original image 400 is in greyscale and includes a plurality of large insects 404 and small insects 402. In FIG. 4B, a threshold image 410 is shown after preprocessing of the original image to make the image binary (black and white) , and the threshold image 410 includes a plurality of large insects 414 and small insects 412. In FIG. 4C, a masked image 420 is shown after processing of the threshold image using an object detection model of the present subject matter which identifies large insects and masks 424 the large insects leaving only small insects 422 in the image. In FIG. 4D, a contoured image 430 is shown after processing of the masked image to provide contours of the small insects 432 absent the large insects. In various examples, each recognized contour or closed shape is counted as one small insect.

[0025] In prior systems, a visual method of insect classification and counting was used which defined large or small insects manually, and calculated the insects based on size of pixels as it appears on the image. In the prior method, the insect was classified as small if its image is small enough for human eyes to tell which species the insect belongs to. In the present method, an algorithm is used that provides a fixed pixel range for classification of large and small insects, in various embodiments.

[0026] FIG. 3 shows an example machine learning module 300 according to some examples of the present disclosure. The machine learning module 300 may be implemented in whole or in part by one or more computing devices. In some examples, the training module 310 may be implemented by a different device than the prediction module 320. In these examples, the model 120 may be created on a first machine and then sent to a second machine.

[0027] Machine learning module 300 utilizes a training module 310 and a prediction module 320. Training module 310 inputs training feature data 330 into feature determination module 350. The training feature data 330 may include data determined to be predictive of classifying and counting pests in a pest control system. Categories of training feature data may include tracked data, input data, image data, user data, other third-party data, or the like. Specific training feature data and prediction feature data 390 may include, for example one or more of: current tracked data, past tracked data, and the like.

[0028] Feature determination module 350 selects training vector 360 from the training feature data 330. The selected data may fill training vector 360 and comprises a set of the training feature data that is determined to be predictive of classifying and counting pests in a pest control system. In some examples, the tasks performed by the feature determination module 350 may be performed by the machine learning algorithm 370 as part of the learning process. Feature determination module 350 may remove one or more features that are not predictive of classifying and counting pests in a pest control system to train the model 120. This may produce a more accurate model that may converge faster. Information chosen for inclusion in the training vector 360 may be all the training feature data 330 or in some examples, may be a subset of all the training feature data 330.

[0029] In other examples, the feature determination module 350 may perform one or more data standardization, cleanup, or other tasks such as encoding non numerical features. For example, for categorical feature data, the feature determination module 350 may convert these features to numbers. In some examples, encodings such as “One Hot Encoding” may be used to convert the categorical feature data to numbers. This enables a representation of the categorical variables as binary vectors and provided a “probability-like” number for each label value to give the model more expressive power. One hot encoding represents a category as a vector whereby each possible category value is represented by one element in the vector. When the data is equal to that category value, the value of the vector is a ‘1’ and all other elements are zero (or vice versa) .

[0030] The training vector 360 may be utilized (along with any applicable labels) by the machine learning algorithm 370 to produce a model 120. In some examples, other data structures other than vectors may be used. The machine learning algorithm 370 may learn one or more layers of a model. Example layers may include convolutional layers, dropout layers, pooling / up sampling layers, SoftMax layers, and the like. Example models may be a neural network, where each layer is comprised of a plurality of neurons that take a plurality of inputs, weight the inputs, input the weighted inputs into an activation function to produce an output which may then be sent to another layer. Example activation functions may include a Rectified Linear Unit (ReLu) , and the like. Layers of the model may be fully or partially connected. In other examples, machine learning algorithm may be a gradient boosted tree and the model may be one or more data structures that describe the resultant nodes, leaves, edges, and the like of the tree.

[0031] In the prediction module 320, prediction feature data 390 may be input to the feature determination module 395. The prediction feature data 390 may include the data  described above for the training feature data, but for a specific items such as large or small pest or insect identification or classification. In some examples, the prediction module 320 may be run sequentially for one or more items. Feature determination module 395 may operate the same, or differently than feature determination module 350. In some examples, feature determination modules 350 and 395 are the same modules or different instances of the same module. Feature determination module 395 produces vector 397, which is input into the model 120 to produce predictions 399. For example, the weightings and / or network structure learned by the training module 310 may be executed on the vector 397 by applying vector 397 to a first layer of the model 120 to produce inputs to a second layer of the model 120, and so on until the prediction 399 is output. As previously noted, other data structures may be used other than a vector (e.g., a matrix) .

[0032] The training module 310 may operate in an offline manner to train the model 120. The prediction module 320, however, may be designed to operate in an online manner. It should be noted that the model 120 may be periodically updated via additional training and / or user feedback. For example, additional training feature data 330 may be collected. The feedback, along with the prediction feature data 390 corresponding to that feedback, may be used to refine the model by the training module 310.

[0033] In some example embodiments, results obtained by the model 120 during operation (e.g., outputs produced by the model in response to inputs) are used to improve the training data, which is then used to generate a newer version of the model. Thus, a feedback loop is formed to use the results obtained by the model to improve the model.

[0034] The machine learning algorithm 370 may be selected from among many different potential supervised or unsupervised machine learning algorithms. Examples of learning algorithms include artificial neural networks, convolutional neural networks, Bayesian networks, instance-based learning, support vector machines, decision trees (e.g., Iterative Dichotomiser 3, C4.5, Classification and Regression Tree (CART) , Chi-squared Automatic Interaction Detector (CHAID) , and the like) , random forests, gradient boosted tree, linear classifiers, quadratic classifiers, k-nearest neighbor, linear regression, logistic regression, a region based CNN, a full CNN (for semantic segmentation) , a mask R-CNN algorithm for instance segmentation, and hidden Markov models. Examples of unsupervised learning algorithms include expectation-maximization algorithms, vector quantization, and information bottleneck method.

[0035] FIG. 5 illustrates a block diagram of an example machine 500 upon which any one or more of the techniques (e.g., methodologies) discussed herein may perform. In  alternative embodiments, the machine 500 may operate as a standalone device or may be connected (e.g., networked) to other machines. In a networked deployment, the machine 500 may operate in the capacity of a server machine, a client machine, or both in server-client network environments. In an example, the machine 500 may act as a peer machine in peer-to-peer (P2P) (or other distributed) network environment. The machine 500 may be configured to perform the method of FIG. 2. The machine 500 may be in the form of a personal computer (PC) , a tablet PC, a set-top box (STB) , a personal digital assistant (PDA) , a mobile telephone, a smart phone, a cloud based device, an edge based device, a web appliance, a network router, switch or bridge, or any machine capable of executing instructions (sequential or otherwise) that specify actions to be taken by that machine. Further, while only a single machine is illustrated, the term “machine” shall also be taken to include any collection of machines that individually or jointly execute a set (or multiple sets) of instructions to perform any one or more of the methodologies discussed herein, such as cloud computing, software as a service (SaaS) , other computer cluster configurations.

[0036] Examples, as described herein, may include, or may operate on, logic or a number of components, modules, or mechanisms. Modules are tangible entities (e.g., hardware) capable of performing specified operations and may be configured or arranged in a certain manner. In an example, circuits may be arranged (e.g., internally or with respect to external entities such as other circuits) in a specified manner as a module. In an example, the whole or part of one or more computer systems (e.g., a standalone, client or server computer system) or one or more hardware processors may be configured by firmware or software (e.g., instructions, an application portion, or an application) as a module that operates to perform specified operations. In an example, the software may reside on a machine readable medium. In an example, the software, when executed by the underlying hardware of the module, causes the hardware to perform the specified operations.

[0037] Accordingly, the term “module” is understood to encompass a tangible entity, be that an entity that is physically constructed, specifically configured (e.g., hardwired) , or temporarily (e.g., transitorily) configured (e.g., programmed) to operate in a specified manner or to perform part or all of any operation described herein. Considering examples in which modules are temporarily configured, each of the modules need not be instantiated at any one moment in time. For example, where the modules comprise a general-purpose hardware processor configured using software, the general-purpose hardware processor may be configured as respective different modules at different times. Software may accordingly  configure a hardware processor, for example, to constitute a particular module at one instance of time and to constitute a different module at a different instance of time.

[0038] Machine (e.g., computer system) 500 may include a hardware processor 502 (e.g., a central processing unit (CPU) , a graphics processing unit (GPU) , a hardware processor core, or any combination thereof) , a main memory 504 and a static memory 506, some or all of which may communicate with each other via an interlink (e.g., bus) 508. The machine 500 may further include a display unit 510, an alphanumeric input device 512 (e.g., a keyboard) , and a user interface (UI) navigation device 514 (e.g., a mouse) . In an example, the display unit 510, input device 512 and UI navigation device 514 may be a touch screen display. The machine 500 may additionally include a storage device (e.g., drive unit) 516, a signal generation device 518 (e.g., a speaker) , a network interface device 520, and one or more sensors 521, such as a global positioning system (GPS) sensor, compass, accelerometer, or other sensor. The machine 500 may include an output controller 528, such as a serial (e.g., universal serial bus (USB) , parallel, or other wired or wireless (e.g., infrared (IR) , near field communication (NFC) , etc. ) connection to communicate or control one or more peripheral devices (e.g., a printer, card reader, etc. ) .

[0039] The storage device 516 may include a machine readable medium 522 on which is stored one or more sets of data structures or instructions 524 (e.g., software) embodying or utilized by any one or more of the techniques or functions described herein. The instructions 524 may also reside, completely or at least partially, within the main memory 504, within static memory 506, or within the hardware processor 502 during execution thereof by the machine 500. In an example, one or any combination of the hardware processor 502, the main memory 504, the static memory 506, or the storage device 516 may constitute machine readable media.

[0040] While the machine readable medium 522 is illustrated as a single medium, the term "machine readable medium" may include a single medium or multiple media (e.g., a centralized or distributed database, and / or associated caches and servers) configured to store the one or more instructions 524.

[0041] The term “machine readable medium” may include any medium that is capable of storing, encoding, or carrying instructions for execution by the machine 500 and that cause the machine 500 to perform any one or more of the techniques of the present disclosure, or that is capable of storing, encoding or carrying data structures used by or associated with such instructions. Non-limiting machine-readable medium examples may include solid-state memories, and optical and magnetic media. Specific examples of machine-readable media  may include: non-volatile memory, such as semiconductor memory devices (e.g., Electrically Programmable Read-Only Memory (EPROM) , Electrically Erasable Programmable Read-Only Memory (EEPROM) ) and flash memory devices; magnetic disks, such as internal hard disks and removable disks; magneto-optical disks; Random Access Memory (RAM) ; Solid State Drives (SSD) ; and CD-ROM and DVD-ROM disks. In some examples, machine readable media may include non-transitory machine-readable media. In some examples, machine readable media may include machine readable media that is not a transitory propagating signal.

[0042] The instructions 524 may further be transmitted or received over a communications network 526 using a transmission medium via the network interface device 520. The Machine 500 may communicate with one or more other machines utilizing any one of a number of transfer protocols (e.g., frame relay, internet protocol (IP) , transmission control protocol (TCP) , user datagram protocol (UDP) , hypertext transfer protocol (HTTP) , etc. ) . Example communication networks may include wired and wireless communications, such as Ethernet, Bluetooth, Bluetooth Low Energy, other Personal Area Networks (PANs) , LoRa, NFC, Wi-Fi, WiMAX, 3G, 4G, LTE, 5G, the unlicensed 915 MHz Industrial, Scientific, and Medical (ISM) frequency band, Zigbee, among others. Some standards may support mesh networks. The networks include, but are not limited to, a local area network (LAN) , a low-power wide-area network (LPWAN) , a wide area network (WAN) , a packet data network (e.g., the Internet) , mobile telephone networks (e.g., cellular networks) , Plain Old Telephone (POTS) networks, and wireless data networks, e.g., Institute of Electrical and Electronics Engineers (IEEE) 802.11 family of standards known as IEEE 802.16 family of standards known as NFC, IEEE 802.15.4 family of standards, a Long Term Evolution (LTE) family of standards, a Universal Mobile Telecommunications System (UMTS) family of standards, peer-to-peer (P2P) networks, among others. The NFC circuitry may be embodied as relatively short-range, high frequency wireless communication circuitry and may implement standards such as ECMA-340 / ISO / IEC 18092 and / or ECMA-352 / ISO / IEC 21481 to communicate with other devices. In an example, the network interface device 520 may include one or more physical jacks (e.g., Ethernet, coaxial, or phone jacks) or one or more antennas to connect to the communications network 526. In an example, the network interface device 520 may include a plurality of antennas to wirelessly communicate using at least one of single-input multiple-output (SIMO) , multiple-input multiple-output (MIMO) , or multiple-input single-output (MISO) techniques. In some  examples, the network interface device 520 may wirelessly communicate using Multiple User MIMO techniques.

[0043] Other Notes and Examples

[0044] Example 1 is a computer-implemented method including receiving, by a computer system, an image from a pest control device, analyzing, by the computer system using machine learning, the image to identify large insects and count a first number of large insects based on a number of pixels in a bitmapped set of contours of the image, masking, by the computer system, the identified large insects in the image using white pixels to cover the identified large insects, determining, by the computer system, a second number of small insects in the masked image, combining, by the computer system, the first number of large insects and the second number of small insects into a composite table, and providing, by the computer system, the composite table as an output to a user of the computer system.

[0045] In Example 2, the subject matter of Example 1 optionally further includes cropping, by the computer system, the image from the pest control device to an area of interest to avoid boundaries of the pest control device.

[0046] In Example 3, the subject matter of Example 1 or Example 2 optionally further includes analyzing, by the computer system, the image from the pest control device to monitor performance of a light source of the pest control device, which in various embodiments may or may not be an ultraviolet light source.

[0047] In Example 4, the subject matter of Example 3 optionally further includes determining, by the computer system, the light source should be serviced based on the monitored performance.

[0048] In Example 5, the subject matter of Example 4 optionally further includes notifying, by the computer system, the user that the light source should be serviced based on the determination.

[0049] In Example 6, the subject matter of any of Examples 1-5 optionally further includes wherein determining the second number of small insects in the masked image includes counting images based on dot size.

[0050] In Example 7, the subject matter of any of Examples 1-6 optionally includes wherein determining the second number of small insects in the masked image includes: providing, by the computer system, contours of the small insects in the masked image, and counting, by the computer system, the contours of the small insects in the masked image.

[0051] In Example 8, the subject matter of any of Examples 1-7 optionally includes wherein a first threshold size for large insects is programmable by the user.

[0052] In Example 9, the subject matter of any of Examples 1-8 optionally further includes converting, by the computer system, the received image from a gray scale image to a binary image prior to analyzing the image.

[0053] In Example 10, the subject matter of any of Examples 1-9 optionally includes wherein at least a portion of the computer system includes a cloud-based storage device.

[0054] In Example 11, the subject matter of any of Examples 1-10 optionally includes wherein at least a portion of the computer system includes a mobile computing device.

[0055] Example 12 is a system including a computer system comprising one or more processors and a data storage system in communication with the one or more processors, wherein the data storage system comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to: receive an image from a pest control device, analyze, using machine learning, the image to identify large insects and count a first number of large insects based on a number of pixels in a bitmapped set of contours of the image, mask the identified large insects in the image using white pixels to cover the identified large insects, determine a second number of small insects in the masked image, combine the first number of large insects and the second number of small insects into a combined number of insects, and provide the combined number of insects as an output to a user of the computer system.

[0056] In Example 13, the subject matter of Example 12 optionally includes wherein providing the combined number of insects includes providing a composite table on a graphical user interface (GUI) including the combined number of insects.

[0057] In Example 14, the subject matter of any of Examples 12-13 optionally includes wherein a first threshold size for large insects is programmable by the user.

[0058] In Example 15, the subject matter of any of Examples 12-14 optionally includes wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to: crop the image from the pest control device to an area of interest to avoid boundaries of the pest control device.

[0059] In Example 16, the subject matter of any of Examples 12-15 optionally includes wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to: analyze the image from the pest control device to monitor performance of a light source of the pest control device.

[0060] In Example 17, the subject matter of Example 16 optionally includes wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to: determine the light source should be  serviced based on the monitored performance, and in various embodiments such service may include one or more of replacement of the light source, replacement of a glue board of the light source, replacement of a power source of the light source.

[0061] In Example 18, the subject matter of Example 17 optionally includes wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to: notify the user that the light source should be serviced based on the determination, and in various embodiments such service may include one or more of replacement of the light source, replacement of a glue board of the light source, replacement of a power source of the light source.

[0062] In Example 19, the subject matter of any of Examples 12-18 optionally includes wherein at least a portion of the computer system includes a cloud-based storage device.

[0063] In Example 20, the subject matter of any of Examples 12-19 optionally includes wherein at least a portion of the computer system includes a mobile computing device.

[0064] Example 21 is at least one machine-readable medium including instructions that, when executed by processing circuitry, cause the processing circuitry to perform operations to implement of any of Examples 1–20.

[0065] Example 22 is an apparatus comprising means to implement of any of Examples 1–21.

[0066] Example 23 is a system to implement of any of Examples 1–21.

[0067] Example 24 is a method to implement of any of Examples 1–21.

[0068] This application is intended to cover adaptations or variations of the present subject matter. It is to be understood that the above description is intended to be illustrative, and not restrictive. The scope of the present invention should be determined with reference to the appended claims, along with the full scope of legal equivalents to which such claims are entitled.

Claims

1.A computer-implemented method, comprising:receiving, by a computer system, an image from a pest control device;analyzing, by the computer system using machine learning, the image to identify large insects and count a first number of large insects based on a number of pixels in a bitmapped set of contours of the image;masking, by the computer system, the identified large insects in the image using white pixels to cover the identified large insects;determining, by the computer system, a second number of small insects in the masked image;combining, by the computer system, the first number of large insects and the second number of small insects into a composite table; andproviding, by the computer system, the composite table as an output to a user of the computer system.2.The method of claim 1, further comprising:cropping, by the computer system, the image from the pest control device to an area of interest to avoid boundaries of the pest control device.3.The method of claim 1, further comprising:analyzing, by the computer system, the image from the pest control device to monitor performance of an ultraviolet light source of the pest control device.4.The method of claim 3, further comprising:determining, by the computer system, the ultraviolet light source should be serviced based on the monitored performance.5.The method of claim 4, further comprising:notifying, by the computer system, the user that the ultraviolet light source should be serviced based on the determination.6.The method of claim 1, wherein determining the second number of small insects in  the masked image includes counting images based on dot size.7.The method of claim 1, wherein determining the second number of small insects in the masked image includes:providing, by the computer system, contours of the small insects in the masked image; andcounting, by the computer system, the contours of the small insects in the masked image.8.The method of claim 1, wherein a first threshold size for large insects is programmable by the user.9.The method of claim 1, further comprising:converting, by the computer system, the received image from a gray scale image to a binary image prior to analyzing the image.10.The method of claim 1, wherein at least a portion of the computer system includes a cloud-based storage device.11.The method of claim 1, wherein at least a portion of the computer system includes a mobile computing device.12.A system comprising:a computer system comprising one or more processors and a data storage system in communication with the one or more processors, wherein the data storage system comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:receive an image from a pest control device;analyze, using machine learning, the image to identify large insects and count a first number of large insects based on a number of pixels in a bitmapped set of contours of the image;mask the identified large insects in the image using white pixels to cover the identified large insects;determine a second number of small insects in the masked image;combine the first number of large insects and the second number of small insects into a combined number of insects; andprovide the combined number of insects as an output to a user of the computer system.13.The system of claim 12, wherein providing the combined number of insects includes providing a composite table on a graphical user interface (GUI) including the combined number of insects.14.The system of claim 12, wherein a first threshold size for large insects is programmable by the user.15.The system of claim 12, wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:crop the image from the pest control device to an area of interest to avoid boundaries of the pest control device.16.The system of claim 12, wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:analyze the image from the pest control device to monitor performance of an ultraviolet light source of the pest control device.17.The system of claim 16, wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:determine the ultraviolet light source should be serviced based on the monitored performance.18.The system of claim 17, wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:notify the user that the ultraviolet light source should be replaced based on the determination.19.The system of claim 17, wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:determine a ultraviolet light source glue board should be replaced based on the monitored performance.20.The system of claim 17, wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:determine a power supply of the light source should be replaced based on the monitored performance.21.The system of claim 18, wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:notify the user that the ultraviolet light source should be replaced based on the determination.22.The system of claim 19, wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:notify the user that the ultraviolet light source glue board should be replaced based on the determination.23.The system of claim 20, wherein the data storage system further comprises instructions thereon that, when executed by the one or more processors, causes the one or more processors to:notify the user that the power supply of the ultraviolet light source should be replaced based on the determination.24.The system of claim 12, wherein at least a portion of the computer system includes a cloud-based storage device.25.The system of claim 12, wherein at least a portion of the computer system includes a mobile computing device.

Images