Статистические выбросы в лабораторных условиях

Статистическая идентификация и устранение выбросов — это тема, которая вызвала проблемы практически в каждой лаборатории. Существует множество причин для этого, в том числе ошибка измерения, выборки, неправильная запись или спецификация предположений о распределении. Когда первопричина неизвестна или не может быть легко идентифицирована, используются статистические методы для выявления потенциальных выбросов для восстановления.

Выбросы определяются как наблюдения, которые кажутся несовместимыми с остальной частью набора данных. Этот набор данных может иметь более одного выброса, хотя в лабораторных условиях он встречается редко. Прежде чем приступать к статистическому анализу, данные должны быть проверены на предмет допущений.

Графические методы могут использоваться для визуального принятия допущений, таких как нормальность и отсутствие выбросов. Некоторые методы включают в себя блочную диаграмму, гистограмму и график нормальной вероятности. Другие графические методы могут быть использованы по мере необходимости или целесообразно.

Проблема заключается в том, что выбросы могут искажать и уменьшать информацию, содержащуюся в источнике данных или механизме генерации. В лабораторных условиях наличие выбросов подорвет эффективность и точность любого полученного результата. Возможные выбросы не обязательно являются плохими или ошибочными; они просто не отражают ожидаемый результат метода. В некоторых ситуациях выброс может нести важную информацию, и поэтому ее следует определить для дальнейшего изучения. Данные, которые изначально определены как выбросы, могут быть показаны как часть ожидаемого распределения после сбора дополнительных параметров. Часто они содержат ценную информацию о расследуемом процессе или процессе сбора и записи данных.

Прежде чем рассматривать возможное исключение этих точек из данных, следует попытаться понять, почему они появились и вероятно ли подобные значения можно будет увидеть в будущем. Другими словами, находятся ли эти значения в пределах точности и достоверности метода?

Тест на выбросы

Как только наблюдение идентифицируется с помощью графического или визуального осмотра в качестве потенциального выброса, следует начать анализ первопричины, чтобы определить, может ли быть найдена назначаемая причина для ложного результата. Если невозможно определить основную причину, и повторное тестирование может быть оправдано, потенциальный выброс должен быть записан для будущей оценки, когда появится больше данных. Удаление точек данных на основе статистического анализа без определенной причины недостаточно. Статистическая значимость не подразумевает причинно-следственную связь. Надежные или не параметрические методы являются альтернативными для анализа.

Некоторые общие тесты на выбросы — это обобщенный экстремальный сдвиг (GESD) и Q-тест Диксона. На практике количество выбросов в выборке должно быть небольшим. Если в наборе данных много выбросов, это перестает быть проблемой обнаружения, и требуются другие подходы.