Практические объяснения математических моделей: переобучение, оценка качества, проверка результатов и ограничения выводов.
Сопоставляйте выводы модели с условиями задачи и способом оценки. Объяснения и проверочные шаги помогают замечать переобучение и понимать, где результаты перестают быть надёжными.
Практическое руководство по выбору метрик, ориентированных на точность, анализу порогов и разложению матрицы ошибок в scikit-learn для минимизации уровня ложноположительных результатов в задачах бинарной классификации.
Практическое руководство по выбору порога решения с учётом взвешенных стоимостей ложноположительных и ложноотрицательных ошибок, использующее отложенный валидационный набор и матрицы ошибок scikit-learn.
Поймите различия между средней абсолютной ошибкой (MAE) и среднеквадратичной ошибкой (RMSE), как выбрать правильную метрику для вашей задачи прогнозирования и влияние больших ошибок на каждую из них.
Интервалы предсказания предназначены для содержания будущих отдельных наблюдений, тогда как доверительные интервалы нацелены на среднее или другой параметр, и они не взаимозаменяемы. Эмпирическое покрытие - это доля вынесенных наблюдений внутри интервала, а ширина - расстояние между квантильными пределами; построенный пример из пяти значений дает 80 процентов покрытия и среднюю ширину 1.8.
В статье объясняется, почему группы разного размера дают объединённое среднее 18, а не 15, и приводится короткий пример на Python. Рассматривается важность сохранения знаменателя, работы с процентами, пропущенными данными и ограничений объединения сводных показателей.
Сравнивайте обучение и валидацию, помещайте предобработку в pipeline и не используйте итоговый тест для выбора параметров.
Постройте опорный прогноз на основе предыдущего сезона, оцените его на последующих наблюдениях и отличайте календарное выравнивание от утечки данных и пропусков.
Хронологические выборки и обучение преобразований только на прошлом.