На стыке продукта и научной деятельности: кто и как делает карту осадков

5 декабря 2024
Тут и там по земному шару расставлены метеорологические радары. Они измеряют количество влаги в атмосфере — так можно понять, где сейчас идёт дождь или снег. Разработчики совмещают эту информацию с данными метеостанций и спутников, обрабатывают с помощью нейросети и предсказывают, понадобится ли зонт в ближайшие часы.

Пётр руководит группой ML в Погоде — именно его отдел собирает данные для яндексовской технологии Метеум, на базе которой работает карта осадков. Он рассказывает, как нейронки помогают прогнозировать погоду, почему точность зависит от региона и времени года и для чего нужны репорты пользователей.

Посмотреть и откликнуться на вакансии

Наша команда отвечает за информацию, которую можно увидеть на сайте и в приложении Погоды

Температура воздуха и воды, влажность, облачность, ветер — всё это на нас. Команды сейчас две. Одна занимается картой осадков и облачности на ближайшие два часа с шагом 10 минут, а вторая — базовым прогнозом всех параметров на ближайшие 10 суток с шагом час. Помимо ML’щиков в нашей команде есть метеорологи: они помогают с интерпретацией данных и готовят модели сезонных прогнозов.

Мы получаем данные с Земли и из космоса

Первый уровень измерений — метеостанции. Они стоят в крупных населённых пунктах и измеряют температуру, ветер, количество осадков за последние часы и другие параметры. Здесь случаются погрешности, но в целом это информация, которой можно верить.

Второй уровень — метеорологические радары, которые измеряют количество влаги в атмосфере до высоты в 10 километров. Обычно они расположены в аэропортах и нужны, чтобы корректировать расписание вылетов с учётом погодных условий.

Устроено это так: внутри радара стоит антенна, которая испускает луч. Он отражается от влаги в атмосфере и возвращается с данными о её количестве. Антенна поворачивается, процесс повторяется.

Так мы узнаём, в какой части воздуха есть влага, а значит, скорее всего, выпадут осадки. Минусы такой системы — она может упустить быстрый локальный дождь, который появляется и исчезает, пока антенна совершает оборот. Поэтому данные тут менее точные, чем у метеостанций. Зато площадь покрытия у радаров больше, а информация передаётся чаще. Например, на российских метеостанциях измерения накопленных осадков происходят раз в 6 или 12 часов, а на радарах — раз в 8–10 минут.

Иногда радары расположены очень плотно, и одна точка оказывается в поле зрения двух или трёх сразу. Это может внести путаницу: один радар может прислать измерения без осадков, а второй, через несколько минут, с дождём.

Такие противоречия мы склеиваем с помощью специальной формулы.

Третий уровень — геостационарные спутники. Они фотографируют Землю в инфракрасном спектре и отдают нам фотографию, на которой можно увидеть структуру атмосферы с водяным паром и облаками. Данные приходят с интервалом 10–15 минут в зависимости от спутника. Они менее точные по сравнению с радарами, зато охватывают гораздо большую площадь.

Всю эту информацию мы совмещаем и обрабатываем с помощью нейронок

Сначала прогоняем фотографию со спутника через первую модель. Она делает предположение, где идёт дождь, и выдаёт бинарную маску с актуальными осадками. Эту маску мы объединяем с последними данными от метеорологических радаров и репортами пользователей и скармливаем второй модели, которая генерирует новую, более точную маску.
Затем мы берём кадры со спутников, на которых отображено, где был дождь 10, 20 и 30 минут назад, сопоставляем и делаем прогноз осадков на два часа вперёд.

Спустя два часа у нас включается четвёртая модель, которая даёт прогноз на несколько дней вперёд. В нём осадки описываются кратко: «пасмурно», «небольшой дождь», «дождь со снегом». В периоды, когда атмосфера спокойная, а погода не слишком меняется, модели можно смело верить на ближайшие пять дней. Если атмосфера изменчива — на три. Дальше прогноз уже менее точный, но ориентироваться на него всё равно удобнее, чем на климатическую норму.

Модели постоянно пересчитывают прогноз и обновляют данные в среднем раз в пять минут.

У нас был случай, когда в абсолютно ясную погоду повсюду начали отображаться осадки. Оказалось, при определённом, очень редком состоянии атмосферы луч отражается иначе, и радар решает, что со всех сторон идёт дождь.

Репорты пользователей помогают исправлять погрешности

У ошибок может быть несколько причин: например, поскольку радар считывает именно количество влаги в атмосфере, он может перепутать дождь, плотный туман и низкую облачность.

В равнинной местности прогнозировать проще, чем в горной, где атмосфера более изменчива. Так же и с сезонами: в жару испаряется больше влаги, облака формируются быстрее, поэтому летом часто бывают короткие дожди, которые сложнее прогнозировать.

В таких случаях мы ориентируемся на фидбэк от пользователей: корректируем погрешности, постоянно улучшаем модель. Однажды, когда в Москве начался сильный дождь, нам прислали около трёх миллионов репортов за вечер.

Ведущие международные метеорологические институты сейчас делают именно так: прогнозируют погоду с опорой сразу на несколько источников.

Мне нравится, что в нашей работе сочетаются два направления: с одной стороны, мы делаем продукт для пользователей, с другой — что-то близкое к научно-исследовательской деятельности.
Читать ещё
Попробовать несколько команд, чтобы выбрать идеальную: как устроен multitrack
Бэкенд- и фронтенд-разработчики рассказывают, как проходили специальную программу адаптации в Яндексе
Оптимальный маршрут: как команды Карт и Еды улучшают навигацию для курьеров
Антон рассказывает, почему курьерам не подходят обычные маршруты, что нужно учитывать при построении и как тестировать
Азарт, турниры и дети на сервере: как устроено киберспортивное комьюнити Яндекса
Коллеги-киберспортсмены рассказывают о любимых играх, подготовке к соревнованиям и офисе «Красная роза» в «Майнкрафте»

Посмотреть и откликнуться на вакансии

Больше о работе в Яндексе — в нашей рассылке А ещё у нас есть карьерная рассылка Вы подписались на рассылку

Раз в месяц пишем про карьеру в IT, новые истории в блоге, мероприятия и вакансии
Mon Apr 14 2025 15:50:56 GMT+0300 (Moscow Standard Time)