Сегодня Всемирная метеорологическая организация считает наукастингом прогноз на два часа вперёд. Прогноз осадков на 2 часа (наукастинг). Сотрудники «Фобоса» предупредили россиян о мощнейшей за шесть лет вспышке на Солнце. Погода в Казахстане 16 февраля: ожидаются сильные морозы, на юго-востоке — осадки. Фобос – последние новости.
Глава Гидрометцентра: Никогда прогноз погоды не будет точным на 100%
Как мы отказались от нейросетей, а затем вернули их в прогноз осадков Яндекс. Погоды Опубликовано автором admin Мы уже рассказывали, как Яндекс. Погода делает сверхкраткосрочный прогноз осадков по метеорологическим радарам и спутниковым наблюдениям. Сегодня расскажем, как нам удалось поднять качество такого прогноза за счет внедрения нейросетевых подходов и почему мы уже отказывались от них в прошлом.
А ещё вы узнаете, как мы улучшали визуальное восприятие самой карты на границе радарных и спутниковых наблюдений. И снова про наукастинг Когда мы говорим о прогнозе погоды, то чаще всего подразумеваем температуру и осадки, например, на завтра или ближайшие выходные. В этом случае хватает традиционных погодных трендов.
Но если вы идёте обедать на улицу или на прогулку с ребёнком и при этом не хотите попасть под дождь, то важно знать точный момент начала дождя в течение ближайшего получаса. В таких ситуациях приходит на помощь наша карта осадков aka nowcasting.
Таким образом, эти метрики позволяют нам оценить пользовательский опыт использования наукастинга.
Также посмотрим на зависимость метрик от дальности прогноза: Рисунок 4. График среднего IoU от дальности предсказанного кадра по времени Для расчёта optical flow мы использовали Dense Inverse Search с константным вектором переноса на графике показан лучший из полученных вариантов , который лучше всего себя показал среди других optical flow алгоритмов для задачи наукастинга и в наших экспериментах, и в экспериментах коллег. Из графика видно, что optical flow лучше нейросеток только на первой десятиминутке.
Потом его предсказания начинают сильно деградировать, и на втором часе он проигрывает всем вариантам. Помимо этого, возвращение нейросетевой архитектуры даёт возможность и дальше улучшать качество прогноза осадков, так как позволяет дополнительно учитывать фичи, которые потенциально помогают прогнозировать внезапное возникновение или исчезновение зон с осадками, тогда как подход, основанный на optical flow, позволяет только передвигать их по вектору переноса. Склейка радарных и спутниковых снимков В прошлый раз мы рассказали, как расширили зону наукастинга за пределы мест установки метеорологических радаров за счёт использования спутниковых снимков.
Напомним, что мы использовали нейронные сети для восстановления радарных полей по спутниковым снимкам. В этом случае наша модель по качеству была близка к самим радарам, но так как спутники и радары по факту различаются по способу измерения осадков, то возможно неполное совпадение областей дождя между ними. Поэтому нередко нам справедливо указывали на резкие границы между зоной радарного и спутникового наукаста.
Мы использовали нейросети для решения и этой задачи — аккуратного перехода из одной зоны в другую, чтобы карта осадков выглядела более реалистично, а границы были менее заметны для пользователей. Перед тем как показывать прогнозы на единой карте, необходимо согласовать изображения с метеорологических радаров и геостационарных спутников. Это необходимо, чтобы избежать границ вокруг зоны действия радаров и резких изменений областей осадков на стыках радаров и спутника.
Наша идея заключается в том, что мы делаем хитрую нейросетевую склейку на стыках изображений. Рисунок 5. Пример работы алгоритма из оригинальной статьи «Image Inpainting for Irregular Holes Using Partial Convolutions» Наглядный пример работы алгоритма, который дорисовывает недостающие части, можно посмотреть на рисунке выше, а также на этом видео.
Как именно делают наукастинг и кто этим занимается? Вкратце - они использовали для составления прогноза оптический поток и нейронную сеть. Результаты, судя по всему, внедрены в Яндекс. Также они приводят интересный график Согласно которому точность прогноза уменьшается тем больше, чем больше время самого прогноза. Там тема одного из докладов - Разработка нейросетевого метода прогнозирования эволюции облачных образований и осадков по данным геостационарных спутников Как я понял, там делают упор как раз только на использование спутников, потому что на Дальнем востоке радаров почти нет. Но к чему это привело и где это используется - непонятно.
Таким образом, со спутников делают прогноз - но на небольшой период времени. До 2 часов максимум.
Но если вы идёте обедать на улицу или на прогулку с ребёнком и при этом не хотите попасть под дождь, то важно знать точный момент начала дождя в течение ближайшего получаса. В таких ситуациях приходит на помощь наша карта осадков aka nowcasting. Рисунок 1.
Карта осадков Яндекс. Погоды Nowcasting — это сверхкраткосрочный прогноз погоды до 2—6 часов с шагом в 5—15 минут, предсказывающий поведение погодных явлений с коротким жизненным циклом. Такой прогноз в той или иной степени сводится к задаче экстраполяции наблюдаемых метеорологических явлений, так как настоящие тяжёлые физические модели для него менее приспособлены и не могут оперативно учитывать быстро меняющие условия. Раз мы говорим о карте осадков, нам интересен источник данных об областях скопления влаги в воздухе, обладающий относительно высокой частотой обновления. Лучше всего для этого подходят метеорологические радары, предоставляющие такую информацию напрямую в виде изображений, и геостационарные спутники, снимки с которых надо предварительно обработать.
При этом можно интерпретировать кадр как обычную картинку и свести задачу к работе с видеоизображением.
Как менялась Яндекс.Погода: от виджета до погодных карт
Опасные явления — шквалистый ветер, сильные ливневые осадки, град — живут недолго, поэтому о них часто предупреждают лишь за несколько часов до возникновения. Точнее, ещё точнее: прогноз погоды на 2 часа, наукастинг и карты погоды. Наукастинг в реальной жизни — по крайней мере, в головах менеджеров — выглядит либо как уведомление человеку в виде текста или пуш-нотификации, либо как карта осадков, которая движется со временем.
Карты погоды в Спутнике
Рисунок 1. Карта осадков Яндекс. Погоды Nowcasting — это сверхкраткосрочный прогноз погоды до 2—6 часов с шагом в 5—15 минут, предсказывающий поведение погодных явлений с коротким жизненным циклом. Такой прогноз в той или иной степени сводится к задаче экстраполяции наблюдаемых метеорологических явлений, так как настоящие тяжёлые физические модели для него менее приспособлены и не могут оперативно учитывать быстро меняющие условия. Раз мы говорим о карте осадков, нам интересен источник данных об областях скопления влаги в воздухе, обладающий относительно высокой частотой обновления. Лучше всего для этого подходят метеорологические радары, предоставляющие такую информацию напрямую в виде изображений, и геостационарные спутники, снимки с которых надо предварительно обработать.
При этом можно интерпретировать кадр как обычную картинку и свести задачу к работе с видеоизображением. Рисунок 2. Пример изображений с метеорологического радара.
Их изображали крылатыми божествами. Боги ветров были и в Скандинавии, и у славянских народов. Имена давали каждому из них, причём не только по направлению ветра, как у греков, но и по характеру, составу воздушных масс, которые приносит ветер: суховей, бриз, баргузин, самум, хамсин. Жители тех мест, где дуют эти ветра, знают, какую погоду они приносят. Баргузин — мощный байкальский ветер, приносящий ясные дни.
Бриз — лёгкий ветерок на побережье, который ночью дует с остывающего берега, а днём — с прохладного моря на нагретый солнцем берег. Это очень удобно для морепавателей, которые всегда знают, что выходить в море надо с попутным ветром ранним утром, а причаливать — до заката. Пустынный шквальный самум поднимает горячие песчаные бури, затмевающие солнце, а сигналом о нём служит поющий песок: песчинки трутся друг о друга, предвещая грозу. Чтобы спастись во время такой грозы, нужно лечь и накрыться плотной тканью. Оказаться в её эпицентре, например в пустыне Сахара, опасно для жизни. Намного менее жестокий и не такой горячий пустынный ветер — суховей, который до сих пор приносит засуху в южные степные районы России, Украины, Казахстана и опасен только для сельского хозяйства. С чего начались метеорологические наблюдения Впрочем, молитвы не мешали древним людям наблюдать за изменениями и обращать внимание на взаимосвязи некоторых фактов с предстоящими изменениями погоды. Древние предсказатели погоды, как и современные, пользовались определённым набором примет: высотой и формой облаков, оттенками солнца на закате или восходе, поведением птиц.
Аристотель в IV веке до нашей эры описал разные природные явления в своей книге «Метеорологика» — и, собственно, дал название науке о погоде. В переводе с древнегреческого это означает «небесные предметы» — поскольку философ считал солнце, звёзды, кометы и дожди явлениями одной природы. Старейшие из дошедших до нас метеорологических записей — это глиняные дощечки из Вавилонии, хранящиеся теперь в Британском музее, в Лондоне. На них записаны различные приметы погоды большей частью связанные с урожаем. Например, такие: «Когда гром гремит в месяце Себат, то появится саранча» или «Когда солнце окружено кругом, то пойдёт дождь». Под кругом имеется в виду солнечное гало, атмосферное оптическое явление — древний признак ухудшения погоды. Гало и на самом деле может означать, что будет дождь, поскольку эта радужная сфера образуется от сверкания кристалликов льда в облаках на высоте около 5 км, которые относятся к плотным тёплым облакам зимой — снежным, летом — дождевым. О погоде много писали астрологи Индии и Китая.
И даже Гиппократ посвятил этой теме отдельный труд. Первым термометром была стеклянная трубка с полым шаром на конце, а другой конец стоял в воде.
Экстази может стать лекарством Кейсы Наукастинг работает на основе данных сети метеорологических радиолокаторов Росгидромета в этом году Яндекс получил официальный доступ к измерениям, которые на них проводятся и позволяет описывать текущую погоду с точностью до небольшого микрорайона. Радиолокатор работает следующим образом: примерно раз в 10 минут он строит трехмерный снимок атмосферы в радиусе 200 километров от своего местоположения по горизонтали и до 10 километров по вертикали.
По принципу действия радиолокатор очень похож на авиационный радар, только на снимке видны не самолеты, а области атмосферы, где есть капли воды размером более 50 микрометров. Если такие капли и правда есть, то, скорее всего, из облака, в котором они находятся, выпадают осадки. В России радиолокаторы установлены в наиболее населенных и интересных с метеорологической точки зрения регионах.
Мониторинг метеорологических условий и состояния поверхности дорог Контроль качества данных Формирование и передача сообщений в ИТС Контроль состояния поверхности дорог коэффициент сцепления Специализированный прогноз зимней скользкости на 4 часа Прием данных от прогностических центров Расчет статистических характеристик на основе архивных данных Подготовка рекомендаций по количеству внесения реагента Прием данных от прогностических центров Расчет статистических характеристик на основе архивных данных Наукастинг осадков по данным ДМРЛ на 2 часа Мониторинг состояния автомобильных дорог, рекомендации по обработке Наукастинг осадков по данным ДМРЛ на 2 часа Специализированный прогноз зимней скользкости Для специализированного прогноза зимней скользкости используются: Численная гидротермодинамическая модель пограничного слоя атмосферы Данные дорожных метеостанций.
Прогнозирование ошибок при помощи нейросетей как способ увеличения точности прогноза погоды
За сегодняшний день в Москве выпадет около 30% месячной нормы осадков. Актуальные новости о погоде и окружающей среде. Развивается новое направление в прогнозировании погоды — наукастинг, позволяющий выпускать сверхкраткосрочный прогноз об опасных явлениях погоды на ближайшие несколько часов. Наукастинг (nowcasting) и сверхкраткосрочные прогнозы погоды очень важны.
Композитная карта
Потом его предсказания начинают сильно деградировать, и на втором часе он проигрывает всем вариантам. Помимо этого, возвращение нейросетевой архитектуры даёт возможность и дальше улучшать качество прогноза осадков, так как позволяет дополнительно учитывать фичи, которые потенциально помогают прогнозировать внезапное возникновение или исчезновение зон с осадками, тогда как подход, основанный на optical flow, позволяет только передвигать их по вектору переноса. Склейка радарных и спутниковых снимков В прошлый раз мы рассказали, как расширили зону наукастинга за пределы мест установки метеорологических радаров за счёт использования спутниковых снимков. Напомним, что мы использовали нейронные сети для восстановления радарных полей по спутниковым снимкам. В этом случае наша модель по качеству была близка к самим радарам, но так как спутники и радары по факту различаются по способу измерения осадков, то возможно неполное совпадение областей дождя между ними. Поэтому нередко нам справедливо указывали на резкие границы между зоной радарного и спутникового наукаста. Мы использовали нейросети для решения и этой задачи — аккуратного перехода из одной зоны в другую, чтобы карта осадков выглядела более реалистично, а границы были менее заметны для пользователей. Перед тем как показывать прогнозы на единой карте, необходимо согласовать изображения с метеорологических радаров и геостационарных спутников. Это необходимо, чтобы избежать границ вокруг зоны действия радаров и резких изменений областей осадков на стыках радаров и спутника.
Наша идея заключается в том, что мы делаем хитрую нейросетевую склейку на стыках изображений. Рисунок 5. Пример работы алгоритма из оригинальной статьи «Image Inpainting for Irregular Holes Using Partial Convolutions» Наглядный пример работы алгоритма, который дорисовывает недостающие части, можно посмотреть на рисунке выше, а также на этом видео. Только вместо дорисовывания изображения на закрашенной области мы создаём маску на границе радар — спутник, где пробуем восстановить переход осадков между соседними зонами. Решение этой задачи состоит из двух шагов: Выполняется альфа-смешивание радарных и спутниковых изображений — получается постепенный переход от спутника к радару. Переход перерисовывается с помощью инпейнтинга, при этом к центру перехода сетка получает всё меньше данных из входного изображения. Рисунок 6.
In this time range it is possible to forecast small features such as individual storms with reasonable accuracy. Weather radar echoes and satellite data, giving cloud coverage, are particularly important in nowcasting because they are very detailed and pick out the size, shape, intensity, speed and direction of movement of individual features of weather on a continuous basis and a vastly better resolution than surface weather stations. Different research groups, public and private, have developed such programs. The intensity of rainfall from a particular cloud or group of clouds can be estimated, giving a very good indication as to whether to expect flooding, the swelling of a river etc. Depending on the area of built-up space, drainage and land-use in general, a forecast warning may be issued. Nowcasting is thus used for public safety, weather sensitive operation like snow removal, for aviation weather forecasts in both the terminal and en-route environment, marine safety, water and power management, off-shore oil drilling, construction industry and leisure industry. The strength of nowcasting lies in the fact that it provides location-specific forecasts of storm initiation, growth, movement and dissipation, which allows for specific preparation for a certain weather event by people in a specific location.
Но оправдываемость таких прогнозов составляет 94 процента. Для того чтобы московский ураган и ураганы в других городах центра страны, которые привели к человеческим жертвам, стали предсказуемым явлением, этот показатель должен быть существенно улучшен. В ближайший год Росгидромет собирается улучшить качество таких прогнозов на 4 процента в основном за счет повышения качества получаемых данных и совершенствования моделей их обработки. На высоком уровне сохраняется качество краткосрочных прогнозов службы - 96,6 процента. Именно эти прогнозы являются наиболее востребованы населением. Они позволяют решить, нужно ли одеваться теплее и брать ли с собой зонт. В то же время сильно упала оправдываемость долгосрочного прогноза на зиму, до 57 процентов, годом ранее его достоверность составляла 71 процент. То есть прогнозировать аномальные морозы на срок до полугода синоптикам по-прежнему сложно. А вот качество прогнозов весеннего половодья на крупных реках выросло почти на 10 процентов, до 79.
Кроме того, в краткосрочных прогнозах можно выделить сверхкраткосрочные, их заблаговременность не превышает 12 часов. За рубежом в сверхкраткосрочных прогнозах выделяют ещё прогноз текущей погоды, или наукастинг nowcasting. Его заблаговременность составляет от нескольких минут до 6 часов. Обычно наукастинг и сверхкраткосрочный прогноз тоже активно используется в аэропортах, морских портах, космодромах, во время олимпийских игр. Внезапные порывы ветра, резкое ухудшение видимости из-за тумана или осадков могут сыграть злую шутку. Перенос запуска ракеты из-за порывов ветра обходится в огромную сумму порядка нескольких млн.
рПЗПДБ Ч НЙТЕ
Сопоставление прогностических и истинных значений продолжительности осадков Заключение Предложено уравнение множественной регрессии для текущего прогноза продолжительности осадков на срок до двух часов. За сегодняшний день в Москве выпадет около 30% месячной нормы осадков. В настоящее время существует ряд алгоритмов по обнаружению осадков и приблизительной оценке их интенсивности, однако результаты их работы не применяются для решения задачи наукастинга. Наукастинг. Прогноз текущей погоды – детализированный прогноз погоды на ближайшие часы (до 2-6 часов).Продолжительность жизненного цикла некоторых погодных явлений (например, шквалов, ливней и т.д.) варьирует от минут до десятков минут. Развивается новое направление в прогнозировании погоды — наукастинг, позволяющий выпускать сверхкраткосрочный прогноз об опасных явлениях погоды на ближайшие несколько часов.
АИИС «МетеоТрасса» для автодорог
Прогноз осадков на 2 часа (наукастинг). Согласно прогнозу, который озвучил ведущий специалист центра погоды «Фобос» Евгений Тишковец, первый весенний месяц будет холодным – усилятся морозы, будет идти снег. Кратковременный дождь с грозой и порывами ветра до 11-18 м/с выпадает на последнее воскресенье апреля. Совместная технология детерминистского наукастинга и сверхкраткосрочного прогноза осадков на основе экстраполяции данных.