[image]

О прогнозах

 
RU spam_test #25.01.2015 21:06
+
-
edit
 

spam_test

аксакал


захотел я сегодня глянуть график соответствия погодных нострадамусов.
Так вот, обнаружил, что к примеру, архивы реальных погодных условий найти нет проблем. Но архивов прогнозов нет однако. Может, криво искал.
А если реально нет, то насколько сложно такое сделать? Ведь погодные информеры имеют интерфейсы на выдачу информации. Любопытно было сравнить разные источники на точность в разрезе коротких и длинных прогнозов.
   
+
-
edit
 

Mishka

модератор
★★★
s.t.> А если реально нет, то насколько сложно такое сделать? Ведь погодные информеры имеют интерфейсы на выдачу информации. Любопытно было сравнить разные источники на точность в разрезе коротких и длинных прогнозов.
Ну краулеры есть уже. Настрой на конкретные сайт(ы). Только сколько места понадобится, чтобы это делоа хранить? Ты же не знаешь заранее, по каким местам надо хранить-то. Т.е. только по РФ таких точек будет вагон и маленькая тележка. Далее, учитвая, что в 10 дневном прогнозе один и тот же день будет 10 раз... :) Умножаем на количество интексов почтовых, количество агенств про предсказанию... В общем "2 пишем, 3 за ум пошло" ©
   31.031.0
+
-
edit
 

arkhnchul

втянувшийся

Mishka> Ну краулеры есть уже. Настрой на конкретные сайт(ы). Только сколько места понадобится, чтобы это делоа хранить?
нам же не нужен сайт целиком, только точка-время-прогноз. Пусть считываем прогноз 10 раз в день для каждой точки, 3650 годовых записей. От балды возьмем 10к точек (в здоровенной и территориально протяженной россии всего-то около тыщи городов, на всякий случай) - 36500000 записей базы в год, количество на самом деле довольно маленькое. Плюс никто не мешает благородным донам на каждом этапе иметь для статистики только усредненные данные по предыдущим периодам а-ля rrd.
   35.035.0
+
-
edit
 

Mishka

модератор
★★★
arkhnchul> нам же не нужен сайт целиком, только точка-время-прогноз. Пусть считываем прогноз 10 раз в день для каждой точки, 3650 годовых записей. От балды возьмем 10к точек (в здоровенной и территориально протяженной россии всего-то около тыщи городов, на всякий случай) - 36500000 записей базы в год, количество на самом деле довольно маленькое. Плюс никто не мешает благородным донам на каждом этапе иметь для статистики только усредненные данные по предыдущим периодам а-ля rrd.

Нам не нужен сайт целиком. Нам нужна его База. :F Ты знаешь, какую ты точку будешь смотреть? Только Москву, станция Сокол? Или хочется понять прогнозы по всей Москве? Или даже по Московской области? А что про РФ?
Ты же не города должен брать, а предсказания каждого сервиса. Т.е. у тебя есть гидрометеоцентр, интелликаст, яндекс погода, ... и собирать все предсказания. Т.е. по каждой точке от 1 до 10 раз. Т.е. количество служб * количество дней в прогнозе * количесто точек прогноза, которые можно будет сравнить с настоящей погодой. И твои 3650 записей для точки неожиданно брюки превращаются, брюки превращаются... Сервисов, которые я знаю и, которыми пользуюсь, точно более 10. По странам пробежать — будет далеко за 100. Т.е. это уже 365,000. А теперь по станциям, а не по городам, бо проверять надо будет по ним — они дадут исторические точки для сравнения. В той же Москве их будет больше 10. Но это в РФ. В том же Питтсбурге их тоже более 10, ЕМНИП. А город маленький по сравнению с Москвой. Поэтому, думаю, что 36,500,000 (два порядка уже добавилось по предсказателям) медленно станут 365,000,000,000,000 (с одним 0 на всякий случай).
   35.035.0
+
-
edit
 

spam_test

аксакал


Mishka> (с одним 0 на всякий случай).
вообще об этом не подумал. Но, значит, надо, либо локальное приложение чтобы каждый настроил, либо по ограниченному списку, н.р. россия, областные центры. А это всего 80 точек. И потом, нет необходимости писать часто, достаточно взять прогноз утро/день/вечер/ночь 1-3-7 дней.
   22
+
-
edit
 

arkhnchul

втянувшийся

Mishka> Нам не нужен сайт целиком. Нам нужна его База. ... Поэтому, думаю, что 36,500,000 (два порядка уже добавилось по предсказателям) медленно станут 365,000,000,000,000 (с одним 0 на всякий случай).

дык разговор-то был про "погодные информеры" на сайтах, а не прям все существующие метеостанции.
   35.035.0
+
-
edit
 

Mishka

модератор
★★★
arkhnchul> дык разговор-то был про "погодные информеры" на сайтах, а не прям все существующие метеостанции.

Понимаешь, какая штука. Вот кто-то сделает для себя по своим любимым сервисам — яндекспогода и гидрометеоцентр, к примеру. Всего два сервиса. Ну и возьмёт точек 5 — по своему городу. Чем это заканчивается мы уже знаем. Захочется больше точек, а данные уже не достать. Захочется больше городов с их точками, а данные уже не достать. Потом кто-то скажет, что ЯскинВаскинПрогноз гораздо точнее. А данных опять не достать. Спор возникнет про буржуйские сервисы (Интелликастом народ в РФ пользуется). Ну и поедет. А у велосипедистов, которые бреветчики, даты заранее на год назначены. :) Они хотят знать какому сервису лучше верить на 10-15 дней (accuweather даёт предсказание на 15 дней и, кажется, условные предсказание на 30). Это первый вопрос.

Второй вопрос — что включать в запись. Очевидно, что температуру, но и её надо две, как минимум. А по плохому, на каждый час. Скажем, это та причина, по которой я люблю Intellicast - Local and National Weather Forecast, Radar, Maps and Severe Report — там переходишь в табличную форму и смотришь на каждый час температуру, влажность, ветер, направление ветра, вероятность осадков (дождь и снег две колонки), облачность, как в реальности чуствуешь эту температуру, что-то ещё). Т.е. одна запись вырастет в 24. И за год получится для одной станции 365*10 (дней предсказаний)*24 (по часу на предсказание). Можно добавить ещё запись на рельную погоду, тогда будет 25. И сравнивать можно будет легко. Всего будет 91,250 записей в год. Если на запись отвести 10 байтов (храним только целые в диапазоне -128:127) — чуть меньше мегабайта в год на один сервис и одну точку.

А дальше выбирать.
   35.035.0
+
-
edit
 

Mishka

модератор
★★★
s.t.> вообще об этом не подумал. Но, значит, надо, либо локальное приложение чтобы каждый настроил, либо по ограниченному списку, н.р. россия, областные центры. А это всего 80 точек. И потом, нет необходимости писать часто, достаточно взять прогноз утро/день/вечер/ночь 1-3-7 дней.

Тоже можно. :) Ты сам реши, что хочется. Доилку служб через http сделать не сложно. Только надо будет следить, когда они интерфейс поменяют, то тоже менять доилку. Если сервис поддерживает API, то можно через него. Иногда они бывают бесплатными, тогда это легче и надо будет следить только за версиями API.

PS Мне казалось, что сервисы хранят историю предсказаний, т.к. модели меняются, а оценки точности надо проводить. Поэтому они часто используют исторические данные и исторические предсказания для оценки точности новой модели.
   35.035.0
+
-
edit
 

arkhnchul

втянувшийся

дык по начальной задаче не видно, что требуется такой мегасервис с полной точечной историей всего и вся. Есть подозрение, что такое наличествует разве только у метеослужб, и только по своим данным. В постановке же
> захотел я сегодня глянуть график соответствия погодных нострадамусов.
> Любопытно было сравнить разные источники на точность в разрезе коротких и длинных прогнозов.
имхо вполне можно складывать все (прогноз, реальную погоду, расхождение) в rrd базу - получим практически автоматом графики по периодам, средние величины и малый объем базы.
   35.035.0
+
-
edit
 

spam_test

аксакал


Mishka> Тоже можно. :) Ты сам реши, что хочется.
Хочется понять, кто чаще ошибается в данной местности. А то дает прогноз на послезавтра -35, а реально получаем -20. Что никуда не годится. А так просто ловим климатических нострадамусов и выбираем кто точнее.
   22
+
-
edit
 

Mishka

модератор
★★★
arkhnchul> имхо вполне можно складывать все (прогноз, реальную погоду, расхождение) в rrd базу - получим практически автоматом графики по периодам, средние величины и малый объем базы.
В этих двух строчках помянуты:
1. Разные сервисы.
2. Прогнозы разной длительности.
3. Точна, для которой интересно, без уточнеиня какой именно точки..
4. Сравнкение прогнозов разной длительности с реальностью.
5. Сравнение прогнозов от разных служб.

Как то так. Вот и вышел вложеный цикл, вложенный в цикл, вложенный в цикл... :F
   31.031.0
+
-
edit
 

Mishka

модератор
★★★
s.t.> Хочется понять, кто чаще ошибается в данной местности. А то дает прогноз на послезавтра -35, а реально получаем -20. Что никуда не годится. А так просто ловим климатических нострадамусов и выбираем кто точнее.

Дык, для своего города — сделай сам. Вроде, просто.
   31.031.0

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru