[image]

Технические детали Авиабазы

 
1 21 22 23 24 25 26 27
+
-
edit
 

Balancer

администратор
★★★★★
Очень сырая (и пока жутко тормозная — 5-15 секунд на загрузку) рыба, но концепция уже видна. Так, примерно, будет выглядеть входная страница политической части:

Tanzpol

странное чувство. когда находишь на сосне в горах свой разбитый беспилотник и радуешься Радуешься потому что нашел. В лесу, на склоне, в нескольких километрах от старта, но нашелся и значит логи… Размахивание кулаками после драки Дебальцево. Как это было: исповедь разведчика Украинский боец Игорь Лукьянов (позывной Маклауд) рассказал ТСН.ua о том, с чего начинался "котел", почему он не верил,… 26.04.15. Сообщение от "Русской весны". "Украинская армия разработала и активно использует новую тактику артиллерийских обстрелов. // Дальше — tanzpol.works.home.balancer.ru
 

Это только входная страница. Будут отдельные страницы новостей (вместо текущего перехода на форум) и подразделов.

Но предложения/пожелания, в т.ч. по структурной организации принимаются.

После обкатки, доводки и реальной практики на tanzpol.org займусь организацией аналогичной структуры на airbase.ru и выделенном разделе по флоту. Давно назрело создание отдельного флотского портала.
   42.0.2311.9042.0.2311.90
+
-
edit
 

Balancer

администратор
★★★★★
Ну, вот, обновил в контейнере Ubuntu 14.04 до 16.04 (на хосте пока 14.04).

Вроде, под PHP7 вполне себе завелось всё. И работает, как и ожидалось, шустрее. Плюс продолжаю перенос кешей, логов и т.п. на lvm-разделы, что тоже немного облегчает жизнь.
   33

Unix

опытный

Balancer> Ну, вот, обновил в контейнере Ubuntu 14.04 до 16.04 (на хосте пока 14.04).
А чего пользуешь? LX(D|C) или Docker?
   

Balancer

администратор
★★★★★
Unix> А чего пользуешь? LX(D|C) или Docker?

Основная часть Авиабазы — LXC. А так, вообще, бОльшая часть контейнеров на сервере — Docker. У Авиабазы два или три Docker-контейнера раздают аттачи форумов, один — поисковый, с sphinxsearch. Может, ещё есть, навскидку не помню.
   33
+
+1
-
edit
 

Balancer

администратор
★★★★★
Смотрю на таблицы размером по 5-10Гб и думаю, что пришла снова пора выносить контент из БД в файловую систему. Т.е. исходники постов, компилированный HTML постов — в файловую систему и ссылку на файл в БД. Всё равно со всем многоуровневым кешированием обращение к текстам осуществляется редко, поиск по текстам — только в служебных запросах. Зато MySQL не может такие здоровые таблицы держать в памяти целиком и надрывается на дисковой активности...

Как бонус — можно получить халявную версионность и реплицируемость для бэкапа, если хранить исходники сообщений в Git.

Реальный минус только в поисковой системе. Сейчас поиск тупо индексирует поля БД, а придётся брать данные из файлов. Но это лечится давно назревшим переходом на real-time индексы sphinx.

...

Для теста сперва перенесу на пробу контент сохранённых ссылок. Всё равно используется преимущественно как write-only, а разбухло уже до 9Гб. Сразу и для основной базы будет облегчение и посмотрю, как оно на практике себя поведёт...
   33
RU Balancer #07.06.2016 18:56  @Balancer#06.06.2016 01:12
+
+1
-
edit
 

Balancer

администратор
★★★★★
Balancer> Для теста сперва перенесу на пробу контент сохранённых ссылок.

Итак, позавчера вынес, вчера шёл процесс, сегодня система явно не стала работать тормознее, а таблица ссылок реально из 10Гб стала едва в 270Мб.

Сейчас только что закончил переписывание хранения компилированного html с БД в файлы. Пошёл фоновый процесс переноса. Вроде, тоже, тормознее не стало. Если всё будет ок, то в итоге 6Гб из БД в файлы уйдёт и минус одна таблица целиком.
   33

+
-
edit
 

Balancer

администратор
★★★★★
Завёл новый сервер (гы, в Литве! :D), будет использоваться для отдачи статических файлов (картинки-аттачи). Пока для теста перевёл на него отдачу аттачей старого форума, типа Фото и картинки [6]

Пусть не смущают адреса в a0z.ru, вида http://archive.attaches.forums.a0z.ru/8c/2b/8c2bd378acaa67766158de001a61975a.jpg
   44

sam7

координатор
★★★★★
☠☠
Balancer> Завёл новый сервер (гы, в Литве! :D),

А я-то думаю, чего сегодня форум так тормозит, хотел уже в Глюках вопрос задать, а тут вон оно чо...
   11.011.0
LT Bredonosec #27.01.2017 13:18  @Balancer#27.01.2017 10:31
+
+1
-
edit
 
Balancer> Завёл новый сервер (гы, в Литве! :D),
смотри чтоб не потерялось )))
а то у нас могут ))
   49.049.0
RU Balancer #28.01.2017 00:12  @Bredonosec#27.01.2017 13:18
+
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> смотри чтоб не потерялось )))
Bredonosec> а то у нас могут ))

Да, я слышал про Балтнеты и т.п. :) В идеале я стремлюсь вообще всюду иметь вторую рабочую копию, чтобы при падении одной можно было легко на другую переключиться. Не всегда получается, но как раз повод будет :)

Вот ещё подумываю перевезти саму Авиабазу на другой сервер. Б/у с аукциона у Хетцнера. Тоже надо будет думать про резервирование...

Хм. Кстати, мысль. Если за (примерно) те же деньги, что сейчас, взять не сильно более мощный сервер, а два таких же, как сейчас. Нагрузку можно будет понизить не более мощным железом, а распределением запросов на две машины, зато будет резервирование — при отказе одной машины, пусть с тормозами, но все смогут работать на другой :) Надо подумать...
   44
+
-
edit
 

Balancer

администратор
★★★★★
Если весь файловый архив убрать в IPFS, обеспечив его раздачу через пару нод (для резервирования) на том же time4vps — это €3/мес. при резервировании и терабайте места.

Тогда можно заморочиться только БД на сервере. При чём может хватить и 24Гб оперативки (32 не обязательно, т.к. часть нагрузки с сервера итак снимется). Жаль, все варианты бюджетных 24/32Гб включают в себя уже итак ёмкие HDD, не сэкономить :) Цены на Хетцнере начинаются от €27, т.е. €54 за две машины против нынешних €42 за одну. Зато резервирование :)

...

Хм. Ещё есть Scaleway. €24 за 32G/50G+250G (что значит 50G SSD + 250G Direct SSD ?) или €18 за 16G/50G. Это уже сравнимо/конкурентно по цене...
   44
RU Balancer #28.01.2017 13:10  @Balancer#27.01.2017 10:31
+
-
edit
 

Balancer

администратор
★★★★★
Balancer> Пока для теста перевёл на него отдачу аттачей старого форума

Теперь к ним присоединились и аттачи за 2013 год.
   44
LT Bredonosec #29.01.2017 19:04  @Balancer#28.01.2017 00:12
+
-
edit
 
Balancer> Да, я слышал про Балтнеты и т.п. :)
а что балтнета? Была неплохая контора, сейчас её сьели каунасцы, но те же люди работают с теми же людьми, просто под другим лейблом.
Некоторые жирные госконтракты проиграли опять же каунасцам (сей тренд выглядит достаточно подозрительно, но коррупция у нас за норму)
Я про то, что в случае нездорового интереса местных граждан к каким-либо материалам на базе, при знании, что сервер снимается в литве, ты можешь потерять всё накопленное непосильным трудом. А это нехорошо.
Кроме того, не знаю структуру файлов, если также указывается ИП, с которого грузилось, или какие-то еще персональные данные, то я смогу ждать возможных незваных гостей. У нас не руина, но упоротость ненамного ниже, и далеко не один мой пост здесь тянул бы на статью.
   26.026.0
RU Balancer #29.01.2017 19:54  @Bredonosec#29.01.2017 19:04
+
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> ты можешь потерять всё накопленное непосильным трудом

Первое правило любого ответственного проекта — не хранить данные в одной копии :) Я же выше писал, что планирую организовывать проекты, в т.ч. Авиабазу, не просто в формат, имеющий оперативные бэкапы, но в формат, имеющий всегда готовую рабочую резервную копию. Чтобы можно было просто переключиться на другой сервер и продолжить работу с ним с того же места. А то, вон, каждый простой Авиабазы приводит к заметной потере пользователей :)

Bredonosec> У нас не руина, но упоротость ненамного ниже, и далеко не один мой пост здесь тянул бы на статью.

Базы данных там нет. Только файлы (картинки, аттачи). Там слишком хилый хостинг, чтобы тянуть БД :)
   44
LT Bredonosec #30.01.2017 00:36  @Balancer#29.01.2017 19:54
+
-
edit
 
Balancer> Первое правило любого ответственного проекта — не хранить данные в одной копии :)
аа, тогда ок )

Balancer> Базы данных там нет. Только файлы (картинки, аттачи).
это радует :)
Хотя даже просто запросы на файлы могут давать заинтересованному лицу как минимум ипы читателей, а как максимум - всевозможные инжекты и прочую гадость, что делает небезопасным хождение..
   26.026.0
RU Balancer #30.01.2017 00:42  @Bredonosec#30.01.2017 00:36
+
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> Хотя даже просто запросы на файлы могут давать заинтересованному лицу как минимум ипы читателей

Ну, тут ничего не поделать. Тут тебя и по пути в цепочке соединения кто угодно проконтролировать может (ну, кроме честного HTTPS).

Bredonosec> а как максимум - всевозможные инжекты и прочую гадость, что делает небезопасным хождение..

Да нет, через картинки практически нереально.
   44
RU Balancer #30.01.2017 00:44  @Bredonosec#30.01.2017 00:36
+
+1
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> Хотя даже просто запросы на файлы могут давать заинтересованному лицу как минимум ипы читателей

Кстати, я подумываю о переходе на IPFS. Там этот вопрос очень-очень усложнится для стороннего наблюдателя :)
   44
+
-
edit
 

Peredel

втянувшийся


Почему когда я скидываю на форум ссылки на ютуб видео они у меня остаются в виде текстовых ссылок и не появляется само окно ютуба в сообщении ? просто копирую в окне адрес ссылки и вставляю тут
   50.050.0
+
+1
-
edit
 

ReST
RST_37

аксакал
★★
Peredel> Почему когда я скидываю на форум ссылки на ютуб видео они у меня остаются в виде текстовых ссылок и не появляется само окно ютуба в сообщении ? просто копирую в окне адрес ссылки и вставляю тут

Действуй через "поделиться"
Прикреплённые файлы:
225254.jpg (скачать) [568x424, 57 кБ]
 
 
   1717

Peredel

втянувшийся


ReST> Действуй через "поделиться"

Спасибо, а то что то непонимал чего там не срастается
   
LT Bredonosec #23.09.2017 14:46
+
-
edit
 
не знаю, сюда ли точно вопрос, но вроде тема ближе.
Среди переносов из дайджеста много репостов с твиттера "союзники россии".
Как поглядел, там владелец акка просто тырит фотки с рашшн плейнс без указания авторства (а попутно обрезая низ фото там, где оно указано).
Я несколько штук как-то репостнул - получил претензии от авторов, дескать, чего вы мои фото тырите да копирайты обрезаете.

В частности, фотки из сирии с мигами, сушками над пустыней (типа "грачи прилетели"), или взлетающие там с хамы или хмеймима - Леонид Кит, по мигам 31-м - Кирилл Мушак (вот, напр, ссылка на одно из - ✈ russianplanes.net ✈ наша авиация ), ну и тд.

Мож правильнее кидать напрямую с russianplanes, а не через репосты с твиттеров таких граждан?
   26.026.0

VAS63

координатор
★★★
А что это за ссылки появились?
Прикреплённые файлы:
Clip.jpg (скачать) [1595x544, 311 кБ]
 
 
   56.056.0
RU Balancer #22.10.2017 10:38  @Bredonosec#23.09.2017 14:46
+
-
edit
 

Balancer

администратор
★★★★★
Bredonosec> Мож правильнее кидать напрямую с russianplanes, а не через репосты с твиттеров таких граждан?

Что, прямо все подряд фото с russianplanes? Нет? А как отбирать? :)
   44
+
-
edit
 

Balancer

администратор
★★★★★
VAS63> А что это за ссылки появились?

Эксперимент :) У Гугла в AdSense появилась фишка, когда он сам подбирает рекомендуемые материалы с того же сайта и разбавляет их рекламой. Я пока поставил показ таких блоков с небольшой вероятностью, чтобы оценить, насколько часто кликают, приносит больше пользы или вреда.
   44
+
-
edit
 

VAS63

координатор
★★★
Balancer> Эксперимент :)
Кстати, они видны в меньшей части тем. В этой теме, например, не вижу.
   56.056.0
1 21 22 23 24 25 26 27

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru