Balancer: Все сообщения за 9 Сентября 2009 года

 
ПнВтСрЧтПтСбВс
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30

Balancer

администратор
★★★★★
Уф! Закончил починку БД. Вроде, работает. Хотя часть (небольшая, несколько сотен на два миллиона) сообщений потеряна. Ну да то, что старше этого лета - со временем из бэкапа подниму.

Поехали!
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
А.Л.> А чего с серваком делать будем, апгрейд то нужен же все равно?

Нужен. Но теперь этот вопрос можно решать в рабочем порядке и без спешки :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  4.0.207.04.0.207.0

Balancer

администратор
★★★★★
Sheradenin> Это тот самый винт давеча покрылся бэдблоками ? :) :)

Их два было. Один пару лет назад посыпался, другой и сейчас стоит.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> -современные SATA диски не менее, а чаще более, надежны, чем старые SCSI. Между современными SATA и SCSI разницы в надежности и наработке на отказ, при прочих равных, тоже нет.

Старые SATA - 150 тыс. часов MTBF. Старые SCSI - 1500 тыс. часов MTBF.

Современные SATA - 400-600 тыс. часов. Современные SCSI - 4 млн. часов.

Ы?
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> -высокая цена на SCSI устройства объясняется тем же, чем объясняется дороговизна DDR памяти по отношению к DDR2 :F

Да, ещё нужно отметить 7200RPM у типовых SATA против 15000RPM у SCSI. Это уже вдвое снижает латентность.

Также, время доступа типовое 5-6мс против 9-11мс...
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Meskiukas> Рома, получил 200 р. на телефон? Отправлено 08.09.2009 в 12.33

Нотификация так и не пришла. Иногда такое бывает. Но проверить, пришло или нет - никак.

...

~1000 рублей пришло на счёт Альфабанка.

На Яндекс.Деньги сейчас 5790 рублей. Моих было, что-то около ~900. Т.е. около 4900 рублей зачислено.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Dmitry_A> 2 тыс. руб. с банкомата ВТБ-24 9 сентября 10:03:38 МСК.

Ага, да, там история есть. Вот поступления:
09.09.2009 10:032 000,00 руб. ВТБ 24, пополнение
09.09.2009 08:18175,12 руб. перевод
08.09.2009 22:10495,00 руб. Терминал ОСМП, пополнение кошелька
08.09.2009 00:151,99 руб. Авиабаза
07.09.2009 21:57471,43 руб. Терминал ОСМП, пополнение кошелька
06.09.2009 11:561 000,00 руб. Перевод с Яндекс.Кошелька
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
HolyBoy> Ром, скажи пожалуйста, как модераторы определяют, что данный штраф должен быть «общим», а иной — «форумным»?

Никак. «Общих» штрафов нет. Это чисто логическая сущность :) Все штрафы привязаны к сообщениям, все сообщения - к форуму.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> -"при обычных применениях"

При чём тут обычное применение? У нас конкретика - тяжело нагруженный сервер.

Wyvern-2> Какая бы "крутая" А_База не была, разницу между 7200 и 15000 RPM заметить вряд ли удастся

Угу. Автоматически (при прочих равных) iowait с 30% подскочит до 60%. Вырастут очереди ожидания, затормозится работа со свопом. Сервер ляжет уже на сотне онлайна :)

Wyvern-2> ну разве что порадоваться, что "запрос выполнен за 0,0003сек, а не за 0,0007сек" :)

Нет, на 7200 сервер у нас просто ляжет при обычном дневном онлайне.

Wyvern-2> А вот в деньгах на сегодня - разница раза В ТРИ, а то и больше....

А по надёжности - в 10 раз. Итого - SCSI втрое выгоднее по надёжности. Вшестеро - по надёжности + производительности.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
an_private> Seagate Cheetah (SCSI/SAS/FC) - MTBF = 1600 т.ч.
an_private> Seagate Barracuda ES.2 (SATA/SAS) - MTBF = 1200 т.ч.

Ну, да, я по десктопным SATA судил. Учту.

В любом случае - 15500 RPM vs 7200 решают. И 4mc average seek против 9мс. С нагрузкой нашего сервера ES.2 просто не справится.

Сейчас 10000RPM и 6мс с трудом справляются.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> Смотря КАКИЕ БД.

У нас - одна БД.

Wyvern-2> И при всей сегодняшней нагрузке форум к "настоящим БД"

Ник, ну тебе, конечно, телепатически издалека лучше виднее, но мне кажется, что у нас БД обеспечивает в пике до 1000 запросов в секунду, из которых половина - на модификацию. И до нескольких десятков запросов параллельно. И всё это - на миллионах записей.

Wyvern-2> время передачи данных по инету многократно превосходит время обработки.

И тем хуже для сервера. Медленная работа клиентов повышает степень параллелизации.

...

Кроме того, люди с приличными каналами давно уже утыкаются именно в скорость работы БД. И, вообще:

Вот типовая загрузка CPU (сейчас она невысокая, сервер прохлаждается):
code text
  1. top - 11:57:00 up 18:58,  5 users,  load average: 2.60, 4.66, 5.50
  2. Tasks: 415 total,   4 running, 295 sleeping,   0 stopped, 116 zombie
  3. Cpu(s):  4.3%us, 32.5%sy, 29.6%ni, 31.5%id,  1.6%wa,  0.2%hi,  0.3%si,  0.0%st
  4. Mem:   2594416k total,  2393644k used,   200772k free,   156024k buffers
  5. Swap:  2008116k total,   661096k used,  1347020k free,  1059684k cached
  6.  
  7.   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                        
  8.  9195 lighttpd  21   1 98704  24m  17m S   16  1.0   1:34.25 /usr/bin/php-cgi                                                
  9.  4496 mysql     20   0  662m 233m 3648 S   13  9.2  50:37.14 /usr/sbin/mysqld -defaults-file=/etc/mysql/my.cnf -basedir=/us
  10. 15268 lighttpd  21   1 97628  21m  15m S    9  0.9   1:16.38 /usr/bin/php-cgi                                                
  11. 18030 lighttpd  21   1 99032  24m  17m S    7  1.0   1:18.57 /usr/bin/php-cgi                                                
  12. 31418 lighttpd  21   1 98648  24m  17m S    5  1.0   1:34.14 /usr/bin/php-cgi                                                
  13. 16030 lighttpd  21   1 98428  23m  16m S    3  0.9   1:22.00 /usr/bin/php-cgi                                                
  14. 15899 lighttpd  21   1 98708  23m  16m S    3  0.9   1:24.20 /usr/bin/php-cgi                                                
  15. 20318 lighttpd  21   1 98584  24m  17m S    3  1.0   1:23.11 /usr/bin/php-cgi                                                
  16.  6749 lighttpd  21   1 99360  24m  16m S    2  1.0   1:25.55 /usr/bin/php-cgi                                                
  17. 15494 lighttpd  21   1 98720  24m  16m S    2  1.0   1:24.14 /usr/bin/php-cgi                                                
  18. 20295 lighttpd  21   1 98396  23m  16m S    2  0.9   1:19.65 /usr/bin/php-cgi


Вот типовая загрузка дисковой системы (тоже прохлаждается):
code text
  1. Total DISK READ: 1289.35 K/s | Total DISK WRITE: 11.06 M/s
  2.   PID USER      DISK READ  DISK WRITE   SWAPIN    IO>    COMMAND                                                            
  3.  4770 mysql    1252.13 K/s       0 B/s  0.00 % 44.77 % mysqld -defaults-file=/etc/mysql/my.cnf -basedir=/usr -datadir=/ho
  4. 18520 lighttpd    6.77 K/s   20.30 K/s  0.00 %  2.23 % lighttpd -f /etc/lighttpd/lighttpd.conf
  5.  5176 hlynin      3.38 K/s       0 B/s  0.00 %  0.96 % apache2 -DDAV -DDEFAULT_VHOST -DX_INFO -DLANGUAGE -DMANUAL -DPROXY -D
  6. 18481 lighttpd   13.54 K/s    3.38 K/s  0.00 %  0.78 % lighttpd -f /etc/lighttpd/lighttpd.conf
  7. 28931 mysql          0 B/s    3.38 K/s  0.00 %  0.00 % mysqld -defaults-file=/etc/mysql/my.cnf -basedir=/usr -datadir=/ho
  8.  8662 jabber     13.54 K/s    3.38 K/s  6.18 %  0.00 % beam - -root /usr/lib/erlang -progname erl - -home /var/run/jabber
  9.  4607 amavis         0 B/s   11.00 M/s  0.00 %  0.00 % clamscan -stdout -no-summary -r -tempdir=/var/amavis/tmp /var/amav
  10. 15494 lighttpd       0 B/s   16.92 K/s  0.00 %  0.00 % php-cgi
  11.  4776 mysql          0 B/s   20.30 K/s  0.00 %  0.00 % mysqld -defaults-file=/etc/mysql/my.cnf -basedir=/usr -datadir=/ho


На пиковой загрузке ситуация ухудшается в 2-3 раза.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> Угу. И прочти, пожалуйста, внимательно:

Ник, мне хватает утверждения «Заключение: Оно кратко - нет никаких достаточных оснований утверждать, что RAID системы с SATA дисками заметно уступают как в быстродействии, так и в надежности RAID системам на SCSI дисках для всех задач.», чтобы понять, что читать там нечего.

Даже без учёта вопросов надёжности - где SATA на 10-15 тыс. RPM и с временем доступа в 4-6мс?
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Sheradenin> В условиях ограниченного бюджета (как я понимаю количество реально дошедших денег невелико) из дешевых компонент надежный сервер не собрать.

Поэтому мы не спешим и собираем бюджет на надёжные компоненты. Напомню, что сам сервер нам обошёлся в стартовые $2500 в ценах 2002-го года (у меня зарплата тогда $700 была). И, слава Богу, что не экономили - заложенного хватило на 6 лет почти бесперебойной работы (до этого года, когда возникло много проблем с нехваткой места на HDD, среднее время простоя составляло 1 сутки в год, что очень хороший показатель даже для весьма серьёзных сервисов - за прошлый год, по статистике host-tracker, например, простоя было на 30 часов - и это ещё много! В 2006-м, когда я стал вести статистику, простоя было всего на 7 часов).

Sheradenin> Надо прицеливаться на нормальную не устаревшую платформу, волевым образом зафиксировать требования к железу, опубликовать его как окончательное решение на несколько лет вперед.

Именно так :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> Туда же, с характерным заголовком

Нужно же впаривать товар! :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> Следующий аргумент в пользу SCSI дисков – они быстрее, поскольку скорость вращения шпинделя у SCSI дисков составляет минимум 10000 об/мин, а максимум 15000 об/мин. ..... Но нельзя оценивать только скорость вращения, поскольку большую роль играет плотность записи/чтения на пластины жесткого диска.

Ник, ну какая плотность, о чём ты? Не повторяй бездумно чужую муть. От плотности зависит только скорость линейного чтения, а на неё на серверах, как раз, глубоко наплевать. А вот то, что после позиционирования головки винчестеру в среднем при 15000RPM нужно ждать необходимого сектора 1/15000/2 = 0,03мс, а при 7200 - 0,07мс - уже конкретный параметр, зависящий только от скорости вращения дисков.

Wyvern-2> А вот тут ситуация не столь радужная для SCSI – плотность записи на SCSI дисках как минимум в два раза меньше, соответственно за один оборот диска можно считать/записать в два раза меньше с/на SCSI диск, чем с/на SATA.

А на это - уже плевать. Да, при однопоточном чтении SATA сегодня выдают до 150+Мб/сек. Мой древний SCSI - только ~80Мб/сек. Вот только при чтении в пять потоков на SATA скорость (в зависимости от моделей) упадёт до 5-10Мб/сек, а у меня она будет на уровне 20-30Мб/сек. Я результаты измерений чуть ранее приводил.

Wyvern-2> Конечно, нельзя утверждать, что большая плотность записи полностью компенсирует большую скорость вращения, но для потоковых операций это практически так и есть

Потоковые операции на нагруженном Web-сервере - это даже не смешно. У нас их, можно сказать, нет вообще. Только случайные многопоточные чтение/запись короткими фрагментами.

Wyvern-2> Конечно, если ради повышения производительности SATA мы вынуждены увеличивать количество SATA дисков, то и стоимость SATA RAID будет стремиться к стоимости SCSI RAID. Но - емкость SATA RAID будет в разы больше.

Угу. А ещё у нас только три (в пределе - 4) корзинки под винты. Хоть обнаращивайся :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> Рома, Саша, тот мой знакомый, сказал: за последние полтора года из 14 крупных проектов

Чем «крупный проект» от 1U-сервера отличается - расписывать? :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Voennich> RPM сам по себе вторичен. Считать надо производительность всей системы учитывая кэши и настройки ОС.

Кстати, да. В Linux SCSI-подсистема сегодня допилена НАМНОГО лучше, чем SATA :) С SATA воюют до сих пор с переменным успехом.

Voennich> Для того, что бы ответить SATA vs SAS (SCSI) и каких сколько штук,
Voennich> надо знать рабочую нагрузку в iops.

Munin :: airbase :: airbase :: iostat - этого хватит? :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Mishka> Database reported: Table 'f' is marked as crashed and should be repaired (Errno: 1194)

Fixed.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> Обратите вЫнимание! В статье о SCSI вообще ни слова! Рассматриваются только и исключительно SAS

«Принято считать, что диск SATA дает 80-100 IOPS, диски SAS/FC - 140-160 для 10KRPM, 180-200 - 15KRPM.» - ты знаешь не SCSI SAS с 15000RPM? :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> любой специалист знает, что для RAID-массива вовсе не интерфейс с HDD определяет его скоростные параметры.

Любой специалист также знает, что скоростные параметры на сервере не самый важный критерий :) Куда важнее, например, загрузка CPU при дисковых операциях. И даже дома: Вот же, блин, одно к одному. Похоже, материнка накрылась... [Balancer#17.08.09 07:29] Апгрейд, понимаешь, винты по всем скоростным параметрам не хуже работают, но ТОРМОЗА невозможные просто! :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> А как понимать вот ЭТО:

Похоже, автор не имеет понятия о чём пишет. Да, вполне может быть, что в потрохах современных ОС работа с носителями однопоточная (впрочем, маловероятно), но даже в этом случае никто не отменяет запись одним программным потоком нескольких потоков данных на HDD. Ну, всё равно что на одном процессоре, который одновременно выполняет только один поток команд гонять многозадачную ОС :)

Wyvern-2> Конечно, если Вы используете AIX, SCO или на худой конец Solaris или OS/2 Server

Судя по всему, ещё и статья очень старая :) ... А, ну да, «Windows-2000 Server»...

Wyvern-2> с другой стороны, *SATA RAID-массивы на контроллерах высокого класса (таких, как Intel SRCS14L)

Ага. Это где-то 2001-2002 гг. Так что статья уже давно не актуальна :)

Wyvern-2> новые *SATA винчестеры WD740 Raptor

2003-й год. Очень «новые» :) Ровесники сервера Авиабазы :D
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
hnick> и отмигрируют вместе с сообщением "если что"? :)

Да.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Wyvern-2> По производительности SSD затыкают любую механику напрочь, именно на больших IOPs ;)

Только на чтении. На записи недорогие SSD ещё сильно уступают винтам (Flash же с блоками много большими, чем сектора), а дорогие - не просто дорогие, а чудовищно дорогие :)

Кроме того, на Авиабазе запись идёт непрерывно, неравномерно и в больших количествах. SSD очень быстро выработает ресурс и сдохнет :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
an_private> А ramdisk не рассматривается?

А избыток памяти итак эффективно используется в роли кеша :)

an_private> питание в датацентрах не выключается :)

Но бывают иногда зависы, требующие жёсткой перезагрузки...

...

А так - скажем, /tmp у меня итак на Авиабазе в tmpfs висит. Дома, где 4Гб - ещё /var/tmp/portage там же.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
MIKLE> целая страница пропала :(

«сбросить кеш темы» и на первой странице видны все сообщения. или там было три страницы?
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Capt(N)> Роман, на "Морском" в топике Фото и картинки [5] постинги на последней и предпоследней странице перемешались и идут не в хронологическом порядке. Что за глюк такой?

Сброс кеша темы помог. Судя по всему, туда заглянули, когда был сбой в БД и часть топиков от 7-го числа в тему не попала. И дорисовалась позже. Сброс кеша пересчитывает разбивку по страницам и всё восстановилось.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Fakir> - был первым на 2-й странице, то теперь он - последний на 1-й.

Возможно, что и пропал. Я же говорю - пара сотен сообщений грохнулась (за всю историю, не обязательно последних). Старые подниму со временем из бэкапа, новые - увы, облом.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★

Вах! Сила! Смотреть лучше прямо на YT и в HD :)

Upd: смотреть обязательно со звуком! Очень в тему музыка Yellow :)
… чтобы понять рекурсию, нужно сперва понять рекурсию …  
Это сообщение редактировалось 09.09.2009 в 21:12

Balancer

администратор
★★★★★
apple17> Но тут можно слепить несложный дополнительный
apple17> кусок который подбирает фотографии с линков и несет в некий толстый большой архив

Так и задумывается. Но пока не доходят руки.

apple17> имеем. Это надолго?

Исправлено.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

Balancer

администратор
★★★★★
Коммент с Ютуба: «Он шел по жизни Безупречно, среди разных религий и измененных состояний сознания, пока какая-то мартышка не подкинула ему очки. Он увидел слишком много, впустил в себя страх и смерть задула свечу его жизни...»

Можно скачать качеством чуть лучше с torrents.ru: Ссылка запрещена по требованию [показать]


На Кинопоиске: Катабасис – Путь через Мишикбатллабан (но там без комментариев... Оставлю первый... :) )
… чтобы понять рекурсию, нужно сперва понять рекурсию …  
** Сообщение с ограниченным доступом **

Balancer

администратор
★★★★★
Сумрак> Зашел в свой профиль на "баланесереюру", попробовал войти оттуда - выплюнуло такую картинку.

Ну, значит, так и есть. Или ошибка в пароле, или какой-нибудь Punto switcher подменяет его при вводе.
… чтобы понять рекурсию, нужно сперва понять рекурсию …  

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru