yacc: Все сообщения за 1 Мая 2021 года

 
ПнВтСрЧтПтСбВс
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

yacc

старожил
★★★
Кстати о Loongson 3A3000
Просто с комментов к посту, что я уже приводил

Пенсионный фонд продолжает миграцию на процессоры «Эльбрус». Работы идут четыре года

С 2016 года Пенсионный фонд РФ пытается перенести программное обеспечение с серверов IBM iSeries под управлением СУБД IBM DB2 на ОС «Эльбрус», СУБД PostgreSQL с... //  habr.com
 
Ну по теоретическим гигафлопсам сравнивать камни сильно разной архитектуры вообще не очень корректно — слишком уж сильно отличается эффективность («КПД») использования этих гигафлопсов. Особенно в таких простых архитектурах как МИПС. Так же нужно внимательно следить, чтобы гигафлопы одинарной точности не выдавали за флопы двойной точности, что китайцы любят делать (как и одно время баловались эльбрусовцы). Разница как минимум в 2 раза.

Лучше на каких-то практических тестах посмотреть. Вот например сами же китайцы протестировали одну из последних моделей в SPEC CPU 2006: 龙芯3A3000处理器芯片流片成功_龙芯官方网站-[龙芯官方网站]

SPEC CPU 2006 fixed-point and floating-point single-core scores compiled by GCC exceeded 11 and 10 points
Т.е. 10/11 очков в целочисленных и с плавающей точкой операциях на 1 поток и 33 очка в многопоточном режиме.

Для сравнения можно взять например 4я ядерный AMD Atlon II X4 вышедший еще аж в 2009 году как упрощенная (удешевленная) версия Феном 2:
spec.org/cpu2006/results/res2011q3/cpu2006-20110801-18097.html — 25 fp очков на 1 ядре
spec.org/cpu2006/results/res2011q3/cpu2006-20110801-18124.html — 68 int очков на всех ядрах
spec.org/cpu2006/results/res2011q3/cpu2006-20110801-18098.html — 57 fp очков на всех ядрах

Т.е. китайский процессор вышедший в 2016м году и прозводящийся до сих пор все еще довольно (больше чем в 2 раза) отстает по скорости работы от эконом-серии AMD вышедшей в 2009 году (вот обзорчик на него как раз в тему — можно освежить память: немного компьютерного ретро из нулевых).
По энергоэффективности (скорость/Вт) он немного обходит вариант от АМД, но тут неудивительно — камень вышел на 7 лет позже и производится на 28нм технологии, когда Атлоны производились на 45нм + низкая частота работы (1.5 ГГц против 2.8 ГГц). От современников он и по энергоэффективности довольно сильно отстает.

Хотя даже по теоретическим Гигафлопам непотнятно откуда все эти цифры в вики. Сами производитель для него заявляет всего 24 ГФплопс, надеюсь двойной точности (龙芯3A3000/3B3000_龙芯官方网站-[龙芯官方网站])
При потребляемой мощности в 30 Вт это даже теоретической пиковой производительности дает меньше 1 ГФлопс/Вт, на практике конечно еще меньше. А не > 3 ГФплопс/Вт которые кто-то вписал в Вики. Пора этот раздел переписывать и чистить от ложных утверждений.
 


И
Русская вики заканчивалась на более новом(но при этом более слабом) 3A2000, а не 3B1500. А теперь там все реально существующие или существовавшие процессоры этой серии есть.
Я обычно вообще с первоисточниками работаю. А вики неплохое место чтобы с него начать и набрать ссылок на первоисточники или ключевых фраз для гуглежа.

И сравнивал с атлонами я не 3B1500 и даже не вышедший после него 3A2000, а с Loongson 3A3000 — именно эти процессоры начиная с 2017 года массово в Китае производятся и используются в их компах по программам «импортозамещения» наряду с более старыми 3A200. Так вот эти процессоры что они сейчас делают и используют у себя почти в 2.5 раза слабее чем Atlon II X4 из 2009 года, пруфы на это выше.

Сейчас у них только-только вышел Loongson 3A4000 / 3B4000 — разработка только закончилась, буквально в конце декабря была его официальная презентация. Можно с гуглопереводчиком почитать: 龙芯重磅发布新一代处理器,全力打造IT产业新生态_龙芯官方网站-[龙芯官方网站]
Этот процессор еще только должен будет заменить 3A3000. В этом году начинается серийное производство.
По данным самих китайцев(по той же ссылке) 3A4000 / 3B4000 на реальных задачах примерно в 2 раза мощнее чем 3A3000 — около 20 очков по тому же самому пакету тестов SPEC CPU 2006.
В относительном отношении это неплохой прогресс — рост реальной скорости в 2 раза за 3 года (от модели 2016/2017 годов к модели 2019/2020 годов).

Но по абсолютному уровню до сих пор немного не догнали тот же самый Atlon II X4.
Т.е. китайская модель 2020 года все еще немного слабее модели от AMD из 2009 года. Хотя уже почти догнали (и в некоторых задачах он уже быстрее), осталось чуть-чуть, в следующем поколении обязательно перегонят.

3А5000 / 3С5000? сравнивать несущесвующий еще процессор, который в лучшем случае только через пару лет появится и спецификации которого еще не раз до этого поменяются, как они менялись в процессе разработки у всех предыдущих(обычно в худшую сторону)?
Нет, спасибо. «бумажные анонсы» не интересны. Вот когда реально они появятся (года через 2-3), тогда и сравним что реально получится на выходе.
Атлоны и феномы они в 2021 или 2022 году с это моделью наконец-то уверенно обгонят, но вот хотя бы до Zen-1 или haswell/broadwell от Intel еще врядли дотянутся. Но отставание вероятно с ~10 лет сейчас может сократиться до 5-7 лет.
 
 70.0.3538.6770.0.3538.67

yacc

старожил
★★★
Android> Вот я думаю, Петров и Боширов запатентовали одноименный брэнд или ещё нет?

Российская компания регистрирует торговую марку «Петров и Боширов» для игр-бродилок

Компания «Дельта» из подмосковного Ступино регистрирует в Роспатенте торговый знак «Петров и Боширов». Соответствующие документы «Открытые медиа» обнаружили на сайте Федерального института промышленной собственности. Компания подала заявку 23 апреля, следует из документации Роспатента. «Дельта» планирует использовать торговый знак для производства настольной игры-бродилки, которую рассчитывает продавать даже за рубеж, сообщил «Открытым медиа» представитель компании. По данным сервиса «Контур.Фокус», «Дельта» зарегистрирована в мае 2016 года и занимается […] //  openmedia.io
 
 70.0.3538.6770.0.3538.67

yacc

старожил
★★★
Татарин> Ты реально настолько ничего не понимаешь или тупишь? :)
Татарин> Постгресс нужно перекомпилять в нейтив "Эльбруса".
Ты тупишь или реально думаешь что взяли двоичный дистрибутив Постгресс и тупо запустили на эмуляторе ?

Татарин> Не надо так "переводить". Это бред какой-то.
Надо переводить.

Татарин> Код Постгресса ничего не знает о регистрах, он на языке высокого уровня написан. Нужно перекомпилять продукт на компиляторе "Эльбруса" и дать бинарники под "Эльбрус".
Этого МАЛО!

Возьми руководство по эльбрусу и прочитай

Дословно оттуда
VLIW:
+больше открытых возможностей для выражения параллелизма инструкций;
+лучшая энергоэффективность при схожей производительности;
-возможные ухудшения производительности при исполнении legacy-кодов;
-более сложный код для отладки и анализа;
-более сложный компилятор.
OOOSS:
+эффективное исполнение legacy-кодов;
+дополнительная информация о параллельности операций, доступная в динамике исполнения;
-расход энергии на многократное планирование одних и тех же операций;
-ограниченность аппаратурой окна исполняемых операций для переупорядочивания
 


Постгресс в исходниках - это легаси код.
 70.0.3538.6770.0.3538.67
Это сообщение редактировалось 01.05.2021 в 08:54

yacc

старожил
★★★
yacc>> Ну тогда расскажи мне на простом примере - вот у тебя есть большой CSV для импорта. Распараллель его не 10 отдельных узлов. А лучше на 100. :D
Татарин> Что именно распараллелить? Побить файл на 10 кусков? на 100 - это сложнее, да? :) И засунуть их балками в SQL? И?
Это я вытащу в отдельную ветку ибо ты ляпнул и не подумал.
Чтобы прочитать CSV файл надо его распарсить. Более того - в каждый кусок вставить заголовок, который идет первой строчкой. И после разбития на файлы тебя ждет ... повторный парсинг ( уже каждого куска ) !
Более того - для каждой строчки сделать валидацию на предмет того, что преобразование в целевой тип возможно и не нарушает его: скажем целевая строчка VARCHAR(200) а у тебя есть строка длиной 300, которую невозможно вставить без обрезания. Потом тебе результаты обработки ... мержить :p
Далее, тебе потребуется не 1 а 10 или 100 коннекций к базе, причем по сети польется уже 10-100 кратный поток данных через сетевой интерфейс, что забьет остальную работу.
Далее, целевая таблица как правило одна - т.е. сразу будут локи, если в нее запихивают данные 10-100 процессов одновременно, а если ты на каждый процесс создашь отдельную, то все равно потом мержить в одну.

Поздравляю - ты создал больше гемора чем ускорил :p
 70.0.3538.6770.0.3538.67
Это сообщение редактировалось 01.05.2021 в 09:41

yacc

старожил
★★★
с.т.> йопта они поняли что физмодель нужно дорабатывать, джонни_индексофф звать и всё такое...
Так движки баз данных отличаются - что хорошо для DB2 ( в ядре System i ) то для постгре - смерть не очень.

Кстати подряд достался "Лантана текнолоджи" ... несколько странной фирме из Обнинска с "очень информативным" сайтом Лантана Текнолоджи
 70.0.3538.6770.0.3538.67

yacc

старожил
★★★
с.т.> тут всё зависит от конкретной реализации и что понимается под словом импорт.
Разумеется

с.т.> CSV всё таки можно нарезать частями и загрузить в acquisition layer балком.
Это парсинг по-любому.

с.т.> главное что бы памяти хватило на ETL сервере при доставке.
Ну резать можно окном - это в общем-то не проблема.

с.т.> это само собой что нужно мерджить потом где-то если ты ранее порезал. где-то выигрываешь - где-то проигрываешь.
Т.е. у тебя все равно вырисовывается один хост-координатор, который раскидывает работу и потом объединяет логи.

с.т.> если параллелить что бы на разные узлы грузить то всё таки нагрузку на сеть мы тоже распараллелим, это не аргумент.
Гы, если у тебя кластер по каким то партициям ( что само по себе весело ), то просто разрезать несортированный файл не получится - ибо тогда каждая часть будет писать в разные узлы кластера - это уже не балк. Ну либо привет разрезание у тебя уже получится интеллектуальным - один файл надо умно разбить на куски, чтобы каждый кусок был к нужной ноде. Причем не факт что ты сбалансируешь нормально если данные неравномерны : скажем 1000 записей на ноду 1 и одна запись на ноду 2 целевого SQL.

с.т.> к тому же у тебя ETLные ноды к нодам кластера могут по отдельным линкам сидеть, а пользовательская сеть - по другим интерфейсам.
Так к самой базе все равно один канал, даже если у тебя не хосте несколько интерфейсов.

с.т.> а так гринплам например умеет принять разные части данных на разные сегментные ноды, а затем уже после окончания прогрузки между сегментами их синхронизировать.
Деление на сегменты легаси базы - отдельная большая песня, не всегда возможная.

yacc>> Поздравляю - ты создал больше гемора чем ускорил :p
с.т.> это всё вопрос того что у тебя есть и того что нужно сделать. если нет мощности что бы успеть в окно прогрузки прогрузить тупо в лоб - добро пожаловать в мир геморроя.
Ну в случае того же ПФР имеем одну DB2 походу, которая там сама умеет параллелится.

с.т.> вообще CSV это легко, вот если нужно XML или JSON прожёвывать большой - это да, вот тут реально может быть много секса.
Не, CSV разумеется проще XML или JSON :p
 70.0.3538.6770.0.3538.67

yacc

старожил
★★★
с.т.> ну сложно сказать. я давно DB2 не щупал, она же вроде не умела сама по себе параллелиться.
с.т.> хотя опят же что под словом "сама умеет параллелиться" понимать.
с.т.> скажем так, сама раскидать один запрос между узлами на которых лежат части данных и выполнить параллельно и вернуть результат - вроде как не умела.

Там параллельность посредством SMP между процессорами и на SELECT плюс на индексы ( что уже очень неплохо )

DB2 symmetric multiprocessing: Database parallelism within IBM i | Manualzz

advertisement advertisement * Your assessment is very important for improving the work of artificial intelligence, which forms the content of this project advertisement //  manualzz.com
 

Да Она покупается как опция и не идет по умолчанию
 70.0.3538.6770.0.3538.67

yacc

старожил
★★★
kot1967> Ну и не знаю доживу ли я когда в метро турникеты уберут.
ну в том же Мюнхене их и нет
Мне как-то по этому поводу вспоминается анекдот
"Джентельмен джентельмену доверяет на слово. ... и тут у меня карта поперла" :D
 70.0.3538.6770.0.3538.67

yacc

старожил
★★★
yacc>> Ты тупишь или реально думаешь что взяли двоичный дистрибутив Постгресс и тупо запустили на эмуляторе ?
Татарин> Да, именно так я и думаю.
И думаешь абсолютно неправильно
Потому что постгре входит в состав ОПО Эльбрус. И входила на момент тестирования в ПФР

Здесь ты мимо


yacc>> Постгресс в исходниках - это легаси код.
Татарин> Бинарный.
В исходниках
 70.0.3538.6770.0.3538.67

yacc

старожил
★★★
Татарин> А мне нужен выигрыш.
Пока у тебя не получается :)

Татарин> Давай только сразу договоримся, что речь идёт действительно о больших CSV, где это имеет смысл - сотни Гб, того порядка, регулярных таких операциях и соответсвующих базах.
Именно про это я и говорю. Полностью согласен.

Татарин> Ты мыслишь как кулхацкер-пионер (нет готовых скриптов - нет решения), а должен бы как программист. В смысле, программист работающий на результат, а не грамотно составляющий отмазки, почему всё медленно
Ха! Пока что у тебя взгляд именно кулхацкера и вот тут это наглядно вижу :

Татарин> Сначала я побью файл на куски грубо - по байтам, разбив разметку (и да, получив "рваные", заведомо невалидные записи на границах.
Так вот это сразу означает самописный ETL на низком уровне, потому что ни один ETL продукт так не делает

Татарин>Потом я на разных хостах приведу предвалидацию этих кусков и начну балк импорт на SQL-сервера (ессно, разные).
Для начала - если у тебя куча серверов, то бишь MPP, то это сразу указывает на аналитическую направленность решения - т.е. DataWarehouse.
Базы транзакций - OLTP - на основе MPP не делают, потому что с гарантией у тебя гемор с целостностью

The rise of MPP platforms — Comparing SMP to MPP Architecture

The motivation for writing this is to explain the major difference between SMP and MPP platforms. I will also explain their appropriate… //  afroinfotech.medium.com
 
Disadvantages of MPP:
...
- Enforcement of constraints: Primary, foreign key, unique constraints are not maintained because the nodes are not sharing the same pieces of data. There won’t be a way to validate the data integrity easily.
 

Это я тебе с самого начала говорил, но ты меня не слушаешь.

так что если тебе надо процессить банковские счета - забудь пока про MPP.

Татарин> Тут многое зависит от специфики данных, которую ты опустил, но на практике в абсолютном большинстве случаев тут можно сделать многое.
Специфика простая - данные как есть, не сортированные по шардингу.
Поэтому ты не знаешь какую порцию на какой ноде загружать.
Если ты тупо разбил на куски по размеру, не заботясь о том кому чего - каждый кусок надо инсертить на каждой ноде, а потом фильтровать какие данные именно для нее.

Ну да - MCSE это не совсем про программирование, особенно часть про DW - поэтому я мыслю тут не как программист, а как SE :D
 70.0.3538.6770.0.3538.67

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru