Проблемы современной науки

Татарин> Пока нет специальных нейропроцессоров ...
Ты отстал от жизни, дружище. И основная проблема нейропроцессоров - далеко не в узости существующих шин, а вообще, в наличии шин как таковых.

Почему подозреваю, или почему устроил бы? Не думаю, что ответ на первый вопрос интересен тебе, и что на второй я смогу ответить

Tico> Признав ограниченность собственного мышления и не желая отдаваться на волю слепого эволюционного процесса, иного пути, как "работать над собой", нет

почему?

ну, адаптация себя под задачи, физиологическая адаптация, как то не типична для человека.

встретив условного саблезубого тигра человек ведь не принялся отращивать клыки и мышцы, а начал совершенствовать коммуникацию с сородичами.

почему встретив недоступную мозгу одного человека насущную задачу человек начнет отращивать супермозг, а не пойдет по пути решения задачи объединением нескольких мозгов за счет развития коммуникации между сородичами?

узкая специализация всегда опасна необратимостью.

Татарин>> Пока нет специальных нейропроцессоров ...
pokos> Ты отстал от жизни, дружище.

Здесь вы наверное имеете в виду еще изделия советской конторы "Модуль", из далеких 80х. Ну, и все, что появилось из этого потом.

> И основная проблема нейропроцессоров - далеко не в узости существующих шин, а вообще, в наличии шин как таковых.

А вот что имеете в виду здесь - непонятно.

Татарин>> Пока нет специальных нейропроцессоров ...
pokos> Ты отстал от жизни, дружище. И основная проблема нейропроцессоров - далеко не в узости существующих шин, а вообще, в наличии шин как таковых.
Может быть, но я так не думаю, я периодически смотрю на новинки.
Так или иначе общая шина нужна как минимум внутри нейрона - чтобы не дублировать умножители. Производительность нейропроцессоров сейчас определяется именно полной суммарной шириной шин, в основном.

Татарин>>> Пока нет специальных нейропроцессоров ...
pokos>> Ты отстал от жизни, дружище.
AidarM> Здесь вы наверное имеете в виду еще изделия советской конторы "Модуль", из далеких 80х. Ну, и все, что появилось из этого потом.
Это как раз самый что ни на есть классический процессор, из "нейро" у него разве что ММАС одной операцией и вектор с переменным размером слова.

AidarM> Здесь вы наверное имеете в виду...
Здесь я имею в виду изделия советских цукербринов, которые ныне называются "Альфабет".

Татарин> Так или иначе общая шина нужна как минимум внутри нейрона...
Тогда это никакая не общая шина, а локальная. И она, в общем случае, совсем не нужна.

pokos> Здесь я имею в виду изделия советских цукербринов, которые ныне называются "Альфабет".

Вы поисковые системы имеете в виду? Что у них есть аппаратная нейропроцессорная поддержка?

AidarM> Вы поисковые системы имеете в виду?
В том числе. TPU был первой ласточкой, но это просто потоковый матричный вычислитель, а не нейронный процессор.
Сейчас поехали дальше. Сложность в том, что на 2D это делается с очень большими ограничениями. Приходится делать шины, и много.

Татарин>> Так или иначе общая шина нужна как минимум внутри нейрона...
pokos> Тогда это никакая не общая шина, а локальная. И она, в общем случае, совсем не нужна.
Тогда все шины локальны.

Если без шины, то придётся ставить по умножителю на каждый аксон. Оставаясь в традиционной схемотехнике, это вообще бессмысленно сверху донизу: мало того, что шина занимает меньше места и гораздо дешевле, чем умножитель, так ещё и от каждого умножителя тащить отдельные шины на сумматор вместо одной на всю память - просто бессмыслица.

Есть варианты с аналоговыми "вычислениями" - допустим, аксоны будут каналами с мемристором или ЭППЗу над ключами, чьи выходу аналогово суммируются, а затем АЦП или компаратором приводятся к стандартному отклику, который можно уже давать на вход других акоснов. Но вот таких процессоров сейчас нет. Хотя иметь их хорошо бы: такие схемы могут обеспечить в десятки-сотни раз большую плотность и в тысячи раз большую скорость.
Одна из проблем тут, КМК, в том, что функция активации, как и количество аксонов, будут заданы аппаратно. Что не всегда есть хорошо.

Я прикидывал сделать такую штуку по технологиям ПЛИС. ВОзможные топологии сетей будут ограничены, но такие процессоры можно же комбинировать с обычными шинами-процессорами на том же кремнии, которые уже будут реализовывать реальную гибкость системы.

Татарин> Тогда все шины локальны.
Жуть какая.

Татарин> Если без шины, то придётся ставить по умножителю на каждый аксон.
Пока приходится на группу. В идеале - да, на каждый.

Татарин> Оставаясь в традиционной схемотехнике, это вообще бессмысленно...
Да.

Татарин> ..допустим, аксоны будут каналами с мемристором ...
Да, можно. Сумматором будет простое соединение проводников в одной точке. Но основная проблема совсем не в этом.

Татарин> Одна из проблем тут, КМК, в том, что функция активации, как и количество аксонов, будут заданы аппаратно.
Не вижу обязательности такого исхода.

Татарин> Я прикидывал сделать такую штуку по технологиям ПЛИС.
Дохлый номер. Слишком маленькое поле трассировки.

Татарин>> Если без шины, то придётся ставить по умножителю на каждый аксон.
pokos> Пока приходится на группу. В идеале - да, на каждый.
А если на группу, то нужна шина выборки значений весов.

Татарин>> ..допустим, аксоны будут каналами с мемристором ...
pokos> Да, можно. Сумматором будет простое соединение проводников в одной точке. Но основная проблема совсем не в этом.
Нет, так не выйдет, нужны каскады развязки (как в картинках с ОУ из учебников).

Татарин>> Одна из проблем тут, КМК, в том, что функция активации, как и количество аксонов, будут заданы аппаратно.
pokos> Не вижу обязательности такого исхода.
Активация - тривиально: бессмысленно ускорять аксон, если нейрон будет тормозить. Отсюда следует аппаратно заданная функция активации (по железу относительно дорогая, кстати).
Нейронов - много. Каждый из них - свой аппаратный кусок. Их нужно коммутировать. Если каждый с каждым, то коммутация сожрёт бОльшую часть чипа и всю выгоду.

Татарин>> Я прикидывал сделать такую штуку по технологиям ПЛИС.
pokos> Дохлый номер. Слишком маленькое поле трассировки.
Коммутировать, конечно, блоки.

Tico>> Признав ограниченность собственного мышления и не желая отдаваться на волю слепого эволюционного процесса, иного пути, как "работать над собой", нет
Н-12> почему?

Потому что Тико явно нравится думать в эту сторону.

"Ани были кибарги! Ани запаланили всю планету! Кибарги!" ©

Подъема градуса неадеквата ради хотелось бы намекнуть, что у искусственных нейросетей могут быть квантовомеханические узлы и подсети, размеры которых будут ограничены только текущими возможностями сохранять когерентность между кубитами. А ведь живые нейросети, похоже, тотально классические. Вот каак понаделаем андроидов с квантовым подсознанием и гениальными квантовомеханическими озарениями, вот тогда и поглядим, какие им снятся овцы!

Татарин> А если на группу, то нужна шина выборки значений весов.
Это малая проблема, т.к. шина весов локальна.
Татарин> Нет, так не выйдет, нужны каскады развязки (как в картинках с ОУ из учебников).
Не обязательно.
Татарин> ..по железу относительно дорогая, кстати...
Не обязательно, если отвлечься от ЧМОС.
Татарин> Если каждый с каждым, то коммутация сожрёт бОльшую часть чипа и всю выгоду.
Это и есть самая главная проблема. В двумерном случае не решается.
Татарин> Коммутировать, конечно, блоки.
По барабану. Линии трассировки мгновенно кончаются. Если, конечно, хочется поболе десятка нейронов.

Резюмирую для широкой публики.
Проблема всех современных нейропроцессоров не в том, что трудно сделать достаточно функциональный нейрон. И не в том, что на кристалл помещается мало нейронов.
Проблема в том, что требуется огромное количество межсоединений. В простых сетях - это факториал от колва нейронов. В более сложных - экспонента. Сети, где рост колва межсоединений будет, хотя бы, полиномиальным, освоены слабо. Это слоистые сети.

Построение системы на базе двумерных структур ограничивает скорость роста до квадратичной. Это - самая серьёзная проблема. Это чудовищно хуже любого трёхмерного мозга.
Поэтому, приходится делать много глобальных шин с временным разделением доступа.Отсюдова, приходится городить огромные и тормознутые огороды.
Методы решения этой проблемы имеются, но дело продвигается туговато, ибо первый новый кристалл стоит, как минимум, несколько $M.

pokos> Резюмирую для широкой публики.

То есть в т.ч. и для меня, ибо я в этом не разбираюсь совсем.

pokos> Проблема в том, что требуется огромное количество межсоединений.

Это между чем и чем? Для N узлов нужно не больше N(N-1)/2~N² одинарных двустронних связей. Раз вы говорите, что:

> В простых сетях - это факториал от колва нейронов. В более сложных - экспонента. Сети, где рост колва межсоединений будет, хотя бы, полиномиальным, освоены слабо. Это слоистые сети.

получается, что и сами связи служат узлами? Тогда начинается иерархия по Кантору, переход A->2^A. Вы эту экспоненту имеете в виду? Настоящие трехмерные мозги - такие? Есть какой-нить естественный малый параметр, чтобы лезть в высшие иерахии не имело физического смысла?

pokos> Построение системы на базе двумерных структур ограничивает скорость роста до квадратичной. Это - самая серьёзная проблема. Это чудовищно хуже любого трёхмерного мозга.

Хм, а во что это выливается в смысле решения доступных задач? Чем это хуже в смысле выхода?

И потом, непланарен любой граф, в котором в качестве подграфов содержатся K5 и K3,3. Все остальное - двумерное, ляжет на один слой. Если таких подграфов не очень много, то еще можно сделать несколько слоев. Хотя смысла и вправду мало, если нужны существенно непланарные.

Тьфу, я загнался вот тут:
AidarM> Тогда начинается иерархия по Кантору, переход A->2^A. Вы эту экспоненту имеете в виду?

Из N² узлов вытекает N⁴ связей - новых узлов, для которые N⁸ новых связей и т.д. Одинарные двусторонние связи растут как N^(2^k), где k - номер иерархии. Так что заодно и про экспоненту и тем более факториалы интересно. Откуда они там.

AidarM> Хм, а во что это выливается в смысле решения доступных задач? Чем это хуже в смысле выхода?
Тебе мало кто сейчас что путного скажет, потому что в большинстве практических задач обрабатываются временные ряды (топология нейросети - слои векторов) либо матрицы (картинки, видео, массивы объектов, данные радаров/лидаров и т.п.; топология - слои матриц, друг над другом). Популярные сейчас свёрточные сети ещё более снижают потребность в связности.

По-настоящему сложных сетей сейчас очень мало по той тупой причине, что люди слишком тупы, чтобы создавать их осмысленно. Если человеку не получается осмыслить задачу пусть большими и массивными в аппаратуре, но зато цельными, понятными как единая сущность человеку, кусками, то он начинает тупить, тормозить и ныть, что он вообще ничего не понимает. Человек любит, чтобы взаимодействующих кусков было мало, тогда он их может осмыслить, а сложная по топологии сеть под задачу (особенно, с миллионами нейронов) - пример просто-таки обратного.

Зато можно посмотреть на человеческий мозг, у которого, как известно, есть кора (собссно, нейроны) на поверхности мозга, а есть древесина соединительное белое вещество из аксонов - проводов от нейрона к нейрону, которое и реализует топологию конкретной сети.
Так вот кора - тонкая. А аксонов - килограмм с фигом.

Известно, что наши нейросети решают очень простые задачи. Известно, что человеческий мозг может решать сложные. Известно, что даже применение резидуал сетей (ма-аленькое улучшение "в глубину" связей) позволяет дёшево получить сразу сильно лучшие результаты.

Известно, что много (даже наших, простых) практических задач без рекуррентных сетей (где кусок сетки "зацикливается" через подключение выхода далёкого от входа нейрона на нейрон близкий ко входу сети) не решается вообще. Персептроны (сети с простой передачей сигналов от входа к выходу) исчерпали себя очень быстро. А рекуррентные сети требуют сложных подключений, плохо совместимых с плоскостью.

Не факт (в смысле "не математический факт"), что сложные задачи нельзя решать чем-нить совершенно вот планарным.
Но очень сильное указание на это у нас есть.

Если мы собираемся делать на сложных задачах метаобучение (а это, КМК, единственный и магистральный путь делать сложные нейросети) и строить нейросети нейросетями (или ГА, или ещё чем), то мы должны дать возможность реализовывать сложные топологии.

Давненько я не читал что-то сопоставимое по оптимистичности.
Не шучу, очень рад.

>По-настоящему сложных сетей сейчас очень мало по той тупой причине, что люди слишком тупы, чтобы создавать их осмысленно.

Даже когда люди начнут создавать их осмысленно, полагаю, они еще долго останутся такими же тупыми.

> Если человеку не получается осмыслить задачу пусть большими и массивными в аппаратуре, но зато цельными, понятными как единая сущность человеку, кусками, то он начинает тупить, тормозить и ныть, что он вообще ничего не понимает. Человек любит, чтобы взаимодействующих кусков было мало, тогда он их может осмыслить, а сложная по топологии сеть под задачу (особенно, с миллионами нейронов) - пример просто-таки обратного.

Просто нужны иные подходы, памойму. Необязательно брутально фейнмановские, кстати. Принципиально иной, новый, несводимый к иным сущностям объект всего лишь требует принципиально иных методов анализа и контроля сложности. Как квантмех с ОТО потребовали когда-то очень стрёмный матан. А до этого приходилось только сидеть и тихонько ох..вать от показаний приборов.
Кажется, нейросетевики сейчас на этой стадии.


upd:

> Тебе мало кто сейчас что путного скажет

Да мне и одного, например pokos-а хватит. А он внятно написал: двумерные сети куда хуже трехмерных. То есть, знает, в чем именно хуже, даже если не знает, почему это так. Чисто эксп. факт, на подумать.

Татарин> Почему же? Совершенно закрытый и полностью понятный.
Татарин> Всё, что нужно - иметь ясно определённую целевую функцию "что считать успехом". Да, её определяет человек.
Татарин> Но на этом его работа заканчивается. У нас нет проблем подключить нейросеть непосредственно к окружающему миру и заставить её учиться самостоятельно определять и классифицировать животных (и котиков в том числе).

Можно реально работающие примеры таких задач. Чтобы ответ был заранее не известен. Именно неизвестен, а не сложен для получения традиционными методами как например определение побочных эффектов лекарств. Например вроде такой. Входной поток изображений аттрибутирован как "котик" и "не котик". Не котики бывают нескольких категорий и больше про них ничего не известно. В результате обучения на выходе будет распознавание котиков, "собачек", "слоников" и "лошадок".

А то весь ИИ системы с которым мне приходится сталкиваться очень грубо говоря обучаются и работают как интерпретатор SQL - у него на входе не "как" а "что" и это воспринимается как нечто ух, потому что все привыкли что программы по сути императивны.

Татарин> ?! У нас и близко нет мощностей, сравнимых с природными. Мозг мышки - сто миллионов нейронов, НЯП, со средней тысячей аксонов на каждый - это уровень суперкомпов. Мозг человека (одного) - это суперкомп из топа-100.

То-есть мы берем вычислитель одной архитектуры и эмулируем на нем работу вычислителя совершенно другой архитектуры. При этом вторая архитектура очень плохо эмулируется на первой. Сидим и плачем что тормозит. Но и наоборот человеческий мозг плохо эмулирует безбожно тормозит по сравнению с процессором с тактовой в единицы-десятки килогерц когда складывает цифры.

AidarM> получается, что и сами связи служат узлами?
Не совсем так. Если мы говорим о статической сети, то квадрат.
Если мы хотим произвольно изменяющуюся одноранговую сеть, то надо говорить о количестве автоморфизмов.
Если накладываем ограничения на изменяемость, то усекаем варианты. В адиабатическом случае будет экспонента.
AidarM> Хм, а во что это выливается в смысле решения доступных задач?
Практические мозги имеют 2,5D подсистему нейронов и 3D подсистему дендритов.
При том, что колво рабочих единиц составляет миллиарды. Вот так и выливается.

AidarM> Одинарные двусторонние связи растут как N^(2^k), где k - номер иерархии.
Вот-вот. Иерархическая автоматическая кластеризация, что и есть интеллект. Хорошо видно, как сложно даются уровни абстракции.

pokos> Сложность в том, что на 2D это делается с очень большими ограничениями. Приходится делать шины, и много.

Тема 3D архитектуры сейчас одна из наиболее аггрессивно прорабатываемых, именно по этим причинам.

Tico> Тема 3D архитектуры сейчас одна из наиболее аггрессивно прорабатываемых, именно по этим причинам.

И?

Tico, дочь уже справилась с магнитным носителем? Подбрось идею создания ДНК-транзистора и ДНК-носителя информации. Обе задачи уже в принципе решённые, кстати. ДНК-память даже на практике проверили, записав и считав jpg файл.

Не считай, что я издеваюсь. Просто интересно оценить полёт фантазии, ограниченной знаниями современных учащихся.

Naib> ...Далее, для получения более точных результатов задача дробится, алгоритмизируется и рассчитывается.

Хрен там.
Поступление сигнала "зелёный заяц" вызывает срабатывание массы кластеров разных иерархий, одни из которых вполне могут являться метаданными для других. Например:
"зверь"
"ушастый"
"попрыгун"
"капуста"...

Более сложных:
"Порос мхом"
"некошерный"
"Пропали R и B"...

Ещё более сложных:
"скок-поскок через мосток,
белым пятнышком хвосток"
"мультфильм снимали наркоманы"...

И так далее, ширее, всё параллельно.
Далее идёт соревнование весов результатов, а они не постоянны во времени.

Ни о каком алгоритме в стиле Тьюринга речи не идёт вообще. Именно поэтому так тяжко даётся моделирование интеллекта на нынешних компьютерах.

Naib> В какой (условно) системе счисления работает мозг - тоже тот ещё вопрос.
Ни в какой.