Искуственный Интеллект

Очень давно и очень ненадолго пришлось позаниматься этой темой. Обсуждался вопрос обучения как такового. Приобретения опыта и т. д. Я там был как зоопсихолог от лаборатории.
Мало что помню но одну свою мысль помню и изложу.
Некто пытался разбираться с самообучающимися системами. С определенного момента путаница дорастала до полного хаоса. Я тогда подумал, что вот есть вопрос интересный. А если мы возьмем не одну систему, а две - возможно даже идентичные. Через определенное время после запуска программы самообучения - будет ли их "опыт" - одинаков?
Почему-то мне кажется, что нет, особенно в случае нейронных моделей.
(долго обьяснять почему - следующий раз как-нибудь)
Если этот постулат верен, то возможно стоит рассматреть вопрос об одновременном запуске двух систем, связанных между собой в момент запроса решения.
Они нарабатывают свое "самообучение", обе выдают решения, но некая надстройка над ними (собственно оператор - человек) должен делать выбор о том, какое из решений более подходит. Ну, или не человек.

Как ни странно, вспомнилось мне - мозг тоже состоит из двух полушарий, обладающих разными ...не возможностями, а принципами - если тактично так выразиться.

С.с.п.>Для начала давайте выясним разницу между обучением и самобучение. Я пока плохо представляю разницу между ними, но обязуюсь подумать на досуге.


Обучение -это когда нечто или некто извне закладывает в вас информацию, имея перед собой некие цели.

Самообучение есть, мне кажется, процесс самостоятельного исследования(знакомства) всего подряд или специально(при наличии мотива) с вырабатыванием мнения(ответа).

Neural networks demystified или как проходило умиление и приходило понимание.

Разделим фазы обучения сети и ее работы после этого, как не имеющие между собой ничего общего и начнем с анализа работы неведомым образом более-менее оптимально настроенной сети. Рассмотрим однослойную сеть (увеличение числа слоев запутает дело, но не изменит основных принципов) и попробуем разобраться нельзя ли описать ее работу в общепринятых терминах обработки сигналов, не поминая всуе никаких загадочных для меня (как не биолога) нейронов-ионов-аксонов вовсе. Что же мы видим. Входной вектор умножается на один набор весов и полученные произведения суммируются давая первый выход сети. Аналогично умножая вход на второй набор весов и суммируя получаем второй выход. Ничего не напоминает? Ну конечно, это всего навсего расчет коэффициентов корреляции между входным вектором и наборами весов нейросети. Вот и все. Сразу становится понятно многое, например почему набор корреляторов (для пущей загадочности названный нейронной сетью) широко используется именно в распознавании образов (просто вычисляют образ наилучшим образом коррелированный с одним из заранее заданных) ну и многие сопутствующие его работе проблемы легко объясняются.

Ах да, пороговые функции и т.д. Но вообще то сравнение с порогом (а как собственно еще решение принимать?), жесткие и мягкие ограничители это важные базовые элементы многих (если не почти всех) сколько нибудь сложных устройств обработки сигналов уже лет почти так 100.

Ну а о так называемом обучении сетей (а это уже ну совсем другая, куда более печальная, история) в следующий раз.

ab>>Ну конечно, это всего навсего расчет коэффициентов корреляции между входным вектором и наборами весов нейросети.
=KRoN=>В целом, так и есть. Но только в самом примитивном случае однослойной сети.

А просто выход одного набора корреляторов на следующий набор кореляторов идет, вот и все. Это собственно и по формуле для расчета выхода видно. Но не всегда это нужно (или может чаще всего не нужно?), для многих задач просто доказано, что корреляция (т.е. однослойка) это просто оптимально (и коэффициенты строго рассчитаны).

ab>>Ах да, пороговые функции и т.д.
=KRoN=>А от пороговых функций работоспособность и обучаемость нейросети зависит едва ли не сильнее, чем от внутренних связей

Вообще обучаемость нейросети это совсем другая песня, очень печальная (неспроста например в связи с обучением часто генетические алгоритмы упоминаются, которые по сути просто вариант случайного поиска). А что до важности порогов абсолютно в любом деле, так сдвиньте порог обнаружения в рлс и тоже либо ничего не увидите, либо сплошь помехи пойдут. Потому то он там и адаптивный и сравнивается с картой помех и т.п.(можно сказать сто рлс обучается?). Или поменяйте пороги в эдсу су-27. Только вот для рлс (и других стандартных методов) есть вразумительные методики его выбора, обычно оптимальные. А обучение сложной сети это проблема. А в простой обычно и так понятно какие к-ты нужны (ну коррелятор же).

Но речь то на самом деле не об этом, а о том что функционирование нейросети вполне описывается на языке понятном всем кто занимается обработкой сигналов и сразу становится многое понятно почему и что получается хорошо, а где ждать проблем и каких. И ничего особенно нового и поражающего воображение специалиста не видно, окромя массы красивых, но не очень осмысленных, слов произносимых адептами - типа ассоциативная память (тоже в общем то коррелятор) или распределенное хранилище информации (так ведь так и интернет можно назвать и голограмму). То есть не вундерваффе и не надо от них так многого ждать.

Mishka>Можно я поерничаю?

Да пожалуйста, я это дело и сам люблю. На все надо смотреть с юмором.

Mishka>Цифровая обработка сигналов demystified или как проходило умиление и приходило понимание.

Mishka>Посмотрим на что похож расчет коэффициентов корреляции - смотрим в программу - все сводится к операциям арифметики - сложение, вычитание, умножение, деление. Ну еще степень и сдвиг. Вспомним, что эти через сложение и вычитание можно выразить остальные операции. А + и - еще Пифагор знал. Так что последние тысячи лет это применяется. Ничего нового.

Разница в том, что не используя ничего кроме понятий элементарной арифметики я не могу много сказать о работе коррелятора, а вот используя понятие коррелятора (ну и ще парочку понятий традиционной цос) очень многое становится ясно в работе нейросетей. В частности, часто сразу видно что будет хорошо получаться, а что нет.

Mishka>Понятия корреляторов сложнее, чем элементарной математики, поэтому и кажеться, что они позволяют понять больше. Т.е. они, конечно, позволяют понять больше, хотя и не все. И я хотел сказать, что здесь есть тоже качественный скачок, хотя и не такой большой может быть. Вот его и не видно при корреляторном подходе.

Набор корреляторов (или линейных фильтров) есть просто частный случай нейронной сети - один слой. На нем уже можно сделать скажем преобразование Фурье. Множество (если не большинство) реальных систем обработки сигналов представляют из себя сочетание такого набора корреляторов + пороги и потом часто логическая обработка их выходов. Это будет два слоя - скажем линейный и нелинейный (чисто логический). Посему формально то можно (вот только нужно ли) сказать что нейросети применяются почти везде. Вот только обучать их никто не обучает, примеров никаких не показывает, рассчитывают коэффициенты из смысла задачи (для Фурье скажем синусоиды), соответственно и нейросетями не называют. Да и понятно почему, пользы при разработке таких систем от того что они формально нейросети негусто.

> Насколько я понимаю/знаю нейронные сети, то в них очень важна обратная связь - то ли от одного слоя к другому (кажется это наиболее распространненый вариант), то ли внутри слоя, то ли между многими слоями сразу. Эта обратная связь и позволяет, в первую очередь, подстраиваться/обучаться. Искусство составления функций и обратных связей, на мой взгляд, и есть самое трудное. По сути - это есть не что иное, как создание модели.

да как бы адептами обычно предполагается что структура регулярная, только сложная, и только связи да пороги будут меняться в процессе настройки и все будет тип-топ. (Оно и понятно - если и число слоев выбрать искусство и нелинейности выбирать тоже искусство, то где ж наука то, народ и скажет - да мы лучше дядю Васю спросим, он тоже правильный вариант ж... чует, а как и сам не знает.) Вот только оказывается что даже так это фактически глобальная оптимизация по всем весам и порогам, задачка для сложных, да еще нелинейных систем, кроме как прямым перебором вообще то не решаемая. т.е. всеми другими менее лобовыми методами то ли научится, то ли нет. Опять же и примеры для обучения какие и сколько надо непонятно. В общем не очень то много толку с такого знания. Реально эмпирика сплошная (или искусство - если больше нравится). Вот дядю Васю и проще часто спросить.

Есть и другая сторона. Многие программеры ни хрена кроме си не знают, а им как закажут биржу предсказывать или, там, текстуры различать (как же программист это голова, не зря ж ему такие бабки платят). Вот они мозги всем и компостируют - мы вам нейронку поставим (благо библиотеки есть), она как научится, так ахнете.

Короче вопрос имхо в том - сильно ли нужно выходить за двухслойную нейронку? особенно учитывая, что для многих задач проверенные строгие методы есть, в том числе и вполне адаптивные. А если не сильно нужно, то нужно ли ее вообще нейронкой звать, или проще считать набором корреляторов + логика, а не произносить заклинаний типа ассоциативное, распределенное хранилище информации, да студентов лучше учить, чтобы знали они что очень многие задачи известно как решаются?

ab>Есть и другая сторона. Многие программеры ни хрена кроме си не знают, а им как закажут биржу предсказывать или, там, текстуры различать (как же программист это голова, не зря ж ему такие бабки платят). Вот они мозги всем и компостируют - мы вам нейронку поставим (благо библиотеки есть), она как научится, так ахнете.

соответственно иногда что-то и получится, но опять вопрос - может лучше было бы сезонные поправки ввести и тренд провесить, тоже конечно некоторое шаманство, но хоть за ним какая-то суть дела видна

Вот кстати неплохой материал (размер 900к)

http://nncourse.chat.ru/course.pdf

Только я советую читать сразу страницы с двадцатой, а то на аксонах-мембранах засохнуть можно. А главный минус этого материала это имхо именно слабый показ связи нейросетей с более традиционными методами обработки сигналов.

А вот это тоже несколько об ии, почитайте, мне лично нравится

Mishka>Немного оффтоп, ab, а вы кто по образованию? Только не обижайтесь, ради Бога, мне просто интересно.

Да ну, какие обиды. Я если и параноик то только самую малость.

Mishka>Судя по вашим постингам, я бы сказал, что что-то сильно связанное с радио-электроникой и обработкой сигналов. Т.е. у меня сложилось такое впечатление из того, как вы говорите о математике.

Ну конечно. Если интересно подробнее, скажите, напишу. Надо сказать математическое стремление к точности тоже довольно заметно в быту (в частности многовато оговорок - насколько я знаю и понимаю, по моему и т.п. В принципе это как бы подразумевается, но видать мат.выучка автоматически требует точности задания начальных условий).

Mishka>У меня друг есть, кфмн - физик. Он примерно так же с математикой обращается. У нас с ним споры по этому поводу. Я сам математик по образованию и меня это немного удивляет/шокирует (не знаю, как правильно выразиться).

Вот прям так даже шокирует? Ну меня тоже немного удивляет как математики в общем то понятные вещи часто так изложат, что пока поймешь что они хотят сказать посинеешь.

Mishka>Я как-то все разговоры про математику вел среди математиков (пока был в Союзе) и такое упоребление математики для меня явилось открытием.

Вообще это большая проблема. Математики (видимо) и правда не знают даже не столько для чего (это то полбеды), а как их науку прикладники понимают и используют. А это ну очень плохо, поскольку как не крути, а язык и инструмент естественных наук именно она. Ну а как результат в естественных науках существуют свои, как бы поточнее выразиться, математические традиции.

Mishka>Сейчас жалею, что ранее не разговривал на проффесиональные темы с ребятами других специальностей - рядом были и институт физики, химии, биологии, генетики и др.

Ну все верно, жалко, а как быть, жизнь так устроена, варятся все в своих котлах, у меня например тоже более-менее чистых математиков под рукой нет.

=KRoN=>Ну, у нас же клуб. Так что можно и без личной переписки

Клуб то клуб, и это очень хорошо, но еще и в некотором роде сми электронное. А сми вещь такая вещь что с ними поосторожнее надо. Так что информацию на две части хочешь-не хочешь, а делить приходится. А математику будем в ии обсуждать?