CHITAT-KNIGI.COM
Читать бесплатно хорошую книгу!
  • Главная
  • Жанры
  • Авторы
  • ТОП книг
  • ТОП авторов
  • Контакты

Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта

Часть 30 из 53 Информация о книге

В том, что Розенблатт оставил работу над персептроном, нередко упрекают Марвина Минского с его книгой «Персептроны». В пользу того, что подобные утверждения ошибочны, говорит хотя бы то, что книга была издана за год до гибели Розенблатта, то есть прошло более пяти лет с того момента, когда тот оставил эту тему. Минский и Папперт математически убедительно показали ограничения, присущие усовершенствованному ими одноуровнему персептрону. Они связывали эти ограничения с существовавшими на тот момент слабостями параллельных вычислений, необходимых для реализации идеи персептрона. Это дало основания говорить о «заказном» характере книги, а также о том, будто она повлияла на пути развития AI, сместив научный и общественный интерес и, что не менее важно, поток субсидий правительственных организаций США на проповедуемый ими символьный подход к AI. На самом деле все проще, успеху символического подхода способствовала потенциальная возможность реализации на существовавших компьютерах, а для персептрона не было аппаратной основы.

Много позже заслуги Розенблатта были должным образом оценены, IEEE (Institute of Electrical and Electronics Engineers) в 2004 году учредил награду его имени за достижения в области коннекционизма и нейронных сетей. Среди удостоенных ею Владимир Вапник и Джеффри Хинтон.

Нейрон MCP на мемисторах

Менее известен работа профессора Стэнфордского университета Бернарда Уидроу (Bernard Widrow, 1929) и его аспиранта Тэда Хоффа (Edward Hoff, 1937), попытавшихся перенести функционал персептрона на устройства, названные мемисторами и создать из них ANN. Они не были ни нейропсихологами, ни математиками, а всего лишь инженерами, специалистами в области электротехники, поэтому исследования в области ANN не заняли главного места в их жизни. Уидроу был и остается специалистом в области адаптивных фильтров, а Хофф позже вошел в историю как один из создателей первого микропроцессора Intel 4004. В 1968 году он перешел в Intel, став двенадцатым в списке сотрудников начинающей компании, а много позже первым почетным сотрудником (Intel Fellow).

Но ранее в своей диссертации Хофф предложил LMS-алгоритм адаптивной фильтрации, основанный на методе наименьшего квадрата. Этот алгоритм широко используется в различных устройствах до настоящего времени и он стал основой для метода обучения по Уидроу и Хоффу (Widrow-Hoff Learning) и реализован на устройствах, изобретенных Уидроу и названных им мемистром (memistor). Мемистор представляет собой резистор с памятью, его не следует путать с близком по названию устройством мемристор (memristor, memory resistor), изобретенным на 10 лет позднее. Мемистор похож на триод, он тоже имеет три контакта, на два подается питающее напряжение, а на третий управляющий сигнал, а у мемристора всего два контакта, он способен запоминать свое состояние после прохождения по нему тока. Широкого распространения мемисторы не получили, но Уидроу и Хофф в 1960 году смогли реализовать на них одноуровневый нейрон по модели MCP, названный ими ADALINE (Adaptive Linear Neuron), а через два года и многоуровневый MADALINE (Many ADALINE).

Метод обратного распространения ошибок

Backpropagation (backward propagation of errors) переводится буквально как обратное распространение ошибок. Сегодня так называют наиболее популярный метод обучения многослойных персептронов, то есть нейронных сетей с прямой связью (feedforward neural network). Такие сети отличаются возможностью реализовать в них обратную связь, этот необходимый компонент практически любого самообучения.

В данном случае использование обратной связи в процессе обучения предполагает два прохода по всем слоям сети: прямого и обратного. При прямом проходе входной поток данных подается на входной слой нейронной сети, после чего он распространяется по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода все синаптические веса настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого, в результате чего формируется сигнал ошибки. Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей. Отсюда и название – алгоритм обратного распространения ошибки. Синаптические веса настраиваются с целью максимального приближения выходного сигнала сети к желаемому.

У этого термина на удивление сложная история, backpropagation был впервые предложен Розенблаттом в 1961 году, а в 1974 году метод backpropagation описал в своей диссертации Пол Вербос (1947), но тогда на его алгоритмы научное сообщество не обратило внимание. В 1990 году Вербос опубликовал обзорную статью «Backpropagation сквозь время: на что оно способно и как оно это делает» (Backpropagation Through Time: What It Does and How to Do It), где отдает должное ряду ученых, в том числе Хинтону и Лекуну, и подчеркивает, что метод backpropagation может быть использован не только в приложении к ANN, но и к другим динамическим системам.

В последнее время странным образом возник интерес к проблеме приоритета. Такое бывает, когда наступает время какой-то идеи и она приходит на ум многим одновременно, дискутировать о приоритете в таких случаях лишено какого-либо смысла. Тем не менее полемику за право считать определенного ученого первооткрывателем backpropagation активно навязывает швейцарец Юрген Шмидхубер. Он работает в альтернативном направлении, которое называется долгой краткосрочной памятью LSTM (Long short-term memory), связываемого рекуррентными нейронными сетями. Шмидхубер отдает приоритет финну Сеппо Линнаймма, но при этом находит предпосылки к этому методу даже у Леонарда Эйлера, Огюстена Коши и еще у полутора десятка математиков, работавших в XX веке. Сильнейший гнев у Шмидхубера вызвало присуждение Honda Prize 2019 Джеффри Хинтону с формулировкой «… за достижения в области AI, включая алгоритм Backpropagation…» И в самом деле, непонятно чем руководствовалось жюри, вручающее награды за достижения в области экологических технологий, но оно допустило очевидный ляп! Что же касается скандала, устроенного Шмидхубером, то, скорее всего, поводом для него стал тот факт, что его обошли при награждении Тьюринговской премией 2018 за достижения в области глубокого обучения. Премия тогда досталась троим – Джефри Хинтону, Джошуа Бенджо и Яну Лекуну, но не ему, что на самом деле не вполне справедливо, учитывая и его достижения. Сложившаяся ситуация вынудила Хинтона прилюдно оправдываться за явную оплошность со стороны жюри Honda Prize, впрочем, что мешало ему заранее ознакомиться с формулой награждения? На фоне этой полемики особенно удивительно выглядит статья «Метод обратного распространения ошибки» в русскоязычной википедии, она явно выдержана в духе одиозных доказательств российского приоритета на любые изобретения, характерных для сталинских времен. Разногласия относительно приоритета естественны, они возникают по той причине, что сама по себе идея обратной связи в обучении очевидна, к ней пришли многие исследователи независимо друг от друга.

Сверточные сети

Очередным шагом в развитии прикладного коннекционизма стало создание иерархической многослойной ANN сверточного типа (Convolutional Neural Network, CNN) в 1980 году. Японский исследователь Кунихика Фукусима (Kunihiko Fukushima) назвал ее неокогнитрон. Он занимался распознаванием рукописных текстов и взял в качестве прототипа идею когнитрона, ранее выдвинутую шведом Торстеном Визелем (Torsten Wiesel, 1924) и канадцем Дэвидом Хьюбелом (David Hubel, 1926–2013). В 1981 году Визель и Хьюбел стали лауреатами Нобелевской премии по физиологии и медицине «за открытия, касающиеся принципов переработки информации в нейронных структурах». Фундаментальные работы Визеля и Хьюбела по нейрофизиологии зрения заложили основы организации и развития нейронных цепей, ответственных за зрительное распознавание объектов. Иногда, например в той же русскоязычной википедии, открытие CNN ошибочно приписывают Яну Лекуну.

Перейти к странице:
Предыдущая страница
Следующая страница
Жанры
  • Военное дело 2
    • Спецслужбы 2
  • Деловая литература 41
    • Деловая литература 1
    • Корпоративная культура 4
    • Личные финансы 6
    • Маркетинг, PR, реклама 8
    • О бизнесе популярно 20
    • Управление, подбор персонала 2
    • Экономика 3
  • Детективы и триллеры 773
    • Боевики 107
    • Дамский детективный роман 10
    • Детективы 414
    • Иронические детективы 72
    • Исторические детективы 152
    • Классические детективы 50
    • Криминальные детективы 58
    • Крутой детектив 38
    • Маньяки 8
    • Политические детективы 20
    • Полицейские детективы 117
    • Прочие Детективы 212
    • Техно триллер 2
    • Триллеры 437
    • Шпионские детективы 28
  • Детские 95
    • Детская образовательная литература 3
    • Детская проза 38
    • Детские остросюжетные 14
    • Детские приключения 43
    • Детские стихи 3
    • Прочая детская литература 12
  • Детские книги 210
    • Детская фантастика 73
    • Детские детективы 3
    • Книги для подростков 23
    • Сказки 54
  • Документальная литература 230
    • Биографии и мемуары 152
    • Военная документалистика 1
    • Искусство и Дизайн 3
    • Критика 2
    • Научпоп 2
    • Прочая документальная литература 22
    • Публицистика 69
  • Дом и Семья 43
    • Домашние животные 3
    • Здоровье и красота 9
    • Кулинария 5
    • Развлечения 3
    • Сад и Огород 1
    • Спорт 2
    • Хобби и ремесла 2
    • Эротика и секс 21
  • Драматургия 11
    • Драма 11
  • Жанр не определен 1
    • Разное 1
  • Компьютеры и Интернет 1
    • Базы данных 1
  • Любовные романы 10404
    • Исторические любовные романы 318
    • Короткие любовные романы 808
    • Любовно-фантастические романы 4857
    • Остросюжетные любовные романы 152
    • Порно 29
    • Прочие любовные романы 20
    • Слеш 202
    • Современные любовные романы 4445
    • Фемслеш 15
    • Эротика 2074
  • Научно-образовательная 112
    • Альтернативная медицина 1
    • Астрономия и Космос 2
    • Биология 12
    • Биофизика 1
    • Ботаника 1
    • Военная история 2
    • Геология и география 3
    • Детская психология 2
    • Зоология 1
    • Культурология 14
    • Литературоведение 9
    • Медицина 14
    • Обществознание 3
    • Педагогика 2
    • Политика 12
    • Прочая научная литература 22
    • Психотерапия и консультирование 3
    • Религиоведение 2
    • Секс и семейная психология 4
    • Технические науки 1
    • Физика 5
    • Философия 9
    • Химия 1
    • Юриспруденция 3
    • Языкознание 6
  • Образование 243
    • Бизнес 45
    • Биография и мемуары 46
    • Здоровье 10
    • История 114
    • Карьера 4
    • Психология 131
  • Поэзия и драматургия 11
    • Драматургия 5
    • Поэзия 6
  • Приключения 207
    • Вестерны 2
    • Исторические приключения 114
    • Морские приключения 29
    • Природа и животные 13
    • Прочие приключения 46
    • Путешествия и география 13
  • Проза 665
    • Антисоветская литература 1
    • Военная проза 31
    • Историческая проза 105
    • Классическая проза 58
    • Контркультура 5
    • Магический реализм 29
    • Новелла 4
    • Повесть 12
    • Проза прочее 7
    • Рассказ 35
    • Роман 45
    • Русская классическая проза 21
    • Семейный роман/Семейная сага 1
    • Сентиментальная проза 3
    • Советская классическая проза 24
    • Современная проза 689
    • Эссе, очерк, этюд, набросок 1
  • Прочее 371
    • Газеты и журналы 1
    • Изобразительное искусство, фотография 5
    • Кино 1
    • Музыка 1
    • Фанфик 363
  • Религия и духовность 62
    • Буддизм 1
    • Религия 8
    • Самосовершенствование 16
    • Эзотерика 39
  • Справочная литература 17
    • Прочая справочная литература 2
    • Путеводители 4
    • Руководства 4
    • Справочники 8
    • Энциклопедии 2
  • Старинная литература 32
    • Античная литература 1
    • Древневосточная литература 4
    • Мифы. Легенды. Эпос 10
    • Прочая старинная литература 18
  • Техника 1
    • Автомобили и ПДД 1
  • Фантастика и фентези 9572
    • Альтернативная история 1312
    • Боевая фантастика 2155
    • Героическая фантастика 518
    • Городское фэнтези 541
    • Готический роман 1
    • Детективная фантастика 236
    • Ироническая фантастика 64
    • Ироническое фэнтези 52
    • Историческое фэнтези 148
    • Киберпанк 86
    • Космическая фантастика 574
    • Космоопера 11
    • ЛитРПГ 556
    • Любовная фантастика 183
    • Любовное фэнтези 113
    • Мистика 158
    • Научная фантастика 377
    • Попаданцы 2755
    • Постапокалипсис 306
    • Сказочная фантастика 2
    • Социально-философская фантастика 159
    • Стимпанк 43
    • Технофэнтези 14
    • Ужасы 103
    • Ужасы и мистика 261
    • Фантастика 250
    • Фантастика: прочее 88
    • Фэнтези 5091
    • Эпическая фантастика 106
    • Юмористическая фантастика 505
    • Юмористическое фэнтези 308
  • Фольклор 1
    • Народные сказки 1
  • Юмор 63
    • Анекдоты 1
    • Комедии 1
    • Прочий юмор 25
    • Сатира 1
    • Юмористическая проза 31
    • Юмористические стихи 3
CHITAT-KNIGI.COM

Читать онлайн бесплатно книги полностью без регистрации

Контакты
  • [email protected]
Информация:
  • Карта сайта
  • Слушать Аудиокниги
  • Руководства по ремонту автомобилей
© chitat-knigi.com, 2025. | Вход
Этот сайт использует cookie для хранения данных. Продолжая пользоваться сайтом, вы даете свое согласие на работу с этими данными в соответствии с нашей политикой конфиденциальности.
Я согласен