CHITAT-KNIGI.COM
Читать бесплатно хорошую книгу!
  • Главная
  • Жанры
  • Авторы
  • ТОП книг
  • ТОП авторов
  • Контакты

Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта

Часть 28 из 53 Информация о книге

Предыстория и первые шаги машинного обучения

Сегодня машинное обучение (Machine Learnung, ML) связывают исключительно с ANN, что совершенно естественно, но не только ANN обучаемы, есть и иные обучаемые автоматы. Впервые мысль об обучении машины сформулировал автор шашечной программы Артур Самюэль (Arthur Samuel, 1901–1990) в далеком 1959 году! В статье, описывающей эксперимент машинной игры, он дал следующее определение ML: «Машинное обучение это научное направление, изучающее подходы к тому, как побудить компьютеры к полезным действиям, не обращаясь к программированию». Спустя 60 лет не остается ничего иного, как восхититься его прозорливостью, хотя ML по Самюэлю имеет мало общего с тем, как понимается обучение сегодня, когда обучается не программа, работающая на машине, как у него, а нейронная сеть, работа которой поддерживается машиной. Предложенный им алгоритм не делил процесс игры на обучение (training) и исполнение (inference), как это делается при обучении ANN, он использовал дерево поиска игровых позиций, достижимых из текущего состояния, с применением алгоритма альфа-бета-отсечения (alpha-beta pruning). Алгоритм отсечения перебирает и оценивает все ветви дерева поиска до тех пор, пока не найдено значение хуже, чем вычисленное для предыдущих ветвей. Этот подход впоследствии часто использовали для программирования различных антагонистических игр, в том числе очень модной одно время машинной игры в шахматы. Суть обучения в данном случае заключалась в том, что веса оценочной функции изменяются в процессе игры. В начальный период истории AI на метод альфа-бета-отсечения возлагались большие надежды, на него делали ставку такие апостолы того времени Аллен Ньюэлл и Герберт Саймон, Джон Маккарти и Марвин Минский.

Этот же метод независимо от них был открыт отечественным ученым А. Л. Брудно (1918–2009), назвавшим его «методом граней и оценок». Будучи изначально математиком, Александр Львович вел в Математическом институте им. В. А. Стеклова АН СССР семинар, содействовавший тому, что у многих его участников позднее возник интерес к электронным вычислительным машинам и кибернетике. В начале 1950-х годов А. Л. Брудно был привлечен член-корреспондентом АН СССР И. С. Бруком к созданию программ для разрабатывавшейся под его руководством ЭВМ М-2. Позже Брудно работал Институте электронных управляющих машин (ИНЭУМ).

Менее известны работы Михаила Львовича Цетлина в области близкой к ML. Цетлин – один из представителей плеяды выдающихся математиков-кибернетиков 50–70-х годов, ученик одного из крупнейших математиков XX века Израиля Моисеевича Гельфанда. Он работал над созданием устройств, которые могли бы демонстрировать целесообразное поведение в случайных средах. Предпосылками исследований стали прежние работы Цетлина, связанные с изучением поведения подопытных животных. Он интерпретировал поведение автомата как поведение животного, контактирующего со средой, которая в зависимости от его поведения наказывала или поощряла, при этом автомат мог обучаться, то есть стремиться к уменьшению числа наказаний за счет изменения своего внутреннего состояния.

Более полувека эта часть научного наследия Цетлина оставалась известна лишь узкому кругу отечественных специалистов, однако в апреле 2018 года вышла работа Гранно Оле-Кристофера, профессора норвежского Университета Агдера, директора Центра исследований в области искусственного интеллекта, имеющая необычный заголовок «Машина Цетлина. Теоретико-игровой бандитский подход к оптимальному распознаванию образов с пропозициональной логикой» (The Tsetlin Machine – A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic). С бандитизмом этот подход, конечно, не имеет ничего общего – это просто метафора. Работы Цетлина стали импульсом к развитию теории многоруких бандитов, названных так по аналогии с «однорукими бандитами», устанавливаемыми в казино: в теории вероятностей задачей многорукого бандита называют задачу, в которой ограниченный набор ресурсов необходимо распределить между противоборствующими сторонами. В своей статье Оле-Кристофер показал, как можно сконструировать самообучаемую машину на предложенных Цетлиным принципах в сочетании с пропозициональной логикой (раздел символической логики, изучающий образованные из простых сложные высказывания и их взаимоотношения).

В СССР еще несколько ученых занимались вопросами машинного обучения, но не нейронных сетей, а иных автоматов. Среди них киевлянин Алексей Григорьевич Ивахненко. В 1965-м году он опубликовал работу с описанием обучающих алгоритмов. Известный оппортунист и диссидент машинного обучения Юрген Шмидхубер, к которому мы еще вернемся, считает Ивахненко не только отцом глубокого обучения, но и метода обратного распространения ошибки (backpropagation). Впрочем, этот метод настолько очевиден, что его автором признают не менее 10 человек. Среди них американских специалистов в области оптимального управления Артура Брайсона и Генри Келли.

Особое место в этой когорте принадлежит Владимиру Наумовичу Вапнику, автору машины опорных векторов (support vector machines, SVM), впервые предложенной им в 1963 году вместе с Александром Яковлевичем Лернером в статье «Узнавание образов при помощи обобщенных портретов». Эта работа нашла продолжение в совместно статье Вапника с Алексеем Яковлевичем Червоненкисом «Об одном классе персептронов» (1964). SVM реализуют уникальный по сравнению с другими алгоритмами способ реализации машинного обучения. В том же году и в том же журнале «Автоматика и телемеханика» вышла статья трех авторов М. А. Айзерман, Э. М. Браверман и Л. И. Розоноэр «Теоретические основы метода потенциальных функций в задаче об обучении автоматов разделению входных ситуаций на классы». В полном объеме статистическая теория обучения на базе SVM изложена в книгах Вапник В. Н., Червоненкис А. Я. «Теория распознавания образов» (1974) и Вапник В. Н. «Восстановление зависимостей по эмпирическим данным» (1979). Они были переведены на английский и немецкий языки. В. Н. Вапник остается единственным представителем отечественной научной школы среди ученых, получивших признание за их вклад в машинное обучение.

Обучение по Хеббу

И первые обучаемые шахматные программы, и машина Цетлина, и многое другое из 60–70-х годов для современного исследователя представляет исключительно исторический интерес. То, что мы понимаем под ML сегодня, началось с работы Дональда Хебба, описанной им в книге «Организация поведения: нейропсихологическая теория» (The Organisation of Behaviour, 1949), где он распространил принципы ассоциативного обучения на ANN, его подход называют Hebbian Learning (HL). Предпосылки к HL заимствованы из биологии, и они остаются актуальными вплоть до наших дней. До него нейробиологи в общих чертах понимали, как работают нейроны, однако именно он первым предложил механизм, согласно которому нейроны могут кодировать ассоциации.

Дональд Хебб признан основоположником ассоциативного машинного обучения, в некоторой мере напоминающего ассоциативное обучения человека. В психологии под ассоциативным обучением понимают способность приобретать знание, привычки, умение, навыки, представления, предпочтения и т. д. Для человека оно не является единственным, педагогика насчитывают около двух десятков типов обучения, к которому способен человек, машины же способны только к одному типу обучения – ассоциативному (Associative learning), ограниченному только тем, что в его процессе обучаемый обнаруживает связь (ассоциацию) между двумя стимулами или событиями. В полном смысле этого слова к ассоциативному обучению способен только человек, существенно меньшими способностями обладают животные. В XX веке в этом ряду обучаемых систем появилась машина.

Хебб показал возможность обучения посредством воздействия на синаптическую связь, соединяющую два искусственных нейрона. Она изменяется, если в процессе обучения оба нейрона согласованно испытывают возбуждение, либо торможение, то есть один нейрон может возбуждать другой нейрон, и после повторяющейся активации клетки «нейроны, которые срабатывают вместе, соединяются» и таким образом происходит обучение. При возбуждении одновременно двух соседствующих нейронов вес синаптического соединения между ними возрастает, уменьшается или не изменяется в зависимости от выбора функции активации. Это предположение называют Правилом обучения Хебба. В его книге оно определено так: «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в ее возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В». Правило Хебба не обладает прямым действием, из него не следует, как именно строить процесс обучения, оно допускает множество трактовок, как со стороны нейрофизиологов, так и математиков. За прошедшее время правило Хебба стало предметом многочисленных обсуждений, возникли его многочисленные модификации, но по сути оно остается единственным теоретическим основанием ML, поскольку нейрофизиологический постулат, выдвинутый Хеббом, имеет под собой прочное биологическое основание.

Перейти к странице:
Предыдущая страница
Следующая страница
Жанры
  • Военное дело 2
    • Спецслужбы 2
  • Деловая литература 41
    • Деловая литература 1
    • Корпоративная культура 4
    • Личные финансы 6
    • Маркетинг, PR, реклама 8
    • О бизнесе популярно 20
    • Управление, подбор персонала 2
    • Экономика 3
  • Детективы и триллеры 773
    • Боевики 107
    • Дамский детективный роман 10
    • Детективы 414
    • Иронические детективы 72
    • Исторические детективы 152
    • Классические детективы 50
    • Криминальные детективы 58
    • Крутой детектив 38
    • Маньяки 8
    • Политические детективы 20
    • Полицейские детективы 117
    • Прочие Детективы 212
    • Техно триллер 2
    • Триллеры 437
    • Шпионские детективы 28
  • Детские 95
    • Детская образовательная литература 3
    • Детская проза 38
    • Детские остросюжетные 14
    • Детские приключения 43
    • Детские стихи 3
    • Прочая детская литература 12
  • Детские книги 210
    • Детская фантастика 73
    • Детские детективы 3
    • Книги для подростков 23
    • Сказки 54
  • Документальная литература 230
    • Биографии и мемуары 152
    • Военная документалистика 1
    • Искусство и Дизайн 3
    • Критика 2
    • Научпоп 2
    • Прочая документальная литература 22
    • Публицистика 69
  • Дом и Семья 43
    • Домашние животные 3
    • Здоровье и красота 9
    • Кулинария 5
    • Развлечения 3
    • Сад и Огород 1
    • Спорт 2
    • Хобби и ремесла 2
    • Эротика и секс 21
  • Драматургия 11
    • Драма 11
  • Жанр не определен 1
    • Разное 1
  • Компьютеры и Интернет 1
    • Базы данных 1
  • Любовные романы 10404
    • Исторические любовные романы 318
    • Короткие любовные романы 808
    • Любовно-фантастические романы 4857
    • Остросюжетные любовные романы 152
    • Порно 29
    • Прочие любовные романы 20
    • Слеш 202
    • Современные любовные романы 4445
    • Фемслеш 15
    • Эротика 2074
  • Научно-образовательная 112
    • Альтернативная медицина 1
    • Астрономия и Космос 2
    • Биология 12
    • Биофизика 1
    • Ботаника 1
    • Военная история 2
    • Геология и география 3
    • Детская психология 2
    • Зоология 1
    • Культурология 14
    • Литературоведение 9
    • Медицина 14
    • Обществознание 3
    • Педагогика 2
    • Политика 12
    • Прочая научная литература 22
    • Психотерапия и консультирование 3
    • Религиоведение 2
    • Секс и семейная психология 4
    • Технические науки 1
    • Физика 5
    • Философия 9
    • Химия 1
    • Юриспруденция 3
    • Языкознание 6
  • Образование 243
    • Бизнес 45
    • Биография и мемуары 46
    • Здоровье 10
    • История 114
    • Карьера 4
    • Психология 131
  • Поэзия и драматургия 11
    • Драматургия 5
    • Поэзия 6
  • Приключения 207
    • Вестерны 2
    • Исторические приключения 114
    • Морские приключения 29
    • Природа и животные 13
    • Прочие приключения 46
    • Путешествия и география 13
  • Проза 665
    • Антисоветская литература 1
    • Военная проза 31
    • Историческая проза 105
    • Классическая проза 58
    • Контркультура 5
    • Магический реализм 29
    • Новелла 4
    • Повесть 12
    • Проза прочее 7
    • Рассказ 35
    • Роман 45
    • Русская классическая проза 21
    • Семейный роман/Семейная сага 1
    • Сентиментальная проза 3
    • Советская классическая проза 24
    • Современная проза 689
    • Эссе, очерк, этюд, набросок 1
  • Прочее 371
    • Газеты и журналы 1
    • Изобразительное искусство, фотография 5
    • Кино 1
    • Музыка 1
    • Фанфик 363
  • Религия и духовность 62
    • Буддизм 1
    • Религия 8
    • Самосовершенствование 16
    • Эзотерика 39
  • Справочная литература 17
    • Прочая справочная литература 2
    • Путеводители 4
    • Руководства 4
    • Справочники 8
    • Энциклопедии 2
  • Старинная литература 32
    • Античная литература 1
    • Древневосточная литература 4
    • Мифы. Легенды. Эпос 10
    • Прочая старинная литература 18
  • Техника 1
    • Автомобили и ПДД 1
  • Фантастика и фентези 9572
    • Альтернативная история 1312
    • Боевая фантастика 2155
    • Героическая фантастика 518
    • Городское фэнтези 541
    • Готический роман 1
    • Детективная фантастика 236
    • Ироническая фантастика 64
    • Ироническое фэнтези 52
    • Историческое фэнтези 148
    • Киберпанк 86
    • Космическая фантастика 574
    • Космоопера 11
    • ЛитРПГ 556
    • Любовная фантастика 183
    • Любовное фэнтези 113
    • Мистика 158
    • Научная фантастика 377
    • Попаданцы 2755
    • Постапокалипсис 306
    • Сказочная фантастика 2
    • Социально-философская фантастика 159
    • Стимпанк 43
    • Технофэнтези 14
    • Ужасы 103
    • Ужасы и мистика 261
    • Фантастика 250
    • Фантастика: прочее 88
    • Фэнтези 5091
    • Эпическая фантастика 106
    • Юмористическая фантастика 505
    • Юмористическое фэнтези 308
  • Фольклор 1
    • Народные сказки 1
  • Юмор 63
    • Анекдоты 1
    • Комедии 1
    • Прочий юмор 25
    • Сатира 1
    • Юмористическая проза 31
    • Юмористические стихи 3
CHITAT-KNIGI.COM

Читать онлайн бесплатно книги полностью без регистрации

Контакты
  • [email protected]
Информация:
  • Карта сайта
  • Слушать Аудиокниги
  • Руководства по ремонту автомобилей
© chitat-knigi.com, 2025. | Вход
Этот сайт использует cookie для хранения данных. Продолжая пользоваться сайтом, вы даете свое согласие на работу с этими данными в соответствии с нашей политикой конфиденциальности.
Я согласен