Форум
Дрессировка. Бихевиоризм. Скиннер.
Основателем инструментальной формы научения считается Э. Торндайк, который назвал эту форму научения “методом проб, ошибок и случайного успеха”. Торндайк проводил опыты, в которых кошки и другие животные должны были нажимать на звонки или тянуть за пружины, что бы, открыть дверцу, выйти из мирка и получить с наружи пищу. Вначале кошка ведет себя хаотично и ударяет по запирающему механизму и выскакивает наружу. В последствии, действия кошки концентрируются вблизи этого механизма, а все другие виды активности полностью прекращаются. В итоге, кошка обучается нужному (для нее) поведению внутри ящика.
Д. Ник – Фарлеид: “цирковые дрессировщики знали о научении такого типа уже многие столетия, но Торндайк первый исследовал его систематически и создал на основе своих наблюдений стройную теорию”. Основной вклад в изучение закономерностей образования инструментальных условных рефлексов внес Берес Фредерик Скиннер.
Биография Б.Ф. Скиннера.
Берес Фредерик Скиннер родился 20 марта 1904 года в городке Саскуэханне (штат Пенсильвания). У Скиннера было счастливое детство. Он исследовал окрестности Саскуэханны и отличался изобретательностью: он создал оригинальное устройство для отделения зрелых ягод бузины от зеленых, вечный двигатель и устройство для напоминания самому себе сложить пирамидку (Skinner, 1967, 1976).
Помимо “изобретательства”, Скиннер увлекался литературной деятельностью. Он писал стихи и прозу, когда учился в колледже Гамильтона на севере штата Нью-Йорк, где специализировался в английском языке. Позднее он сделал вывод: “Писателя из меня не получилось, потому что мене было нечего сказать” (Skinner, 1967). В то время, правда, ему казалось, что причина вовсе не в этом, а в ограниченности “литературного метода” для понимания человеческого поведения.
Он счел, что лучшим методом была психология, хотя студентом не прослушал ни одного курса по этой дисциплине. К большому облегчению родителей, Скиннер решил продолжить учебу. Он начал изучать психологию при аспирантуре Гарварде в 1928 году. Первым экспериментальным животным Скиннера была белка, потом, впоследствии, он перешел на лабораторных крыс. Скиннер изучал научение в новом приборе, сам же и изобрел (позднее был назван Ящиком Скиннера). Прибор предназначался для выделения отдельных аспектов научения, которые в то время еще не дифференцировались. То есть, в этот период Скиннер начал работать над новой теорией условных рефлексов, противоположной теории Павлова.
В 1931 году Скиннер получил докторскую степень Гарвардского университета.
Одним из самых необычных замыслов Скиннера был “Голубиный проект”. Во время второй мировой войны он обучал голубей, наводить снаряды на цели – вражеские корабли в океане. К сожалению, правительство свернуло проект еще до его воплощения в жизнь, несмотря на то, что предварительная работа показала действенность замысла.
Предметом основного интереса Скиннера всегда оставались условные рефлексы, он увлечение литературой осталось тоже на всю жизнь. Он написал роман “Уолден-2” (“Walden Two” Skinner, 1948).
В 1945 году Скиннер возглавил кафедру на факультете психологии в Университете Индианы. А в 1948 году он вернулся в Гарвард, где ему предложили полноценное профессорство и лабораторию, и он оставался там, продолжая вести исследования и преподавать, вплоть до своей смерти – 18 августа 1990 года.
Согласно обзорам, проведенными психологами, Скиннер был одним из наиболее влиятельных психологов ХХ века. Он получил много профессиональных наград, а перед самой смертью удостоился беспрецедентной чести: прижизненного занесения в почетный список отличившихся за выдающийся вклад в психологию Американской ассоциации психологов (American Psychological Association, 1990).
Радикальный бихевиоризм – Скиннер.
Б.Ф. Скиннер выдвинул теорию поведения, основанную на принципах поведения. Эта теория описывает влияние на поведение его следствий, именующихся наградой или наказанием. Скиннер, в большей степени работал с животными, особенно с лабораторными крысами, но много писал о выводах, которые вытекают из теории бихевиоризма для людей. Его модель научения животных и детей пользуется широким признанием, но выводы, которые он сделал о людях, в психологическом сообществе, на данный момент, принято считать спорными. И все же, теория Скиннера повлияла на психологию, возможно больше, чем любая другая из современных теорий. Он сфокусировал внимание на ситуационных факторах, которые определяют поведение.
Оперантное поведение. Люди и животные неизбежно адаптируются т.е научаются приспосабливаться к окружению. Людям это свойственно в большей степени, чем низшим животным, которые реагируют на среду преимущественно фиксированными инстинктами, способны научиться реагировать наиболее эффективно в данной ситуации.
Эволюция – процесс, через который адаптативные физические характеристики отбираются в ответ на воздействия среды. Соответственно, может отбираться и поведением. Для некоторых моделей поведения социобиологи подтверждают процесс эволюционного отбора (Bazash, 1982; Wilson, 1975). К сожалению, эволюция является медленным процессом, захватывающем поколения. Скиннер утверждал, что адаптативное поведение имеет место в пределах опыта одного индивида.
Возможно, что способность человека адаптироваться к среде может быть является его самой выдающейся особенностью т.е способность к адаптации была отобрана эволюционным процессом. Основная идея: поведение определяется средовыми последствиями, зависящими от поведения, т.е теми что неизбежно из него вытекают. Скиннер описывал оперантное обуславливание как отбор поведения через его последствия. Он сравнивал этот отбор с эволюционным признанном естественного отбора, в процессе которого организмы отбираются на основе их соответствия конкретному окружению. Однако поведенческий отбор происходит стремительнее и не требует участия генетический механизмов, по сути – это способность научаться из опыта. Пропорция реагирования.
Занимаясь тщательным, поэтапным анализом процесса научения, Скиннер понимал необходимость тщательного отбора зависимой величины. В его более ранних опытах – таких как использование Ящика Торндайка, из которых животные должны были сами находить выход – смешивалось несколько процессов, и было трудно понять, какие именно изменения происходят по ходу научения. С другой стороны (что немаловажно) Скиннер интересовался действиями всего организма, а потому не хотел отбирать чисто физиологические составляющие типа сокращения мышц и нервных рефлексов, на которые так часто ссылались теоретики Павловской школы.
Скиннер (Skinner, 1950, 1936) утверждал, что исследовательских целей лучше всего подходят те разновидности оперантного поведения, которые проявляются отчетливо и неоднократно, их можно видеть и подсчитывать. Научение в этом случае измеряется изменениями (повышением или понижением) пропорции операнттных реакций по прошествии времени.
Экспериментальное исследование требует обеспечения контроля за посторонними влияниями. Стремясь достигнуть его, Скиннер изучал низших животных, жизнедеятельность которых можно было контролировать с высокой степенью вероятности, а также создал прибор, который приобрел известность как Ящик Скиннера. Интересно, что увлеченность наукой заставила его поместить туда даже свою дочь, хотя в научной среде поступок не нашел одобрения.
Принцип научения.
В противоположность одностороннему влиянию среды на рефлекторное поведение, оперантное поведение предполагает обоюдную реактивность человека (или животного) и среды. Поведение индивида приводит к вытекающему из этого изменению среды; в свою очередь изменяется поведение индивида. Годы наблюдения завершились описанием фундаментальных принципов адаптативного поведения.
Два способа повышения частоты реакции: позитивное подкрепление (в быту называется положительным подкреплением) и негативное подкрепление.
Два способа понизить частоту реакции: наказание и угасание.
Если совсем просто, то: человек (или животное) чаще делает то, что повышает возможность получить благоприятный результат (позиционное подкрепление) или снижает отрицательный результат (негативное подкрепление). И реже человек (или животное) делает то, что приносит неблагоприятный результат (наказание) или не позволяет добиться благоприятных результатов (угасание).
Подкрепление.
Поведение, адаптотивное для данной среды, закрепляется. Исследование Скиннера показывает, что влияние оказывают скорее непосредственные, краткосрочные результаты поведения. В быту подкрепление обычно называют вознаграждением. Скиннер не пользовался термином “вознаграждение”, поскольку оно констатациями (со значениями), он предпочитал определять подкрепление с точи зрения поведения. Позитивным (положительным) подкреплением является “любой стимул (обозначается как S), присутствие которого упрочивает (закрепляет) поведение, для вызова которого он предназначен”(Skinner, 1953a) То есть, голуби чаще клевали диск, когда это сопровождалось кормлением. Если подкрепление следует за поведением, организм будет снова и снова повторять это поведение. Некоторые виды подкрепления (пища, вода) имеет врожденный характер, и называются первичными подкреплениями. Другие подкрепления (деньги, похвала) бывают эффективными лишь после того, как усваивается их ценность. Но нет никакой гарантии, что в отдаленной перспективе любые из подкреплений, будет эффективным для данного индивида. Некоторые переедают, подкрепление вкусом пищи, но в отдаленной перспективе подрывают свое здоровье. Другие, подкрепленные деньгами или похвалами, увечие или загоняют себя в могилу напряженной работой.
Следует учесть, что не все люди (или животные) одинаково реагируют на специфическое средовое последствие своего поступка. Если учитель хвалит ученика за то, что тот задает вопросы, и количество задаваемых вопросов возрастает, то похвала подкрепила реакцию, однако, туже похвалу нельзя будет назвать подкреплением, если она не повысит частоту поведения другого ученика. Лишь путем наблюдения за воздействием результата и сопряженного с ним стимула (S) на частоту поведения можно определить, какой сопряженный результат станет подкреплением в данной конкретной ситуации для конкретного индивида.
Негативное подкрепление.
Помимо поиска вознаграждения, адаптация требует уклонения от болезненных стимулов. Метафора, предложенная Скиннером: “пещерному человеку приходилось искать пищу (положительное подкрепление) и прятаться от холода (негативное подкрепление). Негативным подкреплением является "любой стимул, устранение которого упрочняет поведение".(Skinner, 1953).
Негативное подкрепление в быту путают с наказанием, но оба они оказывают различное воздействие на поведение. Все формы подкрепления, позитивные или негативные, повышают частоту реагирования. Напротив, наказание снижает эту частоту.
Наказание.
Примеров наказаний – множество, поскольку это "обычная техника контроля в современной жизни" (Skinner, 1953). К ней прибегают родители, преподаватели, правительства и религия.
Непосредственным эффектом наказания является снижение оперантного поведения. Животные, помещенные в Ящик Скиннера, быстро приучаются прекращать деятельность, приводящую к электрошоку. Следует помнить, что наказанию свойственны непредвиденные эффекты, и это, как утверждал Скиннер, превращает его в нежелательную технику для контроля над поведением. Наказание порождает эмоциональные реакции, включая тревогу и страх, сохраняющиеся даже после прекращения действия. Дети, наказанные за ябедничество, впоследствии могут нервничать при желании высказать свое мнение даже тогда, когда их слова были бы к месту. Наказание зачастую эффективно для непродолжительного погашения поведения, но если контролирующий агент не в состоянии остаться и постоянно обеспечивать наказание в качестве “напоминания”, то поведение в дальнейшем зачастую возвращается.
Скиннер весьма критически относился к наказанию и призывал общество найти более гуманные способы контролировать поведение. Одно из решений проблемы было: подкрепление альтернативного подкрепления, несовместимое с нежелательным поведением, т.е нежелательное поведение можно устранить без наказания. Детей можно поощрить за совместные игры, вместо того чтобы наказывать за драки. Чтобы отучить собаку подбирать пищу с земли надо научить ее смотреть на хозяина или нести апортировку, вместо того чтобы наказывать ее.
Угасание.
Если подкрепление, которое поддерживало оперантное поведение, прекращается, то поведение, направленное на вызывание подкрепления, становится все менее и менее частым. Классический пример: ребенок может дразнить (оперантное поведение) товарища по играм, будучи подкрепленным признаками смущения, которые высказывает товарищу. Если последний прекратит реагировать, то ребенок, в конце концов, перестанет его дразнить. Подобное снижение реагирования до момента его прекращения называется угасанием. Однако, поведение, которое подверглось угасанию, позднее может вернуться (Rachman, 1989). Возможно, для организма это способ проверить, вернулась ли среда к прежнему состоянию.
Формирование.
Выше названные техники могут повысить (подкрепление или негативное подкрепление) либо понижать (наказание или угасание) частоту уже существующего поведения. Для формирования нового поведения Скиннер разработал метод названный формированием, который предполагает подкрепление удачных приближений желаемой реакции. Идея была проста: возникает реакция грубо напоминающая желаемою – эта реакция подкрепляется и, естественно, повышается ее частота. Постепенно экспериментатор, контролирующий подкрепления, начинает требовать реакции которые все больше и больше напоминают желаемое поведение.
Различение.
Способный к поведению организм любого вида, приучатся вести себя так, чтобы это соответствовало данной ситуации. Если клевание (у голубя) или обращение с просьбой (у человека) иногда приводит к желаемым результатом, а иногда – нет, особь приучается использовать преимущество стимулов среды, сигнализирующих о том что данное поведение будет результативно. Подобные средовые сигналы Скиннер продемонстрировал различающее научение на голубях, подкрепляя их пищей при горящей лампочке и не подкрепляя при выключенной. Естественно, голуби научились клевать только при наличии различительного стимула (света). О подобном поведении говорится, что оно находится под побудительным контролем. В человеческом поведении, как считал Скиннер, различение происходит часто. Водители при виде ГИБДД, едут медленнее, чем обычно. Покупатели покупают больше при виде надписи "распродажа".
Генерализация.
В процессе тренинга реагирование приурочивается не только к различительным стимулам. Возможно порождение реакции стимулами похожими на различительные. Собака, которую учат сидеть на команду “Сидеть!”, может залаять в случае, если ее приучили лаять на команду “Сахар!”. По просту говоря, она может перепутать созвучные слова. Этот процесс называется генерализацией стимула. Чем больше похож стимул на разрешительный – на тот, что присутствовал во время обуславливания, тем вероятнее становится поведение. Без генерализации для организма было бы не возможно от предъявления к предъявлению идентифицировать стимулы как одинаковые.
Суеверное поведение.
В лабораторных опытах условия создаются искусственно, подкрепления определяются экспериментатором и условия подкрепления находятся под тщательным контролем. Люди и животные живут в не “стерильных”, не контролируемых ситуациях: вполне естественно что Скиннер задался вопросом – оказывает ли на поведение какое-либо влияние бессистемное поведение. Это явление он назвал суеверным поведением. Скиннер поместил восемь голубей в Ящик Скиннера, которые были запрограммированы произвольное подкрепление, не совпадающее с поведением с испытуемой особи. Итог эксперимента: подобное поведение влияло на поведение голубей, но различным способом. У шести из восьми голубей развились странные, но стойкие “суеверия”. Один без устали вертелся сам, другой постоянно вертел головой, третий навязчиво клевал все во круг. Его эксперименты были повторены не единожды, различными исследователями.
Режим подкрепления.
Адаптируясь к среде организм, тонко модифицирует свое поведение в ответ на частоту и продолжительность подкреплений. Скиннер ввел термин режим подкрепления – этим термином обозначается специфическая связь между реакцией и подкреплением. В классическом труде Скиннера (Ferster & Skinner, 1957) посвященный режимам подкрепления, сообщается о "70000 часах постоянно фиксируемого поведения, состоящего примерно из четверти миллиарда реакций" (Skinner, 1972).
Постоянное подкрепление.
О реакциях, которые всегда порождают подкрепление, Скиннер говорит, что они пребывают в режиме постоянного подкрепления (ПП-CR). Это случается, если крыса получат пищу всякий раз, когда нажимает на пластину. Режим постоянного подкрепления порождает быстрое научение, но и угасание здесь стремительно. Стратегии, которые всегда срабатывали в пошлом, быстро отбрасываются, стоит им провалиться. Вот почему, на мой взгляд, лучше вообще не дрессировать собаку чем ограничиться минимальным курсом – ведь на начальных этапах дрессировки мы подкрепляем каждую нужную нам реакцию, но стоит нам бросить дрессировать свою собаку как вмиг она все "забывает".
Режим частичного подкрепления.
Это режим подкрепления, когда подкреплением сопровождаются лишь некоторые реакции. Этот режим порождает более медленное научение, но вырабатывает большую устойчивость к угасанию, чем ПП.
Если дрессировочный процесс построен грамотно, от всегда идет объединение этих двух режимов – сначала обеспечивается быстрое научение с использованием постоянного режима подкрепления с последующим сокращением, где подкрепляется все меньшее и меньшее число реакций, чтобы сделать поведение устойчивым к угасанию.
Режим чередования.
Режим постоянного соотношения (ПС-FR) подкрепление происходит в соответствии с качеством проявленных реакций. К примеру, при режиме nc-15 особь подкрепляется после каждой 15-ой реакции (после 15, после реакции 30, после реакции 45 и т.д.) При быстром реагировании можно получить большее количество вознаграждения, что и делают голуби. Скиннер (Skinner, 1972) описывал, что одна из птиц реагировала, не осматриваясь на протяжении двух месяцев! Скиннер проводит здесь аналогию с работниками, занятые на сдельной работе – по его мнению, они трудятся очень напряженно, он объяснял это не наличием внутреннего драйва и упорства, а режимом постоянного соотношения.
Режим вариативного соотношения (ВС-VR) – подкрепление производится в соответствии с количеством проявленных особью реакций, но число реакций, необходимых для подкрепления, произвольно варьируется соотносясь, однако, с заранее установленной, средней величиной. При режиме ВС-15 особь должна получать подкрепление за каждые 15 реакций, иногда же, подкрепление будет следовать через 5 или 7 реакций, а иногда между подкреплениями следуют 20 или 30 реакций. Как и режим ПС, режим ВС порождает высокий уровень реагирования, но он более устойчив к угасанию, чем режим ПС.
Скиннеровская теория оперантного поведения широко применялась в терапии и образовании, использовалась для создания стратегий по улучшению желательного поведения и сокращению проблемного у людей и животных.
Основателем инструментальной формы научения считается Э. Торндайк, который назвал эту форму научения “методом проб, ошибок и случайного успеха”. Торндайк проводил опыты, в которых кошки и другие животные должны были нажимать на звонки или тянуть за пружины, что бы, открыть дверцу, выйти из мирка и получить с наружи пищу. Вначале кошка ведет себя хаотично и ударяет по запирающему механизму и выскакивает наружу. В последствии, действия кошки концентрируются вблизи этого механизма, а все другие виды активности полностью прекращаются. В итоге, кошка обучается нужному (для нее) поведению внутри ящика.
Д. Ник – Фарлеид: “цирковые дрессировщики знали о научении такого типа уже многие столетия, но Торндайк первый исследовал его систематически и создал на основе своих наблюдений стройную теорию”. Основной вклад в изучение закономерностей образования инструментальных условных рефлексов внес Берес Фредерик Скиннер.
Биография Б.Ф. Скиннера.
Берес Фредерик Скиннер родился 20 марта 1904 года в городке Саскуэханне (штат Пенсильвания). У Скиннера было счастливое детство. Он исследовал окрестности Саскуэханны и отличался изобретательностью: он создал оригинальное устройство для отделения зрелых ягод бузины от зеленых, вечный двигатель и устройство для напоминания самому себе сложить пирамидку (Skinner, 1967, 1976).
Помимо “изобретательства”, Скиннер увлекался литературной деятельностью. Он писал стихи и прозу, когда учился в колледже Гамильтона на севере штата Нью-Йорк, где специализировался в английском языке. Позднее он сделал вывод: “Писателя из меня не получилось, потому что мене было нечего сказать” (Skinner, 1967). В то время, правда, ему казалось, что причина вовсе не в этом, а в ограниченности “литературного метода” для понимания человеческого поведения.
Он счел, что лучшим методом была психология, хотя студентом не прослушал ни одного курса по этой дисциплине. К большому облегчению родителей, Скиннер решил продолжить учебу. Он начал изучать психологию при аспирантуре Гарварде в 1928 году. Первым экспериментальным животным Скиннера была белка, потом, впоследствии, он перешел на лабораторных крыс. Скиннер изучал научение в новом приборе, сам же и изобрел (позднее был назван Ящиком Скиннера). Прибор предназначался для выделения отдельных аспектов научения, которые в то время еще не дифференцировались. То есть, в этот период Скиннер начал работать над новой теорией условных рефлексов, противоположной теории Павлова.
В 1931 году Скиннер получил докторскую степень Гарвардского университета.
Одним из самых необычных замыслов Скиннера был “Голубиный проект”. Во время второй мировой войны он обучал голубей, наводить снаряды на цели – вражеские корабли в океане. К сожалению, правительство свернуло проект еще до его воплощения в жизнь, несмотря на то, что предварительная работа показала действенность замысла.
Предметом основного интереса Скиннера всегда оставались условные рефлексы, он увлечение литературой осталось тоже на всю жизнь. Он написал роман “Уолден-2” (“Walden Two” Skinner, 1948).
В 1945 году Скиннер возглавил кафедру на факультете психологии в Университете Индианы. А в 1948 году он вернулся в Гарвард, где ему предложили полноценное профессорство и лабораторию, и он оставался там, продолжая вести исследования и преподавать, вплоть до своей смерти – 18 августа 1990 года.
Согласно обзорам, проведенными психологами, Скиннер был одним из наиболее влиятельных психологов ХХ века. Он получил много профессиональных наград, а перед самой смертью удостоился беспрецедентной чести: прижизненного занесения в почетный список отличившихся за выдающийся вклад в психологию Американской ассоциации психологов (American Psychological Association, 1990).
Радикальный бихевиоризм – Скиннер.
Б.Ф. Скиннер выдвинул теорию поведения, основанную на принципах поведения. Эта теория описывает влияние на поведение его следствий, именующихся наградой или наказанием. Скиннер, в большей степени работал с животными, особенно с лабораторными крысами, но много писал о выводах, которые вытекают из теории бихевиоризма для людей. Его модель научения животных и детей пользуется широким признанием, но выводы, которые он сделал о людях, в психологическом сообществе, на данный момент, принято считать спорными. И все же, теория Скиннера повлияла на психологию, возможно больше, чем любая другая из современных теорий. Он сфокусировал внимание на ситуационных факторах, которые определяют поведение.
Оперантное поведение. Люди и животные неизбежно адаптируются т.е научаются приспосабливаться к окружению. Людям это свойственно в большей степени, чем низшим животным, которые реагируют на среду преимущественно фиксированными инстинктами, способны научиться реагировать наиболее эффективно в данной ситуации.
Эволюция – процесс, через который адаптативные физические характеристики отбираются в ответ на воздействия среды. Соответственно, может отбираться и поведением. Для некоторых моделей поведения социобиологи подтверждают процесс эволюционного отбора (Bazash, 1982; Wilson, 1975). К сожалению, эволюция является медленным процессом, захватывающем поколения. Скиннер утверждал, что адаптативное поведение имеет место в пределах опыта одного индивида.
Возможно, что способность человека адаптироваться к среде может быть является его самой выдающейся особенностью т.е способность к адаптации была отобрана эволюционным процессом. Основная идея: поведение определяется средовыми последствиями, зависящими от поведения, т.е теми что неизбежно из него вытекают. Скиннер описывал оперантное обуславливание как отбор поведения через его последствия. Он сравнивал этот отбор с эволюционным признанном естественного отбора, в процессе которого организмы отбираются на основе их соответствия конкретному окружению. Однако поведенческий отбор происходит стремительнее и не требует участия генетический механизмов, по сути – это способность научаться из опыта. Пропорция реагирования.
Занимаясь тщательным, поэтапным анализом процесса научения, Скиннер понимал необходимость тщательного отбора зависимой величины. В его более ранних опытах – таких как использование Ящика Торндайка, из которых животные должны были сами находить выход – смешивалось несколько процессов, и было трудно понять, какие именно изменения происходят по ходу научения. С другой стороны (что немаловажно) Скиннер интересовался действиями всего организма, а потому не хотел отбирать чисто физиологические составляющие типа сокращения мышц и нервных рефлексов, на которые так часто ссылались теоретики Павловской школы.
Скиннер (Skinner, 1950, 1936) утверждал, что исследовательских целей лучше всего подходят те разновидности оперантного поведения, которые проявляются отчетливо и неоднократно, их можно видеть и подсчитывать. Научение в этом случае измеряется изменениями (повышением или понижением) пропорции операнттных реакций по прошествии времени.
Экспериментальное исследование требует обеспечения контроля за посторонними влияниями. Стремясь достигнуть его, Скиннер изучал низших животных, жизнедеятельность которых можно было контролировать с высокой степенью вероятности, а также создал прибор, который приобрел известность как Ящик Скиннера. Интересно, что увлеченность наукой заставила его поместить туда даже свою дочь, хотя в научной среде поступок не нашел одобрения.
Принцип научения.
В противоположность одностороннему влиянию среды на рефлекторное поведение, оперантное поведение предполагает обоюдную реактивность человека (или животного) и среды. Поведение индивида приводит к вытекающему из этого изменению среды; в свою очередь изменяется поведение индивида. Годы наблюдения завершились описанием фундаментальных принципов адаптативного поведения.
Два способа повышения частоты реакции: позитивное подкрепление (в быту называется положительным подкреплением) и негативное подкрепление.
Два способа понизить частоту реакции: наказание и угасание.
Если совсем просто, то: человек (или животное) чаще делает то, что повышает возможность получить благоприятный результат (позиционное подкрепление) или снижает отрицательный результат (негативное подкрепление). И реже человек (или животное) делает то, что приносит неблагоприятный результат (наказание) или не позволяет добиться благоприятных результатов (угасание).
Подкрепление.
Поведение, адаптотивное для данной среды, закрепляется. Исследование Скиннера показывает, что влияние оказывают скорее непосредственные, краткосрочные результаты поведения. В быту подкрепление обычно называют вознаграждением. Скиннер не пользовался термином “вознаграждение”, поскольку оно констатациями (со значениями), он предпочитал определять подкрепление с точи зрения поведения. Позитивным (положительным) подкреплением является “любой стимул (обозначается как S), присутствие которого упрочивает (закрепляет) поведение, для вызова которого он предназначен”(Skinner, 1953a) То есть, голуби чаще клевали диск, когда это сопровождалось кормлением. Если подкрепление следует за поведением, организм будет снова и снова повторять это поведение. Некоторые виды подкрепления (пища, вода) имеет врожденный характер, и называются первичными подкреплениями. Другие подкрепления (деньги, похвала) бывают эффективными лишь после того, как усваивается их ценность. Но нет никакой гарантии, что в отдаленной перспективе любые из подкреплений, будет эффективным для данного индивида. Некоторые переедают, подкрепление вкусом пищи, но в отдаленной перспективе подрывают свое здоровье. Другие, подкрепленные деньгами или похвалами, увечие или загоняют себя в могилу напряженной работой.
Следует учесть, что не все люди (или животные) одинаково реагируют на специфическое средовое последствие своего поступка. Если учитель хвалит ученика за то, что тот задает вопросы, и количество задаваемых вопросов возрастает, то похвала подкрепила реакцию, однако, туже похвалу нельзя будет назвать подкреплением, если она не повысит частоту поведения другого ученика. Лишь путем наблюдения за воздействием результата и сопряженного с ним стимула (S) на частоту поведения можно определить, какой сопряженный результат станет подкреплением в данной конкретной ситуации для конкретного индивида.
Негативное подкрепление.
Помимо поиска вознаграждения, адаптация требует уклонения от болезненных стимулов. Метафора, предложенная Скиннером: “пещерному человеку приходилось искать пищу (положительное подкрепление) и прятаться от холода (негативное подкрепление). Негативным подкреплением является "любой стимул, устранение которого упрочняет поведение".(Skinner, 1953).
Негативное подкрепление в быту путают с наказанием, но оба они оказывают различное воздействие на поведение. Все формы подкрепления, позитивные или негативные, повышают частоту реагирования. Напротив, наказание снижает эту частоту.
Наказание.
Примеров наказаний – множество, поскольку это "обычная техника контроля в современной жизни" (Skinner, 1953). К ней прибегают родители, преподаватели, правительства и религия.
Непосредственным эффектом наказания является снижение оперантного поведения. Животные, помещенные в Ящик Скиннера, быстро приучаются прекращать деятельность, приводящую к электрошоку. Следует помнить, что наказанию свойственны непредвиденные эффекты, и это, как утверждал Скиннер, превращает его в нежелательную технику для контроля над поведением. Наказание порождает эмоциональные реакции, включая тревогу и страх, сохраняющиеся даже после прекращения действия. Дети, наказанные за ябедничество, впоследствии могут нервничать при желании высказать свое мнение даже тогда, когда их слова были бы к месту. Наказание зачастую эффективно для непродолжительного погашения поведения, но если контролирующий агент не в состоянии остаться и постоянно обеспечивать наказание в качестве “напоминания”, то поведение в дальнейшем зачастую возвращается.
Скиннер весьма критически относился к наказанию и призывал общество найти более гуманные способы контролировать поведение. Одно из решений проблемы было: подкрепление альтернативного подкрепления, несовместимое с нежелательным поведением, т.е нежелательное поведение можно устранить без наказания. Детей можно поощрить за совместные игры, вместо того чтобы наказывать за драки. Чтобы отучить собаку подбирать пищу с земли надо научить ее смотреть на хозяина или нести апортировку, вместо того чтобы наказывать ее.
Угасание.
Если подкрепление, которое поддерживало оперантное поведение, прекращается, то поведение, направленное на вызывание подкрепления, становится все менее и менее частым. Классический пример: ребенок может дразнить (оперантное поведение) товарища по играм, будучи подкрепленным признаками смущения, которые высказывает товарищу. Если последний прекратит реагировать, то ребенок, в конце концов, перестанет его дразнить. Подобное снижение реагирования до момента его прекращения называется угасанием. Однако, поведение, которое подверглось угасанию, позднее может вернуться (Rachman, 1989). Возможно, для организма это способ проверить, вернулась ли среда к прежнему состоянию.
Формирование.
Выше названные техники могут повысить (подкрепление или негативное подкрепление) либо понижать (наказание или угасание) частоту уже существующего поведения. Для формирования нового поведения Скиннер разработал метод названный формированием, который предполагает подкрепление удачных приближений желаемой реакции. Идея была проста: возникает реакция грубо напоминающая желаемою – эта реакция подкрепляется и, естественно, повышается ее частота. Постепенно экспериментатор, контролирующий подкрепления, начинает требовать реакции которые все больше и больше напоминают желаемое поведение.
Различение.
Способный к поведению организм любого вида, приучатся вести себя так, чтобы это соответствовало данной ситуации. Если клевание (у голубя) или обращение с просьбой (у человека) иногда приводит к желаемым результатом, а иногда – нет, особь приучается использовать преимущество стимулов среды, сигнализирующих о том что данное поведение будет результативно. Подобные средовые сигналы Скиннер продемонстрировал различающее научение на голубях, подкрепляя их пищей при горящей лампочке и не подкрепляя при выключенной. Естественно, голуби научились клевать только при наличии различительного стимула (света). О подобном поведении говорится, что оно находится под побудительным контролем. В человеческом поведении, как считал Скиннер, различение происходит часто. Водители при виде ГИБДД, едут медленнее, чем обычно. Покупатели покупают больше при виде надписи "распродажа".
Генерализация.
В процессе тренинга реагирование приурочивается не только к различительным стимулам. Возможно порождение реакции стимулами похожими на различительные. Собака, которую учат сидеть на команду “Сидеть!”, может залаять в случае, если ее приучили лаять на команду “Сахар!”. По просту говоря, она может перепутать созвучные слова. Этот процесс называется генерализацией стимула. Чем больше похож стимул на разрешительный – на тот, что присутствовал во время обуславливания, тем вероятнее становится поведение. Без генерализации для организма было бы не возможно от предъявления к предъявлению идентифицировать стимулы как одинаковые.
Суеверное поведение.
В лабораторных опытах условия создаются искусственно, подкрепления определяются экспериментатором и условия подкрепления находятся под тщательным контролем. Люди и животные живут в не “стерильных”, не контролируемых ситуациях: вполне естественно что Скиннер задался вопросом – оказывает ли на поведение какое-либо влияние бессистемное поведение. Это явление он назвал суеверным поведением. Скиннер поместил восемь голубей в Ящик Скиннера, которые были запрограммированы произвольное подкрепление, не совпадающее с поведением с испытуемой особи. Итог эксперимента: подобное поведение влияло на поведение голубей, но различным способом. У шести из восьми голубей развились странные, но стойкие “суеверия”. Один без устали вертелся сам, другой постоянно вертел головой, третий навязчиво клевал все во круг. Его эксперименты были повторены не единожды, различными исследователями.
Режим подкрепления.
Адаптируясь к среде организм, тонко модифицирует свое поведение в ответ на частоту и продолжительность подкреплений. Скиннер ввел термин режим подкрепления – этим термином обозначается специфическая связь между реакцией и подкреплением. В классическом труде Скиннера (Ferster & Skinner, 1957) посвященный режимам подкрепления, сообщается о "70000 часах постоянно фиксируемого поведения, состоящего примерно из четверти миллиарда реакций" (Skinner, 1972).
Постоянное подкрепление.
О реакциях, которые всегда порождают подкрепление, Скиннер говорит, что они пребывают в режиме постоянного подкрепления (ПП-CR). Это случается, если крыса получат пищу всякий раз, когда нажимает на пластину. Режим постоянного подкрепления порождает быстрое научение, но и угасание здесь стремительно. Стратегии, которые всегда срабатывали в пошлом, быстро отбрасываются, стоит им провалиться. Вот почему, на мой взгляд, лучше вообще не дрессировать собаку чем ограничиться минимальным курсом – ведь на начальных этапах дрессировки мы подкрепляем каждую нужную нам реакцию, но стоит нам бросить дрессировать свою собаку как вмиг она все "забывает".
Режим частичного подкрепления.
Это режим подкрепления, когда подкреплением сопровождаются лишь некоторые реакции. Этот режим порождает более медленное научение, но вырабатывает большую устойчивость к угасанию, чем ПП.
Если дрессировочный процесс построен грамотно, от всегда идет объединение этих двух режимов – сначала обеспечивается быстрое научение с использованием постоянного режима подкрепления с последующим сокращением, где подкрепляется все меньшее и меньшее число реакций, чтобы сделать поведение устойчивым к угасанию.
Режим чередования.
Режим постоянного соотношения (ПС-FR) подкрепление происходит в соответствии с качеством проявленных реакций. К примеру, при режиме nc-15 особь подкрепляется после каждой 15-ой реакции (после 15, после реакции 30, после реакции 45 и т.д.) При быстром реагировании можно получить большее количество вознаграждения, что и делают голуби. Скиннер (Skinner, 1972) описывал, что одна из птиц реагировала, не осматриваясь на протяжении двух месяцев! Скиннер проводит здесь аналогию с работниками, занятые на сдельной работе – по его мнению, они трудятся очень напряженно, он объяснял это не наличием внутреннего драйва и упорства, а режимом постоянного соотношения.
Режим вариативного соотношения (ВС-VR) – подкрепление производится в соответствии с количеством проявленных особью реакций, но число реакций, необходимых для подкрепления, произвольно варьируется соотносясь, однако, с заранее установленной, средней величиной. При режиме ВС-15 особь должна получать подкрепление за каждые 15 реакций, иногда же, подкрепление будет следовать через 5 или 7 реакций, а иногда между подкреплениями следуют 20 или 30 реакций. Как и режим ПС, режим ВС порождает высокий уровень реагирования, но он более устойчив к угасанию, чем режим ПС.
Скиннеровская теория оперантного поведения широко применялась в терапии и образовании, использовалась для создания стратегий по улучшению желательного поведения и сокращению проблемного у людей и животных.
