Для розуміння сутності закону ефекту Торндайка нам необхідно дати чітке визначення поняття «ймовірність реакції». Це дуже важливе поняття, але, на жаль, дуже важке. Під час обговорення поведінки людини ми часто апелюємо до тенденцій «розташованості» поводитися певним чином. Майже в кожній теорії поведінки використовуються такі терміни, як «потенціал збудження», «сила звички» або «детермінуюча тенденція». Але як ми спостерігаємо тенденцію? І як можна її заміряти?
Якби певна поведінка існувала в двох іпостасях - в одному випадку вона завжди б мала місце, а в іншому - ніколи, то ми опинилися б майже в безпорадному стані при введенні програми функціонального аналізу. Феномен, що має характеристики «все і нічого», має тільки прості форми опису. Набагато більш продуктивним є припущення, що ймовірність здійснення реакції послідовно розподіляється між цими двома полюсами «все - нічого». Тоді ми можемо розглянути змінні, які на відміну від стимулів породження (eliciting stimulus), «не будучи причиною даної поведінки», роблять його наступ більш імовірним. Далі ми можемо, наприклад, розглянути наслідки дії кількох таких змінних.
Поширені вирази, що відображають ймовірнісну природу явища, - «тенденція» або «схильність» - характеризують частоту настання певних видів поведінки. Ми ніколи не спостерігаємо ймовірність. Ми говоримо, що хтось «обожнює бридж», тому що помічаємо, що він часто грає в бридж і часто говорить про нього. «Глибоко цікавитися» музикою означає багато грати, часто слухати музику і багато говорити про музику. «Невиправний гравець» багато грає в карти. Любитель кінозйомок робить знімки, проявляє їх і милується своїми власними знімками і знімками інших людей тощо.
Характеризуючи поведінку людини з точки зору її частоти, ми приймаємо певні стандартні умови: він повинен бути здатний виконати і повторити певну дію, при цьому інші види поведінки не повинні заважати. Наприклад, ми не можемо знати, наскільки сильна тяга людини до музики, якщо їй доводиться також займатися іншими речами. Підійшовши до проблеми уточнення наукового визначення ймовірності, ми виявляємо, що вихідними моментами є частота і умови, при яких спостерігається та чи інша поведінка. Ми усуваємо або принаймні зберігаємо в незмінному вигляді будь-яку умову, яка сприяє прояву конкуруючої з вивченим нами видом поведінки. Тварина поміщається в окремий (quiet) ящик, і за її поведінкою спостерігають за допомогою одноканального екрану, або вона реєструється за допомогою спеціальних технічних пристроїв. Ці умови не можна розглядати як вакуумне середовище, оскільки тварина буде реагувати на властивості скриньки багатьма способами, проте її поведінка поступово досягне досить стійкого рівня, на якому можна дослідити частоту заданої реакції.
Для вивчення процесу, який Торндайк назвав закарбуванням, ми повинні мати його «наслідок». Це може бути, наприклад, пред'явлення їжі голодній тварині. Ми можемо пред'являти нашому випробуваному їжу в зручному для нього місці, на великому підносі, за допомогою спеціального пристрою. При першому пред'явленні підносу тварина, ймовірно, буде реагувати на неї різними поведінковими реакціями, які заважають прояву вивчення нами поведінки. Поступово після кількох годувань воно без зволікання приймає їжу і ми отримуємо можливість розглядати цей наслідок як залежний від поведінки і спостерігати його результат.
Ми вибираємо відносно простий вид поведінки, який вільно і багаторазово відтворюємо і який легко піддається спостереженню і реєстрації. Наприклад, якщо випробовуваним є голуб, то підняття ним голови вище певного рівня є зручною поведінкою для вивчення. Воно може бути зафіксовано поглядом експериментатора на шкалі, прикріпленій до задньої стінки ящика, на тлі якої знаходиться голуб. Спочатку ми вивчаємо природну висоту підняття голови голубом і вибираємо на шкалі позначку, яка досягається ним тільки в окремих випадках. Фіксуючи свій погляд на шкалі, експериментатор починає дуже швидко відкривати піднос, як тільки голова піднімається вище цієї лінії. Якщо експеримент проводиться відповідно до специфікацій, то виходить один і той же результат: ми спостерігаємо швидку зміну частоти перетину головою голуба заданої лінії. Ми також бачимо, що голова голуба піднімається на більш високий рівень, і цей факт має велике теоретичне значення. Ми можемо дуже швидко змусити голуба високо піднімати голову, встановивши час пред'явлення їжі. Через одну-дві хвилини поза голубом змінюється таким чином, що його голова рідко опускається нижче лінії, яку ми вибрали спочатку.
Коли ми демонструємо процес відображення в такій відносно простій формі, ми бачимо, що деякі звичайні інтерпретації експерименту Торндайка надлишкові. Вираз «навчання шляхом проб і помилок», який часто пов'язується із законом ефекту, тут явно недоречний. Ми вкладаємо особливий сенс у наші спостереження, коли називаємо будь-яке підняття голови «пробій», і немає підстав вважати «помилковим» будь-який рух, який не призводить до встановленого нами результату. Навіть вживання терміну «навчання» вводить в оману. Твердження, що «птах навчається отримувати їжу за допомогою витягування шиї», є неадекватним виразом того, що відбувається. Говорити, що вона набула «навички» витягати шию - значить просто звертатися до пояснювальних вигадок, оскільки єдиним доказом наявності навички є набута тенденція виконувати дію. Найпростішим можливим описом цього процесу є таке: ми робимо даний контингент наслідків залежним від певних фізичних властивостей поведінки (підняття голови), далі фіксуємо, що частота появи цієї поведінки зростає. Прийнято розглядати будь-який рух живої істоти як реакцію. Це слово запозичене з досліджень, присвячених вивченню рефлексів. Воно означає дію, яка настає у відповідь на попередню подію - стимул. Але ми можемо зробити подію залежною від поведінки без визначення попереднього стимулу. Ми не змінюємо середовище проживання голуба для того, щоб викликати підняття голови. Ймовірно, не можна показати, що будь-який простий стимул незмінно передує цьому руху. Така поведінка може опинитися під контролем стимулів, але при цьому відсутні відносини за типом «одне породжує інше», тому термін «реакція» не цілком адекватний, але він настільки вкорінився, що далі ми будемо його використовувати.
Звичайно, не можна передбачити і проконтролювати реакцію, яка вже відбулася. Можна тільки передбачити, що схожі реакції будуть спостерігатися в майбутньому. Тому одиницею науки про прогнозування є не реакція, а клас реакцій. Для його опису буде використовуватися слово «оперантний». Цей термін показує, що поведінка «впливає» (operates) на середовище, генеруючи наслідки. Слідства визначають властивості, за якими встановлюється схожість реакцій. Він буде використовуватися і як прикметник (оперантна поведінка), і як існуюча, що означає поведінку, визначену цим наслідком.
Підняття голубом голови один раз у певний момент є реакцією. Це минуле і його можна розглядати з усіх точок зору, які становлять для нас інтерес. Поведінка, звана «підняттям голови», яка походить незалежно від певних обставин (instances), є оперантною. Його можна описати не як завершену дію, а як склад дій, що визначається властивостями висоти, на яку потрібно підняти голову. У цьому сенсі оперант можна визначити за допомогою слідства, що характеризується за допомогою фізичних термінів. «Підняття голови» («cutoff») на певну висоту є частиною (property) поведінки.
Традиційне вживання терміну «навчання» може бути збережено для опису перерозподілу реакцій на класи в складній ситуації. Термінологія, необхідна для опису процесу відображення, може бути запозичена з теорії умовних рефлексів І. П. Павлова. Сам Павлов називає всі події, які посилюють поведінку «підкріпленням» і всі зміни, що виникають у зв'язку з ним, «обумовлюванням». Однак в експериментах Павлова підкріплення поєднується зі стимулом, а при оперантній поведінці воно залежить від реакції. Тому оперантне підкріплення є спеціальним процесом і потребує спеціального аналізу. В обох випадках посилення поведінки, що відбувається в результаті підкріплення, називається «обумовлюванням». При оперантному обумовлюванні ми посилюємо оперант, щоб збільшити ймовірність або частоту появи реакції. В умовах павлівського, або «респондентного», обумовлювання ми просто підвищуємо величину реакції, викликану умовним стимулом, і скорочуємо час між стимулом і реакцією. Ми вже відзначали, що цими двома випадками вичерпуються можливості: 1) організм обумовлюється, коли підкріплення супроводжує інший стимул або 2) слідує за поведінкою організму. Будь-яка подія, яка не призводить до одного з цих випадків, не впливає на зміну ймовірності реакції. Тоді в експерименті з голубом їжа є тим, що підкріплює, а її пред'явлення, коли реакція «виділяється», є підкріпленням. Оперант визначається властивостями, від яких залежить підкріплення - висотою, на яку повинна підніматися голова голуба. Зміна частоти підняття голови на цю висоту є процес оперантного обумовлювання.
Перебуваючи в стані пильності, ми постійно впливаємо на середовище, і багато наслідків нашої поведінки мають силу підкріплення. За допомогою оперантного обумовлювання середовище конструює базисний репертуар поведінки, завдяки якому ми зберігаємо рівновагу, ходимо, граємо в спортивні ігри, користуємося інструментами, говоримо, пишемо, гребемо, керуємо автомобілем і літаком. Ми можемо виявитися не готовими до зміни в середовищі, наприклад появи нового автомобіля, нового друга, нових інтересів, до зміни роботи і місця проживання, але ми зазвичай швидко пристосовуємося до нової обстановки, набуваючи нових реакцій і втрачаючи старі. Оперантне підкріплення не тільки структурує репертуар поведінки. Воно покращує продуктивність поведінки і ще довгий час зберігає його після того, як його засвоєння або продуктивність втрачають свою значимість.