Дете гледа снимка на куче и казва „куче“. След месец познава порода, която не е виждало, и не се обърква от котка. Никой не му е дал определение на кучето — нито списък с уши, опашки и размери. То е видяло много примери и е извлякло нещо общо. Машинното обучение прави същото, но по-грубо и по-измеримо. Моделът не получава правила. То не знае, че е видяло куче. Знае само, че този отговор е бил по-малко грешен от предишния. Получава примери и алгоритъм, който променя вътрешните му числа, докато отговорът спре да бъде очевидно грешен.
Механизмът има три части и се повтаря безброй пъти. Първо, моделът получава вход и дава предположение. Второ, сравнява предположението с верния отговор и изчислява грешката — число, което казва колко е сбъркал. Трето, леко размества своите параметри в посока, която би намалила тази грешка. После пак. Милиони примери, милиони корекции. Никой не е написал правилото „кучетата имат муцуна“. Никой не е написал и дума от това правило и точно затова е трудно да се обясни защо работи. Правилото се е появило като страничен резултат от намаляването на грешката.
Тук има важен капан. Моделът може да стане много добър на примерите, с които е трениран, и много лош на всичко останало. Казваме, че е запомнил, вместо да е разбрал. Затова данните се делят: едни за обучение, други за проверка, които моделът не е виждал. Ако резултатът при проверката е слаб, моделът е научил шума в данните, а не закономерността. Затова най-честата изненада е модел, който се справя отлично с миналите случаи и се обърква при първия нов. Това е най-честата причина един модел да изглежда блестящ в лаборатория и безпомощен в реалния свят.