Колата се движи по магистралата, воланът се върти сам, а човекът на шофьорското място гледа напред с празен поглед. Отстрани изглежда, че машината кара. В действителност тя прави нещо по-тясно: държи лентата, спазва дистанция и разпознава обекти. Всичко останало — преценка за намеренията на другите, решение в нестандартна ситуация, поемане на отговорност — все още е при човека. Автомобилът не е труден заради двигателя. Затова истинската трудност не е в това да накараш колата да кара, а да се справя с онова, което правят другите коли. Той е труден заради всички останали на пътя.
Техническият стек има три нива. Първо възприятие: камери, радар, лазер, ултразвук. Всяка технология има слабост — камерата не вижда в мъгла, радарът не различава добре форми, лазерът се замърсява. Затова се комбинират. Второ, локализация: къде съм с точност под метър, дори в тунел без сигнал. Трето, планиране: какво да направя в следващите две секунди и в следващите двайсет. Всяко от трите работи добре поотделно. Ето защо всеки реален проект има ограничение по скорост: не защото не може да кара по-бързо, а защото не може да мисли по-бързо. Трудното е да работят заедно, без да си противоречат.
Основният проблем е дългата опашка на странните случаи. Правилата покриват почти всичко, което се случва често. Но на пътя има и неща, които се случват веднъж на милион километра: строителен работник, който маха с флаг; каруца в тъмно; дете, което тича след топка между паркирани коли. За такива случаи няма достатъчно примери за обучение. Човекът се справя с тях чрез разбиране на контекста. Поради това напредъкът идва не от по-добри правила, а от повече изминати километри и от разкази за грешките, които са се случили. Машината трябва да ги е виждала, или да направи нещо непредвидено.