Це переказ статті Маттео Ваккарі, розробника й Technical Principal у Thoughtworks Italia, опублікованої 11 листопада 2026 року на martinfowler.com. Ми зберегли структуру й технічні тези автора, скоротили історичні відступи, а примітки редакції про Pest і PHPUnit позначили окремо - це не слова автора.
Автор висуває три тези:
- Коли код пише AI, розробники стають його замовниками.
- Тому головним контрактом між людьми й AI стають приймальні тести замовника (customer tests), а не тести розробника.
- Якщо перенести цей контракт із тестового коду в тестові дані, його легше захистити від несподіваних змін з боку агента.
Усе це заради тестів, які легко читає людина. Раніше парсери DSL і власні тест-раннери були дорогими в написанні й підтримці, тепер AI робить їх дешевими.
Проблеми коду, який пише AI
На початку 2026 року автор поговорив із 26 розробниками з організації, яка активно працює з AI-агентами, і спитав: «Ви довіряєте нашим тестам?» Відповідь була майже однакова: «Не дуже. Навіть якщо я переглянув тести, коли їх згенерували, з кожною новою фічею AI рефакторить і код, і тести, тож я вже не певен, що вони досі перевіряють правильну поведінку».
Автоматичні тести, які пишуть самі розробники, - особливо test-first і TDD - свого часу дозволили командам здавати майже безпомилковий бізнесовий софт за частку вартості формальних специфікацій. Агенти генерують тести навіть без прохання, тож можна було б сподіватися на той самий результат. На практиці - ні. Звіти початку 2026 року фіксують погіршення якості: у Faros AI кількість багів на pull request зросла на 28,7%, а на розробника - на 54%; у звіті DX деякі компанії бачать на 50% більше дефектів; у CloudBees 81% із 213 опитаних технічних керівників повідомили про більше проблем у продакшні, а 70% вважають підтримку тестів більшим тягарем, ніж написання коду. Автор не стверджує, що знає причину, але вважає правдоподібним, що одна з них - падіння якості автоматичних функціональних тестів.
Проблеми тестів, які пише AI
Чому AI рефакторить тести? Найімовірніше, тому що змінюється сигнатура функції - це нормальна частина розробки, тож AI тут не «помиляється». Але читати згенерований тестовий код ще нудніше, ніж згенерований продакшн-код, і чекати, що розробник уважно перечитуватиме кожну зміну, нереалістично.
Друга проблема - зв'язаність із реалізацією. Попросіть агента «покрити модуль X юніт-тестами», і він охоче згенерує купу тестів із моками й стабами. Такі тести ламаються від нешкідливого рефакторингу, тобто дають хибні спрацювання, і водночас можуть не захистити, коли код поводиться неправильно. Замість «на вході X - на виході має бути Y» вони доводять «коли викликаємо A, воно викликає B». А найчастіше AI пише тести, які підтверджують поточну реалізацію разом з усіма її багами, а не специфікують правильну поведінку.
Отже, згенеровані тести проблемні, тому що:
- тестового коду багато;
- його важко читати;
- він прив'язаний до реалізації;
- він може навіть не доводити, що код правильний.
Вимагати, щоб усі тести писали люди, означає втратити більшу частину економічної вигоди від агентів. Але що, як є спосіб писати тести, які людям значно легше і читати, і писати?
Проблеми специфікацій, які пише AI
Багато хто працює через ту чи іншу форму spec-driven development. Узгодити з AI задачу до початку роботи корисно, але «специфікації» прозою в Markdown мають свої вади:
- Обсяг. Прози стільки, що з якогось моменту настає втома і план приймається після побіжного погляду - те, що називають когнітивною капітуляцією (cognitive surrender).
- Підтримка. Що робити з усіма специфікаціями після завершення фічі? Якщо їх тримати як довгострокові, їхній обсяг з часом теж стає непідйомним.
- Неповне виконання. Мовні моделі виконують не всі деталі специфікації: буває, що AI відкидає частину, щоб швидше оголосити «готово».
- Неоднозначність. Природна мова не дає тієї точності, що мова програмування. Специфікацію прозою не можна виконати, а тест - можна.
Що пропонує автор
Мета - тести, які:
- передбачають успіх у продакшні: коли всі вони проходять, є впевненість, що функціональність реалізована правильно;
- стійкі до рефакторингу;
- читаються якомога легше.
Для цього чотири техніки:
- Тести замовника: пишемо мовою замовника.
- Чорна скринька: тестуємо систему або її компоненти ззовні, без деталей реалізації.
- Тести як дані: лише важливе - вхід, очікуваний результат або побічні ефекти, і початковий стан. Тільки факти.
- Тестова DSL: найпростіше текстове подання входу, виходу і стану системи, яке зрозуміє експерт предметної області і яке дає чистий diff, коли тест падає.
Тести - це контракт, що встановлює, що код має для нас робити. Перенесений у файли даних, які виконує порівняно невеликий тест-раннер, він краще захищений від несподіваних маніпуляцій. А сам раннер той самий AI пише легко.
Що тоді з TDD? Змусити AI дотримуватися канонічного TDD складно: зазвичай він генерує багато коду ще до тестів. Водночас агенти, схоже, працюють краще, коли їм кажуть, що потрібно і як перевірити результат, а інструкції «як саме це зробити» їм радше шкодять. Описані техніки дають агентові саме це «як перевірити». Це свого роду test-first, але з більшими кроками - і стаття про те, як робити великі кроки безпечно.
Тести замовника
Тести, які пишуть розробники, - одна з початкових практик Extreme Programming; більшість називає їх юніт-тестами. Інша початкова практика XP - тести замовника, вони ж приймальні тести (acceptance tests).
Тест замовника написаний мовою замовника: він описує, що має робити програма, з погляду користувачів.
Ідея в тому, щоб замовник розумів, що саме доводить тест, і це вирівнювало розуміння між ним і розробниками. Цікаво те, що коли більшу частину коду пише машина, люди-розробники дедалі більше грають роль «замовників» цього коду. Нас цікавить, що має робити програма, у термінах, вільних від деталей реалізації, бо реалізацію ми делегуємо AI. Тому автор вважає тести замовника основним видом тестів, на який варто спиратися, особливо коли продакшн-код згенерований. Юніт-тести лишаються корисними, але не як головне джерело правди про поведінку.
Тести замовника:
- визначають функціональний зміст user story: коли вони проходять, історія функціонально завершена;
- захищають від регресій: тест, що пройшов, має проходити завжди, доки не зміниться бізнес-правило;
- підтримують рефакторинг, бо перевіряють поведінку, а не реалізацію;
- і, мабуть, найважливіше - вирівнюють розуміння: замовник може прочитати тест і сказати, чи перевіряємо ми те, що треба.
Мінус - такі тести, особливо наскрізні (end-to-end), бувають повільними і нестабільними. Про те, як із цим впоратися, нижче.
Зосередитися на головному
Ось простий приклад (автор пише на Java):
@Test
void defaultGreeting() throws IOException, InterruptedException {
HttpRequest request = HttpRequest.newBuilder()
.uri(URI.create(baseUrl + "/hello"))
.GET()
.build();
HttpResponse<String> response =
client.send(request, HttpResponse.BodyHandlers.ofString());
assertEquals(200, response.statusCode());
assertEquals("Hello, world!", response.body());
}
@Test
void personalisedGreeting() throws IOException, InterruptedException {
HttpRequest request = HttpRequest.newBuilder()
.uri(URI.create(baseUrl + "/hello?name=Joe"))
.GET()
.build();
HttpResponse<String> response =
client.send(request, HttpResponse.BodyHandlers.ofString());
assertEquals(200, response.statusCode());
assertEquals("Hello, Joe!", response.body());
}
Що саме доводять ці тести? Досвідчене око вихопить назву, вхід і очікуваний результат: стандартне привітання - «Hello, world!», а з іменем - «Hello, <ім'я>!». Усе інше - шаблонний код, який лише заважає побачити намір. То чому б не записати тільки ці три речі:
suite: greetings
tests:
- name: "default greeting"
request:
resource: "/hello"
name: null
greeting: "Hello, world!"
- name: "personalised greeting"
request:
resource: "/hello"
name: "Joe"
greeting: "Hello, Joe!"
Цей YAML-файл стає джерелом випадків для параметризованого тесту, який AI пише дуже легко. Звичайний процес такий:
- Накидати зразок тестової DSL, яку ви хотіли б мати.
- Попросити AI написати для неї тест-раннер.
- Далі і люди, і AI додають нові корисні випадки, наприклад:
- name: "name must not be entirely whitespace"
request:
resource: "/hello"
name: " "
error: "Name must not be entirely whitespace"
Ще стисліше - винести все в таблицю у CSV-файлі:
test_name, resource, name, greeting, error
default greeting, /hello, null, "Hello, world!",
personalised greeting, /hello, Joe, "Hello, Joe!",
not whitespace, /hello, " ", null, Name must not be entirely whitespace
Чому таблиці? Тому що з таблиці одразу видно, які випадки покриті, яких бракує і які дублюються, і в неї легко додати новий рядок. Але не варто кодувати в таблиці стан чи послідовність дій - на кшталт «увійти як трейдер / перейти в адмінку / заборонено / увійти як адмін...». Кожен рядок має бути окремою операцією без стану, з входом і очікуваним виходом. Для складнішого є структуровані сценарії, про них далі.
Автор наводить і приклад того, що замість низки сценаріїв Gherkin «Given I am logged in as a trader / When I attempt to access the admin dashboard / Then I should be denied access» з варіаціями краще одна таблиця:
| admin_dashboard_access_control |
| role | session_state | resource | expected_result | logged |
| trader | valid | admin dashboard | denied | yes |
| trader | valid | admin API | forbidden | yes |
| admin | valid | admin dashboard | allowed | no |
| admin | valid | admin API | allowed | no |
| viewer | valid | admin dashboard | denied | yes |
| guest | none | admin dashboard | login required | yes |
| trader | expired | admin dashboard | login required | yes |
| trader | tampered | admin API | unauthorized | yes |
У цьому, по суті, і полягають тести як дані. Чим вони допомагають розробникам, які не довіряють тестам? Тим, що (1) зосереджені на тому, що найбільше цікавить нас як розробників-замовників, (2) стійкіші до рефакторингу і (3) коли тести лежать у текстових файлах, значно легше помітити, що AI їх змінює.
Примітка редакції. У Pest таку таблицю природно виражають датасети, а в PHPUnit - атрибут #[DataProvider]. Але щоб отримати саме «тести як дані», таблицю варто тримати не в масиві всередині тестового файлу, а в окремому файлі, який тест лише читає:
// tests/Feature/GreetingTest.php
dataset('greetings', function () {
$cases = json_decode(file_get_contents(__DIR__.'/../data/greetings.json'), true);
return collect($cases)
->mapWithKeys(fn (array $case) => [$case['name'] => [$case['query'], $case['expected']]])
->all();
});
it('greets the visitor', function (array $query, string $expected) {
$this->get('/hello?'.http_build_query($query))
->assertOk()
->assertSeeText($expected);
})->with('greetings');
Тепер контракт - це tests/data/greetings.json, а GreetingTest.php - лише маленький раннер. Ключі датасету стають назвами випадків у звіті Pest, тож упалий рядок видно одразу. Якщо в рядку таблиці з'являється стан («спершу увійти, потім...»), це сигнал перейти до сценаріїв, про які нижче.
Автор згадує і зворотний погляд: Макс Канат-Александер розповів, що найскладніший тест у його житті - для мови запитів Bugzilla, 20 операторів по 50 полях, що компілюються у різний SQL, - інакше як структурою даних і не можна було написати, і він досі живе в кодовій базі з 2011 року. Втім, загалом Макс воліє, щоб агенти писали тести як код: так на тести можна накласти правила через статичний аналіз.
Не все вміщається в таблиці
Коли вхід тесту - не просте значення, таблиці замало, і на допомогу приходять структуровані сценарії. Ще у 2004 році Рон Джеффріс у книжці «Extreme Programming Adventures in C#» почав розробку редактора з такого тесту замовника (| - курсор):
---- before ----
<p>Fo|o</p>
<p>Bar</p>