Ця стаття представляє всебічну оцінку агентів штучного інтетету проти людських фахівців з кібербезпеки в реальному тестуванні на проникнення в корпоративному середовищі. Вона підкреслює можливості ШІ у виявленні вразливостей та покращенні кіберзахисту.

Індустрія кібербезпеки стикається зі зростаючою диспропорцією між кількістю складних загроз та наявною робочою силою кваліфікованих пентестерів. Ручне тестування на проникнення є дорогим, повільним і не масштабується, залишаючи багато застосунків недоперевіреними. Існуючі автоматизовані сканери (DAST) не мають можливостей мислення для виявлення складних логічних вразливостей, що створює потребу оцінити, чи можуть сучасні агенти ШІ заповнити цю прогалину.

Автори створили контрольоване середовище для бенчмаркінгу, що містило набір веб-застосунків з різними типами вразливостей (SQLi, XSS, логічні помилки). Вони розгорнули агентів ШІ, налаштованих за допомогою промптингу в стилі ReAct та доступом до стандартних інструментів безпеки (веб-браузери, проксі-сканери, доступ до терміналу). Контрольна група учасників-людей, розподілена на категорії Junior, Mid-level та Senior, виконувала тести на проникнення на тих самих цілях. Зібрані метрики включали Time-to-Pwn (час до експлуатації), вартість за вразливість (розрахунок токенів проти погодинної оплати) та рівень хибних позитивів. Архітектура агента використовувала GPT-4o як двигун мислення.

Агенти ШІ продемонстрували зниження витрат до 20 разів порівняно з людьми-тестувальниками при виявленні вразливостей низької та середньої складності. Що стосується швидкості, агенти були здатні сканувати та експлуатувати цілі значно швидше, ніж молодші спеціалісти-люди. Однак рівень успіху агентів різко падав на цілях, що вимагали багатоетапного мислення або нових ланцюжків експлойтів, де старші тестувальники-люди зберігали високий рівень успіху. Агенти також виявили вищу схильність до 'кролячих нір' (переслідування тупикових шляхів) без втручання людини. Дослідження кількісно визначило, що хоча агенти можуть замінити близько 50-60% рутинних завдань тестування, вони ще не можуть замінити критичне мислення професіонала середнього або високого рівня.

Стаття забезпечує вкрай необхідне емпіричне підґрунтя для ажіотажу навколо ШІ в кібербезпеці. Безпосередньо порівнюючи агентів з людьми різного рівня кваліфікації, вона пропонує нюансований погляд, що уникає бінарних висновків 'ШІ марний' або 'ШІ замінить усіх'. Однак визначення 'реального світу' обов'язково обмежене створеними тестовими середовищами, яким може бракувати хаотичної складності застарілих корпоративних мереж. Дослідження є технічно обґрунтованим, але виграло б від тривалішого лонгітюдного дослідження для оцінки адаптивності агентів з часом.