SpatialBench: Чи можуть агенти аналізувати реальні дані просторової біології?
Автори: Kenny Workman, Zhen Yang, Harihara Muralidharan, Hannah Le
Опубліковано: 2025-12-26
Переглянути на arXiv →Анотація
Експерименти з просторовою транскриптомікою швидко зростають у масштабі та складності, що робить обчислювальний аналіз головним вузьким місцем у біологічних відкриттях. Хоча передові агенти ШІ показали значні покращення в розробці програмного забезпечення та загальному аналізі даних, залишається незрозумілим, чи можуть вони видобувати біологічні знання з нечітких, реальних просторових даних. Ми представляємо SpatialBench, набір з 146 перевірених проблем, отриманих з практичних робочих процесів просторового аналізу, що охоплюють п'ять просторових технологій та сім категорій завдань. Дані бенчмарку про передові моделі показують, що точність базової моделі залишається низькою (20-38% у різних сімействах моделей), з сильною взаємодією моделі та завдання, а також моделі та платформи. SpatialBench слугує як інструментом вимірювання, так і діагностичним об'єктивом для розробки агентів, які можуть взаємодіяти з реальними просторовими наборами даних достовірно, прозоро та відтворювано.