SpatialBench: Чи можуть агенти аналізувати реальні дані просторової біології?

Автори: Kenny Workman, Zhen Yang, Harihara Muralidharan, Hannah Le

Опубліковано: 2025-12-26

Переглянути на arXiv →
#cs.AI

Анотація

Експерименти з просторовою транскриптомікою швидко зростають у масштабі та складності, що робить обчислювальний аналіз головним вузьким місцем у біологічних відкриттях. Хоча передові агенти ШІ показали значні покращення в розробці програмного забезпечення та загальному аналізі даних, залишається незрозумілим, чи можуть вони видобувати біологічні знання з нечітких, реальних просторових даних. Ми представляємо SpatialBench, набір з 146 перевірених проблем, отриманих з практичних робочих процесів просторового аналізу, що охоплюють п'ять просторових технологій та сім категорій завдань. Дані бенчмарку про передові моделі показують, що точність базової моделі залишається низькою (20-38% у різних сімействах моделей), з сильною взаємодією моделі та завдання, а також моделі та платформи. SpatialBench слугує як інструментом вимірювання, так і діагностичним об'єктивом для розробки агентів, які можуть взаємодіяти з реальними просторовими наборами даних достовірно, прозоро та відтворювано.

SpatialBench: Чи можуть агенти аналізувати реальні дані просторової біології? | ArXiv Intelligence