BixBench3: raw data முதல் முழு ஆய்வு வரை — computational biology-யில் AI agents-இன் சிறந்த score 0.48 மட்டுமே

Zane Koch, Asmamaw T. Wassie மற்றும் collaborators எழுதிய இந்த benchmark ஆய்வு 26 ஆகஸ்ட் 2026 அன்று சமர்ப்பிக்கப்பட்ட arXiv preprint; peer review செய்யப்படவில்லை.

பிரச்சினை: தற்போதைய agent benchmarks பெரும்பாலும் தனித்த பணிகளையே அளவிடுகின்றன; raw data-வில் இருந்து முழுமையான உயிரியல் ஆய்வொன்றை முடிவுப் பெறும் வரை agents-ஆல் நடத்த முடியுமா என்பது சோதிக்கப்படுவதில்லை.

பங்களிப்பு: 20 tasks மற்றும் 138 graded artefacts கொண்ட BixBench3; 13 frontier models-இல் சிறந்த score 0.48 மட்டுமே என ஆசிரியர்கள் தெரிவிக்கின்றனர். பெரிய data அளவு மற்றும் நீண்ட workflows-இல் செயல்திறன் குறிப்பிடத்தக்க அளவில் வீழ்ச்சியடைகிறது.

முக்கியத்துவம்: orchestration மற்றும் data-scale வரம்புகளை வெளிக்காட்டுகிறது; research automation-இன் நடப்பு நிலையை அளவிடும் அடிப்படைக் கருவியாக இருக்கலாம்.

வரம்புகள்: preprint; author-reported; model/version-sensitive; சுயாதீனமாக மீளுருவாக்கப்படவில்லை.