AI Evaluation Engineer: Python, LLM Metrics (Hybrid)

AI Evaluation Engineer: Python, LLM Metrics (Hybrid)

Valarian | Greater London, ENG, GB

Posted 17 days ago

Apply Now

Description

Valarian Technologies привлекает инженера-исследователя для разработки и сопровождения масштабируемых Python‑оценочных рангов, измеряющих выполнение задач, качество траекторий, использование инструментов и стоимость. Ваша работа включает применение статистических методов и разработку автоматических judging‑систем с точки зрения человеческого эталона.

Ключевые задачи включают анализ согласованности между аннотаторами, обнаружение ошибок и предложение архитектурных улучшений в контурах агентов,


#J-18808-Ljbffr