LangSmith vs Langfuse

Суть

Обе решают одну задачу — трейсинг, дебаггинг, управление промптами и evals (Agent Observability). Выбор сводится к двум осям: привязка к экосистеме (LangChain vs агностик) и где живут данные (облако вендора vs своя инфраструктура).

Сравнение

Сильные стороны LangSmith: мощный визуальный дебаггер (пошаговое исполнение цепочек), Prompt Hub для совместной работы, Annotation Queues для экспертов, готовые off-the-shelf evaluators. Минус — лаги UI на больших датасетах.

Сильные стороны Langfuse: self-hosted = минимальные затраты и контроль данных; session logging (полные диалоги для replay); производительность (10k+ событий/мин). Технический факт масштаба: записать 4.3 млрд трейсов оказалось посильной задачей. Нюанс эксплуатации — если не настроить S3, Langfuse начинает писать каждое событие отдельным файлом.

Langfuse как инструмент для агентов (MCP + Skills/CLI)

Отдельный тренд — агент сам управляет своей наблюдаемостью, не выходя из рабочей среды:

• Langfuse MCP Server — AI-ассистент (Claude Code, Cursor) через MCP напрямую получает трейсы, управляет промптами и датасетами. Архитектурно сервер собран переиспользованием существующей API-логики: модульный реестр инструментов (defineTool, stateless per-request), куда модули Prompts/Datasets/Traces добавляются независимо.
• Langfuse Skills (CLI) — репозиторий SKILL.md со структурированными воркфлоу: учит ассистента работать с платформой через командную строку (получать/создавать/обновлять промпты). Можно повесить кронжобу, которая в 5:00 утра вытащит ключевые метрики и пришлёт в Telegram.

Про S3 при self-hosting

Отложить можно, но недолго, и решает не объём трафика, а что именно вы кладёте в трейсы. Метаданные вызовов невелики и живут в базе спокойно; объём создают тела — промпты, ответы и особенно содержимое retrieval-контекста, которое на RAG-нагрузке в разы больше самого ответа. Поэтому база пухнет не пропорционально числу запросов, а пропорционально длине контекста.

Практический ориентир: если трейсы содержат полный контекст RAG, объектное хранилище нужно сразу — иначе первым деградирует не диск, а чтение, ровно как с чекпоинтами графа (LangGraph Checkpointers). Если пишутся только метаданные и короткие ответы, старт без него нормален.

Что стоит сделать в любом случае с первого дня, даже откладывая S3, — решить про ретенцию: сколько дней трейсы живут и что происходит дальше. Ретенция, введённая задним числом, удаляет ровно те старые трассы, по которым обычно и разбирают «когда это сломалось».

Экономика: вопрос был поставлен не о том

Сверка 2026-08 показала, что развилка «self-hosted против облака» на деле тройная, и середина оказывается дешевле краёв.

Разрыв между облаками — примерно 25-кратный, и он объясняет, почему вопрос о пороге self-hosting поставлен не с той стороны: собственный хостинг дороже облака Langfuse почти на любом объёме. При миллионе трейсов облако стоит около сотни долларов, а инфраструктура для своего — от пятисот, и это без учёта работы по её эксплуатации.

Порог, при котором self-hosting перестаёт быть дороже облачного LangSmith, наступает рано — около 200-400 тысяч трейсов в месяц, где $2.50 за тысячу перекрывают $500-1 000 инфраструктуры. Но это сравнение не с тем оппонентом.

Практический вывод: self-hosting Langfuse выбирают не ради экономии, а ради контроля над данными — когда трейсы с промптами и содержимым retrieval нельзя отдавать наружу (DLP for LLM). Если такого требования нет, облако Langfuse дешевле и своего хостинга, и LangSmith одновременно.

Связано с

• Agent Observability — что именно собирают эти инструменты (трейсы/спаны)
• AgentOps — observability как пиллар дисциплины
• LangGraph Observability — выбор инструмента для стека LangGraph
• MCP — протокол, через который Langfuse MCP-сервер общается с агентом