Суть
Обе решают одну задачу — трейсинг, дебаггинг, управление промптами и evals (Agent Observability). Выбор сводится к двум осям: привязка к экосистеме (LangChain vs агностик) и где живут данные (облако вендора vs своя инфраструктура).
Сравнение
| Характеристика | LangSmith | Langfuse |
|---|---|---|
| Лицензия | Проприетарная | Open Source (MIT) |
| Self-hosting | Только Enterprise (платно) | Бесплатно, полный функционал |
| Интеграция | Оптимизирован под LangChain/LangGraph | Агностик: OpenAI SDK, LiteLLM, LlamaIndex, любой через декоратор/OpenTelemetry |
| API | Read/Write к трейсам и датасетам | API-first: полный CRUD для трейсов, спанов, скоров |
| Экспорт | Bulk Export на платных планах | Автодамп в S3/GCP (JSONL/Parquet) |
| Аналитика | ClickHouse под капотом | ClickHouse + прямой SQL-доступ (self-hosted) |
| Evaluations | Мощные встроенные, LLM-as-judge | LLM-as-judge на собственной инфраструктуре |
| Аудитория | LangChain-стеки, стартапы | Multi-framework команды, финтех/медицина, РФ |
Сильные стороны LangSmith: мощный визуальный дебаггер (пошаговое исполнение цепочек), Prompt Hub для совместной работы, Annotation Queues для экспертов, готовые off-the-shelf evaluators. Минус — лаги UI на больших датасетах.
Сильные стороны Langfuse: self-hosted = минимальные затраты и контроль данных; session logging (полные диалоги для replay); производительность (10k+ событий/мин). Технический факт масштаба: записать 4.3 млрд трейсов оказалось посильной задачей. Нюанс эксплуатации — если не настроить S3, Langfuse начинает писать каждое событие отдельным файлом.
Langfuse как инструмент для агентов (MCP + Skills/CLI)
Отдельный тренд — агент сам управляет своей наблюдаемостью, не выходя из рабочей среды:
- Langfuse MCP Server — AI-ассистент (Claude Code, Cursor) через MCP напрямую получает трейсы, управляет промптами и датасетами. Архитектурно сервер собран переиспользованием существующей API-логики: модульный реестр инструментов (
defineTool, stateless per-request), куда модули Prompts/Datasets/Traces добавляются независимо. - Langfuse Skills (CLI) — репозиторий
SKILL.mdсо структурированными воркфлоу: учит ассистента работать с платформой через командную строку (получать/создавать/обновлять промпты). Можно повесить кронжобу, которая в 5:00 утра вытащит ключевые метрики и пришлёт в Telegram.
Связано с
- Agent Observability — что именно собирают эти инструменты (трейсы/спаны)
- AgentOps — observability как пиллар дисциплины
- LangGraph Observability — выбор инструмента для стека LangGraph
- MCP — протокол, через который Langfuse MCP-сервер общается с агентом
Открытые вопросы
- при каком объёме трафика self-hosted Langfuse дешевле облачного LangSmith
- нужен ли S3 с первого дня self-hosting или можно отложить