So sánh Langfuse với LangSmith

Langfuse và LangSmith đều giải quyết cùng một vấn đề cốt lõi, nhưng lựa chọn đúng phụ thuộc vào ba yếu tố: quyền kiểm soát dữ liệu, tech stack hiện tại, và cách team vận hành evaluation.

Langfuse phù hợp với team cần self-hosting mã nguồn mở, data sovereignty, hoặc stack ngoài hệ sinh thái LangChain. LangSmith phù hợp với team đang xây dựng với LangGraph và muốn tích hợp zero-configuration.

Tóm tắt các điểm chính

Infinity so sánh Langfuse và LangSmith theo 7 chiều: tracing, evaluation, prompt management, hỗ trợ agent, tích hợp framework, self-hosting, và định giá. Dữ liệu cập nhật đến tháng 6/2026, bao gồm hai thay đổi lớn: ClickHouse mua lại Langfuse (tháng 1/2026) và LangSmith ra mắt SmithDB (tháng 5/2026).

1. Langfuse là mã nguồn mở (MIT license, miễn phí self-hosting), LangSmith là proprietary và yêu cầu Enterprise contract để self-host.
2. LangSmith bổ sung hỗ trợ OpenTelemetry qua langsmith[otel] từ đầu 2026, không còn giới hạn chỉ cho ứng dụng LangChain.
3. SmithDB (tháng 5/2026) đưa P50 trace tree load của LangSmith xuống 92 millisecond, full-text search xuống 400 millisecond.
4. Langfuse ra mắt Code Evaluators (tháng 5/2026) cho phép viết hàm Python/TypeScript kiểm tra trực tiếp trong UI mà không tốn chi phí token.
5. LangSmith tự động chuyển trace lên extended retention (400 ngày, tính phí cao hơn) khi evaluator thêm feedback, đây là điểm cần đọc kỹ trước khi triển khai.

Langfuse và LangSmith là gì

Langfuse và LangSmith đều là nền tảng LLM observability, nhưng xuất phát điểm và mô hình vận hành khác nhau hoàn toàn.

Công cụ monitoring truyền thống cho bạn biết latency và error rate. Nền tảng LLM observability cho bạn biết tool call nào trả về kết quả sai và liệu một thay đổi prompt có cải thiện chất lượng output hay không. Đây là loại context bị thiếu khi ứng dụng của bạn là một agent thực hiện chuỗi tool call thay vì một LLM call đơn giản.

Langfuse ra mắt năm 2023 dưới dạng platform LLM engineering mã nguồn mở, bao gồm tracing, prompt management, evaluation (LLM-as-judge, human annotation, code-based), dataset experiments, và monitoring chi phí/latency. Phần lõi mã nguồn mở theo giấy phép MIT. Tháng 1/2026, ClickHouse công bố Series D 400 triệu USD và mua lại Langfuse. MIT license và bản sắc mã nguồn mở được xác nhận không thay đổi tại thời điểm đó.

LangSmith là nền tảng observability và evaluation do LangChain Inc. xây dựng, đội ngũ đằng sau LangChain và LangGraph. Platform này là proprietary và closed-source. LangChain gọi vốn 125 triệu USD ở định giá 1,25 tỷ USD vào tháng 10/2025. Tháng 5/2026, LangChain ra mắt SmithDB, lớp dữ liệu viết bằng Rust hiện xử lý 100% ingestion của LangSmith US Cloud.

Bảng so sánh tổng quan Langfuse với LangSmith

Tracing và Observability: LangSmith nhanh hơn nhờ SmithDB, Langfuse rộng hơn về Framework

LangSmith đạt P50 trace tree load 92 millisecond sau khi SmithDB xử lý toàn bộ US Cloud ingestion từ tháng 5/2026, trong khi Langfuse cắt giảm thời gian full-text search từ gần 20 giây xuống dưới nửa giây nhờ ClickHouse FTS engine.

Langfuse xây dựng hierarchical trace nắm bắt LLM call, tool invocation, embedding, và retrieval step. Bạn có thể filter theo user, session, chi phí, latency, hoặc custom metadata. LangSmith bắt toàn bộ LLM call và tool use thành inspectable run tree, đồng thời bổ sung unsupervised topic clustering, nhóm trace theo chủ đề phát hiện tự động, điểm xuất phát hữu ích khi team không biết vấn đề nằm ở đâu.

Langfuse Agent Graphs với LangSmith Studio cho Agent workflow

Langfuse và LangSmith đều bổ sung khả năng hiển thị agent workflow trong 2025-2026, nhưng theo hai hướng khác nhau.

Langfuse agent graph cho quá trình thực thi LangGraph

Langfuse thêm Agent Graphs vào tháng 11/2025, hiển thị luồng thực thi của multi-step agent bằng cách suy ra cấu trúc đồ thị từ timing và nesting của observation. Hoạt động với bất kỳ framework được instrument nào, bao gồm LangGraph native. Trace Log View ra mắt cùng lúc cung cấp luồng phẳng các bước agent cho workflow lặp hoặc rẽ nhánh phức tạp.

LangSmith trace tree for agent workflow

LangSmith's LangGraph tracing bắt mọi node, edge, và state transition trong một run mà không cần cấu hình gì ngoài việc đặt một biến môi trường. LangSmith Studio cho phép bạn đi qua từng bước thực thi của agent, kiểm tra state tại mỗi node, và replay một trace với model hoặc prompt khác. Với ứng dụng LangGraph, đây là mức độ context vượt xa một generic trace tree thông thường.

Evaluation: Langfuse có CI/CD Gate, LangSmith có Few-Shot Correction

Langfuse và LangSmith đều cung cấp LLM-as-judge và human annotation, nhưng khác nhau ở hai tính năng quan trọng: Code Evaluators của Langfuse và few-shot correction của LangSmith.

Langfuse ra mắt Code Evaluators vào tháng 5/2026: hàm evaluate viết bằng Python hoặc TypeScript trực tiếp trong Langfuse UI, chạy kiểm tra xác định như JSON schema validation, regex validation, hoặc xác minh tool argument mà không tốn chi phí token hoặc judge model call. LLM-as-judge của Langfuse trở thành fully open-source dưới MIT từ tháng 6/2025, người dùng self-hosted từ v3.65.0 trở lên có đầy đủ tính năng mà không cần commercial license.

LangSmith cung cấp LLM-as-judge với feedback type Boolean, Categorical, và Continuous, kèm template sẵn cho Security, Safety, và Quality. Điểm khác biệt là few-shot correction: human-labeled correction trên evaluator output được đưa ngược lại làm few-shot example để cải thiện calibration của evaluator theo thời gian.

Langfuse tích hợp CI/CD Evaluation như một Deploy Gate

Langfuse CI/CD integration qua GitHub Actions, ra mắt tháng 5/2026 qua langfuse/experiment-action, tự động fail workflow khi điểm experiment giảm xuống dưới ngưỡng đặt trước. Đây là cách biến evaluation từ một bước review sau release thành một cổng kiểm soát trước khi deploy.

Lưu ý về billing LangSmith: Evaluator tự động thêm feedback vào trace sẽ tự động nâng trace đó lên extended retention (400 ngày thay vì 14 ngày mặc định, tính phí cao hơn). Infinity nhận định đây là điểm cần đọc kỹ tài liệu billing của LangSmith trước khi thiết lập evaluation pipeline, vì chi phí có thể tăng không lường trước được.

Sơ đồ evaluation loop Langfuse từ production trace đến CI/CD gate qua GitHub Actions

Prompt Management: Hai cách tiếp cận tương đương

Langfuse dùng label-based deployment (production, staging) với SDK caching phía client, LangSmith dùng commit-hash versioning với community Prompt Hub, đây là category hai platform gần nhau nhất.

Langfuse gán mỗi phiên bản prompt một version ID và dùng label để kiểm soát phiên bản nào đang live. Thay đổi label trong UI là cách deploy hoặc rollback. Prompt được cache phía client bởi SDK, không thêm latency vào production call khi SDK fetch phiên bản active. Protected labels cho phép admin giới hạn role nào được phép thay đổi production label.

LangSmith quản lý prompt qua LangChain Hub với commit-hash versioning để pin chính xác phiên bản theo cách lập trình. Prompt Hub bao gồm thư viện cộng đồng mà Langfuse không có. A/B testing qua dataset experiment có mặt trên cả hai platform.

Hỗ trợ Agent: Framework khác nhau Platform khác nhau

Lựa chọn platform cho agent application phụ thuộc phần lớn vào framework đang dùng: LangGraph chọn LangSmith, CrewAI/Pydantic AI/LlamaIndex chọn Langfuse.

Langfuse hiển thị available tools, highlight tool nào được gọi, và cho thấy argument và call ID. Code Evaluators có thể xác minh tool argument theo schema. MCP server mở rộng vào tháng 5/2026 bao gồm 15 tool category, cho phép agent trong Claude Code, Cursor, hoặc OpenAI Codex query dữ liệu Langfuse theo chương trình.

LangSmith's agent support bao gồm state inspection tại mỗi node, trace replay với model thay thế, và LangSmith Studio cho visual step-through debugging. Team engineering của Monte Carlo, vận hành hệ thống production với hàng trăm sub-agent, đã chọn LangSmith vì tích hợp LangGraph zero-setup này.

Ngược lại, với agent xây dựng trên CrewAI, Pydantic AI, hoặc multi-agent framework khác, Langfuse có instrumentation native rộng hơn và thường cần ít setup thủ công hơn.

Self-Hosting và Compliance: Khoảng cách lớn nhất giữa hai Platform

Langfuse cho phép self-hosting miễn phí dưới MIT license, LangSmith yêu cầu Enterprise contract cho mọi hình thức self-hosting, đây là khoảng cách quan trọng nhất khi data sovereignty là yêu cầu bắt buộc.

Langfuse self-hosting chạy với Docker Compose cho môi trường development, production thường dùng Kubernetes với Helm trên GKE, EKS, hoặc AKS. Stack bao gồm ClickHouse, PostgreSQL, Redis, và S3-compatible storage, với VM tối thiểu khuyến nghị là 4 core và 16 GiB RAM. Chi phí software license bằng không, nhưng team bạn chịu trách nhiệm vận hành infrastructure. Enterprise Edition trả phí bổ sung dedicated support, audit log, SCIM, và SLA.

LangSmith self-hosting không có lộ trình miễn phí. Ba mô hình triển khai (Cloud, Hybrid, Self-hosted) đều thuộc Enterprise umbrella. SmithDB cho LangSmith self-hosted đang ở giai đoạn early access vào tháng 5/2026, chưa generally available.

Một điểm compliance cụ thể: Langfuse Cloud có SOC 2 Type II, ISO 27001, GDPR, và HIPAA. LangSmith Cloud có SOC 2 Type II, GDPR, và HIPAA, nhưng không có ISO 27001. Nếu quy trình procurement của bạn cần check box ISO 27001, đây là sự khác biệt có thể quyết định lựa chọn.

Định giá: Cơ chế tính phí khác nhau, chi tiết quan trọng hơn Headline Price

Langfuse tính phí theo unit (traces + observations + scores), LangSmith tính phí theo seat cộng trace với hai mức retention, chi phí thực tế của cả hai phụ thuộc nhiều vào cách dùng hơn là mức giá niêm yết.

Giá Langfuse

Lưu ý: Phí overage: $8 per 100.000 unit bổ sung. Công thức tính: Units = Traces + Observations + Scores. Agent run nhiều tool call tốn nhiều unit hơn prompt-response đơn giản.

Giá LangSmith

Lưu ý: Team 5 người dùng Plus trả $195/tháng chỉ tính tiền seat, chưa kể trace overage. Extended retention tự động kích hoạt khi evaluator thêm feedback vào trace, khi run rule kích hoạt, hoặc khi trace vào annotation queue.

Infinity khuyến nghị: Chạy tính toán chi phí dựa trên workload thực tế trước khi quyết định, không dựa vào mức giá headline. Với Langfuse, agent run phức tạp có thể tăng unit count nhanh. Với LangSmith, pipeline evaluation tự động có thể kéo nhiều trace vào extended retention ngoài dự kiến.

Khi nào chọn Langfuse, khi nào chọn LangSmith

Quyết định không phải về nền tảng nào có nhiều tính năng hơn mà là đánh đổi giữa quyền sở hữu dữ liệu và sự tiện lợi trong hệ sinh thái LangChain/LangGraph.

Chọn Langfuse khi

• Team đang xây dựng với CrewAI, Pydantic AI, LlamaIndex, hoặc gọi API trực tiếp đến OpenAI/Anthropic mà không dùng LangChain.
• Data sovereignty là yêu cầu không thể thỏa hiệp và LLM input, output, trace cần ở trên infrastructure riêng.
• Compliance checklist yêu cầu ISO 27001 ngoài SOC 2 và HIPAA.
• Team muốn CI/CD-integrated evaluation với automated regression gate qua GitHub Actions.
• Cần chi phí có thể dự đoán cho team lớn vì paid plan bao gồm unlimited users.

Chọn LangSmith khi

• Team đang xây dựng với LangGraph và muốn zero-configuration tracing, graph visualization native, và step-through debugging trong LangSmith Studio.
• Team muốn managed platform không cần vận hành infrastructure.
• Community Prompt Hub có giá trị cho việc khám phá và chia sẻ prompt với team ngoài tổ chức.
• Nhu cầu mở rộng ra ngoài observability sang agent deployment và Fleet management mà LangSmith đang phát triển.

Kết luận

Langfuse và LangSmith đều giải quyết vấn đề thực sự và đều thay đổi đáng kể trong năm qua. Infinity nhận định đây là một trong số ít so sánh nền tảng kỹ thuật mà lựa chọn đúng phụ thuộc nhiều vào hoàn cảnh hơn là chất lượng tuyệt đối của sản phẩm.

• Với team cần kiểm soát data stack đầy đủ, free self-hosting, hoặc stack đa dạng ngoài LangChain, Langfuse là lựa chọn hợp lý hơn.
• Với team đã đầu tư vào LangGraph và muốn ít overhead vận hành nhất có thể, LangSmith mang lại lợi thế rõ ràng ở khâu tracing và debugging agent.

Một lưu ý thực tế: Cả hai platform thay đổi nhanh. Kiểm tra changelog trước khi cam kết, và chạy thử nghiệm với workload thực tế trước khi tính toán chi phí production.