Logging trong ASP.NET Core: lỗi trên prod mà không lần ra request nào
Khách gọi lên hotline: "Sáng nay khoảng 10 giờ tôi thanh toán bị lỗi, tiền có bị trừ không?". Mình mở hệ thống log, lọc theo khoảng 9 giờ 45 tới 10 giờ 15, được hơn hai nghìn dòng Error. Dòng nào cũng một kiểu: "Có lỗi xảy ra khi xử lý thanh toán". Không có mã đơn, không có user, không biết dòng nào là của khách đang cầm máy.
Log có đầy đủ, chỉ là không dùng được. Bài này dựng lại cuộc điều tra hôm đó: ở mỗi bước, log thiếu cái gì, và sau đó mình đã thêm cái gì vào code.
10 giờ 05: có log, nhưng log chỉ là chữ
Code ghi log lúc đó:
catch (Exception ex)
{
// Nối chuỗi: mất stack trace, mất cấu trúc, không lọc được theo mã đơn
_logger.LogError($"Có lỗi xảy ra khi xử lý thanh toán: {ex.Message}");
}
Ba vấn đề trong một dòng. Không truyền ex vào nên mất stack trace, chỉ còn mỗi message. Không có mã đơn. Và vì dùng string interpolation, mỗi dòng log là một chuỗi khác nhau, hệ thống log không biết đâu là phần cố định, đâu là dữ liệu.
Viết lại cho đúng:
catch (Exception ex)
{
_logger.LogError(ex, "Thanh toán thất bại cho đơn {OrderId} của khách {CustomerId}",
order.Id, order.CustomerId);
}
{OrderId} và {CustomerId} ở đây không phải chỗ thay chuỗi. Chúng là message template: các provider hỗ trợ structured logging (Seq, Elasticsearch, Application Insights, Loki...) lưu chúng thành field riêng. Lúc điều tra, mình lọc thẳng CustomerId = 4821 thay vì grep theo chữ. Bật analyzer CA2254 lên, nó sẽ cảnh báo những chỗ còn truyền chuỗi nối vào làm template.
10 giờ 20: thấy lỗi, nhưng không biết request nào gây ra
Có mã đơn rồi thì tìm ra dòng lỗi. Nhưng trước dòng lỗi đó, request ấy đã đi qua những bước nào, gọi những API nào? Các dòng log của cùng một request nằm rải rác giữa hàng nghìn dòng của request khác.
Cần một id nối các dòng của cùng một request lại với nhau. ASP.NET Core đã tạo sẵn một trace id cho mỗi request (qua Activity), chỉ cần cho nó xuất hiện trong log:
builder.Logging.Configure(options =>
{
// Gắn TraceId, SpanId vào scope của mọi dòng log
options.ActivityTrackingOptions = ActivityTrackingOptions.TraceId | ActivityTrackingOptions.SpanId;
});
Thêm thông tin nghiệp vụ dùng chung cho cả một đoạn xử lý thì dùng log scope, để khỏi lặp lại ở từng dòng:
using (_logger.BeginScope(new Dictionary<string, object>
{
["OrderId"] = order.Id,
["CustomerId"] = order.CustomerId
}))
{
// Mọi dòng log trong khối này đều tự mang OrderId và CustomerId
await ChargeAsync(order, ct);
await ReserveStockAsync(order, ct);
}
Nếu ghi log ra console thì nhớ bật IncludeScopes cho formatter, không thì scope có mà không hiện.
Một mẹo rất đáng làm: trả trace id về cho client khi lỗi. Dùng ProblemDetails của ASP.NET Core thì response lỗi đã có sẵn field traceId. App hiện mã đó trên màn hình lỗi, khách đọc cho hotline, mình gõ đúng mã đó vào hệ thống log là ra toàn bộ đường đi của request. Từ "khoảng 10 giờ" thành một mã chính xác.
10 giờ 40: lỗi nằm ở service khác
Lần theo trace id thì thấy request thanh toán gọi sang service ví, và service ví trả 500. Log của service ví nằm ở chỗ khác, với trace id khác. Đứt manh mối.
Đây là việc của distributed tracing. Với OpenTelemetry, trace id được truyền qua header traceparent theo chuẩn W3C mỗi khi HttpClient gọi sang service khác, và service bên kia nối tiếp vào cùng một trace:
builder.Services.AddOpenTelemetry()
.ConfigureResource(resource => resource.AddService("orders-api"))
.WithTracing(tracing => tracing
.AddAspNetCoreInstrumentation() // request đi vào
.AddHttpClientInstrumentation() // request đi ra, tự gắn traceparent
.AddOtlpExporter())
.WithMetrics(metrics => metrics
.AddAspNetCoreInstrumentation()
.AddRuntimeInstrumentation()
.AddOtlpExporter());
Mấy package cần cài: OpenTelemetry.Extensions.Hosting, OpenTelemetry.Instrumentation.AspNetCore, OpenTelemetry.Instrumentation.Http, OpenTelemetry.Instrumentation.Runtime, OpenTelemetry.Exporter.OpenTelemetryProtocol. Dữ liệu đẩy qua OTLP về Jaeger, Grafana Tempo, hay dịch vụ cloud bạn đang dùng. Mở trace của request kia ra là thấy cả cây: API đơn hàng, service ví, câu SQL chậm bên trong service ví, mỗi bước mất bao nhiêu mili giây.
Nhân tiện, AddRuntimeInstrumentation() cho bạn metric của thread pool. Nếu đã đọc bài async/await, đây là cách theo dõi hàng đợi thread pool liên tục trên prod thay vì chờ sự cố rồi mới chạy dotnet-counters.
Những thứ không được nằm trong log
Log đi qua nhiều người và nhiều hệ thống hơn database. Mấy thứ mình không bao giờ để lọt vào:
- Mật khẩu, token, API key, số thẻ đầy đủ.
- Nguyên request body ở mức Information. Body đăng nhập có mật khẩu, body đặt hàng có địa chỉ và số điện thoại.
EnableSensitiveDataLogging()của EF Core ngoài môi trường dev. Nó ghi cả giá trị tham số SQL vào log, mình đã nhắc ở bài EF Core.
Nếu dùng middleware HttpLogging, nó chỉ ghi giá trị của những header nằm trong danh sách cho phép, header khác hiện [Redacted]. Đừng thêm Authorization vào danh sách đó cho tiện debug.
Ít log hơn nhưng đúng chỗ
Bật hết ở mức Information thì log phình ra, tốn tiền lưu, và cái cần tìm chìm giữa đống rác. Mình chia thế này:
- Information: sự kiện nghiệp vụ đáng nhớ. Đơn được tạo, thanh toán thành công.
- Warning: có trục trặc nhưng đã tự xử lý được. Retry lần 2 mới thành công, cache Redis không kết nối được nên đọc thẳng DB.
- Error: cần người vào xem.
Và hạ log của framework xuống, trong appsettings.Production.json cho "Microsoft.AspNetCore": "Warning", không thì mỗi request sinh ra vài dòng chẳng ai đọc.
Cuối cùng là health check, để biết service còn sống trước khi khách phải gọi hotline:
builder.Services.AddHealthChecks()
.AddDbContextCheck<AppDbContext>(); // package Microsoft.Extensions.Diagnostics.HealthChecks.EntityFrameworkCore
app.MapHealthChecks("/health");
Thử ngay: mở code, search LogError($" và LogWarning($". Mỗi chỗ là một dòng log không lọc được và có khi mất luôn stack trace. Rồi gây lỗi thử một request, xem response có traceId không, và gõ id đó vào hệ thống log xem có ra đủ đường đi của request không.
Bài sau là outbox pattern: đơn đã tạo mà email không được gửi, một sự cố mình cũng lần ra nhờ log. Bạn đang dùng gì để gom log và trace? Comment cho mình biết với.
P.S. Hôm đó mình mất gần một tiếng chỉ để biết lỗi nằm ở service nào. Giờ gặp sự cố đi qua nhiều service, mình chạy skill debug trong PrimeKit, bộ skill mình tự làm. Skill có phần riêng cho sự cố trải qua nhiều thành phần và cho việc đọc log, nó buộc AI tách rõ đâu là thứ đã quan sát trong log, đâu là giả thuyết, đâu là chưa biết, trước khi đề xuất sửa gì. Cài bằng npx @lovehlmmm/primekit init, rồi gõ /pk:debug kèm đoạn log của trace id cần điều tra. Log thiếu thì skill cũng chịu, nên phần trên của bài vẫn phải làm trước.
All Rights Reserved