Giao tiếp xử lý sự cố hệ thống khẩn cấp

“We are currently investigating elevated error rates on [Service], affecting approximately [Percentage]% of users.”

Hiện chúng tôi đang điều tra tỷ lệ lỗi tăng cao trên [Dịch vụ], ảnh hưởng tới khoảng [Phần trăm]% người dùng.

Thông báo đầu tiên khi phát hiện sự cố gửi cho các bộ phận liên quan hoặc đăng lên trang trạng thái.

“We are currently investigating elevated 5xx error rates on the payment gateway, affecting approximately 18% of checkout requests.” — Hiện chúng tôi đang điều tra tỷ lệ lỗi 5xx tăng cao trên cổng thanh toán, ảnh hưởng tới khoảng 18% yêu cầu thanh toán.

“The issue appears to be triggered by [Deployment/Change]. We are initiating an immediate rollback.”

Sự cố có vẻ xuất phát từ [Bản cập nhật/Thay đổi]. Chúng tôi đang tiến hành quay lui (rollback) ngay lập tức.

Thông báo quyết định xử lý tức thời (rollback) để nhanh chóng khôi phục dịch vụ.

“The issue appears to be triggered by release v4.2 deployed at 10:15 AM. We are initiating an immediate rollback to v4.1.” — Sự cố có vẻ xuất phát từ bản phát hành v4.2 triển khai lúc 10:15 sáng. Chúng tôi đang tiến hành quay lui ngay lập tức về bản v4.1.

“The rollback is complete and error rates have returned to normal baseline. We are monitoring closely.”

Quá trình quay lui đã hoàn tất và tỷ lệ lỗi đã trở về ngưỡng bình thường. Chúng tôi đang tiếp tục theo dõi sát sao.

Thông báo rằng sự cố đã được khắc phục tạm thời và hệ thống đã ổn định trở lại.

“The rollback is complete and API error rates have returned to normal baseline. We are monitoring telemetry closely for the next 30 minutes.” — Quá trình quay lui đã hoàn tất và tỷ lệ lỗi API đã trở về mức bình thường. Chúng tôi đang theo dõi sát các chỉ số giám sát trong 30 phút tới.

“What is the current blast radius, and do we have a workaround for affected customers?”

Phạm vi ảnh hưởng hiện tại lớn đến đâu, và chúng ta có giải pháp tạm thời nào cho các khách hàng bị tác động không?

Người chỉ huy sự cố (Incident Commander) đánh giá mức độ ảnh hưởng và phương án hỗ trợ khách hàng.

“What is the current blast radius, and do we have a manual workaround for enterprise customers trying to export invoices?” — Phạm vi ảnh hưởng hiện tại lớn đến đâu, và chúng ta có cách xử lý thủ công tạm thời nào cho các khách hàng doanh nghiệp đang cần xuất hóa đơn không?

“We will share the next status update in [Number] minutes, or sooner if we have a breakthrough.”

Chúng tôi sẽ gửi bản cập nhật tình hình tiếp theo sau [Số] phút nữa, hoặc sớm hơn nếu có bước tiến mới.

Thiết lập mốc cập nhật thông tin rõ ràng để ban giám đốc yên tâm và không làm gián đoạn kỹ sư đang sửa lỗi.

“We will share the next status update in 15 minutes, or sooner if we have a breakthrough on the database lock.” — Chúng tôi sẽ gửi cập nhật tiếp theo sau 15 phút nữa, hoặc sớm hơn ngay khi tháo gỡ được tình trạng khóa bảng cơ sở dữ liệu.

“Once the dust settles, we'll schedule a blameless post-mortem to address the root cause and add automated guardrails.”

Sau khi sự cố được giải quyết êm xuôi, chúng ta sẽ lên lịch họp rút kinh nghiệm (blameless post-mortem) để xử lý tận gốc nguyên nhân và bổ sung chốt chặn tự động.

Chuyển bước từ ứng cứu khẩn cấp sang phân tích nguyên nhân gốc rễ và phòng ngừa dài hạn.

“Once the dust settles, we'll schedule a blameless post-mortem to address the root cause and add automated staging load tests.” — Sau khi mọi việc ổn định, chúng ta sẽ họp rút kinh nghiệm không đổ lỗi để giải quyết nguyên nhân gốc rễ và bổ sung bước kiểm thử chịu tải tự động trên staging.