Số liệu giúp đo lường trạng thái hiện tại của một hoạt động hoặc quá trình. Nó giúp chúng ta thiết lập điểm chuẩn và mục tiêu. Việc đo lường giúp bạn thiết lập mức độ bạn cần đi thêm bao nhiêu để đạt được mục tiêu của mình. Người quản lý kiểm thử phải có khả năng xác định, theo dõi, báo cáo số liệu tiến độ kiểm thử. Những gì được đo lường được thực hiện là một câu nói phổ biến. Vì vậy, có thể suy ra rằng nếu một cái gì đó không được đo thì nó sẽ không được thực hiện. Vì vậy, điều cần thiết là thiết lập các số liệu định lượng để thử nghiệm.

1. Bốn loại số liệu hoạt động kiểm thử

• Số liệu cho các hoạt động kiểm thử phần mềm có thể được nhóm thành các mục sau:

1. Số liệu dự án - Họ đo lường mức độ dự án di chuyển theo các điều kiện dừng của nó. Ví dụ bao gồm phần trăm trường hợp thử nghiệm đã chạy thành công, thất bại hoặc được thực thi.
2. Số liệu sản phẩm - Họ đo lường các đặc tính của sản phẩm như mật độ lỗi hoặc mức độ thử nghiệm.
3. Số liệu quy trình - Họ đo lường khả năng của các quy trình phát triển sản phẩm hoặc thử nghiệm. Ví dụ bao gồm số lượng lỗi mà thử nghiệm đã có thể phát hiện ra.
4. Số liệu về con người - Họ đo lường mức độ kỹ năng và khả năng của các thành viên trong nhóm hoặc toàn đội. Ví dụ bao gồm việc tuân thủ lịch trình để thực hiện test case.

• Nếu không có lỗi được báo cáo trong bảy ngày, dự án có thể được cho là an toàn khi chuyển sang điều kiện dừng.
• Nếu không tìm thấy nhiều lỗi trong sản phẩm, đó là thước đo chất lượng sản phẩm . Nếu một số lượng lớn lỗi được phát hiện trong các giai đoạn đầu của việc kiểm thử, nó sẽ đo khả năng của quá trình kiểm thử .
• Điều rất quan trọng là phải xử lý các số liệu của mọi người rất cẩn thận vì nó có thể dễ dàng nhầm lẫn với các số liệu quy trình. Nếu điều đó xảy ra, toàn bộ quá trình thử nghiệm có thể thất bại và mọi người có thể mất niềm tin vào người quản lý cũng như khả năng tổ chức của họ.
• Số liệu hỗ trợ người kiểm tra báo cáo kết quả kiểm tra và theo dõi tiến trình kiểm tra một cách nhất quán. Người quản lý kiểm tra thường trình bày các số liệu này tại các cuộc họp có sự tham gia của các bên liên quan ở các cấp khác nhau.
• Vì các số liệu này có thể được sử dụng để đánh giá tiến độ tổng thể của dự án, cần phải cẩn thận trong khi xác định số liệu nào phải được theo dõi , các kỹ thuật để chuẩn bị báo cáo về số liệu và tần suất trình bày báo cáo.
• Đây là một số điểm mà Người quản lý kiểm thử / QA nên ghi nhớ:

1. Định nghĩa số liệu - Số liệu được xác định, sẽ hữu ích . Các số liệu không quan trọng nên được bỏ qua, theo dõi bốn loại được thảo luận ở trên. Tất cả các bên liên quan phải đồng tình với định nghĩa số liệu để tránh mọi nhầm lẫn khi thảo luận về các phép đo. Vì một số liệu duy nhất có thể đưa ra ý tưởng sai, nên các số liệu phải được xác định sao cho chúng cân bằng nhau.
2. Theo dõi số liệu - Việc xử lý, hợp nhất và báo cáo kết quả cho các số liệu phải được thực hiện tự động ở mức độ khả thi để giảm thiểu nỗ lực dành cho các hoạt động này. Người quản lý kiểm thử phải quan sát nếu có sai lệch so với kết quả dự kiến và kết hợp chúng vào báo cáo. Nếu có thể, nguyên nhân của sự sai lệch cũng phải được đề cập.
3. Báo cáo số liệu - Số liệu được báo cáo cho quản lý cấp cao để quản lý dự án. Vì vậy, báo cáo lý tưởng nên ở dạng trình bày và làm nổi bật các giá trị số liệu quan trọng cũng như sự phát triển của các số liệu trong một khoảng thời gian.
4. Xác thực số liệu - Người quản lý kiểm thử (leader QA) chịu trách nhiệm xác minh dữ liệu và giá trị được trình bày trong báo cáo. Người quản lý kiểm tra cũng nên phân tích nó cho chính xác cũng như các xu hướng được báo cáo.

2. Kiểm tra số liệu tiến độ

• Tiến độ thử nghiệm được quan sát dựa trên 5 yếu tố sau:

1. Rủi ro về chất lượng sản phẩm
2. Lỗi sản phẩm
3. Các thử nghiệm được tiến hành
4. Kiểm tra độ bao phủ
5. Tự tin trong các hoạt động kiểm tra

• Lỗi sản phẩm, rủi ro, kiểm thử và phạm vi thường được báo cáo theo định dạng được xác định trước. Nếu các số liệu này tương quan với các điều kiện dừng được xác định trước, một điểm chuẩn để đánh giá nỗ lực kiểm tra có thể được phát triển.
• Sự tự tin có thể được đo lường một cách chủ quan hoặc khách quan bằng cách sử dụng các số liệu như khảo sát và bao phủ.

3. Số liệu có thể được xác định cho rủi ro chất lượng sản phẩm

1. Phần rủi ro được kiểm tra đầy đủ
2. Phần rủi ro trong đó tất cả hoặc ít nhất một số thử nghiệm thất bại
3. Phần rủi ro không thể kiểm tra đầy đủ
4. Phần rủi ro đã được kiểm tra hoặc sắp xếp theo danh mục rủi ro
5. Phần rủi ro được phát hiện sau phân tích sơ bộ rủi ro đối với chất lượng sản phẩm

4. Số liệu có thể được xác định cho các lỗi

• Tỷ lệ tổng số lỗi được phát hiện so với số lỗi được giải quyết
• Thời gian trung bình giữa thất bại hoặc tỷ lệ thất bại được báo cáo
• Phân loại lỗi theo các yếu tố sau:

1. Thành phần sản phẩm được kiểm tra
2. Nguyên nhân lỗi
3. Các nguồn lỗi như bổ sung các tính năng mới, hồi quy, đặc tả yêu cầu
4. Bản phát hành thử nghiệm
5. Mức độ lỗi
6. Độ ưu tiên hoặc mức độ nghiêm trọng của lỗi
7. Báo cáo trùng lặp hoặc bị từ chối
8. Thời gian trễ giữa phát hiện lỗi và giải quyết

• Lỗi con, tức là lỗi do sửa lỗi khác

5. Số liệu có thể được xác định cho việc kiểm thử

1. Số lượng thử nghiệm theo kế hoạch
2. Số lượng thử nghiệm được triển khai và thực hiện
3. Số trường hợp kiểm thử đã bị chặn, bỏ qua, thất bại hoặc thành công
4. Trạng thái, xu hướng và giá trị cho kiểm thử hồi quy cũng như xác nhận kiểm thử
5. Tỷ lệ số giờ kiểm thử kế hoạch so với số giờ kiểm thử thực tế hàng ngày

6. Số liệu có thể được xác định cho phạm vi kiểm thử

1. Bao phủ phạm vi các yêu cầu và tài liệu thiết kế
2. Phạm vi rủi ro
3. Phạm vi của môi trường kiểm thử hoặc cấu hình
4. Phạm vi của code sản phẩm

• Người quản lý kiểm thử phải thành thạo trong việc diễn giải và sử dụng phạm vi số liệu để báo cáo về tình trạng kiểm thử. Phạm vi của các tài liệu thiết kế và yêu cầu là cần thiết cho các cấp độ kiểm thử cao hơn như kiểm thử tích hợp, kiểm thử chấp nhận và kiểm thử hệ thống.
• Độ bao phủ của các mã code được yêu cầu cho các mức thử nghiệm thấp hơn như kiểm thử đơn vị và kiểm thử cấp độ thành phần. Kết quả kiểm tra cấp cao hơn không nên bao gồm độ bao phủ mã code.
• Cần lưu ý rằng mặc dù các mục tiêu bao phủ 100% ở các cấp thấp hơn, các lỗi sẽ được phát hiện ở các cấp cao hơn và được khắc phục tương ứng.
• Các số liệu kiểm thử có thể liên quan đến các hoạt động kiểm tra chính. Điều này sẽ giúp theo dõi tiến độ kiểm thử đối với các mục tiêu dự án đã nêu.

7. Số liệu có thể được xác định để theo dõi và kiểm soát kế hoạch kiểm tra

• Phạm vi của các yếu tố cơ sở thử nghiệm như rủi ro, yêu cầu sản phẩm, vv
• Phát hiện lỗi
• Tỷ lệ số giờ ước tính cần thiết trong phát triển và thực hiện thử nghiệm trên tổng số giờ cần thiết

8. Số liệu có thể được xác định để phân tích kiểm thử

• Có bao nhiêu điều kiện kiểm thử đã được biết đến ?
• Có bao nhiêu lỗi được phát hiện ?

9. Số liệu có thể được xác định cho thiết kế kiểm thử

• Phần điều kiện kiểm thử có trường hợp kiểm thử
• Trong quy trình thiết kế kiểm thử có bao nhiêu lỗi được phát hiện

10. Số liệu có thể được xác định để triển khai việc kiểm thử

• Tỷ lệ môi trường kiểm thử đã được thiết lập
• Tỷ lệ các bản ghi của dữ liệu kiểm thử đã được tải lên
• Tỷ lệ các trường hợp kiểm thử đã được thực hiện tự động

11. Số liệu có thể được xác định để thực hiện kiểm thử

• Tỷ lệ phần trăm các trường hợp thử nghiệm đã chạy, thành công hay thất bại
• Tỷ lệ các tiêu chí kiểm tra được bao phủ bởi các trường hợp kiểm thử đã được chạy thành công
• Tỷ lệ lỗi dự kiến so với lỗi thực tế đã được báo cáo hoặc giải quyết
• Tỷ lệ bao phủ thử nghiệm ước tính so với độ bao phủ thực tế có thể đạt được

12. Số liệu được xác định để quan sát tiến trình kiểm thử

Các số liệu được xác định để quan sát tiến trình của các hoạt động kiểm tra phải kết nối với các mốc dự án, điều kiện kiểm thử đầu vào và điều kiện dừng kiểm thử. Một số số liệu này có thể là:

1. Số trường hợp thử nghiệm được xác định trước, điều kiện hoặc thông số kỹ thuật đã được thực hiện, cùng với kết quả của chúng (thành công hoặc thất bại)
2. Phát hiện lỗi được phân loại theo mức độ nghiêm trọng, tầm quan trọng, thành phần sản phẩm bị ảnh hưởng, v.v.
3. Chi tiết về các sửa đổi cần thiết và trạng thái của chúng được kết hợp và / hoặc thử nghiệm
4. Ước tính so với chi phí thực
5. Thời gian thử nghiệm ước tính so với thực tế
6. Ngày dự kiến để thử nghiệm so với ngày thực tế
7. Các mốc thời gian dự kiến của các hoạt động thử nghiệm so với ngày thực của chúng
8. Chi tiết về rủi ro đối với chất lượng sản phẩm được phân loại thành giảm thiểu và không được thừa nhận
9. Thành phần rủi ro chính
10. Rủi ro được phát hiện sau khi phân tích thử nghiệm
11. Mất thời gian thử nghiệm và nỗ lực vì các sự kiện bất ngờ hoặc có kế hoạch
12. Tình trạng kiểm thử hồi quy và kiểm thử xác nhận

13. Số liệu để đo lường việc đóng các task kiểm thử

Các số liệu sau đây có thể được thiết kế để đo lường việc đóng các task kiểm thử:

• Số lượng trường hợp kiểm thử

1. Đối với các danh mục - chạy, thành công, thất bại, bỏ qua và bị chặn
2. Điều đó đã trở thành một phần của kho lưu trữ có thể tái sử dụng các trường hợp kiểm thử
3. Điều đó đã được tự động hóa so với số trường hợp thực tế được tự động hóa

• Số lỗi đã được giải quyết hoặc không được giải quyết
• Số lượng sản phẩm công việc lưu trữ của thử nghiệm
• Các số liệu được thu thập thông qua quy trình kiểm thử phải hỗ trợ người quản lý kiểm thử (test leader) theo dõi nỗ lực kiểm thử và đưa nó đến hoàn thành thành công.
• Do đó, các số liệu, số lượng và tần suất thu thập dữ liệu, độ phức tạp và rủi ro liên quan đến nó phải được thiết lập trong giai đoạn lập kế hoạch

14. Kiểm soát các hoạt động kiểm thử

• Kiểm soát thử nghiệm phải có khả năng sửa đổi các thử nghiệm theo sự thay đổi môi trường dự án và dữ liệu được cung cấp bởi các thử nghiệm.
• Ví dụ, hãy xem xét kịch bản trong đó kiểm thử động của sản phẩm cho thấy cụm lỗi ở các khu vực được cho là không có lỗi, thời gian kiểm thử đã giảm do chậm phát triển. Điều này sẽ yêu cầu sửa đổi các phân tích rủi ro và kế hoạch. Trong trường hợp này, các trường hợp kiểm thử sẽ phải được ưu tiên lại và việc phân bổ nỗ lực để kiểm thử sẽ phải được xem xét lại.
• Theo dõi thông tin mới, kế hoạch kiểm thử cần được xem xét lại, các trường hợp kiểm thử mới được tạo và nỗ lực phân phối lại.
• Nếu các báo cáo về điểm tiến trình kiểm thử có độ lệch so với kế hoạch kiểm tra, các hoạt động kiểm soát kiểm thử phải được thực hiện để điều khiển kiểm thử theo đúng kế hoạch.
• Một số hành động có thể được xem xét cho việc này bao gồm:

1. Sửa đổi trình tự kiểm thử hoặc kế hoạch kiểm thử
2. Xem xét phân tích rủi ro chất lượng
3. Tăng cường nỗ lực kiểm thử
4. Thay đổi ngày phát hành sản phẩm
5. Thay đổi điều kiện dừng kiểm thử
6. Sửa đổi phạm vi dự án theo yêu cầu

• Tất cả các bên liên quan và người quản lý dự án phải đồng ý trước khi thực hiện bất kỳ bước nào trong số các bước này.

Kết luận

Bài viết này chia sẻ cách để xác định, theo dõi, báo cáo và xác nhận số liệu trong kiểm tra phần mềm mong rằng có thể giúp ích cho mọi người !

Nguồn tham khảo: http://tryqa.com/how-to-define-track-report-validate-use-metrics-in-software-testing/