Cân nhắc chi phí và lợi ích của Mobile Test Automation

Thị trường ngày nay có nhiều những lựa chọn hấp dẫn cho việc kiểm thử thiết bị di động của bạn một cách tự động, mỗi lựa chọn có một chi phí khác nhau. Bạn có thể nhận thấy được các giải pháp tự động dành cho thiết bị di động là quá cao và có nhiều sự lựa chọn hấp dẫn cho các giải pháp kiểm thử thiết bị di động. Tuy nhiên, nói về thuận lợi của các giải pháp này trong chiến lược kiểm thử thiết bị di động của bạn yêu cầu nhiều quyết định để đảm bảo ứng dụng của bạn làm cho khách hàng hài lòng và thao tác nó đúng như mong đợi

Bạn cần xác định vị trí nơi mà bạn sẽ sử dụng thiết bị thật hoặc giả lập: một phòng kiểm thử a cloud-based or on-premise, các công cụ mã nguồn mở hay thương mại và mô hình platform, hoặc kết hợp nhiều sự lựa chọn khác.

Bạn cũng có những lựa chọn để bảo vệ những thứ liên quan như hệ điều hành, các trình duyệt, mạng, và sóng mang, và nếu bạn muốn làm việc như là các nhân viên toàn thời gian, các nhà thầu hoặc các dịch vụ crowdsourcing.

Mỗi lựa chọn sẽ có một chi phí, và tổng chi phí cho chiến lược kiểm thử của bạn cũng sẽ bao gồm các yếu tố khác thường là những yếu tố không rõ ràng. Bạn có lẽ nhận thấy các giải pháp tự động cho thiết bị di động là quá đắt, nhưng trước khi bạn từ chối kiểm thử tự động như là một giải pháp khả thi cho doanh nghiệp của bạn hãy xem xét các lựa chọn giải pháp, lợi ích, chi phí dưới đây.

1. Chi phí khi Manual Testing

Đầu tiên, chúng ta nhìn thấy chi phí cho Manual Testing không lớn như chúng ta tưởng. Manual Testing là cách mà hầu hết các nhóm thực hiện: bạn thu thập một vài nghiệp vụ của người sử dụng, các kỹ sư, và bất kỳ ai khác, là những người hiểu ứng dụng sẽ hỗ trợ họ làm những gì, và bạn hỏi họ thực hiện một số nhiệm vụ trên ứng dụng của bạn. Điều này có lẽ là lựa chọn có chi phí thấp nhất (ít nhất là để bắt đầu), nhưng nó chắc chắn không phải là miễn phí. Chi phí bao gồm các thiết bị và mức lương cho các công việc của nhân nhân viên như là để test, quản lý và tổ chức kiểm thử và phân tích các kết quả.

Cũng có những chi phí vô hình liên quan đến yếu tố con người. Ví dụ như tài liệu là thứ sẽ cần thời gian để viết và lấy mất thời gian của người làm. Và giờ hạn chế trong một tuần làm việc cũng là nguyên nhân kéo dài thời gian các vòng đời kiểm thử và làm trễ thời gian đưa ra thị trường hơn nếu bạn có các đoạn script chạy tự động trong vòng 24 giờ một ngày.

Sau đó là những nhược điểm của sự thất thoát chi phí. Xét đến con người không phải là máy móc, chạy các kiểm thử này nó dễ dàng xảy ra lỗi, đặc biệt khi thực hiện các công việc lặp đi lặp lại. Và nếu bạn là người làm các công việc lặp đi lặp lại, bạn có nguy cơ không được là những nhân viên giỏi, vì bạn cần có yếu tố trong doanh thu chi phí của nhân viên.

Chi phí cuối cùng chính là có kiểm thử tối ưu và có thể thêm vào đó là những nhược điểm thất thoát trong khi thực tế bạn có thể chạy số lượng kiểm thử giới hạn với giới hạn số lượng hoán vị. Đây là nội dung rất lớn trong các ứng dụng cho thiết bị di động, xét trường hợp khi bạn cần có nhiều phiên bản ứng dụng được cập nhật, trên các thiết bị khác nhau, các màn hình khác nhau, và các hệ điều hành khác nhau, sự cạnh tranh các mạng khác nhau và tốc độ kết nối trên nhiều nền tảng sóng mạng.

2. Chi phí Khi Automated Testing

Automated Testing trên mobile cũng có các chi phí của nó. Khi nói đến các công cụ kiểm thử thương mại, phụ thuộc vào nhà cung cấp và gói, nhóm của bạn có thể mong muốn sử dụng giữa 10000 USD hoặc hơn 100000 USD mỗi năm cho phiên bản và hợp đồng bảo trì. Đối với việc đầu tư này, bạn có thể có các tính năng cao cấp, các bản cập nhật thường xuyên, sự tích hợp và API, và hỗ trợ thường xuyên. Nhưng chỉ nhìn vào giá của các công cụ tự động không cung cấp đầy đủ một bức tranh tổng quan cho tổng chi phí đầu tư cần thiết.

Bạn cũng cần cân nhắc chi phí của việc chạy thử nghiệm. Kiểm thử thiết bị di động cho một ứng dụng được thực hiện một cách tốt nhất bằng cách kiểm thử trên 10 thiết bị khác nhau, chi phí có thể bị tăng lên nhanh chóng. Một thay thế để kiểm thử trên các thiết bị thật là sử dụng giả lập để minh họa các kích thước và độ phân giải màn hình khác nhau, các hệ điều hành và các điều kiện mạng. Giả lập này có ưu nhược điểm riêng so sánh với kiểm thử trên các thiết bị thật.

Bạn có lẽ cần thay đổi nhóm hoặc môi trường của bạn để đảm bảo tự động một cách thuận lợi. Nếu bạn không muốn thực hiện kiểm thử bên trong (in-house), bạn có thể thiết lập phòng kiểm thử thiết bị di động cloud-based . Nó giúp nhóm chạy các chức năng thử nghiệm bất kỳ lúc nào, bất kỳ đâu và thử nghiệm trên nhiều thiết bị trong điều kiện người dùng thật. Truy cập vào a full-service cloud-based testing lab được ước lượng là 500 USD mỗi tháng cho một nhóm kiểm thử trên 4 thiết bị khác nhau. Và các công cụ mã nguồn mở và thương mại luôn sẵn có và không yêu cầu con người phải có hiểu biết về các kỹ năng lập trình để có thể tạo, chạy và duy trì các script thử nghiệm hiệu quả. Vì vậy bạn cũng cần đến yếu tố thuê các tester cho các ứng dụng di động.

3. Hiệu quả của Automated Testing

Một khi bạn có được thiết lập ban đầu, bạn sẽ bắt đầu nhìn thấy một vài hiệu quả từ việc tự động.Thử nghiệm tự động chạy nhanh và hiệu quả. Điều này đặc biệt hữu dụng cho kiểm thử hồi quy, khi bạn có một phiên bản mới hoặc phát hành ứng dụng và cần kiểm tra nhanh việc cập nhật này không làm hỏng các chức năng của ứng dụng. Kiểm thử hồi quy tự động là nhanh chóng: bạn có thể khởi động chạy hồi quy từ công cụ CI của bạn và yên tâm rằng không có gì bị hỏng.

Các data dùng cho việc automation test có thể phát hiện thêm các ảnh hưởng tiềm tàng trong cùng một khoảng thời gian giống nhau với số lượng các tester khi thực hiện manual test, giải phóng con người của bạn để làm nhiều công việc khác hơn. Automation test cũng có thể xác nhận nhiều quy trình trên nhiều nền tảng, đảm bảo ứng dụng của bạn sẽ làm việc trên nhiều thiết bị, các phiên bản hệ điều hành và tốc độ mạng khác nhau.

Automation test có thể tái sử dụng. Bạn có thể ghi lại một thử nghiệm và chạy lại nó nhiều lần ở các bản nâng cấp mới, phiên bản mới hoặc các thiết bị khác. Một công cụ thông minh sẽ xác nhận rằng nếu thỉnh thoảng có sự thay đổi trên màn hình ứng dụng và sẽ hướng dẫn bạn điều chỉnh script của bạn hoặc chạy lại các thử nghiệm cùng với layout mới mà không cần sửa đổi.

4. Chiến lược tiết kiệm chi phí và ý tưởng

Nếu bạn được thuyết phục lợi ích của việc tự động có thể giúp kiểm thử thiết bị di động của bạn nhưng bạn vẫn lo lắng về chi phí, đây là những lựa chọn. Xây dựng một ứng dụng giống như xây dựng một ngồi nhà, các chi phí có thể phụ thuộc và việc bạn muốn xây cái gì và muốn xây như thế nào. Chiến lược dưới đây có thể giúp bạn tiếp kiệm chi phí mà không ảnh hưởng đến chất lượng.

Cũng được biết như là kiểm thử in-the-wild, crowdsourcing là cách phổ biến để kiểm thử ứng dụng của bạn trong các điều kiện người sử dụng thực tế. Nếu bạn không có khán giả của bạn chính là những người sử dụng tiềm tàng, bạn có thể gửi ứng dụng của bạn đến các công ty mà các công ty này có các dịch vụ về crowd-testing và họ sẽ chạy nó bằng việc sử dụng các tester của họ, phối hợp quy trình kiểm thử và báo cáo các kết quả.

Nếu chi phí các công cụ tự động là vấn đề, thì các cộng cụ mã nguồn mở miễn phí như là Appium, Calabash và Selenium, nhưng với tất cả các giải pháp số phức tạp, bạn sẽ cần thêm ngân sách để sử dụng chúng tốt hơn. Vì chúng là script-based, các công cụ này yêu cầu bạn có người có kỹ năng để phát triển và duy trì các script kiểm thử của bạn, vì vậy ngoài chi phí cho các thiết bị và thiết lập phòng thử nghiệm, bạn sẽ cần đảm bảo bạn có các kỹ sư có kỹ năng tự động bằng tay. Cách khác, có thể bạn sử dụng nhiều thời gian cho các script gỡ lỗi hơn là chạy chúng thật.

Đối với nhiều nhóm muốn thực hiện thử nghiệm tự động nhưng không muốn học tạo tập lệnh chạy tự động, có những lựa chọn thay thế chi phí hiệu quả là kiểm thử script-based sử dụng một thế hệ mới của các công cụ tự động số scriptless. Bạn có thể sử dụng các thiết bị của chính bạn và các nguồn lực hiện có để ghi lại, tăng cường và duy trì việc tái sử dụng các tập lệnh thử nghiệm. Thử nghiệm được tạo như ảnh chụp màn hình, nó cung cấp một cái nhìn toàn diện về tất cả các bước và tác động thực hiện trong các trường hợp kiểm thử và sau đó lưu lại trên đám mây. Không có server, thêm nguồn tài nguyên, các chuyên gia tự động hoặc các phòng thử nghiệm là cần thiết.

Chi phí cho việc không kiểm thử các ứng dụng trên thiết bị di động của bạn lớn hơn rất nhiều so với bất kỳ một lựa chọn nào ở trên. Chi phí cho trách nhiệm, khả năng thiệt hại đến thương hiệu của bạn, sự không hài của khách hàng và điểm đánh giá cho ứng dụng thấp ... nó còn lớn hơn rất nhiều. Chi phí này là để đầu tư về chất lượng và có nhiều tùy chọn có sẵn để giúp bạn có được lợi ích theo cách của bạn.

Tài liệu tham khảo: https://www.stickyminds.com/article/weighing-costs-and-benefits-mobile-test-automation