Internet of Things (IoT) là xu hướng đang được các doanh nghiệp trong lĩnh vực công nghệ quan tâm và đầu tư nghiên cứu. Cuộc đua IoT đã và đang diễn ra mạnh mẽ giữa các doanh nghiệp trên toàn thế giới. Theo Gartner, đến năm 2020, thế giới sẽ có khoảng 20 tỷ thiết bị sử dụng IoT, doanh số dự kiến trong năm là 437 tỷ USD. Các thiết bị này phần lớn sẽ chạy các thuật toán thông minh (AI), kết nối tự động với các hệ thống IT/ERP, quản lý sản xuất và mô hình kinh doanh mới. Theo đó, các hãng cũng thay đổi hình thức kinh doanh từ bán sản phẩm sang tính phí sử dụng theo năm trên từng thiết bị.

Ước tính đến 2020 có:

• 4 tỷ người kết nối với nhau thông qua IoT
• 4 ngàn tỷ USD doanh thu từ IoT
• Hơn 25 triệu ứng dụng
• Hơn 25 tỷ hệ thống thông minh và hệ thống nhúng
• 50 ngàn tỷ Gigabytes dữ liệu.

Và con số này sẽ tăng lên 500 tỷ đến năm 2030. Với những thành công cho đến thời điểm hiện tại, IoT được kỳ vọng sẽ trở thành thị trường thiết bị lớn nhất thế giới và sẽ tạo ra sự bùng nổ kinh tế mới.

I. Giới thiệu về IoT

1. IoT là gì?

• Mạng lưới vạn vật kết nối Internet hoặc Mạng lưới thiết bị kết nối Internet viết tắt là IoT (Internet of Things) là một kịch bản của thế giới, khi mà mỗi đồ vật, con người được cung cấp một định danh của riêng mình, và tất cả có khả năng truyền tải, trao đổi thông tin, dữ liệu qua một mạng duy nhất mà không cần đến sự tương tác trực tiếp giữa người với người hay người với máy tính. IoT đã phát triển từ sự hội tụ của công nghệ không dây, công nghệ vi cơ điện tử và Internet.

• Cụm từ IoT được đưa ra bởi Kevin Ashton vào năm 1999 - Nhà khoa học đã sáng lập ra Trung tâm Auto-ID ở đại học MIT, nơi thiết lập các quy chuẩn toàn cầu cho RFID (- một phương thức giao tiếp không dây dùng sóng radio).

• Điểm quan trọng của IoT là các đối tượng phải có thể nhận biết và định dạng. Nếu mọi đối tượng, kể cả con người, được "đánh dấu" để phân biệt bản thân đối tượng đó với những thứ xung quanh thì chúng ta có thể hoàn toàn quản lý được nó thông qua máy tính. + Việc đánh dấu có thể được thực hiện thông qua nhiều công nghệ. Ví dụ: RFID, NFC, mã vạch, mã QR, watermark kỹ thuật số … + Việc kết nối có thể thực hiện thông qua wifi, mạng viễn thông băng rộng (3G, 4G), bluetooth, hồng ngoại, zigbee, …

II. Một số ứng dụng áp dụng IoT

IoT có ứng dụng rộng vô cùng, có thể kể ra một số thứ như sau:

• Quản lý chất thải
• Quản lý và lập kế hoạch quản lý đô thị
• Quản lý môi trường
• Phản hồi trong các tình huống khẩn cấp
• Mua sắm thông minh
• Quản lý các thiết bị cá nhân
• Đồng hồ đo thông minh
• Tự động hóa ngôi nhà

III. IoT trong tương lai

Để thu được tối đa giá trị lợi nhuận từ Iot, các lãnh đạo doanh nghiệp cần phải chuyển đổi mô hình tổ chức của mình dựa trên thực tiễn tác động của Iot với thực tế. Theo Cisco, có 8 mô hình cơ bản sẽ rất hiệu quả khi được ứng dụng hợp lý Iot trước mắt bao gồm:

• Nhà máy thông minh: Việc tích hợp thêm kết nối cho các quy trình sản xuất và ứng dụng sẽ cho phép mở rộng năng lực sản xuất của nhà máy, cắt giảm kho vật tư lưu do có thể thiết lập quy trình cung cấp vật tư theo thời gian thực, cắt giảm chi phí trung bình của việc sản xuất và chuỗi cung ứng. Mô hình mới này cũng cho phép các nhà máy được lập trình tổng thể để phù hợp với từng kiểu hình sản xuất. Trong khi đó, thông tin báo cáo từ mức chi tiết nhỏ nhất có thể được thu thấp về các “kho” điện toán đám mây nhằm phục vụ cho việc điều chỉnh nhân lực, nguồn tài chính và công nghệ.

• Tiếp thị và quảng cáo kết nối: Đây có lẽ là mô hình đang có sức phát triển vượt bậc nhất hiện nay. Bản thân sự hiện diện của các công cụ kết nối đã hoàn toàn thay đổi cách tiếp cận của doanh nghiệp với khách hàng của mình cũng như trong các công tác phân tích thói quen tiêu dùng, tối ưu hoá sự tương tác… Nói cách khác, Iot đã cho phép doanh nghiệp thay đổi hoàn toàn góc nhìn đối với khách hàng và phát triển những thông điệp riêng với các thiết bị đem lại lợi ích lớn nhất cho họ. Trong khi đó, về phía người dùng, việc thanh toán dễ dàng, tiếp cận thông tin nhanh chóng … cũng là tiền đề cho mức tăng lợi nhuận không nhỏ.

• Mạng lưới điện thông minh: Một hệ thống điện hiện đại với tính hiệu quả cao vận hành dựa trên kết nối máy móc – máy móc thông qua cảm biến, mạng tích hợp và điện toán đám mây sẽ sử dụng các kết nối thông tin để tương tác nhằm nâng cao độ tin cậy, cắt giảm chi phí vận hành cũng như đưa ra được các phương án phân phối năng lượng tối ưu. Mạng lưới này sẽ có thể tự nhận diện và khắc phục lỗi, kiểm soát hướng di chuyển của dòng điện theo yêu cầu thực tế (đèn sáng theo môi trường, điều hoà hoạt động theo nhiệt độ bên ngoài, phân bổ công suất mạng lưới điện theo yêu cầu…) cải thiện hiệu quả hệ thống sản xuất và dĩ nhiên cho phép tích hợp dễ dàng cả những giải pháp “xanh” như năng lượng mặt trời hay năng lượng gió vào các hệ thống điện sẵn có.

• Giải trí kết nối: Trong một vài năm trở lại đây, iot thực tế đã đem đến cho người tiêu dùng một phương thức giải trí hoàn toàn mới: chơi với nhau từ khoảng cách địa lý xa xôi, ở mọi khung thời gian, sử dụng nhiều thiết bị đa dạng (iPad, máy tính cá nhân, Playstation, Xbox… ).

• Toà nhà thông minh: Khởi đầu với những ngôi nhà nhỏ thông minh, ngày càng có nhiều toà nhà khổng lồ được ứng dụng các công nghệ kết nối để tăng cường hiệu quả quản lý cũng như vận hành đồng thời tiết kiệm chi phí và đem lại nhiều tiện nghi hơn. Chỉ cần hình dung một toà nhà với toàn bộ hệ thống điện, chiếu sáng, máy điều hoà, các loại máy móc tiện ích khác (thông gió, vệ sinh, máy phát điện, hệ thống mạng, viễn thông…) đều tương tác và kết nối với nhau. Theo tính toán của Cisco, việc triển khai Iot có thể giúp cắt giảm tới 40% nhân lực cần thiết để quản lý và vận hành mỗi toà nhà trong khi cải thiện vượt bậc khả năng tiết kiệm năng lượng, tăng cường hiệu quả sử dụng diện tích.

• Phương tiện kết nối: Đây là mô hình đang được nghiên cứu và phát triển rất mạnh trong các nhà sản xuất xe hơi cũng như quản lý giao thông. Nó hướng tới việc sử dụng một nền tảng tích hợp để thực hiện các tác vụ tự động đối với việc dẫn đường, tối ưu hoá hành trình, cải thiện công tác vận tải và cung cấp các tiện ích khác. Một chiếc xe nếu có càng nhiều kết nối với môi trường xung quanh (đường xá, đèn tín hiệu, trạm thu phí, chất lượng không khí, thời tiết, trạm xăng dầu… ) và cả những chiếc xe khác sẽ có thể vận hành cực kì hiệu quả và an toàn. Hơn thế nữa, ở góc độ vĩ mô, khi việc giao thông an toàn và hiệu quả hơn, nó cũng góp phần bảo vệ môi trường và đảm bảo cuộc sống cho mọi người.

• Kết nối trong lĩnh vực y tế: Iot khi được ứng dụng vào ngành y tế sẽ đem lại cơ chế chăm sóc và quản lý bệnh nhân hiệu quả hơn rất nhiều. Từ đó, các bệnh viện và tổ chức y tế có thể cải thiện hiệu quả vận hành của mình hơn đáng kể.

• Hệ thống giáo dục kết nối: Việc triển khai hiệu quả công nghệ và ứng dụng sẽ cho phép mở rộng quy mô cũng như nội dung giảng dạy. Bên cạnh đó, nó cũng mở ra những mô hình giáo dục mới – tiền đề cho việc thay đổi các kiểu giáo dục truyền thống. Một trong những thành tựu bước đầu chính là công tác giáo dục từ xa. Cùng với sự phát triển của công nghệ, công tác giáo dục giờ đây có thể được triển khai linh hoạt tuỳ theo nhu cầu, ở mọi nơi, mọi lúc và trên nhiều loại thiết bị đa dạng.

Nhìn chung, việc tiếp cận và theo đuổi Iot thực sự là thách thức lớn với bất kì tổ chức nào. Thực trạng thay đổi nhanh chóng của ngành công nghệ và các mô hình mới không khỏi gây ra nhiều sự phân vân, khó hiểu và hệ quả tất yếu là những quyết định không đem lại hiệu quả cao – thậm chí là đứng yên tại chỗ một cách bị động. Trong khi đó, ở thời điểm hiện nay, mỗi quyết định đều có tác động rất nhanh chóng bởi mỗi trào lưu công nghệ mới – khi kết hợp với các vấn đề tài chính và chuỗi cung ứng toàn cầu – đều tạo ra những hướng đi mới có thể tiềm ẩn mối đe doạ một cách nhanh chóng: trong chỉ vài tuần hay vài tháng thay vì vài năm như trướ đây. Chính vì thể, ngay vào lúc này, việc làm chủ mô hình Iot và có phương án triển khai thích ứng càng nhanh càng tốt sẽ cho phép tổ chức có được ưu thế cạnh tranh, sức mạnh phát triển, mở rộng thị phần và dĩ nhiên là cả tăng cường lợi nhuận.

IV. Các công nghệ sử dụng nhiều nhất trong IoT

1. IoT Example

• Thiết bị đeo (wearable) Ví dụ các sản phẩm của Fitbit bands hoặc Apple watches… đồng bộ với các thiết bị mobilde Các thiết bị này giúp thu thập, lưu giữ các thông tin cần thiết như sức khỏe, theo dõi nhịp tim, hoạt động ngủ,… Chúng hỗ trợ hiển thị dữ liệu, thông báo từ các thiết bị di động.

• Cơ sở hạ tầng và phát triển (Infrastructure and development) Một số ứng dụng như CitySense (http://www.tvilight.com/citysense/) sẽ dễ dàng lấy dữ liệu chiếu sáng ngoài trời theo thời gian thực và dựa trên các chúng, các đèn đường được bật hoặc tắt. Ngoài ra còn có các ứng dụng khác nhau để kiểm soát các tín hiệu giao thông và chỗ đậu xe tiện lợi trong khu vực thành phố phức tạp

• Chăm sóc sức khỏe (Healthcare) Có nhiều ứng dụng hô trợ theo dõi điều kiện sức khỏe của bệnh nhân. Dựa vào các dữ liệu được đánh giá, đối chiếu với dữ liệu chuẩn, ứng dụng sẽ kiểm soát liều lượng thuốc vào các thời điểm khác nhau trong một ngày. Có những ứng dụng như UroSense có thể theo dõi mức chất lỏng trong cơ thể bệnh nhân dựa trên nhu cầu thì chúng có thể bắt đầu việc truyền dịch chất lỏng. Đồng thời, dữ liệu có thể được gửi tới các ứng dụng khác hoặc những người liên quan.

2. Các công nghệ sử dụng nhiều nhất trong IoT

• RFID (Radio Frequency Code) tags và EPC (Electronic Product Code): Mã tần số vô tuyến và mã sản phẩm điện tử
• NFC (Near Field Communication) được dung để kích hoạt tương tác hai chiều giữa các thiết bị điện tử, điều này là cơ bản cho điện thoại thông mình và chủ yếu được dung để làm các dao dịch thanh toán không tiếp xúc (contactless payment transactions)
• Bluetooth: Được dùng để truyền tải thông tin trong phạm vi ngắn, thường được sử dụng trong các thiết bị đeo.
• Z-Wave: Là công nghệ RF comm công suất thấp và chủ yếu được sử dụng cho nhà tự động, kiểm soát đèn
• Wi-fi: Công dụng thông dụng nhất trong IoT, Khi dùng mạng LAN, nó giúp chuyển files, data và tin nhắn liền mạch

3. Các đặc tính riêng và yêu cầu của hệ thống IoT

So sánh với các ứng dụng thông thường, ứng dụng IoT có một số đặc tính riêng sau:

• Có sự kết hợp phần cứng, cảm biến, kết nối, cổng và ứng dụng phần mềm trong cùng một hệ thống.
• Trình xử lý sự kiện phức tạp/ Phân tích luồng thời gian thực (real-time stream).
• Hỗ trợ cho số liệu, tốc độ, tính đa dạng và tính chuẩn xác.
• Tầm nhìn hệ thống quy mô dự liệu lớn.

V. Ứng dụng IoT trong testing

Lấy ví dụ về hệt thống theo dõi sức khỏe y tế, trong đó ứng dụng này sẽ theo dõi tình trạng sức khỏe, nhịp tim, chi tiếp nạp dịch và gửi báo cáo cho các bác sĩ. Dữ liệu đó được ghi lại trong hệ thống và dữ liệu lịch sử có thể xem bất cứ khi nào. Các bác sĩ có thể bắt đầu bổ sung thuốc, chất lỏng dựa trên dữ liệu. bằng việc điều khiển thiết bị di động hoặc máy tính mà kết nối với thiết bị y tế. Để kiểm thử hệ thống trên, chúng ta hãy xem xét một số test approaches sau:

1. Usability

Cần đảm bảo tính khả dụng của mỗi device được sử dụng Thiết bị theo dõi chăm sóc sức khỏe y tế phải linh hoạt để di chuyển vào các phân đoạn khác nhau của y tế Các thiết bị phải thông minh, không chỉ thông báo mà còn đưa ra thông điệp lỗi, cảnh báo Hệ thống nên có một lựa chọn để log lại tất cả sự kiện events để cung cấp thông tin rõ ràng cho người dùng, hoặc hệ thống nên lưu trữ dữ liệu tại database CÁC THÔNG BÁO NÊN ĐƯỢC HIỂN THỊ VÀ XỬ LÝ HIỂN THỊ THEO Từng THIẾT BỊ NHƯ COMPUTERS, MOBILE Tính khả dụng vủa ứng dụng hiển thị dữ liệu, xử lý dữ liệu, đẩy công việc từ thiết bị nên được kiểm thử kỹ lượng.

2. IoT Security

Thách thức IoT Security: IoT là trung tâm dữ liệu nơi mà tất cả thiết bị/ hệ thống kết nối hoạt động dựa trên dữ liệu có sẵn. Luồng dữ liệu giữa các thiết bị luôn được truy cập hoặc đọc khi thực hiện chuyển đổi. Từ góc độ thử nghiệm, chúng ta cần kiểm tra dữ liệu có được bảo vệ/mã hóa khi chuyển đổi từ thiết bị này sang thiết bị kia hay không và luôn đảm bảo có mật khẩu bảo vệ tại các phần tử UI.

3. Connectivity

Connectivity đóng vai trò quan trọng trong ứng dụng. Hệ thống luôn sẵn sàng tại mọi thời điểm và có kết nối liền mạch với các thành phần liên quan

• Kiểm tra kết nối, truyền dữ liệu, nhận tasks từ các thiết bị nên liền mạch khi kết nối là UP và đang chạy
• Cần test trường hợp khi hệ thống ngoại tuyến, có nhiều khả năng hệ thống sẽ không hoạt động. Khi đó phải có một cảnh báo để nhắc nhở bác sĩ để học theo dõi các điều kiện sức khỏe theo cách thủ công không phụ thuộc vào hệ thống. Mặt khác, hệ thống phải có một cơ chế để có thể lưu trữ tất cả dữ liệu trong thời gian ngoại tuyến, tất cả dữ liệu này sẽ được cập nhật và không mất mát khi hệ thống kết nối mạng

4. Performance and real-time testing

Bao gồm kiểm tra các khía cạnh phức tạp như phân tích thời gian, và kết quả đầu ra theo thời gian xác định, dưới điều kiện áp lực về lượng dữ liệu, vận tốc, tính đa dạng và tính xác thực. Ví dụ ở trên, khi chúng ta nói về một hệ thống cho một lĩnh vực chăm sóc sức khỏe, chúng ta cần đảm bảo hệ thống này đủ mở rộng cho cả bệnh viện. Khi thực hiện kiểm thử, hệ thống cần thực hiện cho 2-10 bệnh nhân tại một thời điểm và dữ liệu được truyền đến 10-20 thiết bị. Khi toàn bộ bệnh viện được kết nối và 180-200 bệnh nhân kết nối với hệ thống, dữ liệu thực sự được truyền lớn hơn rất nhiều so với dữ liệu được kiểm tra. Là tester, chúng ta cần đảm bảo hệ thống thực hiện đúng mặc dù lượng dữ liệu được truyền thêm, chúng ta cũng nên test các tiện ích giám sát để hiển thị lượng sử dụng hệ thống (system usage), sử dụng điện (power usage), nhiệt độ (temperature),…

5. Compatibility Testing

Kiến trúc hệ thống IoT thường rất phức tạp, do đó chúng ta cần kiểm tra tính tương thích. Công việc này bao gồm kiểm tra các mục như phiên bản hệ điều hành (OS version), loại trình duyệt (browser types) và các phiên bản trình duyệt tương ứng, thế hệ (generation) của các thế hệ, chế độ liên lạc (Vd: Bluetooth 2.0, 3.0).

6. Pilot Testing

  Thử nghiệm thí điểm là một điều bắt buộc trong IoT testing. Thông thường, thử nghiệm trong điều kiện phòng Lab thí nghiệm để đảm bảo sản phẩm hoặc hệ thống hoạt động tốt tuy nhiên nó có thể gay ra phản hồi xấu khi tiếp xức với các điều kiện hoặc kịch bản test trong môi trường thực.

Trong quá trình thử nghiệm thí điểm, hệ thống được dùng bởi một số lượng người thuộc lĩnh vực đó, họ sẽ đưa ra các phản hồi về hệ thống và điều này rất có ích giúp nhà phát triển chuẩn bị ứng dụng đủ mạnh để cung cáp ra thị trường.

7. Safety/Regulatory Testing

Ví dụ: mỗi khu vực có một quy định riêng về an toàn môi trường, hiệu suất, v.v Mục đích của việc kiểm thử này là để đảm bảo sản phẩm đáp ứng tất cả yêu cầu cần thiết để đưa ra thị trường cụ thể. Ví dụ ở trên về hệ thống chăm sóc sức khỏe, nó cần đảm bảo đạt các điểm kiểm soát và tuân thủ đúng quy định. Gỉa sử về một kịch bản test khi mà sản phẩm đạt tất cả các bước kiểm thử nhưng lại không đạt danh sách kiểm tra tuân thử (comliance checklist) – được thực hiện bởi cơ quan quản lý, thì ứng dụng cũng không thể đưa ra để triển khai. Cách tốt hơn là chúng ta đảm bảo các yêu cầu quy định ngay từ khi bắt đầu vòng đời phát triển sản phẩm, các quy định cũng nên đưa vào danh sách kiểm tra. Như vậy chúng ta sẽ đảm bảo sản phẩm đủ điều kiện quy định và đáp ứng điều kiện kiểm soát.

8. Upgrade testing

IoT là sự kết hợp của nhiều giao thức, thiết bị, hệ điều hành, phần nhúng, phần cứng, các tầng mạng… Khi hệ thống được nâng cấp hay bất kì các thành phần liên quan được nâng cấp, chúng ta cần kiểm thử hồi quy toàn bộ để khắc phục các vấn đề liên quan đến nâng cấp.

VI. Các phương thức của kiểm thử IoT

1. Edge testing – Kiểm thử cạnh network

Ngày càng nhiều ứng dụng IoT phát triển, đòi hỏi sự phối hợp, phân tích thời gian thực tại "cạnh" của mạng network, sử dụng các thuật toán đòi hỏi một thang tính toán (a scale of computation) và cột/ vận tốc dữ liệu (data column/velocity). Tuy nhiên, các mạng kết nối các thiết bị cạnh này thường không cung cấp đủ khả năng, băng thông và độ tin cậy. Vì vậy, kiểm thử network là rất cần thiết cho bất kỳ ứng dụng IoT nào.

2. Protocol and device interoperability testing – Kiểm thử khả năng tương thích giao thức và thiết bị

Kiểm thử khả năng tương tác giao thức truyền thông và thiết bị bao gồm việc đánh giá khả năng liên kết các giao thức và thiết bị theo các tiêu chuẩn và thông số khác nhau. Thế giới thông tin và truyền thông hiện tại cung cấp nhiều phần mềm và phần cứng khác nhau thực hiện cùng một đặc tả kĩ thuật. Mặc dù trên thực tế chúng cùng đáp ứng tiêu chuẩn/ đặc điểm kỹ thuật tương tự nhau, nhưng hai cách cài đặt lại không tương thích nhau. Các vấn đề tương thích thường do tiêu chuẩn không ổn định, lỗi của con người trong quá trình phát triển.

3. Security and privacy testing

Bao gồm kiểm tra các khía cạnh bảo mật như bảo vệ dữ liệu, xác thực thiết bị, mã hóa / giải mã và độ tin cậy vào dịch vụ điện toán đám mây.

4. Network impact testing – Thử nghiệm tác động mạng

Kiểm tra tác động mạng bao gồm việc đo lường hiệu suất định lượng và định tính của ứng dụng IoT được triển khai trong điều kiện mạng thực tế. Điều này bao gồm việc kiểm thử các thiết bị IoT trong sự kết hợp của kích thước mạng (network size), topology (cách bố trí mạng) và điều kiện môi trường.

5. End user app testing – Kiểm thử người dùng cuối

Bao gồm việc kiểm thử tất cả use case chức năng (functional) và phi chức năng (non-functional), bao gồm cả trải nghiệm người dùng và tính khả dụng

6. Confirmance testing

Confirmation testing được thực hiện để xác nhận chức năng đã hoạt động đúng và đầy đủ so với đặc tả yêu cầu.

7. Robustness testing – Kiểm thử độ bền

Theo tiêu chuẩn IEEE, Robustness là mức độ mà hệ thống hoặc thành phần có thể hoạt động chính xác khi dữ liệu đầu vào không hợp lệ hoặc dưới điều kiện môi trường áp lực. Kiểm thử độ bền nhằm mục đích Đảm bảo khả năng tương tác và hiệu suất chống crash (crash-proof performace), việc cài đặt/thiết bị phải đáp ứng đặc tả yêu cầu và đáp ứng với các kịch bản người dùng phức tạp Để xác minh hoặc đo lường khi hệ thống phải tương tác với tất cả sản phẩm khác hoặc khi có sự tấn công từ harker.

VII. IoT Testing Tools

Các công cụ hỗ trợ kiểm thử hệ thống IoT có thể được phân loại theo mục tiêu:

1. Software

• Wireshark: Là một phần mềm mã nguồn mở để giám sát lưu lượng truy cập giao diện, địa chỉ host nguồn/ đích, vv
• Tcpdump: Tương tự như Wireshark ngoại trừ việc không có giao diện GUI. Nó là một tiện tích dựa trên dòng lệnh giúp người dùng hiển thị TCP/ IP và hiển thị được các gói tin được truyền hoặc nhận qua mạng

2. Hardware

• JTAG Dongle: Thực hiện debugging trong các ứng dụng trên PC. Nó giúp gỡ lỗi mã nền tảng đích và hiển thị từng bước một.
• Digital Storage Oscilloscope: Sử dụng để kiểm tra các sự kiện khác nhau với time stamps, ổn định nguồn điện và kiểm tra tính toàn vẹn của tín hiệu.
• Software Defined Radio: Sử dụng để mô phỏng máy thu và máy phát cho một phạm vi rộng của các cổng không dây (wireless gateways).

VIII. Challenges IoT testing: Thách thức IoT testing

Những đặc tính trên dẫn đến một loạt các thách thức khi kiểm thử các ứng dụng IoT. Những thách thức chính bao gồm:

1. Dynamic environment - Môi trường động:

Không giống như việc kiểm thử ứng dụng thực hiện trong một môi trường xác định trước, IoT có một dynamic environment với hàng triệu cảm biến và các thiết bị khác nhau kết hợp với các phần mềm thông minh.

2. Real-time complexity - Sự phức tạp thời gian thực:

Các ứng dụng IoT có thể có nhiều kịch bản thời gian thực và các use case của nó cực kỳ phức tạp.

3. Scalability of the system - Khả năng mở rộng của hệ thống:

Tạo ra một môi trường thử nghiệm để đánh giá chức năng cùng với khả năng mở rộng và khả năng tin cậy là một thách thức đối với các ứng dụng IoT. Ngoài những thách thức trên, còn một số thách thức mang tính cạnh tranh khác như:

• Các hệ thống con (sub-system) và các thành phần có liên quan (related-component) thuộc sở hữu của các bên thứ ba.
• Tập hợp use case phức tạp để tạo test cases và data test.
• Chất lượng và độ chính xác của phần cứng
• Các vấn đề bảo mật và riêng tư.
• Các vấn đề về sự an toàn.

Điểm mấu chốt là cách kiểm tra chức năng cho các thiết bị IoT sẽ khác biệt với products, đặc biệt khi IoT phát triển. Điều quan trọng là phải lên kế hoạch trước và xây dựng các giải phát cần hiết để mô phỏng môi trường thực tế vì chúng không tồn tại.