Giới thiệu

Màn hình AR khác với màn hình bình thường ở chỗ chúng phải kết hợp các kích thích ảo và thực. Trong bài này, mình sẽ nói về AR được hiển thị như nào.

Đã có nhiều công việc sử dụng AR qua hình ảnh, âm thanh, trong khi các giác quan khác như cảm ứng, mùi và vị giác đã nhận được sự chú ý tương đối ít hơn về AR. Nhìn chung, sự quan tâm và phát triển của AR cho đến nay là tập trung vào hình ảnh. Trong khi nguời dùng rất quan tâm đến sự phát triển AR qua nhiều phương thức, bài này mình sẽ phản ánh thực tế đó bằng cách thảo luận chi tiết về hiển thị hình ảnh.

Ta sẽ thảo luận về màn hình máy tính để bàn, màn hình gắn trên đầu (HMD), màn hình cầm tay, màn hình dựa trên máy chiếu và màn hình tĩnh. Nhiều trong số các loại hiển thị cũng tích hợp các phương thức phi hình thức. Do đó, trước khi ta tập trung vào lĩnh vực hình ảnh, ta sẽ xem xét các công việc liên quan đến AR liên quan đến âm thanh và cảm ứng, cũng như một số thí nghiệm AR đa phương thức liên quan đến các giác quan còn lại của con người.

1. MULTIMODAL DISPLAYS

Trong khi AR thường được coi là đồng nghĩa với lớp phủ thông tin trực quan lên nhận thức của một người về thế giới vật lý, các phương thức cảm giác khác cũng có thể đóng một vai trò quan trọng. Trải nghiệm của con người về thế giới vật chất thực chất là đa phương thức, do đó, thật hợp lý khi màn hình AR hỗ trợ nhiều phương thức tăng cường.

Nhiều sản phẩm AR hiện đại phục vụ cho nhiều giác quan và một số nỗ lực của AR đã tập trung vào các phương thức phi hình thức cụ thể.

Có một lịch sử phong phú về AR âm thanh, nhưng nghiên cứu cũng đã khám phá AR tangible và haptic cũng như xem xét các phương thức khác. Ta sẽ chỉ xem xét ngắn gọn về công việc này trong các mục sau.

a. Audio Displays

Một nơi dùng để chứa âm thanh đã có từ ít nhất là đầu những năm 1950. Trong một thời gian dài, âm thanh được thực hiện cho một trải nghiệm khá tuyến tính, không cá nhân hóa. Các hệ thống ban đầu phát sóng các bài tường thuật bằng các ngôn ngữ khác nhau cho khách truy cập đã kiểm tra máy thu radio trên bàn. Với các băng được chạy được đồng bộ hóa cho bất kỳ nhóm khách nào, những người nhận phát sóng đã đi lại và quay đầu phản ứng đồng bộ với chương trình phát sóng học thuật Talon and Walker năm 2008 Trong những năm qua, tính linh hoạt phát lại, cá nhân hóa và hỗ trợ đa phương tiện đã được thêm vào Bederson 1995, Abowd et al. 1997. Ngày nay, tại nhiều địa điểm trong nhà và ngoài trời, đa phương tiện điện tử có sẵn dưới dạng nhiều thiết bị như PC, mobile, ... chúng thường bao gồm công nghệ nhận biết vị trí cho phép chúng cung cấp âm thanh theo yêu cầu mô tả các địa điểm gần đó.

Một ví dụ ứng dụng khác của AR Display, hệ thống hướng dẫn âm thanh hỗ trợ cho người khiếm thị, được tạo ra từ đầu những năm 1970. “Talking signs” sẽ phát các bản ghi giọng nói kỹ thuật số về các vật thể tại máy phát thông qua tín hiệu hồng ngoại, có thể được thu bởi các máy thu hồng ngoại di động được mang theo bởi người đi bộ bị khiếm thị trong phạm vi từ 15 đến 40m Loomis et al. 1998.

Bắt đầu từ đầu những năm 1990, khi các máy thu GPS cầm tay đầu tiên có sẵn, Loomis, Golledge và các đồng nghiệp tại Đại học California, Santa Barbara, đã triển khai và đánh giá hỗ trợ điều hướng âm thanh cho người khiếm thị, sử dụng hệ thống thông tin địa lý và định vị toàn cầu (GIS) tài nguyên, với tổng hợp giọng nói và âm học ảo hiển thị thông tin điều hướng cho người đi bộ bị khiếm thị Loomis et al. 1993, Loomis et al. 1998 .

Không phải tất cả các khám phá về công nghệ tăng cường âm thanh đều được nhắm mục tiêu vào các ứng dụng cho mục đích đặc biệt, như trong trường hợp lưu trữ, hoặc các nhóm người dùng cụ thể, như với hướng dẫn điều hướng hỗ trợ. Với các nhu cầu liên quan đến giao tiếp thông tin và duyệt thông tin tại nơi làm việc nói chung, hệ thống Audio Aura Mynatt et al. 1998, ví dụ, kết hợp các huy hiệu hoạt động nhận biết vị trí Want et al. 1992, điện toán phân tán và tai nghe không dây với mục đích cung cấp thông tin cơ bản thông qua các truyền phát âm thanh kỹ thuật số không gây khó chịu.

Nếu nguồn âm thanh ảo được đăng ký với vị trí 3D vật lý, để người nghe khi di chuyển cảm nhận âm thanh phát ra từ vị trí 3D này, kỹ thuật âm thanh không gian Burgess 1992 cần được sử dụng. Trong khi việc truyền âm thanh trong các môi trường phức tạp rất khó khăn để mô hình hóa Funkhouser et al. 2002, theo dõi đầu, tổng hợp âm thanh không gian và chức năng chuyển giao liên quan đến người cụ thể được mô hình hóa cẩn thận (HRTF) Searle et al. 1976 có thể xấp xỉ âm thanh không gian với chất lượng đủ để thuyết phục bạn.

Trong những năm qua, đã có nhiều cuộc biểu tình về thực tế tăng cường âm thanh như [Sawhney và Schmandt 2000] [Mariette 2007] [Lindeman et al. 2007]. Tai nghe AR hiện đại, chẳng hạn như bộ công cụ phát triển Meta 2 và Microsoft HoloLens được công bố gần đây, tự nhiên hỗ trợ âm thanh không gian. Trên thực tế, những người đánh giá các bản xem trước công khai đầu tiên của HoloLens đã nhiệt tình nói về trải nghiệm âm thanh không gian, được phân phối qua loa được nhúng trong tai nghe thay vì tai nghe thông thường. Sự cần thiết cho việc sử dụng đơn giản của người dùng cuối đòi hỏi một số tiện lợi để tránh sự gây khó chịu cho các chức năng chuyển cụ thể của con người với âm thanh 3D.

b. Haptic, Tactile, and Tangible Displays

Trong thế giới thực, các tương tác với các đối tượng vật lý thường xảy ra thông qua cảm ứng. Đối với các mục đích thực tế gia tăng, chúng ta có thể dựa vào các đối tượng proxy vật lý cụ thể để cung cấp một cách thụ động thông tin phản hồi cảm ứng như trường hợp với AR hữu hình (được thảo luận chi tiết trong các bài sắp tới). Chúng ta có thể thử tổng hợp và tái tạo các ấn tượng thuyết phục về cảm ứng thông qua các thiết bị và môi trường cụ thể là lĩnh vực nghiên cứu công nghệ haptic. Cung cấp một ấn tượng cảm giác thực tế của cảm ứng là một vấn đề khó khăn khi không có đối tượng vật lý nào có sẵn với tất cả các thuộc tính phù hợp để truyền đạt ấn tượng này. Trong khi rất nhiều nghiên cứu đã điều tra phản hồi xúc giác trong môi trường ảo, ứng dụng cho môi trường AR cho đến nay vẫn còn tương đối hạn chế. Các ứng dụng AR, đặc biệt là các thiết bị di động, đòi hỏi các công nghệ không phô trương cho cảm giác chạm. Các thiết bị phản hồi lực cố định cồng kềnh chỉ bao gồm các không gian làm việc tương đối nhỏ và không có khả năng người dùng nói chung sẽ sẵn sàng mặc các thiết bị phản hồi lực dễ thấy, như exoskeletons robot.

Người ta có thể cố gắng tái tạo một loạt các hiện tượng cảm ứng trong môi trường AR. Cụ thể, phản hồi xúc giác có thể được phân loại thành phản hồi động học và xúc giác. Phản hồi thẩm mỹ là phản hồi lực được cảm nhận bởi các dây thần kinh ở khớp và cơ, trong khi phản hồi xúc giác là phản hồi cảm ứng hướng bề mặt được chọn bởi một loạt các cảm biến được nhúng trong da và mô dưới da (ví dụ, chịu trách nhiệm về nhận thức tiếp xúc với da, kết cấu bề mặt, độ rung và nhiệt độ). Phản hồi nhiệt cũng có thể được xem như một loại cảm giác riêng biệt.

Bau và Poupyrev [2012] cung cấp một cái nhìn tổng quan về các phương pháp tiếp cận cho màn hình AR haptic, phân loại chúng là màn hình haptic bên ngoài, tạo ra môi trường vật lý hoặc màn hình haptic nội tại, làm tăng trải nghiệm cảm nhận của người dùng bằng cách thay đổi nhận thức xúc giác và động lực học. Các màn hình haptic bên ngoài thường bị ảnh hưởng bởi phạm vi chỉ có không gian làm việc hạn chế và công nghệ gây khó chịu, chẳng hạn như cánh tay robot cơ học hoặc dây nylon được kết nối với bộ truyền động (ẩn) shii và Sato 1994. Tuy nhiên, phần nào vẫn có sự khó chịu thấp hơn là có thể, như đã được chứng minh bởi nguyên mẫu AIREAL của Disney Research Sodhi et al. 2013b. Công nghệ này cung cấp cảm giác chạm không khí tự do bằng cách tạo ra các trường áp suất nén trực tiếp dưới dạng các vòng xoáy. Tuy nhiên, các loại cảm giác chạm có thể có với AIREAL bị giới hạn ở tần số, cường độ và kiểu được cung cấp bởi các luồng khí và hệ thống hiện không phải là âm thanh trung tính (nghĩa là, thế hệ xoáy được đi kèm với âm thanh nghe được).

Ví dụ về visuo-haptic. Bút stylus của thiết bị haptic Phantom Omni (nay là Geomagic Touch) được làm nổi bật bằng thực tế tăng cường thị giác.

Một ví dụ ban đầu về màn hình haptic nội tại dưới dạng xúc giác có thể mặc được Collins và các đồng nghiệp chứng minh vào năm 1977 như một bộ phận giả cho thị giác của người mù [Collins et al. 1977]. Kể từ đó, nhiều màn hình haptic có thể đeo được đã được khám phá, bao gồm găng tay haptic, giày, áo khoác, áo khoác và exoskeletons [Tan và Pentland 2001] [Lindeman et al. 2004] [Teh et al. 2008] [Tsetserukou et al. 2010]. Để tạo ảo giác về cảm giác xúc giác trên các bề mặt tùy ý, người ta có thể đưa tín hiệu điện yếu vào cơ thể người dùng [Bau và Poupyrev 2012]. Các công nghệ có thể đeo như vậy có thể phản ứng với cảm biến vị trí và do đó, cung cấp các kích thích haptic cho các tăng âm hình ảnh hoặc âm thanh cùng vị trí. Nhìn chung, các hiển thị cảm ứng có thể có với công nghệ hiện tại phù hợp hơn cho các thông báo tượng trưng (vòi hoặc rung) so với biểu diễn thực tế của các đối tượng ảo cụ thể.

Jeon và Choi [2009] mở rộng tính liên tục thực tế hỗn hợp Milgram (đã được mình viết trong Nguyên tắc hoạt động của AR) sang miền haptic. Thực tế Haptic bao gồm việc sử dụng các đạo cụ hữu hình thực sự cũng như các trình giữ chỗ như các dấu bìa cứng (những bài viết tới mình sẽ nói về nó). Ảo Haptic tương ứng với các môi trường có cảm giác haptic được tổng hợp hoàn toàn, cần phải được đăng ký với sự tăng cường hình ảnh hoặc âm thanh. Thực tế hỗn hợp Haptic sử dụng kết hợp các vật thể thực và sự truyền động tổng hợp (chẳng hạn như các hoạt động rung động ảo của một chỗ dựa hữu hình hoặc phản hồi xúc giác trên màn hình cảm ứng vật lý).

phần 2