Bắt đầu ngày thứ ba và cũng là ngày cuối cùng của hội nghị kỹ thuật số TransformBeat’s Transform 2020, VP và GM của Embedded & Edge computing tại NVIDIA, Deepu Talla, đã đưa ra một cuộc trò chuyện sôi nổi về vai trò ngày càng tăng của Edge AI (AI ngoài rìa mạng) trong điện toán doanh nghiệp – một chủ đề đã được thảo luận rộng rãi trong quá khứ nhưng vẫn chưa có hồi kết. Talla đã trình bày một luận điểm rõ ràng: Edge AI tồn tại để giải quyết các vấn đề kinh doanh cụ thể đòi hỏi sự kết hợp giữa điện toán nội bộ, tốc độ cao và độ trễ thấp mà AI đám mây không thể cung cấp.
Xem video:
Cho đến ngày nay, hầu hết các AI hiện đại đều chạy trong đám mây hoặc ít nhất tạo ra các câu trả lời do AI cung cấp trên đám mây, dựa trên dữ liệu tổng hợp theo không gian và thời gian từ các thiết bị có khả năng xử lý tại rìa mạng. Nhưng như Maribel Lopez, người sáng lập Talla và Lopez Research đã giải thích, một số xử lý câu trả lời AI đã chuyển sang Edge, một phần vì các cảm biến hiện đang tạo ra một khối lượng dữ liệu ngày càng tăng mà tất cả không thể gửi lên đám mây để xử lý.
Đó không chỉ là việc xử lý tất cả dữ liệu đó, Talla giải thích; Edge AI nằm trong hoặc gần điểm thu thập dữ liệu trong một số trường hợp có thể là một cách tiếp cận thực tế hơn hoặc có lợi cho xã hội. Đối với một bệnh viện, có thể sử dụng các cảm biến để theo dõi bệnh nhân và thu thập các yêu cầu về thuốc hoặc hỗ trợ, xử lý tại rìa có nghĩa là lưu giữ dữ liệu y tế riêng tư trong nhà thay vì gửi nó đến các máy chủ đám mây. Tương tự, một cửa hàng bán lẻ có thể sử dụng nhiều camera để tự kiểm tra và quản lý kho, cũng như theo dõi lưu lượng khách ghé qua. Các chi tiết cụ thể như vậy có thể làm chậm mạng, nhưng có thể được thay thế bằng máy chủ edge tại chỗ với độ trễ thấp hơn và tổng chi phí thấp hơn.
Trong năm qua, Talla cho biết, AI đã được hưởng lợi từ sự sẵn có của phần cứng và kiến trúc tuyệt vời, bao gồm cả GPU có Tensor Core để xử lý AI chuyên dụng, cộng với thiết bị mạng hiệu suất cao, an toàn. Không giống như điện thoại thông minh, được thay thế sau mỗi 2-3 năm, các máy chủ edge sẽ vẫn ở trong lĩnh vực này trong 5, 10 hoặc nhiều năm hơn, khiến việc cập nhật tập trung vào phần mềm trở nên quan trọng. Cuối cùng, phần mềm điện toán biên EGX của Nvidia mang các khả năng đám mây truyền thống đến các máy chủ biên và sẽ được cập nhật để cải thiện theo thời gian. Công ty cũng đã đưa ra các edge framework đặc thù theo từng ngành, chẳng hạn như Metropolis (thành phố thông minh), Clara (chăm sóc sức khỏe), Jarvis (AI cho đàm thoại), Isaac (robot) và Aerial (5G), mỗi loại hỗ trợ các mô hình AI tương ứng trên GPU của Nvidia.
Talla giải thích, có thể kết hợp các tính năng từ nhiều framework khác nhau, như sử dụng Clara Guardian để giúp các bệnh viện không bị ảnh hưởng, với camera giám sát Jarvis trong phòng bệnh nhân và sau đó tự động xử lý các yêu cầu qua giọng nói như: “tôi muốn uống nước”. Sử dụng các công cụ thành phố thông minh của Metropolis, cùng một hệ thống có thể xử lý xử lý AI cho toàn bộ các camera giám sát của bệnh viện, tự động đếm số người trong tòa nhà hoặc trong phòng. Một số trong số các tác vụ này có thể thực hiện ngay hiện tại với AI trên nền tảng đám mây, nhưng việc di chuyển một số hoặc tất cả các tác vụ sang nền tảng có khả năng đáp ứng nhanh hơn là việc có ý nghĩa quan trọng đối với một số lĩnh vực đặc thù.
Tuy nhiên, Talla đã không hàm ý rằng AI trên nền tảng đám mây đang trên đường thoái trào hay bị lỗi thời. Trên thực tế, ông lưu ý rằng các câu trả lời được tạo ra bởi AI trên đám mây hiện đang rất tuyệt vời và cho biết sức hấp dẫn của Edge AI sẽ phụ thuộc vào khả năng giải quyết vấn đề cụ thể của doanh nghiệp tốt hơn so với giải pháp thay thế trên đám mây. Vẫn còn phải xem liệu một hệ thống Edge AI trong nhà sẽ có tổng chi phí sở hữu bằng nhau, thấp hơn hoặc cao hơn cho các doanh nghiệp so với các nền tảng đám mây, cũng như cách tiếp cận cuối cùng mang lại trải nghiệm tốt nhất cho công ty và khách hàng của họ.
Mặc dù vậy, Talla đã nói trong một cuộc phỏng vấn rằng một lượng xử lý đáng kể sẽ chuyển từ đám mây sang cạnh biên trong vòng 5 năm tới, mặc dù câu trả lời được tạo ra bởi AI cạnh cũng có thể chỉ là một thành phần của hệ thống AI hợp nhất edge và cloud AI. Ngoài ra, ông lưu ý rằng các máy chủ edge sẽ ngày càng trở nên hữu ích cho nhiều chức năng đồng thời, như vậy một máy tính edge có thể xử lý kết nối 5G, phân tích video và coversation AI cho một công ty, thay vì chỉ dành riêng cho một mục đích nào đó.
Theo VentureBeat