Các sản phẩm của Raspberry Pi từ lâu đã trở thành trái tim của vô số ứng dụng điện toán tùy chỉnh, trải dài từ các hệ thống tự động hóa công nghiệp phức tạp cho đến mạng lưới Internet vạn vật (IoT) và mọi thứ nằm giữa chúng. Giờ đây, nhờ vào một bo mạch bổ trợ vừa được giới thiệu, những chiếc máy tính đơn bo mạch nhỏ bé này đã có thể xử lý và quản lý các khối lượng công việc liên quan đến trí tuệ nhân tạo tạo sinh (Generative AI) phức tạp. Sự xuất hiện của Raspberry Pi AI HAT+ 2 hứa hẹn sẽ xóa bỏ rào cản về phần cứng, mở ra cơ hội tiếp cận công nghệ AI tiên tiến cho cộng đồng nhà phát triển và người yêu công nghệ với chi phí hợp lý.
Hiệu năng xử lý 40 TOPS trên Raspberry Pi AI HAT+ 2
Tổ chức Raspberry Pi đã chính thức bắt đầu mở bán Raspberry Pi AI HAT+ 2, một bo mạch bổ trợ đại diện cho sự nâng cấp đáng kể so với mẫu AI HAT+ từng được ra mắt vào năm 2024. Nếu như bo mạch thế hệ cũ chỉ có khả năng tăng tốc cho một số loại mô hình mạng thần kinh nhất định, thì phiên bản AI HAT+ 2 mới này sở hữu sức mạnh đủ lớn để quản lý và vận hành một tập hợp phổ biến các mô hình AI tạo sinh. Đây là bước tiến quan trọng giúp các thiết bị nhỏ gọn bắt kịp xu hướng công nghệ toàn cầu.
Khi được ghép nối với bo mạch chủ Raspberry Pi 5, Raspberry Pi AI HAT+ 2 có thể giúp thu hẹp khoảng cách về hiệu suất GenAI mà nền tảng máy tính đơn bo mạch này đã phải đối mặt bấy lâu nay. Các tương tác với chatbot và khối lượng công việc của mô hình ngôn ngữ lớn (LLM) cục bộ giờ đây trở nên dễ dàng thực hiện hơn bao giờ hết. Tuy nhiên, Raspberry Pi Foundation cũng lưu ý một cách thực tế rằng khả năng này chưa thể so sánh cùng quy mô với ChatGPT về kích thước tham số cũng như độ phức tạp của mô hình.
Sức mạnh cốt lõi của Raspberry Pi AI HAT+ 2 nằm ở bộ tăng tốc mạng thần kinh Hailo-10H được tích hợp sẵn. Đây là một con chip có khả năng cung cấp hiệu suất suy luận lên tới 40 TOPS (nghìn tỷ phép tính mỗi giây). Để dễ hình dung, phiên bản AI HAT đầu tiên chỉ đi kèm với bộ tăng tốc Hailo-8 (đạt 26 TOPS) hoặc Hailo-8L (đạt 13 TOPS) và chủ yếu được thiết kế để tăng cường hiệu suất cho các mô hình mạng thần kinh dựa trên thị giác máy tính. Sự nhảy vọt lên con số 40 TOPS cho thấy tham vọng lớn của Raspberry Pi trong lĩnh vực xử lý ngôn ngữ tự nhiên.
Raspberry Pi cho biết rằng một bo mạch Pi 5 khi được trang bị mô-đun AI HAT+ 2 có thể cung cấp cho các nhà phát triển một thiết bị có độ trễ thấp và tiết kiệm chi phí để thực hiện các tác vụ GenAI ngay tại chỗ (locally). Sản phẩm này đặc biệt phù hợp để quản lý khối lượng công việc suy luận nhỏ hơn, phần lớn nhờ vào việc được trang bị 8GB RAM chuyên dụng trên bo mạch cùng với kiến trúc phần cứng đã được cải tiến. Đối với các mô hình dựa trên thị giác, hiệu suất sẽ tương tự như AI HAT+ ban đầu, nhưng có thêm lợi ích từ ngăn xếp phần mềm camera tích hợp của Raspberry Pi. Tổ chức này cũng khuyến khích các nhà phát triển đang sử dụng bo mạch cũ nên nâng cấp, đồng thời lưu ý rằng các công cụ phần mềm hiện có rất dễ dàng để thích ứng với mô hình mới.
Hỗ trợ mô hình ngôn ngữ lớn và giá bán của thiết bị
Song song với việc ra mắt phần cứng Raspberry Pi AI HAT+ 2, nền tảng này cũng đang cung cấp một số mô hình ngôn ngữ lớn (LLM) có thể cài đặt và chạy ngay trên thiết bị. Độ phức tạp của các mô hình này dao động từ 1 tỷ tham số (như Llama 3.2) đến 1,5 tỷ tham số. Hệ thống hỗ trợ các tác vụ AI tạo sinh phổ biến hiện nay như truy vấn chatbot (sử dụng Qwen2), tạo mã lập trình (sử dụng Qwen2.5-Coder), dịch thuật ngôn ngữ và nhiều ứng dụng thú vị khác.
Tuy nhiên, người dùng cần có cái nhìn khách quan về khả năng của thiết bị. Raspberry Pi cảnh báo rằng các LLM dựa trên đám mây khổng lồ như ChatGPT hay Gemini đã được huấn luyện trên lượng dữ liệu từ 500 tỷ đến 2 nghìn tỷ tham số, cho phép chúng thực hiện các tương tác phức tạp hơn rất nhiều. Mặc dù vậy, bằng cách tinh chỉnh (fine-tuning) hoặc huấn luyện lại các mô hình nhỏ hơn với bộ dữ liệu tùy chỉnh, các nhà phát triển hoàn toàn có thể vượt qua những hạn chế này để cung cấp sức mạnh cho các ứng dụng GenAI cụ thể phục vụ nhu cầu riêng biệt.
Về mặt thương mại, bo mạch bổ trợ Raspberry Pi AI HAT+ 2 hiện đã có sẵn trên thị trường với mức giá 130 USD. Tổ chức có trụ sở tại Vương quốc Anh này cũng cung cấp kèm theo một hướng dẫn toàn diện về AI HAT, với các chỉ dẫn từng bước chi tiết về cách cài đặt và sử dụng sản phẩm, giúp người dùng dễ dàng tiếp cận và triển khai các dự án AI của mình ngay lập tức.