Lộ ảnh Galaxy A06 sắp ra mắt
Apple thông báo rằng Apple Foundation Model (AFM) dựa trên cụm đám mây sử dụng các chip TPU v4 và v5p do Google cung cấp. Bài nghiên cứu của Apple, công bố sáng nay, giải thích về cơ sở hạ tầng đào tạo và các chi tiết liên quan đến các mô hình AI được ứng dụng trong các tính năng công bố tại WWDC hồi tháng 6. AFM bao gồm nhiều tính năng AI khác nhau, với một số tính năng được xử lý trên đám mây và một số khác hoạt động trực tiếp trên thiết bị.
Mô hình AI của Apple
Để đào tạo mô hình AI này trên máy chủ, Apple đã sử dụng một cụm đám mây bao gồm 8.192 chip TPU v4 của Google. Các chip TPU v4 được đóng gói thành các hộp chứa, mỗi hộp bao gồm 4.096 chip. Mô hình AFM được đào tạo từ đầu với tổng cộng 6,3 nghìn tỷ token, cho phép các tính năng AI của Apple đạt được độ chính xác và hiệu suất cao.
Apple đã công bố rằng các mô hình Apple Foundation Model (AFM),bao gồm cả phiên bản trên thiết bị và đám mây, đều được đào tạo trên chip TPU v4 và cụm TPU đám mây v5p. Chip TPU v5p là một phần của hệ thống 'Siêu máy tính' AI đám mây của Google, được công bố vào tháng 12 năm ngoái.
Mỗi cụm TPU v5p bao gồm 8.960 chip, cung cấp gấp đôi số phép toán dấu phẩy động mỗi giây (FLOPS) và gấp ba lần bộ nhớ so với các chip TPU v4. Điều này giúp tăng tốc độ đào tạo các mô hình AI gần ba lần so với trước đây.
Đối với các tính năng AI trên thiết bị như viết và chọn hình ảnh, Apple đã sử dụng một mô hình với 6,4 tỷ tham số. Mô hình này được đào tạo từ đầu theo cùng một công thức như trên máy chủ AFM và được hỗ trợ bởi 2.048 chip TPU v5p.
Tính năng của các mô hình AI
Trong bài báo mới công bố, Apple đã tiết lộ thêm thông tin về quy trình đánh giá và tính năng của các mô hình AI, bao gồm cả máy chủ AFM và các mô hình trên thiết bị. Các tiêu chí đánh giá bao gồm khả năng ngăn chặn đầu ra có hại, xử lý các chủ đề nhạy cảm, tính chính xác của sự kiện, hiệu suất toán học và sự hài lòng của người dùng với kết quả mà mô hình cung cấp. Theo Apple, cả máy chủ AFM và các mô hình AI trên thiết bị đều vượt trội so với các đối thủ trong ngành về việc ngăn chặn các phản hồi có hại.
Ví dụ, máy chủ AFM của Apple có tỷ lệ vi phạm đầu ra có hại là 6,3%, thấp hơn nhiều so với tỷ lệ 28,8% của GPT-4 từ OpenAI theo dữ liệu của Apple. Tương tự, mô hình AI trên thiết bị của Apple có tỷ lệ vi phạm 7,5%, thấp hơn so với điểm số 21,8% của Llama-3-8B, một mô hình được Meta (công ty mẹ của Facebook) đào tạo.
Về mức độ hài lòng, các mô hình AI trên thiết bị của Apple cũng đạt điểm cao trong việc tóm tắt email, tin nhắn và thông báo, với tỷ lệ hài lòng lần lượt là 71,3%, 63% và 74,9%. Những con số này cho thấy AFM của Apple đang dẫn đầu so với các mô hình như Llama, Gemma và Phi-3.
Một điểm đáng chú ý là việc Apple chọn sử dụng chip TPU của Google thay vì GPU của NVIDIA, mặc dù GPU thường được coi là giải pháp hiệu quả nhất cho đào tạo AI. Có thể chi phí và mối quan hệ hợp tác giữa Apple và Google là những yếu tố quan trọng ảnh hưởng đến quyết định này.
