Công cụ thần kinh của Apple là gì và nó hoạt động như thế nào?

iPhone, iPad, Mac và Apple TV của bạn sử dụng bộ xử lý thần kinh chuyên dụng có tên là Apple Neural Engine (ANE) nhanh hơn và tiết kiệm năng lượng hơn nhiều so với CPU hoặc GPU.

ANE có thể tạo ra các tính năng nâng cao trên thiết bị như xử lý ngôn ngữ tự nhiên và phân tích hình ảnh mà không cần khai thác vào đám mây hoặc sử dụng năng lượng quá mức.

Hãy cùng khám phá cách ANE hoạt động và quá trình phát triển của nó, bao gồm khả năng suy luận và trí thông minh mà nó cung cấp trên các nền tảng của Apple cũng như cách các nhà phát triển có thể sử dụng nó trong các ứng dụng của bên thứ ba.

Công cụ thần kinh của Apple (ANE) là gì?

Apple Neural Engine là tên tiếp thị cho một cụm lõi điện toán chuyên dụng cao được tối ưu hóa để thực thi hiệu quả năng lượng của các mạng thần kinh sâu trên các thiết bị của Apple. Nó tăng tốc các thuật toán máy học (ML) và trí tuệ nhân tạo (AI), mang lại lợi thế về tốc độ, bộ nhớ và sức mạnh to lớn so với CPU hoặc GPU chính.

ANE là một phần quan trọng giải thích tại sao iPhone, iPad, Mac và Apple TV mới nhất phản hồi nhanh và không bị nóng trong quá trình tính toán ML và AI nặng. Thật không may, không phải tất cả các thiết bị của Apple đều có ANE—Apple Watch, máy Mac dựa trên Intel và các thiết bị cũ hơn năm 2016 đều thiếu ANE.

ANE đầu tiên ra mắt trong chip A11 của Apple trên iPhone X năm 2017 đủ mạnh để hỗ trợ Face ID và Animoji. Để so sánh, ANE mới nhất trong chip A15 Bionic nhanh hơn 26 lần so với phiên bản đầu tiên. Ngày nay, ANE kích hoạt các tính năng như Siri ngoại tuyến và các nhà phát triển có thể sử dụng nó để chạy các mô hình ML được đào tạo trước đó, giải phóng CPU và GPU để tập trung vào các tác vụ phù hợp hơn với họ.

Công cụ thần kinh của Apple hoạt động như thế nào?

ANE cung cấp logic điều khiển và số học được tối ưu hóa để thực hiện các hoạt động điện toán mở rộng như phép nhân và tích lũy, thường được sử dụng trong các thuật toán ML và AI như phân loại hình ảnh, phân tích phương tiện, dịch máy, v.v.

Theo bằng sáng chế của Apple có tiêu đề “Công cụ phẳng đa chế độ cho bộ xử lý thần kinh”, ANE bao gồm một số lõi động cơ thần kinh và một hoặc nhiều mạch phẳng đa chế độ.

Thiết kế được tối ưu hóa cho tính toán song song, trong đó nhiều hoạt động, chẳng hạn như phép nhân ma trận chạy trong hàng nghìn tỷ lần lặp, phải được thực hiện đồng thời.

Để tăng tốc độ suy luận trong các thuật toán AI, ANE sử dụng các mô hình dự đoán. Ngoài ra, ANE có bộ nhớ cache riêng và chỉ hỗ trợ một số loại dữ liệu, giúp tối đa hóa hiệu suất.

Các tính năng AI do ANE cung cấp

Dưới đây là một số tính năng trên thiết bị mà bạn có thể quen thuộc với ANE.

• Xử lý ngôn ngữ tự nhiên: Nhận dạng giọng nói nhanh hơn, đáng tin cậy hơn cho Đọc chính tả và Siri; Cải thiện việc học ngôn ngữ tự nhiên trong ứng dụng Dịch và trên toàn hệ thống; Dịch văn bản tức thì trong Ảnh, Máy ảnh và các ứng dụng iPhone khác.
• Tầm nhìn máy tính: Tìm các đối tượng trong hình ảnh như địa danh, vật nuôi, thực vật, sách và hoa bằng ứng dụng Ảnh hoặc tìm kiếm Spotlight; Nhận thông tin bổ sung về các đối tượng được nhận dạng bằng cách sử dụng Tra cứu trực quan ở những nơi như Safari, Mail và Tin nhắn.
• thực tế tăng cường: Theo dõi chuyển động và theo dõi người trong các ứng dụng AR.
• phân tích video: Phát hiện khuôn mặt và đối tượng trên video trong các ứng dụng như Final Cut Pro.
• hiệu ứng máy ảnh: Tự động cắt xén với Center Stage; Làm mờ nền trong cuộc gọi video FaceTime.
• Trò chơi: Hiệu ứng ảnh chân thực trong trò chơi điện tử 3D.
• Văn bản trực tiếp: Cung cấp tính năng nhận dạng ký tự quang học (OCR) trong Máy ảnh và Ảnh, cho phép bạn dễ dàng sao chép chữ viết tay hoặc văn bản như mật khẩu Wi-Fi hoặc địa chỉ từ hình ảnh.
• chụp ảnh điện toán: Deep Fusion phân tích các điểm ảnh để giảm nhiễu tốt hơn, dải động lớn hơn, đồng thời cải thiện độ phơi sáng tự động và cân bằng trắng, tận dụng Smart HDR khi thích hợp; Chụp ảnh độ sâu trường ảnh nông, bao gồm chụp chân dung Chế độ ban đêm; Điều chỉnh mức độ mờ hậu cảnh bằng Kiểm soát độ sâu.
• mẩu tin nhỏ: ANE cũng được sử dụng cho các Kiểu chụp ảnh trong ứng dụng Máy ảnh, hiệu ứng phong cách và sắp xếp Kỷ niệm trong Ảnh, các đề xuất được cá nhân hóa như đề xuất hình nền, chú thích hình ảnh VoiceOver, tìm các hình ảnh trùng lặp trong Ảnh, v.v.

Một số tính năng được đề cập ở trên, chẳng hạn như nhận dạng hình ảnh, cũng hoạt động mà không có ANE nhưng sẽ chạy chậm hơn nhiều và làm hao pin thiết bị của bạn.

Sơ lược về lịch sử của Apple Neural Engine: Từ iPhone X đến máy Mac M2

Vào năm 2017, Apple đã triển khai ANE đầu tiên của mình dưới dạng hai lõi chuyên dụng trong chip A11 của iPhone X. Theo tiêu chuẩn ngày nay, nó tương đối chậm, chỉ với 600 tỷ phép tính mỗi giây.

ANE thế hệ thứ hai xuất hiện bên trong chip A12 vào năm 2018, có số nhân gấp bốn lần. Được đánh giá với tốc độ năm nghìn tỷ phép tính mỗi giây, ANE này nhanh hơn gần chín lần và sử dụng một phần mười sức mạnh của người tiền nhiệm.

Chip A13 của 2019 có cùng ANE tám lõi nhưng chạy nhanh hơn 1/5 trong khi sử dụng ít năng lượng hơn 15%, một sản phẩm của nút bán dẫn 7nm cải tiến của TSMC. TSMC (Công ty sản xuất chất bán dẫn Đài Loan) chế tạo chip do Apple thiết kế.

Sự phát triển của Công cụ thần kinh của Apple

Năm sau, Apple A14 tăng gần gấp đôi hiệu suất ANE lên 11 nghìn tỷ phép tính mỗi giây, đạt được bằng cách tăng số lượng lõi ANE từ 8 lên 16. Vào năm 2021, A15 Bionic được hưởng lợi từ quy trình 5nm thế hệ thứ hai của TSMC, điều này đã thúc đẩy ANE hơn nữa hiệu suất lên 15,8 nghìn tỷ hoạt động mỗi giây mà không cần thêm nhiều lõi hơn.

Các chip M1, M1 Pro và M1 Max đầu tiên dành cho Mac có cùng ANE như A14, lần đầu tiên đưa ML và AI được tăng tốc phần cứng, tiên tiến lên nền tảng macOS.

Vào năm 2022, M1 Ultra đã kết hợp hai chip M1 Max trong một gói duy nhất bằng cách sử dụng kết nối tùy chỉnh của Apple có tên là UltraFusion. Với gấp đôi số lõi ANE (32), M1 Ultra đã tăng gấp đôi hiệu suất ANE lên 22 nghìn tỷ thao tác mỗi giây.

Apple A16 năm 2022 được chế tạo bằng cách sử dụng nút N4 nâng cao của TSMC, mang lại hiệu suất ANE nhanh hơn khoảng 8% (17 nghìn tỷ thao tác mỗi giây) so với ANE của A15.

Những chiếc iPad hỗ trợ ANE đầu tiên là iPad mini thế hệ thứ năm (2019), iPad Air thế hệ thứ ba (2019) và iPad thế hệ thứ tám (2020). Tất cả các iPad được phát hành kể từ đó đều có ANE.

Nhà phát triển có thể sử dụng ANE trong ứng dụng như thế nào?

Nhiều ứng dụng của bên thứ ba sử dụng ANE cho các tính năng không khả thi. Ví dụ: trình chỉnh sửa hình ảnh Pixelmator Pro cung cấp các công cụ như ML Super Resolution và ML Enhance. Và trong djay Pro, ANE tách các nhịp, nhạc cụ và giọng hát khỏi bản ghi âm.

Tuy nhiên, các nhà phát triển bên thứ ba không có quyền truy cập cấp thấp vào ANE. Thay vào đó, tất cả các cuộc gọi ANE phải đi qua khung phần mềm của Apple dành cho máy học, Core ML. Với Core ML, các nhà phát triển có thể xây dựng, đào tạo và chạy các mô hình ML của họ trực tiếp trên thiết bị. Một mô hình như vậy sau đó được sử dụng để đưa ra dự đoán dựa trên dữ liệu đầu vào mới.

“Sau khi một mô hình có trên thiết bị của người dùng, bạn có thể sử dụng Core ML để đào tạo lại hoặc tinh chỉnh mô hình đó trên thiết bị, với dữ liệu của người dùng đó”, theo tổng quan về Core ML trên trang web của Apple.

Để tăng tốc các thuật toán ML và AI, Core ML không chỉ tận dụng ANE mà còn cả CPU và GPU. Điều này cho phép Core ML chạy một mô hình ngay cả khi không có ANE. Nhưng với sự hiện diện của ANE, Core ML sẽ chạy nhanh hơn nhiều và pin sẽ không bị cạn kiệt nhanh chóng.

Nhiều tính năng của Apple sẽ không hoạt động nếu không có ANE

Nhiều tính năng trên thiết bị sẽ không thể thực hiện được nếu không có khả năng xử lý nhanh các thuật toán AI và ML cũng như giảm thiểu dung lượng bộ nhớ và mức tiêu thụ điện năng mà ANE mang đến. Điều kỳ diệu của Apple là có một bộ đồng xử lý chuyên dụng để chạy các mạng thần kinh một cách riêng tư trên thiết bị thay vì chuyển tải các tác vụ đó cho các máy chủ trên đám mây.

Với ANE, cả Apple và các nhà phát triển đều có thể triển khai các mạng thần kinh sâu và gặt hái những lợi ích của việc học máy tăng tốc cho các mô hình dự đoán khác nhau như dịch máy, phát hiện đối tượng, phân loại hình ảnh, v.v.