Mô hình ngôn ngữ lớn PaLM 2 mới của Google là gì?

Trong khi OpenAI đang dẫn đầu cho sự phát triển AI tổng quát, nhiều người đã cáo buộc Google tụt lại phía sau. Tuy nhiên, không chịu thua kém, Google đã ra mắt một mô hình ngôn ngữ lớn mới, PaLM 2, tại hội nghị Google I/O năm 2023 của mình.

Được thiết lập để có bốn kích cỡ khác nhau cho nhiều loại ứng dụng, LLM mới của Google dường như đã cung cấp năng lượng cho một số dịch vụ của Google và còn nhiều hơn thế nữa.

PaLM2 là gì?

Tại Google I/O 2023, được tổ chức vào ngày 10 tháng 5, Giám đốc điều hành Google Sunda Pichai đã tiết lộ món đồ chơi mới nhất của Google: PaLM 2.

Viết tắt của Pathways Language Model 2, LLM nâng cấp của Google là phiên bản thứ hai của PaLM, với phiên bản đầu tiên ra mắt vào tháng 4 năm 2022. Bạn không nhớ PaLM? Chà, vào thời điểm đó, đó là một tin tức lớn và nhận được rất nhiều sự quan tâm vì khả năng trò chuyện một chút, kể những câu chuyện cười cơ bản, v.v. Sáu tháng trôi qua nhanh chóng và GPT-3.5 của OpenAI đã thổi bay mọi thứ khỏi mặt nước, bao gồm cả PaLM.

Kể từ đó, OpenAI đã ra mắt GPT-4, một bản nâng cấp lớn trên GPT-3.5. Tuy nhiên, trong khi mô hình mới hơn đang được tích hợp vào nhiều công cụ, đáng chú ý nhất là Bing AI Chat của Microsoft, Google đang nhắm đến OpenAI và GPT-4 với PaLM 2 và hy vọng LLM nâng cấp của nó có thể thu hẹp khoảng cách đáng kể—Google Ra mắt Bard hầu như không phải là một thành công vang dội.

Pichai đã thông báo rằng PaLM 2 sẽ có bốn kích cỡ mô hình khác nhau: Gecko, Otter, Bison và Unicorn.

Gecko rất nhẹ nên có thể hoạt động trên thiết bị di động và đủ nhanh cho các ứng dụng tương tác tuyệt vời trên thiết bị, ngay cả khi ngoại tuyến. Tính linh hoạt này có nghĩa là PaLM 2 có thể được tinh chỉnh để hỗ trợ toàn bộ các loại sản phẩm theo nhiều cách hơn, nhằm giúp đỡ nhiều người hơn.

Với việc Gecko có thể xử lý khoảng 20 mã thông báo mỗi giây—mã thông báo là các giá trị được gán cho các từ thực để các mô hình AI tổng quát sử dụng—có vẻ như nó sẽ là một công cụ thay đổi cuộc chơi cho các công cụ AI có thể triển khai trên thiết bị di động.

Dữ liệu đào tạo PaLM 2

Google không chính xác sắp ra mắt với dữ liệu đào tạo của PaLM 2, có thể hiểu được vì nó mới được phát hành. Nhưng Báo cáo PaLM 2 của Google [PDF] đã nói rằng họ muốn PaLM 2 hiểu sâu hơn về toán học, logic và khoa học, đồng thời phần lớn kho tài liệu đào tạo của họ tập trung vào các chủ đề này.

Tuy nhiên, điều đáng chú ý là PaLM không hề sa sút. Khi Google tiết lộ PaLM, nó đã xác nhận rằng nó đã được đào tạo trên 540 tỷ tham số, vào thời điểm đó là một con số khổng lồ.

GPT-4 của OpenAI được cho là sử dụng hơn một nghìn tỷ tham số, với một số suy đoán đưa con số đó lên tới 1,7 nghìn tỷ. Có thể đặt cược an toàn rằng vì Google muốn PaLM 2 cạnh tranh trực tiếp với các LLM của OpenAI, nên ít nhất, nó sẽ có một con số tương đương, nếu không muốn nói là hơn.

Một sự thúc đẩy đáng kể khác cho PaLM 2 là dữ liệu đào tạo ngôn ngữ của nó. Google đã đào tạo PaLM 2 bằng hơn 100 ngôn ngữ để giúp PaLM 2 hiểu sâu hơn và theo ngữ cảnh hơn, đồng thời tăng khả năng dịch thuật của nó.

Nhưng nó không chỉ là ngôn ngữ nói. Liên kết với nhu cầu của Google về PaLM 2 để cung cấp lý luận khoa học và toán học tốt hơn, LLM cũng đã được đào tạo bằng hơn 20 ngôn ngữ lập trình, khiến nó trở thành một tài sản phi thường cho các lập trình viên.

PaLM 2 đã cung cấp năng lượng cho các dịch vụ của Google—Nhưng vẫn cần tinh chỉnh

Sẽ không lâu nữa cho đến khi chúng ta có thể chạm tay vào PaLM 2 và xem nó có thể làm được những gì. Nếu may mắn, việc khởi chạy bất kỳ ứng dụng và dịch vụ nào của PaLM 2 sẽ tốt hơn Bard.

Nhưng bạn có thể (về mặt kỹ thuật!) đã sử dụng PaLM 2 rồi. Google xác nhận PaLM 2 đã được triển khai và sử dụng trên 25 sản phẩm của mình, bao gồm Android, YouTube, Gmail, Google Tài liệu, Google Trang trình bày, Google Trang tính, v.v.

Nhưng báo cáo PaLM 2 cũng tiết lộ rằng vẫn còn nhiều việc phải làm, đặc biệt là đối với các phản hồi độc hại trên nhiều ngôn ngữ.

Ví dụ: khi được đưa ra các lời nhắc độc hại cụ thể, PaLM 2 tạo ra các phản hồi độc hại hơn 30% thời gian. Hơn nữa, trong các ngôn ngữ cụ thể—tiếng Anh, tiếng Đức và tiếng Bồ Đào Nha—PaLM 2 đưa ra phản hồi độc hại hơn 17% thời gian, với các gợi ý bao gồm bản sắc chủng tộc và tôn giáo đẩy con số đó lên cao hơn.

Cho dù các nhà nghiên cứu có cố gắng làm sạch dữ liệu đào tạo LLM đến mức nào đi chăng nữa, thì chắc chắn một số sẽ lọt qua. Giai đoạn tiếp theo là tiếp tục đào tạo PaLM 2 để giảm các phản ứng độc hại đó.

Đó là thời kỳ bùng nổ cho các mô hình ngôn ngữ lớn

OpenAI không phải là công ty đầu tiên ra mắt mô hình ngôn ngữ lớn, nhưng các mô hình GPT-3, GPT-3.5 và GPT-4 của nó chắc chắn đã thắp sáng bảng cảm ứng màu xanh trên AI tổng quát.

PaLM 2 của Google có một số vấn đề cần giải quyết, nhưng việc nó đã được sử dụng trong một số dịch vụ của Google cho thấy công ty tin tưởng vào LLM mới nhất của mình.