AI Transfer Learning là gì và nó hoạt động như thế nào?

Nếu quan tâm đến việc đào tạo mô hình AI của riêng mình để xử lý ngôn ngữ tự nhiên (NLP) hoặc thị giác máy tính, bạn nên tự làm quen với học chuyển giao và cách sử dụng các mô hình được đào tạo trước.

Nếu không có học chuyển đổi, việc đào tạo một mô hình hiệu quả và đáng tin cậy thường sẽ là một nỗ lực hạn chế tài nguyên, đòi hỏi nhiều tiền, thời gian và chuyên môn, với OpenAI, nhà phát triển ChatGPT, ước tính đã chi hàng triệu USD để đào tạo GPT-3, GPT-3.5 và GPT- 4. Với sức mạnh của học chuyển giao, bạn có thể đào tạo mô hình của riêng mình mạnh mẽ như mô hình GPT mới nhất với ít tài nguyên trong thời gian ngắn.

Học chuyển đổi AI là gì?

Học chuyển giao là ý tưởng sử dụng một mô hình được đào tạo trước như BERT hoặc một trong các mô hình GPT khác nhau và đào tạo mô hình đó trên tập dữ liệu tùy chỉnh để thực hiện các nhiệm vụ mà nó không nhất thiết phải được đào tạo để giải quyết.

Ví dụ: bạn có thể lấy một mô hình được đào tạo trước để phân loại các loài mèo khác nhau và huấn luyện mô hình đó để phân loại chó. Thông qua học chuyển đổi, việc đào tạo mô hình phân loại chó của bạn sẽ tốn ít thời gian và nguồn lực hơn đáng kể để trở nên đáng tin cậy như mô hình phân loại mèo ban đầu.

Điều này hiệu quả vì chó và mèo có chung nhiều đặc điểm mà mô hình được đào tạo trước có thể xác định được. Vì mô hình phân loại mèo có thể xác định các đặc điểm khác nhau của mèo, chẳng hạn như có bốn chân, bộ lông và mõm nổi bật, nên mô hình phân loại chó có thể bỏ qua tất cả quá trình huấn luyện để xác định các đặc điểm đó và kế thừa chúng từ mô hình ban đầu. Sau khi kế thừa tất cả các mạng nơ-ron đó, bạn sẽ cắt bỏ các lớp cuối cùng của mô hình được đào tạo được sử dụng để xác định các đặc điểm cụ thể hơn của mèo và thay thế chúng bằng một tập dữ liệu dành riêng cho chó.

Bạn có thể sử dụng những mô hình AI nào để học chuyển giao?

Để sử dụng học chuyển giao, bạn sẽ cần một mô hình được đào tạo trước. Mô hình được đào tạo trước thường được gọi là mô hình AI được đào tạo với mục đích thu thập kiến ​​thức chung về một chủ đề hoặc ý tưởng cụ thể. Các loại mô hình được đào tạo trước này được tạo ra có chủ đích để mọi người tinh chỉnh và tạo ra các mô hình dành riêng cho ứng dụng hơn. Một số mô hình được đào tạo trước phổ biến nhất dành cho NLP, như BERT và GPT và thị giác máy tính, chẳng hạn như VGG19 và Inceptionv3.

Mặc dù phổ biến nhưng những mô hình dễ điều chỉnh này không phải là những mô hình duy nhất bạn có thể sử dụng để học chuyển đổi. Bạn cũng có thể sử dụng các mô hình được đào tạo về các nhiệm vụ cụ thể hơn là nhận dạng đối tượng hoặc ngôn ngữ chung. Miễn là mô hình đã phát triển các mạng thần kinh có thể áp dụng cho mô hình mà bạn đang cố gắng đào tạo, thì bạn có thể sử dụng bất kỳ mô hình nào để học chuyển giao.

Bạn có thể nhận các mô hình được đào tạo trước có sẵn công khai từ những nơi như TensorFlow Hub, Hugging Face và thị trường mô hình OpenAI.

Lợi ích của việc sử dụng AI Transfer Learning

Học chuyển đổi mang lại một số lợi ích so với việc đào tạo mô hình AI từ đầu.

• Giảm thời gian đào tạo: Khi đào tạo một mô hình từ đầu, phần lớn quá trình đào tạo được dành cho kiến ​​thức cơ bản chung. Thông qua học chuyển đổi, mô hình của bạn sẽ tự động kế thừa tất cả kiến ​​thức nền tảng này, do đó giảm đáng kể thời gian đào tạo.
• Yêu cầu tài nguyên ít hơn: Vì tất cả các kiến ​​thức cơ bản đã có sẵn, tất cả những gì bạn cần làm là đào tạo thêm mô hình cho các chi tiết cụ thể của ứng dụng của bạn. Điều này thường chỉ yêu cầu một tập dữ liệu tương đối nhỏ có thể được xử lý với sức mạnh tính toán ít hơn.
• Hiệu suất được cải thiện: Trừ khi bạn chi hàng triệu đô la để xây dựng mô hình của mình từ đầu, bạn không thể mong đợi một mô hình tốt hoặc đáng tin cậy như mô hình ngôn ngữ lớn (LLM) từ một công ty công nghệ khổng lồ. Bằng cách sử dụng học chuyển giao, bạn có thể tận dụng các khả năng mạnh mẽ của các LLM được đào tạo trước này, chẳng hạn như GPT, để nâng cao hiệu suất cho mô hình của bạn.

Có thể đào tạo một mô hình AI từ đầu, nhưng bạn cần nhiều nguồn lực hơn để làm như vậy.

Học chuyển tiếp hoạt động như thế nào?

Về bản chất, có ba giai đoạn khi chuyển giao học tập.

• Chọn một mô hình được đào tạo trước: Một mô hình được đào tạo trước trải qua quá trình đào tạo ban đầu bằng cách sử dụng tập dữ liệu khá lớn từ một tác vụ nguồn, chẳng hạn như ImageNet hoặc một bộ sưu tập lớn văn bản. Giai đoạn đào tạo ban đầu này cho phép mô hình thu thập kiến ​​thức về các tính năng và mẫu chung được tìm thấy trong tập dữ liệu. Lượng thời gian và tài nguyên bạn tiết kiệm được từ việc học chuyển đổi sẽ phụ thuộc vào sự tương đồng giữa mô hình được đào tạo trước và mô hình bạn đang cố gắng xây dựng.
• Khai thác tính năng: Khi một mô hình được đào tạo trước đã được chọn để tinh chỉnh, các lớp ban đầu của mô hình được đào tạo trước (gần đầu vào nhất) sẽ bị đóng băng; điều này có nghĩa là trọng lượng của chúng được giữ cố định trong quá trình tinh chỉnh. Đóng băng các lớp này giữ lại kiến ​​thức chung đã học được trong giai đoạn đào tạo trước và ngăn không cho chúng bị ảnh hưởng nặng nề bởi tập dữ liệu dành riêng cho nhiệm vụ của mô hình đích. Đối với các mô hình được đào tạo đầy đủ cho các ứng dụng cụ thể, các lớp cuối cùng của mô hình sẽ bị xóa hoặc không được học để mô hình đích được đào tạo trong các ứng dụng cụ thể khác.
• Tinh chỉnh: Sau khi mô hình được đào tạo trước bị đóng băng và các lớp trên cùng bị loại bỏ, một tập dữ liệu mới được cung cấp cho thuật toán học tập, sau đó được sử dụng để đào tạo mô hình mới và các chi tiết cụ thể của ứng dụng.

Có nhiều thứ hơn là ba giai đoạn, nhưng phác thảo này trình bày chi tiết về cách thức hoạt động của quá trình học tập chuyển đổi AI, với một số tinh chỉnh.

Hạn chế đối với việc học chuyển giao AI

Mặc dù học chuyển đổi là một khái niệm có giá trị trong việc đào tạo các mô hình hiệu quả và đáng tin cậy, nhưng có khá nhiều hạn chế mà bạn cần biết khi sử dụng học chuyển đổi để đào tạo một mô hình.

• Nhiệm vụ không phù hợp: Khi chọn một mô hình cơ sở để học chuyển giao, nó cần phải phù hợp nhất có thể với các vấn đề mà mô hình mới sẽ giải quyết. Sử dụng mô hình phân loại mèo để tạo mô hình phân loại chó có nhiều khả năng mang lại kết quả tốt hơn so với sử dụng mô hình phân loại ô tô để tạo mô hình cho thực vật. Mô hình cơ sở càng phù hợp với mô hình bạn đang cố gắng xây dựng thì bạn càng tiết kiệm được nhiều thời gian và tài nguyên trong suốt quá trình học chuyển đổi.
• Xu hướng tập dữ liệu: Mặc dù các mô hình được đào tạo trước thường được đào tạo trong các tập dữ liệu lớn, nhưng vẫn có khả năng chúng đã phát triển thành kiến ​​cụ thể trong quá trình đào tạo. Việc sử dụng mô hình cơ sở có độ lệch cao cũng sẽ khiến mô hình kế thừa các độ lệch của nó, do đó làm giảm độ chính xác và độ tin cậy của mô hình của bạn. Thật không may, nguồn gốc của những thành kiến ​​này rất khó xác định do bản chất hộp đen của học sâu.
• Trang bị quá mức: Một trong những lợi ích chính của học chuyển đổi là bạn có thể sử dụng một tập dữ liệu tương đối nhỏ để đào tạo thêm một mô hình. Tuy nhiên, việc huấn luyện mô hình trên tập dữ liệu quá nhỏ có thể gây ra hiện tượng khớp quá mức, làm giảm đáng kể độ tin cậy của mô hình khi được cung cấp dữ liệu mới.

Vì vậy, mặc dù học chuyển giao là một kỹ thuật học AI tiện dụng, vẫn tồn tại những hạn chế và nó không phải là viên đạn bạc.

Bạn có nên sử dụng học chuyển giao?

Kể từ khi có sẵn các mô hình được đào tạo trước, học chuyển giao luôn được sử dụng để tạo ra các mô hình chuyên biệt hơn. Thực sự không có lý do gì để không sử dụng học chuyển đổi nếu đã có một mô hình được đào tạo trước liên quan đến các vấn đề mà mô hình của bạn sẽ giải quyết.

Mặc dù có thể đào tạo một mô hình máy học đơn giản từ đầu, nhưng để làm như vậy trên một mô hình học sâu sẽ cần rất nhiều dữ liệu, thời gian và kỹ năng, điều này sẽ không có ý nghĩa gì nếu bạn có thể sử dụng lại một mô hình hiện có tương tự như mô hình của bạn. kế hoạch đào tạo. Vì vậy, nếu bạn muốn dành ít thời gian và tiền bạc hơn cho việc đào tạo một người mẫu, hãy thử đào tạo người mẫu của bạn thông qua học chuyển đổi.