ChatGPT có trở nên ngu ngốc không? OpenAI nói không
Nếu bạn đã đọc subreddit ChatGPT của Twitter hoặc Reddit, bạn sẽ thấy một câu hỏi được đặt ra nhiều hơn bất kỳ câu hỏi nào khác: ChatGPT có trở nên ngớ ngẩn không?
Có phải hiệu suất của chatbot AI tổng hợp hàng đầu thế giới đang giảm dần theo thời gian hay hàng triệu người dùng của ChatGPT đang gặp vấn đề về chất lượng?
Mục Lục
ChatGPT có trở nên tồi tệ hơn không?
Đó là điều mà nhiều người dùng ChatGPT đã thắc mắc: ChatGPT có trở nên ngu ngốc hơn không? OpenAI phát hành các bản cập nhật thường xuyên cho ChatGPT được thiết kế để điều chỉnh phản hồi, độ an toàn và hơn thế nữa, sử dụng phản hồi, lời nhắc và dữ liệu người dùng để thông báo hướng của nó.
Nhưng khi ChatGPT được coi là một giải pháp tuyệt vời cho hầu hết mọi vấn đề khi ra mắt, thì ngày càng có nhiều người dùng báo cáo sự cố với phản hồi và đầu ra của nó. Đặc biệt đáng chú ý là các kỹ năng lập luận, mã hóa và toán học của ChatGPT, mặc dù những người khác lưu ý rằng nó cũng phải vật lộn với các nhiệm vụ sáng tạo.
Cách dễ nhất để hầu hết người dùng ChatGPT kiểm tra xem các phản hồi của nó đã thay đổi như thế nào theo thời gian là lặp lại lời nhắc đã sử dụng trước đó (tốt nhất là từ những ngày đầu của ChatGPT) và phân tích hai kết quả đầu ra.
Các phản hồi yêu cầu kết quả đầu ra cụ thể, chẳng hạn như những phản hồi liên quan đến viết mã và toán học, có thể dễ dàng so sánh trực tiếp nhất.
Nghiên cứu của Stanford đề xuất ChatGPT Drop Off
Một nhóm nghiên cứu kết hợp của Đại học Stanford và UC Berkley tin rằng những cảm giác mà ChatGPT đang thay đổi có thể đúng. Bài báo của Lingjiao Chen, Matei Zaharia và James Zou Hành vi của ChatGPT thay đổi như thế nào theo thời gian? [PDF] là một trong những nghiên cứu chuyên sâu đầu tiên về khả năng thay đổi của ChatGPT.
Bản tóm tắt báo cáo giải thích:
Chúng tôi nhận thấy rằng hiệu suất và hành vi của cả GPT-3.5 và GPT-4 có thể khác nhau rất nhiều theo thời gian. Ví dụ: GPT-4 (tháng 3 năm 2023) rất giỏi trong việc xác định số nguyên tố (độ chính xác 97,6%) nhưng GPT-4 (tháng 6 năm 2023) lại rất kém trong các câu hỏi tương tự này (độ chính xác 2,4%). Điều thú vị là GPT-3.5 (tháng 6 năm 2023) tốt hơn nhiều so với GPT-3.5 (tháng 3 năm 2023) trong nhiệm vụ này. GPT-4 ít sẵn sàng trả lời các câu hỏi nhạy cảm hơn vào tháng 6 so với tháng 3 và cả GPT-4 và GPT-3.5 đều có nhiều lỗi định dạng hơn trong quá trình tạo mã vào tháng 6 so với tháng 3.
Khi được trình bày với các bài toán mà ChatGPT trước đây có thể giải sớm hơn vào năm 2023, các câu trả lời vào cuối năm đó cực kỳ không chính xác. Hơn nữa, ChatGPT đã giải thích chi tiết lý do tại sao câu trả lời đúng mặc dù sai. Các trường hợp ảo giác AI không có gì mới, nhưng các số liệu trong biểu đồ bên dưới cho thấy một sự thay đổi đáng kể trong lý luận tổng thể.
Các biểu đồ cho thấy phản hồi của ChatGPT đang trôi dạt, báo cáo nhấn mạnh thêm.
Độ chính xác của GPT-4 đã giảm từ 97,6% vào tháng 3 xuống 2,4% vào tháng 6 và độ chính xác của GPT-3.5 đã được cải thiện đáng kể, từ 7,4% lên 86,8%. Ngoài ra, phản hồi của GPT-4 trở nên nhỏ gọn hơn nhiều: độ chi tiết trung bình của nó (số lượng ký tự được tạo) giảm từ 821,2 vào tháng 3 xuống còn 3,8 vào tháng 6. Mặt khác, thời lượng phản hồi của GPT-3.5 đã tăng khoảng 40%. Sự chồng chéo câu trả lời giữa các phiên bản tháng 3 và tháng 6 của họ cũng nhỏ đối với cả hai dịch vụ.
Báo cáo giải thích rằng chuỗi suy nghĩ về mô hình ngôn ngữ lớn của ChatGPT “không hoạt động” khi được trình bày với các câu hỏi vào tháng 6. Sự trôi dạt trong cuộc trò chuyện luôn là một vấn đề đáng chú ý với LLM, nhưng sự khác biệt lớn trong các câu trả lời cho thấy các vấn đề về hiệu suất và các thay đổi đối với ChatGPT.
ChatGPT có trở nên tồi tệ hơn không? OpenAI nói không
Có phải chỉ là một sự trùng hợp ngẫu nhiên khi cả người dùng ChatGPT thông thường và nhiều người dùng đều nhận thấy chất lượng thay đổi của ChatGPT?
Bài báo nghiên cứu sẽ gợi ý là không, nhưng Phó chủ tịch phụ trách Sản phẩm của OpenAI, Peter Welinder, lại gợi ý khác.
Hơn nữa, Welinder sau đó đã chỉ ra các bản phát hành của OpenAI cho ChatGPT và luồng cập nhật liên tục mà công ty đã cung cấp trong suốt năm 2023.
Tuy nhiên, điều đó không ngăn được nhiều phản hồi đối với tweet của anh ấy nêu chi tiết cách người dùng tìm thấy mong muốn phản hồi của ChatGPT, với nhiều người dành thời gian để chú thích lời nhắc và phản hồi.
OpenAI có thể khôi phục ChatGPT về trạng thái ban đầu không?
Những ngày đầu của ChatGPT bây giờ dường như còn rất xa; Tháng 11 năm 2022 là một ký ức mơ hồ và thế giới AI đang phát triển rất nhanh.
Đối với nhiều người, nghiên cứu của Stanford/Berkeley minh họa hoàn hảo các vấn đề và sự thất vọng khi sử dụng ChatGPT. Những người khác cho rằng các chỉnh sửa và thay đổi được thực hiện đối với ChatGPT để làm cho nó trở thành một công cụ an toàn hơn, toàn diện hơn cũng đã trực tiếp thay đổi khả năng suy luận đúng đắn của nó, làm giảm kiến thức và các khả năng tổng thể của nó đến mức không thể sử dụng được.
Có vẻ như có chút nghi ngờ rằng ChatGPT đã thay đổi. Liệu ChatGPT có lấy lại được sức mạnh ban đầu hay không lại là một câu hỏi hoàn toàn khác.