4 ví dụ cho thấy bạn không thể tin tưởng ZeroGPT và các công cụ phát hiện AI khác

Chatbot AI chắc chắn là công cụ mạnh mẽ và hữu ích. Tuy nhiên, khả năng phân biệt giữa nội dung do con người tạo ra và do AI tạo ra đang trở thành một vấn đề nổi cộm.

Để giải quyết vấn đề này, các công cụ như ZeroGPT đã xuất hiện. Chúng được thiết kế để phân biệt giữa AI và nội dung do con người tạo ra. Nhưng chúng có hoạt động không?

Chúng ta hãy xem xét kỹ hơn các công cụ phát hiện AI và xem liệu chúng có thể cho biết sự khác biệt giữa văn bản do con người tạo ra và AI hay không.

Họ nói rằng bằng chứng của bánh pudding là trong việc ăn uống. Vì vậy, hãy thử một số thử nghiệm và xem các công cụ này hiệu quả như thế nào. Không thể thử nghiệm mọi công cụ, vì vậy chúng tôi đang thử nghiệm một trong những công cụ phổ biến nhất—ZeroGPT.

Đối với tài liệu, chúng tôi nghĩ sẽ rất thú vị nếu cho ChatGPT viết phần giới thiệu cho bài viết này và sau đó so sánh nó với phần giới thiệu “do con người tạo ra”:

Bài kiểm tra thứ nhất: So sánh phần giới thiệu bài viết do con người tạo và do AI tạo

Điều đầu tiên chúng tôi làm là yêu cầu ChatGPT tạo phần giới thiệu. Chúng tôi đã nhập tiêu đề và không cung cấp thêm thông tin. Để ghi lại, chúng tôi đã sử dụng GPT-3.5 cho thử nghiệm.

Sau đó, chúng tôi đã sao chép văn bản và dán vào ZeroGPT. Như bạn có thể thấy, kết quả ít xuất sắc hơn.

Một sự khởi đầu không rõ ràng, nhưng nó minh họa mức độ hiệu quả của các chatbot AI. Để hoàn thành bài kiểm tra, chúng tôi để ZeroGPT phân tích phần giới thiệu nháp do con người tạo.

Ít nhất nó đã có phần này chính xác. Nhìn chung, ZeroGPT đã thất bại trong vòng này. Nó đã xác định rằng ít nhất một phần của phần giới thiệu do AI tạo ra là đáng ngờ nhưng không làm nổi bật các vấn đề cụ thể.

Bài kiểm tra thứ hai: Vấn đề dương tính giả

Khi việc sử dụng ChatGPT và các công cụ AI khác tăng lên, khả năng biết hoặc nghe về việc ai đó đang phải đối mặt với những tuyên bố rằng công việc của họ là do AI tạo ra sẽ tăng lên. Những cáo buộc này là một trong những vấn đề nghiêm trọng hơn đối với ChatGPT và các công cụ phát hiện AI như ZeroGPT, vì loại lỗi này có thể gây tổn hại đến danh tiếng và ảnh hưởng đến sinh kế.

Kết quả dương tính giả xảy ra khi nội dung do con người tạo bị gắn cờ không chính xác là tác phẩm của AI. Như ví dụ dưới đây cho thấy, vấn đề rất dễ lặp lại. Tôi là một người thích câu cá, vì vậy tôi quyết định viết phần giới thiệu cho một bài báo tưởng tượng về câu cá ở Florida. Sau đó, tôi để ZeroGPT phân tích văn bản—nó đánh dấu rằng văn bản được tạo 100% bằng trí tuệ nhân tạo.

Công bằng mà nói, tôi đã nhắm đến kết quả này. Tôi giữ văn bản chung chung và sử dụng ngôn ngữ “bán hàng”. Nhưng điểm mà một con người đã viết điều này vẫn còn nguyên giá trị. Đây không phải là một sự bất tiện hay điều gì đó có thể bỏ qua. Những lỗi như thế này có thể gây ra hậu quả nghiêm trọng đối với các nhà văn, sinh viên và các chuyên gia khác, những người tạo ra các tác phẩm viết.

Thử nghiệm ba: Thử nghiệm ZeroGPT trên tiểu thuyết

Đối với bài kiểm tra thứ ba, chúng tôi sẽ sử dụng ChatGPT và yêu cầu nó viết một số tiểu thuyết. Để làm điều này, chúng tôi đã tạo một kịch bản và yêu cầu ChatGPT viết phần giới thiệu ngắn gọn về một câu chuyện hư cấu.

Chúng tôi giữ cho nó đơn giản và chỉ yêu cầu viết phần giới thiệu cho một câu chuyện về hai người lạ gặp nhau trên sân ga:

Và đây là phản hồi từ ZeroGPT:

Kết quả là rõ ràng, ZeroGPT không thể phân biệt sự thật với hư cấu khi xử lý hư cấu!

Kiểm tra bốn: Tin bài

Có điều gì đó đáng lo ngại về việc AI có thể thông báo cho chúng ta về những gì đang xảy ra trên thế giới xung quanh chúng ta. Đây không phải lúc nào cũng nhất thiết là “tin giả”, vì nó có thể liên quan và mang tính thông tin, nhưng có những lo ngại nhất định về đạo đức về AI.

Công bằng mà nói, ZeroGPT đã thể hiện tốt trong thử nghiệm này. Chúng tôi đã yêu cầu ChatGPT và Bing Chat viết các bài báo về một số chủ đề và ZeroGPT lần nào cũng thành công. Ví dụ dưới đây cho thấy nó tuyên bố chính xác một bài báo do Bing Chat tạo ra là do AI tạo ra 100%.

Công cụ này liên tục gắn cờ từng bài báo là do AI tạo ra nên chúng tôi đã quyết định thử nghiệm nó trên một bài báo giả mà chúng tôi viết cho mục đích này.

Ít nhất nó đã xác định được một số bài báo là do con người tạo ra, nhưng nó đã đánh dấu hơn 70% là do AI tạo ra. Một lần nữa, chúng ta cần phải công bằng ở đây; đây là một bản băm lại khá cơ bản của bài báo Bing và hầu như không đạt chất lượng giải Pulitzer.

Nhưng điểm vẫn còn hiệu lực. Điều này được viết bởi một người sử dụng nghiên cứu được tìm thấy trên internet.

Không có lý do duy nhất đằng sau những sai sót trong các công cụ như ZeroGPT. Tuy nhiên, một vấn đề cơ bản là tính hiệu quả của các chatbot AI tổng quát. Chúng đại diện cho một công nghệ cực kỳ mạnh mẽ và đang phát triển nhanh chóng, biến chúng thành mục tiêu di động cho các công cụ phát hiện AI một cách hiệu quả.

Các chatbot AI đang liên tục cải thiện chất lượng và “tính nhân văn” của đầu ra của chúng, và điều này khiến nhiệm vụ trở nên vô cùng khó khăn. Tuy nhiên, bất chấp những khó khăn, phía AI của phương trình phải đưa ra phán quyết mà không có sự giám sát của con người.

Các công cụ như ZeroGPT sử dụng AI để đưa ra quyết định của họ. Nhưng AI không chỉ thức dậy vào buổi sáng và biết phải làm gì. Nó phải được đào tạo, và đây là lúc khía cạnh kỹ thuật của phương trình trở nên phù hợp.

Các sai lệch về thuật toán và dữ liệu đào tạo là không thể tránh khỏi, khi xem xét kích thước tuyệt đối của các mô hình ngôn ngữ lớn mà các công cụ này được đào tạo. Đây không phải là vấn đề chỉ giới hạn ở các công cụ phát hiện AI, những sai lệch tương tự có thể khiến chatbot AI tạo ra phản hồi không chính xác và ảo giác AI.

Tuy nhiên, những lỗi này biểu hiện dưới dạng “cờ AI” không chính xác trong các công cụ phát hiện. Điều này hầu như không lý tưởng, nhưng nó phản ánh tình trạng hiện tại của công nghệ AI. Những sai lệch vốn có trong dữ liệu huấn luyện có thể dẫn đến kết quả dương tính giả hoặc âm tính giả.

Một yếu tố khác phải được xem xét là nội dung do AI tạo ra là gì. Nếu nội dung do AI tạo ra được viết lại một cách đơn giản, thì đó là nội dung do con người tạo ra hay do AI tạo ra? Điều này đại diện cho một thách thức lớn khác—sự mờ nhạt của ranh giới giữa hai bên khiến việc xác định nội dung do máy tạo ra hầu như không thể.

Nhìn về tương lai của phát hiện AI

Điều này nghe có vẻ giống như chúng tôi đang loại bỏ các công cụ như ZeroGPT. Đây không phải là trường hợp; họ phải đối mặt với những thách thức lớn và công nghệ hầu như không còn tồn tại. Việc sử dụng nhanh chóng các công cụ như ChatGPT đã tạo ra nhu cầu phát hiện AI và công nghệ này cần có cơ hội để trưởng thành và học hỏi.

Những công cụ này không thể tự mình đối mặt với những thách thức do chatbot đặt ra. Nhưng họ có thể đóng một vai trò có giá trị trong nỗ lực phối hợp và nhiều mặt để giải quyết những thách thức của AI. Chúng đại diện cho một phần của câu đố lớn hơn bao gồm các thực hành AI có đạo đức, sự giám sát của con người cũng như hoạt động nghiên cứu và phát triển đang diễn ra.

Những thách thức mà những công cụ này gặp phải là hình ảnh phản chiếu về những thách thức mà xã hội phải đối mặt khi chúng ta vật lộn với những tình huống khó xử liên quan đến thời đại công nghệ mới.

AI hay Không AI? Đó là câu hỏi

Các công cụ như ZeroGPT là thiếu sót, không có nghi ngờ gì về điều đó. Nhưng chúng không phải là vô giá trị và chúng thể hiện một bước quan trọng khi chúng tôi cố gắng quản lý và điều chỉnh AI. Độ chính xác của chúng sẽ được cải thiện, nhưng độ phức tạp của AI mà chúng được đào tạo để phát hiện cũng vậy. Ở đâu đó giữa cuộc chạy đua vũ trang này, chúng ta cần tìm sự cân bằng mà xã hội cảm thấy thoải mái.

Câu hỏi—AI hay không AI? Không chỉ là một cuộc thảo luận về việc liệu thứ gì đó có phải do AI tạo ra hay không. Đó là dấu hiệu cho thấy những câu hỏi lớn hơn mà xã hội phải đối mặt khi chúng ta thích nghi với thế giới AI mới đầy dũng cảm.

Đối với hồ sơ và theo ZeroGPT, 27,21% kết luận này là do AI tạo ra. Hừm.