Nhạc Deepfake là gì? Và nó được tạo ra như thế nào?

Trong một thời gian dài, âm nhạc đã có thể tránh được thế giới của deepfakes vì ​​đơn giản là quá phức tạp để tổng hợp giọng nói của ai đó. Tất cả đã thay đổi với những tiến bộ trong công nghệ AI. Nó đã dẫn đến việc sao chép giọng nói của các nghệ sĩ nổi tiếng có thể được sử dụng để sản xuất các bài hát mới.

Với việc các công cụ AI ngày càng trở nên dễ tiếp cận hơn đối với người bình thường, nhạc deepfake là một vấn đề ngày càng gia tăng. Đây là những gì nó là và làm thế nào nó được tạo ra.

Sự phát triển của âm nhạc Deepfake

Khi bạn nghe nghệ sĩ yêu thích của mình hát trên Spotify hoặc YouTube, bạn khó có thể nghĩ rằng điều đó có thể là giả, nhưng những tiến bộ của AI đã biến điều này thành hiện thực. Bên cạnh hình ảnh và video giả mạo, nhạc deepfake cũng tồn tại.

Các công cụ AI có thể tái tạo trung thực giọng hát của một người bằng cách đào tạo mô hình AI trên các mẫu âm thanh giọng nói của họ. Được tạo bởi những người hâm mộ nghệ sĩ hoặc những người hâm mộ công nghệ AI, ngày càng có nhiều người cố gắng tạo ra những bản sao giọng hát.

Mọi người đã cố gắng tổng hợp giọng nói bằng máy tính trong nhiều năm, kể từ năm 1961 khi IBM 7094 là máy tính đầu tiên biết hát. Bạn có thể nghe giọng nói do máy tính tạo ra khi hát Daisy Bell trong một clip trên YouTube và thử tưởng tượng khoảnh khắc này tuyệt vời như thế nào.

Chuyển nhanh sang thế kỷ 21 và công nghệ AI vừa cải thiện chất lượng giọng nói tổng hợp vừa cho phép chúng ta làm những việc mà hầu hết chúng ta chưa bao giờ nghĩ là có thể cho đến bây giờ, chẳng hạn như nhân bản giọng nói của con người.

Chỉ cần xem đoạn clip này Roberto Nickson biến giọng nói của mình thành nghệ sĩ kiêm rapper Kanye West. Xem video có cảm giác kỳ lạ, nó thực sự giống Kanye, nhưng cũng không thoải mái khi xem. Nếu không suy nghĩ quá nhiều về cách nghệ sĩ có thể nghĩ hoặc cảm nhận, và không được phép, điều đó có thể bị coi là chiếm đoạt giọng hát của ai đó.

Không giống như phiên bản máy tính của Daisy Bell, nhân bản giọng hát AI có thể tái tạo chính xác giọng nói của ai đó, bao gồm tất cả những khác biệt nhỏ về âm sắc giúp chúng tôi xác định cấu hình giọng hát độc đáo của ai đó. Tuy nhiên, không được cấp phép và thực hiện mà không được phép, nhạc deepfake có một số vấn đề nghiêm trọng mà chúng ta sẽ đề cập sau.

Bài hát Deepfake được tạo ra như thế nào

Các phương pháp khác nhau đang được sử dụng để tạo các bài hát deepfake nhưng nhiều phương pháp trong số đó sử dụng công nghệ AI. Ví dụ, các dự án nguồn mở như dự án Chuyển đổi giọng hát SoftVC VITS trên GitHub đã phát triển một mô hình AI thực hiện đúng như tên gọi của nó: chuyển đổi mẫu âm thanh thành giọng hát.

Mô hình này lấy một tệp âm thanh hiện có của một người nào đó đang hát và chuyển đổi nó thành giọng của người khác. Những thứ như lời bài hát và nhịp điệu của giọng gốc được giữ nguyên, nhưng âm điệu, âm sắc và chất lượng giọng hát cá nhân được chuyển đổi thành giọng nói do tập dữ liệu huấn luyện chỉ định.

Hãy nhớ rằng các phần khác của bài hát vẫn có thể được sản xuất theo cách thủ công, chẳng hạn như tạo beat và giai điệu theo cùng phong cách và thể loại như nghệ sĩ gốc.

Để tạo một bản deepfake giọng nói của Kanye West, bộ dữ liệu của bên thứ ba phải được nhập vào mô hình SoftVC VITS, bao gồm các mẫu giọng nói thật của Kanye. Tệp chứa tập dữ liệu đã bị tác giả xóa, điều này không có gì đáng ngạc nhiên khi xem xét lãnh thổ pháp lý mờ ám có thể đi kèm với các tập dữ liệu trái phép.

Mặc dù nó chưa được biến thành một ứng dụng thương mại, nhưng bạn có thể tìm thấy một phiên bản của mô hình SoftVC VITS trên Google Collab thân thiện với người dùng hơn.

Cho đến khi các ranh giới về đạo đức và pháp lý được đặt ra, có thể các ứng dụng nhân bản giọng nói dễ sử dụng hơn sẽ xuất hiện—không quá khác biệt so với ứng dụng Drayk.it đã biến mô tả văn bản thành các bài hát theo phong cách của nghệ sĩ Drake. Nó sau đó đã bị đóng cửa.

Một số công cụ khác được sử dụng để tạo nhạc deepfake bao gồm các mô hình ngôn ngữ lớn như ChatGPT, có thể được sử dụng để viết lời bài hát theo phong cách của một nghệ sĩ nổi tiếng; và OpenAI’s Jukebox và Google’s MusicLM, là những mô hình AI tổng quát có thể tạo nhạc ở dạng âm thanh thô hoàn toàn từ đầu.

Bạn có thể nghe thấy sự khác biệt?

Một bản nhạc do một người dùng ẩn danh có tên Ghostwriter tạo đã lan truyền trên TikTok vào tháng 4 năm 2023, một phần không nhỏ vì nó có lời bài hát do các nghệ sĩ Drake và The Weeknd hát. Tất nhiên, đây không phải là giọng thật của các nghệ sĩ mà là giọng giả.

Nếu giọng hát không phải là một bản sao hay như vậy của bản gốc, nó có thể đã không thành công. Với một chút tìm hiểu, bạn có thể tìm ra khá nhanh xem đó có phải là hàng thật hay không, nhưng chỉ cần sử dụng đôi tai của mình, bạn chỉ có thể đoán xem đó có phải là hàng thật hay không.

Nếu bạn muốn xác định một hình ảnh do AI tạo ra thì có ít nhất một số quang sai hình ảnh mà bạn có thể tìm kiếm. Đối với âm thanh, các dấu hiệu như âm thanh có độ trung thực thấp hoặc trục trặc trong bản nhạc không có nhiều ý nghĩa vì đó là những lựa chọn sáng tạo luôn được sử dụng trong sản xuất âm nhạc.

Điều thú vị hơn nữa là nhiều người thực sự thích bài hát, ngay cả sau khi phát hiện ra đó không phải là giọng thật của Drake hay The Weeknd. Những người ngưỡng mộ chỉ ra rằng không phải mọi thứ đều được tạo ra đơn giản bằng AI, và kỹ năng và công việc thực sự đó đã được đưa vào để viết lời bài hát, soạn nhạc beat và kết hợp mọi thứ lại với nhau.

Bản nhạc đã xuất hiện trên Spotify và YouTube trước khi bị gỡ xuống trong những ngày sau đó, nhưng không phải trước khi người hâm mộ tải xuống bài hát dưới dạng mp3. Bạn vẫn có thể tìm thấy các bản sao của bài hát trực tuyến nếu tìm kiếm “Heart On My Sleeve, Drake ft. The Weeknd”.

Chẳng bao lâu nữa, việc phát hiện ra sự khác biệt giữa các bản sao giọng hát do AI tạo ra và giọng nói thật của con người sẽ trở nên gần như không thể. Với ý nghĩ đó, mọi người đang đặt câu hỏi liệu đây có phải là cách sử dụng tốt công nghệ AI ngay từ đầu hay thậm chí là sử dụng nó một cách hợp pháp.

Sự cố với nhạc Deepfake

Một mặt, mọi người thích nghe các bản kết hợp do người hâm mộ tạo ra từ các nghệ sĩ yêu thích của họ và tôn trọng sự sáng tạo đã biến nó thành hiện thực. Nhưng khả năng có các bản sao giọng hát ngay từ đầu phụ thuộc vào các bộ dữ liệu có thể được cấp phép hoặc không.

Nếu không được phép, các mẫu giọng nói của một người sẽ được thu thập vào tập dữ liệu, sau đó được sử dụng để đào tạo mô hình chuyển đổi giọng nói AI. Nó tương tự như vấn đề mà các nghệ sĩ gặp phải khi muốn xóa hình ảnh của họ khỏi bộ dữ liệu đào tạo được sử dụng để đào tạo các trình tạo hình ảnh AI như Dall-E hoặc Midjourney.

Luật bản quyền cũng chưa sẵn sàng để đối phó với nhạc deepfake. Vào năm 2020, nghệ sĩ Jay-Z đã thất bại trong việc cố gắng buộc YouTube gỡ bỏ phần âm thanh do AI tạo ra khi anh ấy đọc rap các câu trong đoạn độc thoại “To Be or Not to Be” của William Shakespeare.

Khi một bài hát deepfake được tải lên Spotify hoặc YouTube, cũng có câu hỏi ai là người kiếm tiền. Bạn có thể kiếm tiền từ một bài hát sao chép gần như chính xác giọng của người khác không?

Holly Herndon là một nghệ sĩ đã cố gắng tạo ra một hệ thống để mọi người đền bù cho cô ấy để đổi lấy việc sử dụng mẫu giọng nói của cô ấy để tạo ra tác phẩm gốc. Trong khi các nghệ sĩ khác như Nick Cave đã lên tiếng chống lại AI, viết:

Các bài hát phát sinh từ đau khổ, ý tôi là chúng được dự đoán dựa trên cuộc đấu tranh sáng tạo phức tạp, nội tâm của con người và, theo như tôi biết, các thuật toán không cảm nhận được.

Đôi khi, văn bản do AI tạo ra có thể hoàn toàn thiếu tính sáng tạo nhưng chúng vẫn được đăng trực tuyến. Trí tuệ nhân tạo có thể tạo ra nhiều bản nhạc dở tệ mà người ta đã bỏ rất ít công sức vào đó.

Tìm kiếm sự cân bằng giữa âm nhạc và AI

Nhạc Deepfake được tạo bằng các công cụ AI và mô hình AI đã được đào tạo trên các bộ dữ liệu trái phép. Một số mô hình là nguồn mở và có thể truy cập miễn phí, trong khi những nỗ lực khác đã được thực hiện để đóng gói chúng thành một ứng dụng thân thiện với người dùng.

Khi ngày càng có nhiều người chạm tay vào các mô hình hoặc ứng dụng âm nhạc deepfake, bạn nên suy nghĩ về tác động đối với nghệ sĩ. Nhận được sự đồng ý cho bộ dữ liệu đào tạo và bồi thường cho nghệ sĩ chỉ là một số vấn đề đang xuất hiện đối với công nghệ âm nhạc AI.