Chạy bản sao ChatGPT cục bộ và miễn phí trên PC Windows của bạn với GPT4All
Các chatbot AI ngoại tuyến đã có mặt ở đây, với các giải pháp mới, ngày càng linh hoạt và tối ưu hóa hơn xuất hiện gần như mỗi ngày. Trong số tất cả chúng, GPT4All ở gần đầu.
Có nhiều lý do để dùng thử, chẳng hạn như cách GPT4All cho phép bạn trò chuyện với tài liệu của mình. Không cần phải “đào tạo” nó, sử dụng các máy chủ đắt tiền hoặc đi sâu vào Python. Bạn có thể chỉ cần “thêm tài liệu của mình” vào GPT4All vì chúng là để “mở rộng kho kiến thức của nó” với dữ liệu của bạn.
Hãy xem cách bạn có thể cài đặt và sử dụng GPT4All trên PC Windows của mình.
Mục Lục
Một số tính năng nổi bật của GPT4All là gì?
Có nhiều lý do để chọn GPT4All thay vì một giải pháp thay thế, trong đó có ChatGPT.
- Bạn chỉ có thể chạy GPT4All bằng CPU của PC. Không cần GPU mạnh mẽ (và đắt tiền) với hơn chục GB VRAM (mặc dù nó có thể hữu ích).
- GPT4All là một giải pháp hoàn toàn ngoại tuyến, do đó, giải pháp này khả dụng ngay cả khi bạn không có quyền truy cập Internet.
- Ngoại tuyến và hoạt động như một “ứng dụng cục bộ” cũng có nghĩa là tất cả dữ liệu bạn chia sẻ với ứng dụng đó vẫn còn trên máy tính của bạn – người tạo ứng dụng sẽ không “xem trộm cuộc trò chuyện của bạn”.
- Vì nó chỉ dựa vào PC của bạn nên nó sẽ không bị chậm hơn, ngừng phản hồi hoặc phớt lờ lời nhắc của bạn, chẳng hạn như ChatGPT khi máy chủ của nó bị quá tải.
- GPT4All cho phép bạn dễ dàng thêm tài liệu của mình vào “kho kiến thức” của nó. Sau đó, nó có thể trình bày thông tin từ họ trong câu trả lời của mình, biến nó thành một trợ lý cá nhân thực sự “biết về nội dung của bạn” thay vì một chatbot chung chung.
Điều này về cơ bản giống như cài đặt ChatGPT cục bộ?
Cho dù bạn đang tranh luận với một chatbot hay sử dụng một dịch vụ như Copilot để giúp bạn viết mã một cách dễ dàng, thì bạn đang tương tác với Mô hình ngôn ngữ lớn (LLM). Nếu bạn không quen với thuật ngữ này, hãy xem bài viết của chúng tôi về LLM là gì và cách chúng hoạt động.
ChatGPT “đằng sau” LLM là một trong những mô hình tiên tiến nhất trên thế giới… nhưng nó cũng lớn, đòi hỏi nhiều tài nguyên và hoàn toàn độc quyền. Do đó, bạn không thể “cài đặt ChatGPT trên PC” vì:
- Là một giải pháp nguồn đóng, chỉ những người tạo ra nó, Open AI, mới có thể truy cập “phần bên trong của nó” và chạy nó trên máy chủ của họ.
- Nó quá lớn và yêu cầu chạy nó trên phần cứng PC cấp độ người tiêu dùng là không thể.
Tuy nhiên, bạn có thể cài đặt và sử dụng các LLM khác thông qua GPT4All trên PC của mình, miễn là chúng không đòi hỏi quá cao đối với CPU của bạn hoặc chúng có thể phù hợp với VRAM hạn chế hơn của GPU.
Hệ sinh thái của Nvidia để tăng tốc phần cứng AI thường được coi là trưởng thành hơn. Do đó, có nhiều phần mềm tập trung vào Nvidia hơn cho các tác vụ tăng tốc GPU, như mã hóa video và giờ đây là Machine Learning. GPT4All là một trong những công cụ “chơi đẹp hơn” với GPU của Nvidia.
Cách cài đặt GPT4All
GPT4All có sẵn cho Windows, OSX và Ubuntu. Đối với bài viết này, chúng tôi sẽ sử dụng phiên bản Windows.
- Tải về cài đặt cửa sổ từ trang web chính thức của GPT4All.
- Chạy ứng dụng đã tải xuống và làm theo các bước của trình hướng dẫn để cài đặt GPT4All trên máy tính của bạn.
- Trình cài đặt của GPT4All cần tải thêm dữ liệu xuống để ứng dụng hoạt động. Vì vậy, nếu trình cài đặt không thành công, hãy thử chạy lại sau khi bạn cấp cho nó quyền truy cập thông qua tường lửa của mình.
- Cuối cùng, khi bạn thấy mình đang xem giao diện của GPT4All, bạn cũng sẽ phải tải xuống Mô hình ngôn ngữ để sử dụng. GPT4All sẽ cung cấp cho bạn danh sách các mẫu có sẵn. Kiểm tra kích thước của nó (bên cạnh tên của nó) để đảm bảo bạn có đủ RAM hoặc VRAM để chạy nó. Khi bạn quyết định chọn một mô hình, hãy nhấp vào mô hình đó Tải xuống để tải xuống và cài đặt GPT4All.
- Nếu bạn đổi ý, hãy nhấp vào Hủy bỏ để dừng tải xuống đang hoạt động và chọn một mô hình khác.
- Để tiết kiệm thời gian, nếu muốn dùng thử nhiều kiểu máy, bạn có thể yêu cầu GPT4All tải chúng xuống song song. Tuy nhiên, xin lưu ý rằng gigabyte có thể sớm tăng lên và đảm bảo bạn có đủ dung lượng lưu trữ cho tất cả các kiểu máy bạn đã chọn.
Làm quen với GPT4All
Với GPT4All đã cài đặt và một số LLM đã tải xuống, giờ đây bạn có thể bắt đầu trò chuyện với chatbot AI của riêng mình.
- Sử dụng trình đơn thả xuống ở đầu cửa sổ của GPT4All để chọn Mô hình ngôn ngữ đang hoạt động.
- Sử dụng biểu tượng bánh mì kẹp thịt ở trên cùng bên trái để truy cập bảng điều khiển của GPT4All.
- Các tùy chọn đầu tiên trên bảng điều khiển của GPT4All cho phép bạn tạo một Cuộc trò truyện mới, đổi tên cái hiện tại, hoặc rác Nó.
- Các cập nhật cho phép bạn cập nhật ứng dụng và thêm hoặc xóa các thành phần.
- Các Tải xuống cho phép bạn truy cập vào bảng Mô hình Ngôn ngữ.
- Bạn có thể sử dụng bảng Mô hình ngôn ngữ để cài đặt các LLM mới, xóa các LLM đã cài đặt và thay đổi đường dẫn tải xuống của chúng.
- Trò chuyện với LLM trong GPT4All tương tự như phiên bản trực tuyến của ChatGPT. Nhập nội dung nào đó vào trường nhập ở cuối cửa sổ của GPT4All và sau khi nhấn Enter, bạn sẽ thấy lời nhắc của mình trong giao diện chính của GPT4All. Phản hồi của Mô hình ngôn ngữ đã chọn sẽ xuất hiện bên dưới lời nhắc của bạn.
- Giống như ChatGPT, nếu bạn không thích phản hồi của LLM khi nó được tạo trên màn hình của bạn, bạn có thể nhấp vào Dừng tạo nút để làm gián đoạn quá trình.
- Tương tự, nếu bạn không thích một phản hồi đã được tạo và muốn xem một phản hồi thay thế, bạn có thể nhấp vào Tạo lại phản hồi nút, xuất hiện trên cùng một vị trí.
- Lưu ý rằng GPT4All cũng cho phép bạn truy cập vào những gì được gọi là không giới hạn Mô hình ngôn ngữ. Những thứ đó không đi kèm với những hạn chế nhân tạo. “Sự tự do” này được cho là “giải phóng” và “trao quyền” cho họ trở nên sáng tạo hơn và đưa ra những phản hồi thực tế hơn. Tuy nhiên, điều đó cũng có nghĩa là chúng có thể tạo ra đầu ra gây khó chịu.
- Hai nút đầu tiên ở trên cùng bên phải của ứng dụng cho phép bạn cài lại một cuộc trò chuyện hoặc sao chép nó vào khay nhớ tạm để dán nó vào nơi khác.
- Nút thứ ba (có biểu tượng bánh răng cưa) cho phép bạn truy cập vào GPT4All’s Cài đặt.
- Các Thế hệ tab Cài đặt của GPT4All cho phép bạn định cấu hình các tham số của Mô hình ngôn ngữ đang hoạt động. Bằng cách thay đổi các biến như nó Nhiệt độ Và lặp lại hình phạtbạn có thể điều chỉnh tính sáng tạo, tính ngắn gọn, v.v.
- Các Ứng dụng tab cho phép bạn chọn một Mẫu mặc định đối với GPT4All, hãy xác định một Đường dẫn tải xuống đối với Mô hình ngôn ngữ, chỉ định một số lượng cụ thể Chủ đề CPU vào ứng dụng, để mọi cuộc trò chuyện tự động được lưu cục bộ và kích hoạt nội bộ của nó máy chủ web để có thể truy cập nó thông qua trình duyệt của bạn.
Trò chuyện với tài liệu của bạn với GPT4All
Tuy nhiên, tính năng tốt nhất của GPT4All là cách giúp bạn dễ dàng thêm tài liệu của riêng mình vào Mô hình ngôn ngữ đã chọn. Như chúng ta đã thấy, có thể làm điều tương tự với ChatGPT và tạo một ChatGPT tùy chỉnh bằng dữ liệu của riêng bạn. Tuy nhiên, quá trình này dễ dàng hơn nhiều với GPT4All và không mất phí sử dụng API ChatGPT của Open AI.
- Đặt một số tài liệu của bạn vào một thư mục. Đảm bảo chúng ở định dạng tệp tương thích rộng rãi, như TXT, MD (dành cho Markdown), Doc, v.v.
- Trên GPT4All Cài đặt bảng điều khiển, di chuyển đến Plugin LocalDocs (Thử nghiệm) trang tab. Nhấn vào duyệt và trỏ ứng dụng đến thư mục mà bạn đã đặt tài liệu của mình. Sau đó bấm vào Thêm vào để đưa chúng vào danh sách tài liệu bên ngoài của GPT4All.
- Bạn sẽ thấy một mục cho thư mục tài liệu của mình trên GPT4All’s Plugin LocalDocs danh mục tài liệu. Nếu bạn quyết định xóa thư mục tài liệu, hãy chọn thư mục đó từ đây và nhấp vào nút Di dời nút bên phải của nó.
- Từ cùng một vị trí, bạn có thể tinh chỉnh Kích thước đoạn trích tài liệu và Các đoạn tài liệu cần xử lý theo lời nhắc các giá trị từ dưới cùng bên trái của bảng điều khiển. Việc tăng những thứ đó sẽ cải thiện khả năng của Mô hình ngôn ngữ đã chọn để “hiểu” tài liệu của bạn và đưa ra các phản hồi phù hợp hơn. Tuy nhiên, nó cũng sẽ làm GPT4All chậm đi nghiêm trọng vì nó phải phân tích tài liệu của bạn sau mỗi lời nhắc.
- Bạn có thể quản lý các tài liệu bên ngoài của mình thông qua GPT4All’s bộ sưu tập cái nút.
- Bạn có thể thêm nhiều bộ sưu tập tài liệu vào GPT4All. Tuy nhiên, tốt hơn là thay vì để tất cả chúng hoạt động mọi lúc, hãy kéo hiệu suất của GPT4All xuống để kiểm soát cái mà nhóm tài liệu (“bộ sưu tập”) mà bạn muốn kích hoạt từ bộ sưu tập bảng điều khiển.
- Sau khi bạn thêm một số tài liệu và kích hoạt bộ sưu tập của chúng, GPT4All sẽ cho bạn biết rằng đó là xử lý chúng sau một dấu nhắc.
- Mỗi khi GPT4All đưa ra phản hồi lấy dữ liệu từ tài liệu của bạn, nó sẽ đưa ra một danh sách người giới thiệu Và liên kết ngữ cảnh dưới phản ứng.
- Bằng cách nhấp vào một liên kết ngữ cảnhGPT4All sẽ hiển thị cho bạn một đoạn văn bản từ tài liệu của bạn mà GPT4All đã sử dụng để phản hồi.
ChatGPT của riêng bạn trên Windows
GPT4All và các Mô hình ngôn ngữ mà bạn có thể sử dụng thông qua nó có thể không hoàn toàn phù hợp với ChatGPT chiếm ưu thế, nhưng chúng vẫn hữu ích.
Những người dùng sáng tạo và những người mày mò đã tìm ra nhiều cách khéo léo khác nhau để cải thiện các mô hình như vậy sao cho ngay cả khi họ đang dựa vào bộ dữ liệu nhỏ hơn hoặc phần cứng chậm hơn so với những gì ChatGPT sử dụng, họ vẫn có thể tiến gần đến nó hoặc trong một số trường hợp, thậm chí vượt qua nó.
Tuy nhiên, thay vì đi vào chi tiết về ưu và nhược điểm của từng mô hình có sẵn, tại sao bạn không tự mình thử chúng? GPT4All làm cho nó trở nên dễ dàng.
