Cách xây dựng bộ dữ liệu tùy chỉnh với Web Scraping

Viết tập lệnh quét web

Nhập các thư viện đã cài đặt vào tập lệnh của bạn để có thể sử dụng các chức năng mà chúng cung cấp.

 import requests
from bs4 import BeautifulSoup
import time
import pandas as pd
import re 

Các thời gian Và nốt Rê mô-đun là một phần của thư viện chuẩn Python. Do đó, không yêu cầu cài đặt riêng biệt.

thời gian sẽ thêm độ trễ cho quá trình cạo trong khi nốt Rê sẽ đối phó với các biểu thức thông thường.

Bạn sẽ sử dụng Beautiful Soup để quét trang web mục tiêu.

Tạo một chức năng sẽ gửi yêu cầu HTTP GET tới URL mục tiêu của bạn. Sau đó, nó sẽ truy xuất nội dung của phản hồi và tạo một ĐẹpSúp đối tượng từ nội dung HTML.

 def get_soup(url, params=None, headers=None):
   response = requests.get(url, params=params, headers=headers)
   soup = BeautifulSoup(response.content, "html.parser")
   return soup 

Bước tiếp theo là trích xuất thông tin từ ĐẹpSúp sự vật.

Để trích xuất thông tin, bạn cần hiểu cấu trúc trang web mục tiêu của mình. Điều này liên quan đến việc kiểm tra mã HTML của trang web. Điều này sẽ giúp bạn xác định các thành phần và thuộc tính chứa dữ liệu mà bạn muốn trích xuất. Để kiểm tra trang web mục tiêu của bạn, hãy mở liên kết của nó trong trình duyệt web và điều hướng đến trang web chứa dữ liệu bạn muốn thu thập.

Sau đó nhấp chuột phải vào trang web và chọn Quan sát từ trình đơn ngữ cảnh. Thao tác này sẽ mở công cụ dành cho nhà phát triển của trình duyệt.

Trong mã HTML của trang web, hãy tìm các thành phần chứa dữ liệu bạn muốn cạo. Hãy chú ý đến các thẻ, lớp và thuộc tính HTML được liên kết với dữ liệu bạn cần. Bạn sẽ sử dụng chúng để tạo bộ chọn để trích xuất dữ liệu bằng BeautifulSoup. Trong ảnh chụp màn hình ở trên, bạn có thể thấy tiêu đề của phim nằm trong lister-item-header lớp học. Kiểm tra từng tính năng bạn muốn trích xuất.

Tạo một chức năng sẽ trích xuất thông tin từ ĐẹpSúp sự vật. Trong trường hợp này, hàm tìm tiêu đề, xếp hạng, mô tả, thể loại, ngày phát hành, đạo diễn và ngôi sao của phim bằng cách sử dụng các thẻ HTML và thuộc tính lớp thích hợp.

 def extract_movie_data(movie):
   title = movie.find("h3", class_="lister-item-header").find("a").text
   rating = movie.find("div", class_="ratings-imdb-rating").strong.text
   description = movie.find("div", class_="lister-item-content").find_all("p")[1].text.strip()
   genre_element = movie.find("span", class_="genre")
   genre = genre_element.text.strip() if genre_element else None
   release_date = movie.find("span", class_="lister-item-year text-muted unbold").text.strip()
   director_stars = movie.find("p", class_="text-muted").find_all("a")
   directors = [person.text for person in director_stars[:-1]]
   stars = [person.text for person in director_stars[-1:]]
   movie_data = {
       "Title": title,
       "Rating": rating,
       "Description": description,
       "Genre": genre,
       "Release Date": release_date,
       "Directors": directors,
       "Stars": stars
   }
   return movie_data 

Cuối cùng, tạo một chức năng sẽ thực hiện việc cạo thực tế bằng hai chức năng trên. Nó sẽ lấy năm và số lượng phim tối đa mà bạn muốn cạo.

 def scrape_imdb_movies(year, limit):
   base_url = "https://www.imdb.com/search/title"
   headers = {"Accept-Language": "en-US,en;q=0.9"}
   movies = []
   start = 1
   while len(movies) < limit:
       params = {
           "release_date": year,
           "sort": "num_votes,desc",
           "start": start
       }
       soup = get_soup(base_url, params=params, headers=headers)
       movie_list = soup.find_all("div", class_="lister-item mode-advanced")
       if len(movie_list) == 0:
           break
       for movie in movie_list:
           movie_data = extract_movie_data(movie)
           movies.append(movie_data)
           if len(movies) >= limit:
               break
       start += 50 
       time.sleep(1) 
   return movies 

Sau đó gọi def scrape_imdb_movies để làm cạo.

 
movies = scrape_imdb_movies(2023, 1000)
 

Bây giờ bạn đã cạo dữ liệu.

Bước tiếp theo là tạo một tập dữ liệu từ dữ liệu này.

Tạo tập dữ liệu từ dữ liệu đã cạo

Tạo một DataFrame bằng cách sử dụng Pandas từ dữ liệu đã cạo.

 df = pd.DataFrame(movies)
 

Sau đó, tiến hành tiền xử lý và làm sạch dữ liệu. Trong trường hợp này, hãy xóa các hàng có giá trị bị thiếu. Sau đó trích xuất năm từ ngày phát hành và chuyển đổi nó thành số. Loại bỏ các cột không cần thiết. chuyển đổi Xếp hạng cột thành số. Cuối cùng, xóa các ký tự không phải chữ cái khỏi Tiêu đề cột.

 df = df.dropna()
df['Release Year'] = df['Release Date'].str.extract(r'(d{4})')
df['Release Year'] = pd.to_numeric(df['Release Year'], 
                                  errors='coerce').astype('Int64')
df = df.drop(['Release Date'], axis=1)
df['Rating'] = pd.to_numeric(df['Rating'], errors='coerce')
df['Title'] = df['Title'].apply(lambda x: re.sub(r'W+', ' ', x))
 

Lưu trữ dữ liệu trong một tệp để sử dụng sau này trong dự án của bạn.

 df.to_csv("imdb_movies_dataset.csv", index=False)
 

Cuối cùng, in năm hàng đầu tiên của tập dữ liệu của bạn để xem nó trông như thế nào.

 df.head()
 

Đầu ra như trong ảnh chụp màn hình bên dưới:

Bây giờ bạn có một bộ dữ liệu thu được thông qua quét web.

Quét web bằng các thư viện Python khác

Beautiful Soup không phải là thư viện Python duy nhất mà bạn có thể sử dụng để quét web. Có những thư viện khác ngoài kia. Mỗi cái đều có ưu điểm và hạn chế riêng. Nghiên cứu chúng để tìm ra cái nào phù hợp nhất với trường hợp sử dụng của bạn.