CÔNG CỤ
MODULES
THAM KHẢO
Cách chia List thành các phần bằng nhau trong Python Cách xóa một khóa (key) ra khỏi dictionary trong Python Hướng dẫn chuyển đổi file Google Colab sang Markdown trong Python Bài tập Python: Lập trình cơ sở dữ liệu trong Python Kết nối cơ sở dữ liệu MySQL Python Hướng dẫn kết nối Python PostgreSQL bằng Psycopg2 Hướng dẫn kết nối SQLite sử dụng sqlite3 trong Python Bài tập Python : Pandas trong Python Phạm vi số float của Python Cách lên lịch chạy script Python bằng GitHub Actions Cách tạo hằng số trong Python Các nền tảng lưu trữ tốt nhất cho ứng dụng và script Python 6 Tip viết vòng lặp For hiệu quả hơn trong Python Cách đảo ngược Chuỗi String trong Python Cách gỡ lỗi ứng dụng Python trong Docker Container bằng VS Code 10 tip One Liner bạn cần biết trong Python Cách áp dụng ngưỡng hình ảnh trong Python với NumPy Tìm hiểu về các phép toán Groupby trong Pandas Lập trình Socket trong Python Mô-đun base64 trong Python Cách giới hạn float values trong Python Tìm hiểu Mô-đun statistics Trong Python File Organizing trong Python Đổi tên File trong Python Tìm hiểu về Deque trong Python Mô-đun Calendar trong Python Tìm hiểu về Enum trong Python Sử dụng pprint trong Python Làm việc với cấu trúc Dữ liệu Stack trong Python Thư viện functools trong Python Tip sử dụng hàm round() với tham số âm trong Python Hàm print có thể nhận thêm các tham số bổ sung trong Python Tip tìm chuỗi dài nhất bằng hàm max() trong Python Cách lặp qua nhiều list với hàm zip() trong Python Tìm hiểu về MLOps trong Python Docker và Kubernetes với MLOps trong Python Kết hợp DevOps với MLOps trong Python Xử lý độ chính xác các hàm floor, ceil, round, trunc, format trong Python tối ưu quy trình MLOps Với Python Sự khác biệt giữa byte objects và string trong Python Top 4 thư viện phổ biến nhất của NLP trong Python Cách sử dụng ThreadPoolExecutor trong Python Phân tích dữ liệu Blockchain với Python Hướng dẫn triển khai Smart Contracts với Python Blockchain APIs với Python Làm việc với file ZIP trong Python Sự khác biệt giữa toán tử == và is trong Python Chuyển đổi kiểu dữ liệu trong Python Cách làm việc với file tarball/tar trong Python Sự khác biệt giữa iterator và iterable trong Python Sự khác biệt giữa set() và frozenset() trong Python Làm việc với các biến môi trường trong Python Một tác vụ phổ biến khi làm việc với danh sách trong Python Định dạng chuỗi Strings trong Python Sử dụng Poetry để quản lý dependencies trong Python Sự khác biệt giữa sort() và sorted() trong Python Từ khóa yield trong Python Lớp dữ liệu (Data Classes) trong Python với decorator @dataclass Cách truy cập và thiết lập biến môi trường trong Python Hướng dẫn toàn diện về module datetime trong Python Hướng dẫn xây dựng Command-Line Interface (CLI) bằng Quo trong Python Sử dụng Virtual Environment trong Python Từ khóa super() trong Python Số phức trong Python Ý nghĩa của một hoặc hai dấu gạch dưới đứng đầu trong Python Làm việc với Video trong OpenCV bằng Python Chỉnh sửa file trực tiếp bằng module fileinput trong Python Hướng dẫn cách chuyển đổi kiểu dữ liệu trong Python Làm việc với hình ảnh trong OpenCV sử dụng Python Metaclasses trong Python Cách chọn ngẫu nhiên một phần tử từ danh sách trong Python Hướng dẫn cài đặt và sử dụng OpenCV trong Python Phạm vi toàn cục, cục bộ và không cục bộ trong Python Tìm hiểu về từ khóa self trong các lớp Python Hướng dẫn sử dụng Rich, Typer, và SQLite trên terminal bằng Python Giới thiệu về Graph Machine Learning trong Python Cách kiểm tra một đối tượng có thể lặp (iterable) trong Python Quản lý sinh viên Python & MySQL Cách cắt (slicing) chuỗi trong Python Cách loại bỏ phần tử trùng lặp khỏi danh sách (List) trong Python Phân tích dữ liệu Apple Health bằng Python Cách làm phẳng danh sách lồng nhau trong Python Tìm hiểu về *args và **kwargs trong Python Cách xóa file và thư mục trong Python 31 Phương thức xử lý chuỗi (String) quan trọng trong Python Cách sao chép file trong Python 8 Mẹo Refactor Code Python nhanh gọn (Phần 2) Cách yêu cầu người dùng nhập liệu đến khi nhận được phản hồi hợp lệ trong Python Làm chủ Pattern Matching trong Python 3.10 Tạo app ghi chú trong Python với nhận dạng giọng nói và API Notion Các tính năng mới trong Python 3.10 5 lỗi thường gặp trong Python Sự khác biệt giữa append() và extend() trong list Python Các cách nối hai danh sách trong Python Sự khác biệt giữa str và repr trong Python Sự khác biệt giữa @classmethod, @staticmethod và instance methods trong Python Cách thêm số 0 vào đầu chuỗi trong Python Cách tạo thư mục lồng nhau (nested directory) trong Python Cách hợp nhất hai Dictionaries trong Python Cách thực thi lệnh hệ thống hoặc System Command từ Python Cách kiểm tra một chuỗi có chứa chuỗi con trong Python Cách tìm chỉ mục của một phần tử trong danh sách (List) trong Python Cách truy cập index trong vòng lặp for trong Python Cách kiểm tra file hoặc thư mục có tồn tại trong Python Cách xóa phần tử trong danh sách Python Ý nghĩa của if __name__ == "__main__" trong Python 8 mẹo tái cấu trúc Python giúp mã sạch hơn và Pythonic Hỗ trợ Async trong Django 3.1 Hướng dẫn tạo ứng dụng AI hội thoại với NVIDIA Jarvis trong Python Hướng dẫn xây dựng ứng dụng dự đoán giá cổ phiếu bằng Python Cách cài đặt Jupyter Notebook trong môi trường Conda và thêm Kernel Xây dựng ứng dụng Web Style Transfer với PyTorch và Streamlit Cách sử dụng Python Debugger với hàm breakpoint() Cách sử dụng chế độ interactive trong Python Hướng dẫn viết game Rắn Săn Mồi bằng Python 11 mẹo và thủ thuật để viết Code Python hiệu quả hơn Hướng dẫn làm ứng dụng TODO với Flask dành cho người mới bắt đầu trong Python Hướng dẫn tạo Chatbot đơn giản bằng PyTorch Xây dựng Web Machine Learning đẹp mắt với Streamlit và Scikit-learn trong Python Xây dựng web Python tự động hóa Twitter | Flask, Heroku, Twitter API & Google Sheets API Hướng dẫn sử dụng Google Sheets API với Python Cách nạp dữ liệu Machine Learning từ File trong Python Toán tử Walrus Operator- Tính năng mới trong Python 3.8 Cách thêm Progress Bar trong Python với chỉ một dòng Code List Comprehension trong Python Tạo danh sách phim ngẫu nhiên với Python Hướng dẫn Web Scraping tự động tải hình ảnh với Python Hướng dẫn sử dụng Anaconda bằng Python
CÁC CHỦ ĐỀ
BÀI MỚI NHẤT
MỚI CẬP NHẬT

Thông báo: Download 4 khóa học Python từ cơ bản đến nâng cao tại đây.

Hướng dẫn Web Scraping tự động tải hình ảnh với Python

Trong bài hướng dẫn này, mình sẽ học cách xây dựng một chương trình tải hình ảnh từ Google Images bằng Python. Bài học sử dụng thư viện BeautifulSouprequests để thực hiện web scraping, cho phép bạn tự động tìm và tải về hình ảnh từ các từ khóa được nhập vào.

test php

banquyen png
Bài viết này được đăng tại freetuts.net, không được copy dưới mọi hình thức.

Lưu ý quan trọng

Mặc dù mã nguồn bên dưới là một ví dụ cơ bản, Google đã thay đổi cách cấu trúc HTML của trang Google Images, do đó mã này có thể không hoạt động trực tiếp. Tuy nhiên, bạn sẽ có cái nhìn rõ hơn về các nguyên tắc cơ bản khi làm việc với web scraping bằng Python.

t E1 BA A3i 20xu E1 BB 91ng jpg

Cách xây dựng một chương trình tải hình ảnh từ Google Images bằng Python

import os
import json
import requests  # Thư viện để gửi yêu cầu GET
from bs4 import BeautifulSoup  # Thư viện phân tích cú pháp HTML

# URL Google Image Search
GOOGLE_IMAGE = \
    'https://www.google.com/search?site=&tbm=isch&source=hp&biw=1873&bih=990&'

# Header để tránh bị từ chối bởi Google
usr_agent = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
    'Accept-Encoding': 'none',
    'Accept-Language': 'en-US,en;q=0.8',
    'Connection': 'keep-alive',
}

# Thư mục lưu hình ảnh
SAVE_FOLDER = 'images'


def main():
    # Tạo thư mục lưu ảnh nếu chưa có
    if not os.path.exists(SAVE_FOLDER):
        os.mkdir(SAVE_FOLDER)
    download_images()


def download_images():
    # Yêu cầu người dùng nhập từ khóa và số lượng ảnh cần tải
    data = input('Bạn muốn tìm gì? ')
    n_images = int(input('Bạn muốn tải bao nhiêu ảnh? '))

    print('Đang tìm kiếm...')

    # Tạo URL tìm kiếm
    searchurl = GOOGLE_IMAGE + 'q=' + data
    print(f'URL tìm kiếm: {searchurl}')

    # Gửi yêu cầu GET với User-Agent
    response = requests.get(searchurl, headers=usr_agent)
    html = response.text

    # Phân tích cú pháp HTML
    soup = BeautifulSoup(html, 'html.parser')
    # Tìm tất cả các thẻ <div> chứa hình ảnh
    results = soup.findAll('div', {'class': 'rg_meta'}, limit=n_images)

    # Trích xuất link từ JSON
    imagelinks = []
    for re in results:
        text = re.text  # Dữ liệu ở dạng chuỗi JSON
        text_dict = json.loads(text)  # Chuyển đổi JSON thành dictionary Python
        link = text_dict['ou']  # Lấy link ảnh
        imagelinks.append(link)

    print(f'Tìm thấy {len(imagelinks)} hình ảnh.')
    print('Bắt đầu tải...')

    # Tải hình ảnh và lưu vào thư mục
    for i, imagelink in enumerate(imagelinks):
        response = requests.get(imagelink)
        imagename = os.path.join(SAVE_FOLDER, f'{data}_{i + 1}.jpg')
        with open(imagename, 'wb') as file:
            file.write(response.content)

    print('Hoàn tất tải hình ảnh!')


if __name__ == '__main__':
    main()

Giải thích mã nguồn

Bài viết này được đăng tại [free tuts .net]

Thư viện requests:

  • Dùng để gửi yêu cầu HTTP đến trang web.
  • Cần kèm User-Agent để tránh bị Google từ chối yêu cầu.

Thư viện BeautifulSoup:

  • Phân tích cú pháp HTML để dễ dàng lấy các thẻ HTML mong muốn.
  • Dùng phương thức findAll để tìm các phần tử div chứa liên kết ảnh.

Tách Dữ Liệu Từ JSON:

  • Thẻ <div> chứa liên kết hình ảnh ở dạng JSON trong thuộc tính rg_meta.
  • Chuyển JSON thành dictionary để lấy liên kết ảnh.

Lưu Hình Ảnh:

  • Mỗi ảnh được tải về với tên độc đáo và lưu trong thư mục images.

Cách chạy chương trình

Cài Đặt Các Thư Viện Cần Thiết:

pip install requests beautifulsoup4

Chạy Chương Trình:

python download_images.py
  1. Nhập từ khóa tìm kiếm và số lượng ảnh cần tải khi được yêu cầu.

Hạn Chế

  • Google thường xuyên thay đổi cách cấu trúc HTML, mã này có thể không hoạt động nếu HTML không còn khớp.
  • Nên sử dụng API chính thức (như Google Custom Search) để tải ảnh một cách bền vững và tuân thủ chính sách.

Kết bài

Việc tự động tải hình ảnh bằng Python thông qua web scraping là một trải nghiệm thú vị và giúp bạn hiểu hơn về cách hoạt động của các công cụ như BeautifulSoup và requests. Tuy nhiên, để đảm bảo tính bền vững và tuân thủ chính sách từ các nền tảng lớn như Google, việc sử dụng API chính thức là lựa chọn an toàn và đáng tin cậy hơn.

Ngoài ra, bạn có thể phát triển chương trình hơn nữa bằng cách xử lý các trường hợp lỗi, như không tải được ảnh do liên kết hỏng, hoặc thêm các tính năng như giao diện người dùng để thao tác dễ dàng hơn, hỗ trợ tải ảnh từ nhiều từ khóa cùng lúc.

Hy vọng hướng dẫn này đã cung cấp cho bạn nền tảng vững chắc để bước đầu khám phá web scraping với Python. Chúc bạn lập trình vui vẻ và thành công!

Cùng chuyên mục:

KNN (K Nearest Neighbors) trong Python

KNN (K Nearest Neighbors) trong Python

Hướng dẫn sử dụng Anaconda bằng Python

Hướng dẫn sử dụng Anaconda bằng Python

Tạo danh sách phim ngẫu nhiên với Python

Tạo danh sách phim ngẫu nhiên với Python

List Comprehension trong Python

List Comprehension trong Python

Cách thêm Progress Bar trong Python với chỉ một dòng Code

Cách thêm Progress Bar trong Python với chỉ một dòng Code

Toán tử Walrus Operator- Tính năng mới trong Python 3.8

Toán tử Walrus Operator- Tính năng mới trong Python 3.8

Cách nạp dữ liệu Machine Learning từ File trong Python

Cách nạp dữ liệu Machine Learning từ File trong Python

Hướng dẫn sử dụng Google Sheets API với Python

Hướng dẫn sử dụng Google Sheets API với Python

Xây dựng  web Python tự động hóa Twitter | Flask, Heroku, Twitter API & Google Sheets API

Xây dựng web Python tự động hóa Twitter | Flask, Heroku, Twitter API & Google Sheets API

Xây dựng Web Machine Learning đẹp mắt với Streamlit và Scikit-learn trong Python

Xây dựng Web Machine Learning đẹp mắt với Streamlit và Scikit-learn trong Python

Hướng dẫn tạo Chatbot đơn giản bằng PyTorch

Hướng dẫn tạo Chatbot đơn giản bằng PyTorch

11 mẹo và thủ thuật để viết Code Python hiệu quả hơn

11 mẹo và thủ thuật để viết Code Python hiệu quả hơn

Hướng dẫn làm ứng dụng TODO với Flask dành cho người mới bắt đầu trong Python

Hướng dẫn làm ứng dụng TODO với Flask dành cho người mới bắt đầu trong Python

Hướng dẫn viết Snake Game bằng Python

Hướng dẫn viết Snake Game bằng Python

Cách sử dụng chế độ interactive trong Python

Cách sử dụng chế độ interactive trong Python

Cách sử dụng Python Debugger với hàm breakpoint()

Cách sử dụng Python Debugger với hàm breakpoint()

Xây dựng ứng dụng Web Style Transfer với PyTorch và Streamlit

Xây dựng ứng dụng Web Style Transfer với PyTorch và Streamlit

Cách cài đặt Jupyter Notebook trong môi trường Conda và thêm Kernel

Cách cài đặt Jupyter Notebook trong môi trường Conda và thêm Kernel

Hướng dẫn xây dựng ứng dụng dự đoán giá cổ phiếu bằng Python

Hướng dẫn xây dựng ứng dụng dự đoán giá cổ phiếu bằng Python

Hướng dẫn tạo ứng dụng AI hội thoại với NVIDIA Jarvis trong Python

Hướng dẫn tạo ứng dụng AI hội thoại với NVIDIA Jarvis trong Python

Top