Thông báo: Download 4 khóa học Python từ cơ bản đến nâng cao tại đây.

KNN (K Nearest Neighbors) trong Python

Trong bài hướng dẫn này, mình sẽ triển khai thuật toán K Nearest Neighbors (KNN) bằng cách chỉ sử dụng các module có sẵn của Python và thư viện numpy. Đồng thời, bạn cũng sẽ hiểu về khái niệm và toán học đằng sau thuật toán ML phổ biến này.

test php

Bài viết này được đăng tại freetuts.net, không được copy dưới mọi hình thức.

KNN là gì?

K Nearest Neighbors là một thuật toán học máy đơn giản nhưng mạnh mẽ. Thuật toán này dựa trên nguyên lý "láng giềng gần nhất" để dự đoán nhãn của một điểm dữ liệu dựa vào những dữ liệu lân cận gần nhất trong tập huấn luyện.

KNN thuộc nhóm thuật toán không tham số, tức là không giả định bất kỳ mô hình nào cho tập dữ liệu. Nó rất hữu ích trong cả bài toán phân loại và hồi quy.

Ý tưởng cốt lõi của KNN

Tính toán khoảng cách giữa điểm cần dự đoán với tất cả các điểm trong tập dữ liệu huấn luyện (thường dùng khoảng cách Euclid).
Xác định k láng giềng gần nhất (những điểm dữ liệu có khoảng cách ngắn nhất).
Dựa vào nhãn của các láng giềng gần nhất, chọn ra nhãn phổ biến nhất (trong phân loại) hoặc trung bình (trong hồi quy).

Triển khai thuật toán KNN từ đầu trong Python

Dưới đây là mã Python để triển khai thuật toán KNN:

Bài viết này được đăng tại [free tuts .net]

Code đầy đủ:

import numpy as np
from collections import Counter  # Thư viện để đếm tần suất các phần tử

# Hàm tính khoảng cách Euclid
def euclidean_distance(x1, x2):
    return np.sqrt(np.sum((x1 - x2) ** 2))  # Công thức khoảng cách Euclid

# Lớp KNN
class KNN:
    def __init__(self, k=3):  # Giá trị k: số láng giềng gần nhất
        self.k = k

    def fit(self, X, y):
        """Lưu lại tập huấn luyện và nhãn tương ứng"""
        self.X_train = X  # Tập dữ liệu huấn luyện
        self.y_train = y  # Nhãn của tập dữ liệu

    def predict(self, X):
        """Dự đoán nhãn cho tập dữ liệu mới"""
        y_pred = [self._predict(x) for x in X]  # Duyệt qua từng điểm để dự đoán
        return np.array(y_pred)  # Trả về mảng kết quả

    def _predict(self, x):
        """Dự đoán nhãn cho một điểm dữ liệu"""
        # Tính khoảng cách giữa điểm x và tất cả điểm trong tập huấn luyện
        distances = [euclidean_distance(x, x_train) for x_train in self.X_train]

        # Lấy chỉ số của k láng giềng gần nhất
        k_idx = np.argsort(distances)[:self.k]  # argsort sắp xếp chỉ số theo giá trị

        # Lấy nhãn của k láng giềng gần nhất
        k_neighbor_labels = [self.y_train[i] for i in k_idx]

        # Đếm nhãn xuất hiện nhiều nhất và trả về nhãn đó
        most_common = Counter(k_neighbor_labels).most_common(1)  # Trả về nhãn phổ biến nhất
        return most_common[0][0]

Giải thích mã:

euclidean_distance: Hàm này tính khoảng cách Euclid giữa hai điểm $x_1$ và $x_2$ bằng công thức:

$d = \sqrt{\sum{(x_1 - x_2)^2}}$

Lớp KNN:

__init__(self, k=3): Xác định số láng giềng gần nhất $k$ .
fit(self, X, y): Lưu lại tập huấn luyện và nhãn để sử dụng trong dự đoán.
predict(self, X): Áp dụng hàm _predict cho từng điểm trong tập dữ liệu mới để trả về dự đoán.
_predict(self, x):
1. Tính toán khoảng cách từ điểm cần dự đoán $x$ đến tất cả các điểm trong tập dữ liệu huấn luyện.
2. Chọn $k$ điểm gần nhất bằng cách sử dụng np.argsort.
3. Đếm nhãn xuất hiện nhiều nhất trong $k$ điểm gần nhất với Counter.most_common(1).

Ưu điểm và hạn chế của KNN trong Python

Ưu điểm:

Đơn giản để hiểu và triển khai.
Hiệu quả với dữ liệu nhỏ hoặc dữ liệu có không gian đặc trưng ít.

Hạn chế:

Hiệu suất chậm khi dữ liệu quá lớn do cần tính khoảng cách cho toàn bộ tập huấn luyện.
Nhạy cảm với giá trị $k$ : Việc chọn sai giá trị $k$ có thể dẫn đến dự đoán sai.

Kết bài

KNN là thuật toán học máy mạnh mẽ, dễ triển khai và lý tưởng cho các bài toán phân loại hoặc hồi quy đơn giản. Tuy nhiên, khi làm việc với các tập dữ liệu lớn hơn hoặc nhiều đặc trưng hơn, bạn nên cân nhắc sử dụng các thuật toán khác như SVM hoặc Random Forest để cải thiện hiệu suất.

Chúc bạn học vui!

Bài trước Bài tiếp

KNN (K Nearest Neighbors) trong Python

KNN là gì?

Ý tưởng cốt lõi của KNN

Triển khai thuật toán KNN từ đầu trong Python

Code đầy đủ:

Ưu điểm và hạn chế của KNN trong Python

Ưu điểm:

Hạn chế:

Kết bài

Cùng chuyên mục:

Hướng dẫn sử dụng Anaconda bằng Python

Hướng dẫn Web Scraping tự động tải hình ảnh với Python

Tạo danh sách phim ngẫu nhiên với Python

List Comprehension trong Python

Cách thêm Progress Bar trong Python với chỉ một dòng Code

Toán tử Walrus Operator- Tính năng mới trong Python 3.8

Cách nạp dữ liệu Machine Learning từ File trong Python

Hướng dẫn sử dụng Google Sheets API với Python

Xây dựng web Python tự động hóa Twitter | Flask, Heroku, Twitter API & Google Sheets API

Xây dựng Web Machine Learning đẹp mắt với Streamlit và Scikit-learn trong Python

Hướng dẫn tạo Chatbot đơn giản bằng PyTorch

11 mẹo và thủ thuật để viết Code Python hiệu quả hơn

Hướng dẫn làm ứng dụng TODO với Flask dành cho người mới bắt đầu trong Python

Hướng dẫn viết Snake Game bằng Python

Cách sử dụng chế độ interactive trong Python

Cách sử dụng Python Debugger với hàm breakpoint()

Xây dựng ứng dụng Web Style Transfer với PyTorch và Streamlit

Cách cài đặt Jupyter Notebook trong môi trường Conda và thêm Kernel

Hướng dẫn xây dựng ứng dụng dự đoán giá cổ phiếu bằng Python

Hướng dẫn tạo ứng dụng AI hội thoại với NVIDIA Jarvis trong Python

KNN (K Nearest Neighbors) trong Python

KNN là gì?

Ý tưởng cốt lõi của KNN

Triển khai thuật toán KNN từ đầu trong Python

Code đầy đủ:

Ưu điểm và hạn chế của KNN trong Python

Ưu điểm:

Hạn chế:

Kết bài

Cùng chuyên mục:

Hướng dẫn sử dụng Anaconda bằng Python

Hướng dẫn Web Scraping tự động tải hình ảnh với Python

Tạo danh sách phim ngẫu nhiên với Python

List Comprehension trong Python

Cách thêm Progress Bar trong Python với chỉ một dòng Code

Toán tử Walrus Operator- Tính năng mới trong Python 3.8

Cách nạp dữ liệu Machine Learning từ File trong Python

Hướng dẫn sử dụng Google Sheets API với Python

Xây dựng web Python tự động hóa Twitter | Flask, Heroku, Twitter API & Google Sheets API

Xây dựng Web Machine Learning đẹp mắt với Streamlit và Scikit-learn trong Python

Hướng dẫn tạo Chatbot đơn giản bằng PyTorch

11 mẹo và thủ thuật để viết Code Python hiệu quả hơn

Hướng dẫn làm ứng dụng TODO với Flask dành cho người mới bắt đầu trong Python

Hướng dẫn viết Snake Game bằng Python

Cách sử dụng chế độ interactive trong Python

Cách sử dụng Python Debugger với hàm breakpoint()

Xây dựng ứng dụng Web Style Transfer với PyTorch và Streamlit

Cách cài đặt Jupyter Notebook trong môi trường Conda và thêm Kernel

Hướng dẫn xây dựng ứng dụng dự đoán giá cổ phiếu bằng Python

Hướng dẫn tạo ứng dụng AI hội thoại với NVIDIA Jarvis trong Python

Giới thiệu

Thủ thuật

Link hay

Liên kết