CÔNG CỤ
MODULES
THAM KHẢO
Cách chia List thành các phần bằng nhau trong Python Cách xóa một khóa (key) ra khỏi dictionary trong Python Hướng dẫn chuyển đổi file Google Colab sang Markdown trong Python Bài tập Python: Lập trình cơ sở dữ liệu trong Python Kết nối cơ sở dữ liệu MySQL Python Hướng dẫn kết nối Python PostgreSQL bằng Psycopg2 Hướng dẫn kết nối SQLite sử dụng sqlite3 trong Python Bài tập Python : Pandas trong Python Phạm vi số float của Python Cách lên lịch chạy script Python bằng GitHub Actions Cách tạo hằng số trong Python Các nền tảng lưu trữ tốt nhất cho ứng dụng và script Python 6 Tip viết vòng lặp For hiệu quả hơn trong Python Cách đảo ngược Chuỗi String trong Python Cách gỡ lỗi ứng dụng Python trong Docker Container bằng VS Code 10 tip One Liner bạn cần biết trong Python Cách áp dụng ngưỡng hình ảnh trong Python với NumPy Tìm hiểu về các phép toán Groupby trong Pandas Lập trình Socket trong Python Mô-đun base64 trong Python Cách giới hạn float values trong Python Tìm hiểu Mô-đun statistics Trong Python File Organizing trong Python Đổi tên File trong Python Tìm hiểu về Deque trong Python Mô-đun Calendar trong Python Tìm hiểu về Enum trong Python Sử dụng pprint trong Python Làm việc với cấu trúc Dữ liệu Stack trong Python Thư viện functools trong Python Tip sử dụng hàm round() với tham số âm trong Python Hàm print có thể nhận thêm các tham số bổ sung trong Python Tip tìm chuỗi dài nhất bằng hàm max() trong Python Cách lặp qua nhiều list với hàm zip() trong Python Tìm hiểu về MLOps trong Python Docker và Kubernetes với MLOps trong Python Kết hợp DevOps với MLOps trong Python Xử lý độ chính xác các hàm floor, ceil, round, trunc, format trong Python tối ưu quy trình MLOps Với Python Sự khác biệt giữa byte objects và string trong Python Top 4 thư viện phổ biến nhất của NLP trong Python Cách sử dụng ThreadPoolExecutor trong Python Phân tích dữ liệu Blockchain với Python Hướng dẫn triển khai Smart Contracts với Python Blockchain APIs với Python Làm việc với file ZIP trong Python Sự khác biệt giữa toán tử == và is trong Python Chuyển đổi kiểu dữ liệu trong Python Cách làm việc với file tarball/tar trong Python Sự khác biệt giữa iterator và iterable trong Python Sự khác biệt giữa set() và frozenset() trong Python Làm việc với các biến môi trường trong Python Một tác vụ phổ biến khi làm việc với danh sách trong Python Định dạng chuỗi Strings trong Python Sử dụng Poetry để quản lý dependencies trong Python Sự khác biệt giữa sort() và sorted() trong Python Từ khóa yield trong Python Lớp dữ liệu (Data Classes) trong Python với decorator @dataclass Cách truy cập và thiết lập biến môi trường trong Python Hướng dẫn toàn diện về module datetime trong Python Hướng dẫn xây dựng Command-Line Interface (CLI) bằng Quo trong Python Sử dụng Virtual Environment trong Python Từ khóa super() trong Python Số phức trong Python Ý nghĩa của một hoặc hai dấu gạch dưới đứng đầu trong Python Làm việc với Video trong OpenCV bằng Python Chỉnh sửa file trực tiếp bằng module fileinput trong Python Hướng dẫn cách chuyển đổi kiểu dữ liệu trong Python Làm việc với hình ảnh trong OpenCV sử dụng Python Metaclasses trong Python Cách chọn ngẫu nhiên một phần tử từ danh sách trong Python Hướng dẫn cài đặt và sử dụng OpenCV trong Python Phạm vi toàn cục, cục bộ và không cục bộ trong Python Tìm hiểu về từ khóa self trong các lớp Python Hướng dẫn sử dụng Rich, Typer, và SQLite trên terminal bằng Python Giới thiệu về Graph Machine Learning trong Python Cách kiểm tra một đối tượng có thể lặp (iterable) trong Python Quản lý sinh viên Python & MySQL Cách cắt (slicing) chuỗi trong Python Cách loại bỏ phần tử trùng lặp khỏi danh sách (List) trong Python Phân tích dữ liệu Apple Health bằng Python Cách làm phẳng danh sách lồng nhau trong Python Tìm hiểu về *args và **kwargs trong Python Cách xóa file và thư mục trong Python 31 Phương thức xử lý chuỗi (String) quan trọng trong Python Cách sao chép file trong Python 8 Mẹo Refactor Code Python nhanh gọn (Phần 2) Cách yêu cầu người dùng nhập liệu đến khi nhận được phản hồi hợp lệ trong Python Làm chủ Pattern Matching trong Python 3.10 Tạo app ghi chú trong Python với nhận dạng giọng nói và API Notion Các tính năng mới trong Python 3.10 5 lỗi thường gặp trong Python Sự khác biệt giữa append() và extend() trong list Python Các cách nối hai danh sách trong Python Sự khác biệt giữa str và repr trong Python Sự khác biệt giữa @classmethod, @staticmethod và instance methods trong Python Cách thêm số 0 vào đầu chuỗi trong Python Cách tạo thư mục lồng nhau (nested directory) trong Python Cách hợp nhất hai Dictionaries trong Python Cách thực thi lệnh hệ thống hoặc System Command từ Python Cách kiểm tra một chuỗi có chứa chuỗi con trong Python Cách tìm chỉ mục của một phần tử trong danh sách (List) trong Python Cách truy cập index trong vòng lặp for trong Python Cách kiểm tra file hoặc thư mục có tồn tại trong Python Cách xóa phần tử trong danh sách Python Ý nghĩa của if __name__ == "__main__" trong Python 8 mẹo tái cấu trúc Python giúp mã sạch hơn và Pythonic Hỗ trợ Async trong Django 3.1 Hướng dẫn tạo ứng dụng AI hội thoại với NVIDIA Jarvis trong Python Hướng dẫn xây dựng ứng dụng dự đoán giá cổ phiếu bằng Python Cách cài đặt Jupyter Notebook trong môi trường Conda và thêm Kernel Xây dựng ứng dụng Web Style Transfer với PyTorch và Streamlit Cách sử dụng Python Debugger với hàm breakpoint() Cách sử dụng chế độ interactive trong Python Hướng dẫn viết game Rắn Săn Mồi bằng Python 11 mẹo và thủ thuật để viết Code Python hiệu quả hơn Hướng dẫn làm ứng dụng TODO với Flask dành cho người mới bắt đầu trong Python Hướng dẫn tạo Chatbot đơn giản bằng PyTorch Xây dựng Web Machine Learning đẹp mắt với Streamlit và Scikit-learn trong Python Xây dựng web Python tự động hóa Twitter | Flask, Heroku, Twitter API & Google Sheets API Hướng dẫn sử dụng Google Sheets API với Python Cách nạp dữ liệu Machine Learning từ File trong Python Toán tử Walrus Operator- Tính năng mới trong Python 3.8 Cách thêm Progress Bar trong Python với chỉ một dòng Code
CÁC CHỦ ĐỀ
BÀI MỚI NHẤT
MỚI CẬP NHẬT

Thông báo: Download 4 khóa học Python từ cơ bản đến nâng cao tại đây.

Hướng dẫn tạo Chatbot đơn giản bằng PyTorch

Hướng dẫn này sẽ hướng dẫn bạn từng bước tạo một chatbot đơn giản sử dụng PyTorch. Mình cũng sẽ tìm hiểu về một số khái niệm cơ bản trong Xử lý Ngôn ngữ Tự nhiên (NLP).

test php

banquyen png
Bài viết này được đăng tại freetuts.net, không được copy dưới mọi hình thức.

Nội dung bạn sẽ học:

  • Các khái niệm NLP cơ bản: Tokenization, Stemming, và Bag of Words.
  • Cách tiền xử lý dữ liệu bằng nltk để huấn luyện mạng nơ-ron.
  • Xây dựng và huấn luyện Mạng Nơ-ron Feed-forward trong PyTorch.
  • Tùy chỉnh chatbot cho các trường hợp cụ thể bằng cách chỉnh sửa tệp intents.json và huấn luyện lại mô hình.
  • Làm quen với pipeline xử lý từ dữ liệu văn bản đầu vào cho đến kết quả phản hồi của chatbot.

Thiết lập môi trường trong Python

t E1 BA A3i 20xu E1 BB 91ng 20 2  jpg

Bước 1: Tạo môi trường ảo

Bạn có thể dùng venv hoặc conda:

mkdir myproject
cd myproject
python3 -m venv venv

Bước 2: Kích hoạt môi trường

MacOS / Linux:

Bài viết này được đăng tại [free tuts .net]

source venv/bin/activate

Windows:

venv\Scripts\activate

Bước 3: Cài đặt PyTorch và các thư viện cần thiết

  • Truy cập trang chủ PyTorch để chọn cách cài đặt phù hợp với hệ điều hành của bạn.
  • Cài thêm thư viện nltk:
pip install nltk
Nếu gặp lỗi khi chạy lần đầu, hãy cài đặt thêm:
import nltk
nltk.download('punkt')

Tạo dữ liệu huấn luyện trong Python

Chatbot sẽ học từ tệp dữ liệu JSON intents.json với cấu trúc sau:

{
  "intents": [
    {
      "tag": "greeting",
      "patterns": ["Hi", "Hey", "Hello", "Good day", "How are you"],
      "responses": ["Chào bạn!", "Xin chào, tôi có thể giúp gì cho bạn?"]
    },
    {
      "tag": "order",
      "patterns": ["What do you sell?", "What can I order?"],
      "responses": ["Chúng tôi bán cà phê và trà."]
    }
  ]
}

Bạn có thể tuỳ chỉnh dữ liệu này theo nhu cầu (các mẫu câu hỏi và phản hồi tương ứng). Sau mỗi lần sửa đổi, hãy chạy lại việc huấn luyện.

Kiến thức NLP cơ Bản trong Python

Khi xử lý ngôn ngữ, ta không thể đưa thẳng câu vào mô hình. Thay vào đó, câu sẽ được chuyển thành các biểu diễn số bằng cách sử dụng:

  • Tokenization: Tách câu thành các từ hoặc ký tự riêng biệt.
  • Stemming: Rút gọn từ về dạng gốc (e.g., organizes -> organ).
  • Bag Of Words (BoW): Đếm sự xuất hiện của các từ trong một tập hợp từ cố định.

Quy trình xử lý dữ liệu NLP:

  • Tách từ (Tokenization) và rút gọn (Stemming).
  • Tạo túi từ (Bag of Words).
  • Chuyển các câu thành vector số để đưa vào mô hình.

Xây dựng bộ công cụ NLP trong Python

Mã nguồn: nltk_utils.py

import numpy as np
import nltk
from nltk.stem.porter import PorterStemmer
stemmer = PorterStemmer()

def tokenize(sentence):
    return nltk.word_tokenize(sentence)

def stem(word):
    return stemmer.stem(word.lower())

def bag_of_words(tokenized_sentence, words):
    sentence_words = [stem(w) for w in tokenized_sentence]
    bag = np.zeros(len(words), dtype=np.float32)
    for idx, w in enumerate(words):
        if w in sentence_words: 
            bag[idx] = 1
    return bag

Triển khai mạng Neuron trong Python

Mã nguồn: model.py

import torch
import torch.nn as nn

class NeuralNet(nn.Module):
    def __init__(self, input_size, hidden_size, num_classes):
        super(NeuralNet, self).__init__()
        self.l1 = nn.Linear(input_size, hidden_size) 
        self.l2 = nn.Linear(hidden_size, hidden_size) 
        self.l3 = nn.Linear(hidden_size, num_classes)
        self.relu = nn.ReLU()

    def forward(self, x):
        out = self.l1(x)
        out = self.relu(out)
        out = self.l2(out)
        out = self.relu(out)
        out = self.l3(out)
        return out

Tích hợp và huấn luyện trong Python

Mã nguồn: train.py

  1. Đọc dữ liệu intents.json.
  2. Xử lý thành dạng số.
  3. Huấn luyện mô hình.
# (Mã đầy đủ đã được cung cấp bên trên.)

Tạo chương trình Chat trong Python

Mã nguồn: chat.py

import torch
from model import NeuralNet
from nltk_utils import bag_of_words, tokenize

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
FILE = "data.pth"
data = torch.load(FILE)

model = NeuralNet(data['input_size'], data['hidden_size'], data['output_size']).to(device)
model.load_state_dict(data['model_state'])
model.eval()

bot_name = "Sam"
print("Bắt đầu trò chuyện! (gõ 'quit' để thoát)")

while True:
    sentence = input("Bạn: ")
    if sentence == "quit":
        break
    words = tokenize(sentence)
    X = bag_of_words(words, data['all_words'])
    X = torch.from_numpy(X).to(device).unsqueeze(0)
    output = model(X)
    _, predicted = torch.max(output, dim=1)

    tag = data['tags'][predicted.item()]
    probs = torch.softmax(output, dim=1)
    prob = probs[0][predicted.item()]

    if prob.item() > 0.75:
        for intent in data['intents']:
            if tag == intent["tag"]:
                print(f"{bot_name}: {random.choice(intent['responses'])}")
    else:
        print(f"{bot_name}: Tôi không hiểu bạn muốn nói gì...")

Chạy chương trình trong Python

Bước 1: Huấn luyện

python train.py

Bước 2: Chạy chat bot

python chat.py

Kết bài

Trong hướng dẫn này, chúng ta đã cùng tìm hiểu cách xây dựng một chatbot cơ bản sử dụng PyTorch, áp dụng các khái niệm cơ bản của xử lý ngôn ngữ tự nhiên (NLP) như Tokenization, Stemming, và Bag of Words. Dự án này không chỉ giúp bạn hiểu rõ hơn về các bước tiền xử lý văn bản mà còn mang lại kinh nghiệm thực tiễn trong việc xây dựng, huấn luyện và triển khai một mô hình mạng nơ-ron.

Mặc dù đây chỉ là một chatbot đơn giản, bạn có thể mở rộng và tùy chỉnh thêm nhiều tính năng như:

  • Xử lý ngôn ngữ đa dạng (ví dụ: tiếng Việt, tiếng Anh).
  • Sử dụng các thuật toán NLP nâng cao hơn, như BERT hoặc GPT.
  • Tích hợp chatbot vào ứng dụng web hoặc di động.

Qua quá trình thực hiện, hy vọng bạn đã nắm vững quy trình cơ bản để xây dựng các hệ thống giao tiếp thông minh hơn trong thực tế. Hãy tiếp tục khám phá và sáng tạo!

Cùng chuyên mục:

Cách thêm Progress Bar trong Python với chỉ một dòng Code

Cách thêm Progress Bar trong Python với chỉ một dòng Code

Toán tử Walrus Operator- Tính năng mới trong Python 3.8

Toán tử Walrus Operator- Tính năng mới trong Python 3.8

Cách nạp dữ liệu Machine Learning từ File trong Python

Cách nạp dữ liệu Machine Learning từ File trong Python

Hướng dẫn sử dụng Google Sheets API với Python

Hướng dẫn sử dụng Google Sheets API với Python

Xây dựng  web Python tự động hóa Twitter | Flask, Heroku, Twitter API & Google Sheets API

Xây dựng web Python tự động hóa Twitter | Flask, Heroku, Twitter API & Google Sheets API

Xây dựng Web Machine Learning đẹp mắt với Streamlit và Scikit-learn trong Python

Xây dựng Web Machine Learning đẹp mắt với Streamlit và Scikit-learn trong Python

11 mẹo và thủ thuật để viết Code Python hiệu quả hơn

11 mẹo và thủ thuật để viết Code Python hiệu quả hơn

Hướng dẫn làm ứng dụng TODO với Flask dành cho người mới bắt đầu trong Python

Hướng dẫn làm ứng dụng TODO với Flask dành cho người mới bắt đầu trong Python

Hướng dẫn viết Snake Game bằng Python

Hướng dẫn viết Snake Game bằng Python

Cách sử dụng chế độ interactive trong Python

Cách sử dụng chế độ interactive trong Python

Cách sử dụng Python Debugger với hàm breakpoint()

Cách sử dụng Python Debugger với hàm breakpoint()

Xây dựng ứng dụng Web Style Transfer với PyTorch và Streamlit

Xây dựng ứng dụng Web Style Transfer với PyTorch và Streamlit

Cách cài đặt Jupyter Notebook trong môi trường Conda và thêm Kernel

Cách cài đặt Jupyter Notebook trong môi trường Conda và thêm Kernel

Hướng dẫn xây dựng ứng dụng dự đoán giá cổ phiếu bằng Python

Hướng dẫn xây dựng ứng dụng dự đoán giá cổ phiếu bằng Python

Hướng dẫn tạo ứng dụng AI hội thoại với NVIDIA Jarvis trong Python

Hướng dẫn tạo ứng dụng AI hội thoại với NVIDIA Jarvis trong Python

Hỗ trợ Async trong Django 3.1

Hỗ trợ Async trong Django 3.1

8 mẹo tái cấu trúc Python giúp mã sạch hơn và Pythonic

8 mẹo tái cấu trúc Python giúp mã sạch hơn và Pythonic

Ý nghĩa của if __name__ ==

Ý nghĩa của if __name__ == "__main__" trong Python

Cách xóa phần tử trong danh sách Python

Cách xóa phần tử trong danh sách Python

Cách kiểm tra file hoặc thư mục có tồn tại trong Python

Cách kiểm tra file hoặc thư mục có tồn tại trong Python

Top