CÔNG CỤ
MODULES
THAM KHẢO
CÁC CHỦ ĐỀ
BÀI MỚI NHẤT
MỚI CẬP NHẬT

Làm sạch file dữ liệu và cập nhật file CSV bằng Pandas trong Python

Trong thực tế, dữ liệu thường không hoàn hảo và chứa giá trị thiếu hoặc các giá trị đặc biệt (ví dụ: "?", "n.a", "NaN"). Điều này có thể gây rối khi phân tích dữ liệu hoặc xây dựng các mô hình dự đoán. Trong bài viết này, mình sẽ tìm hiểu cách làm sạch file dữ liệu bằng thư viện Pandas và sau đó cập nhật file CSV gốc.

Bước 1: Import thư viện và đọc dữ liệu

Trước tiên, mình import thư viện Pandas và đọc dữ liệu từ file CSV. Bạn cần chỉ định đường dẫn file CSV của bạn.

import pandas as pd

# Đọc dữ liệu từ file CSV và xử lý các giá trị đặc biệt
df = pd.read_csv("Đường_dẫn_đến_tập_tin.csv", na_values={
    'price': ["?", "n.a"],
    'stroke': ["?", "n.a"],
    'horsepower': ["?", "n.a"],
    'peak-rpm': ["?", "n.a"],
    'average-mileage': ["?", "n.a"]
})

Trong bước này, mình đã sử dụng tham số na_values để thay thế các giá trị "?", "n.a" bằng giá trị NaN (giá trị bị thiếu).

Bước 2: Hiển thị dữ liệu sau khi làm sạch

Sau khi đọc và làm sạch dữ liệu, hãy in ra dữ liệu để xác nhận rằng các giá trị đặc biệt đã được thay thế thành NaN.

# In ra dữ liệu sau khi làm sạch
print(df)

Kết quả sẽ hiển thị file dữ liệu sau khi đã thay thế các giá trị đặc biệt bằng NaN.

Bước 3: Lưu dữ liệu vào file CSV

Cuối cùng, mình cần lưu file dữ liệu đã làm sạch vào file CSV gốc hoặc file mới (tuỳ thuộc vào mục tiêu của bạn).

# Lưu file dữ liệu đã làm sạch vào file CSV
df.to_csv("Đường_dẫn_đến_file_mới.csv", index=False)

Trong bước này, bạn cần chỉ định đường dẫn file CSV mà bạn muốn lưu. Tham số index=False được sử dụng để không lưu cột index trong file CSV.

Kết quả

Dưới đây là kết quả mà bạn có thể mong đợi:

   index      Make  ...  highway-mpg    price
0      0       BMW  ...           27  13495.0
1      1       BMW  ...           27  16500.0
2      2       BMW  ...           26  13950.0
3      3  Chevrolet  ...           30  17450.0
4      4  Chevrolet  ...           22  15250.0
...
[205 rows x 27 columns]

Như bạn có thể thấy, tất cả các giá trị "?", "n.a" đã được thay thế bằng NaN trong file dữ liệu sau khi làm sạch. Đồng thời, file dữ liệu đã được lưu vào file CSV mới (hoặc file gốc nếu bạn chỉ định đường dẫn file gốc). Điều này giúp bạn làm sạch và cập nhật dữ liệu một cách dễ dàng bằng thư viện Pandas trong Python.

Trong bài viết này, mình đã tìm hiểu cách làm sạch file dữ liệu và cập nhật file CSV bằng thư viện Pandas trong Python. Quá trình này là quan trọng khi làm việc với dữ liệu thô và đảm bảo rằng mình có dữ liệu sạch sẽ để tiến hành phân tích hoặc xây dựng các mô hình dự đoán. Các bước cụ thể đã được trình bày trong bài viết:

  • Import thư viện Pandas và đọc dữ liệu từ file CSV, đồng thời sử dụng na_values để thay thế các giá trị đặc biệt (ví dụ: "?", "n.a") bằng NaN.

  • In ra dữ liệu sau khi làm sạch để xác nhận rằng các giá trị đã được thay thế thành NaN.

  • Lưu file dữ liệu đã làm sạch vào file CSV mới hoặc file gốc (tuỳ thuộc vào mục tiêu).

Việc này giúp bạn duy trì tính toàn vẹn của dữ liệu và chuẩn bị nền tảng cho các công việc phân tích và xử lý dữ liệu trong tương lai. Hy vọng bài viết này đã hữu ích cho bạn trong việc làm sạch và quản lý dữ liệu bằng Python và thư viện Pandas.

test php

Bài giải

-------------------- ######## --------------------

Câu hỏi thường gặp liên quan:

Cùng chuyên mục:

Phạm vi số float của Python

Phạm vi số float của Python

Hướng dẫn kết nối Python PostgreSQL bằng Psycopg2

Hướng dẫn kết nối Python PostgreSQL bằng Psycopg2

Kết nối cơ sở dữ liệu MySQL Python

Kết nối cơ sở dữ liệu MySQL Python

Bài tập Python: Lập trình cơ sở dữ liệu trong Python

Bài tập Python: Lập trình cơ sở dữ liệu trong Python

Tạo số ngẫu nhiên trong một phạm vi bằng Python

Tạo số ngẫu nhiên trong một phạm vi bằng Python

Bài tập Python : Tạo dữ liệu ngẫu nhiên trong Python

Bài tập Python : Tạo dữ liệu ngẫu nhiên trong Python

Bài tập Python : Matplotlib trong Python

Bài tập Python : Matplotlib trong Python

Bài tập Python: NumPy trong Python

Bài tập Python: NumPy trong Python

Bài tập Python: JSON trong Python

Bài tập Python: JSON trong Python

Bài tập Python: Lập trình hướng đối tượng (OOP) trong Python

Bài tập Python: Lập trình hướng đối tượng (OOP) trong Python

TimeDelta trong Python

TimeDelta trong Python

Chuyển chuỗi Python thành DateTime trong Python

Chuyển chuỗi Python thành DateTime trong Python

Bài tập Python: DateTime trong Python

Bài tập Python: DateTime trong Python

Bài tập Python: Tuple trong Python

Bài tập Python: Tuple trong Python

Bài tập Python: Set trong Python

Bài tập Python: Set trong Python

Bài tập Python: Dictionary trong Python

Bài tập Python: Dictionary trong Python

Bài tập Python: List trong Python

Bài tập Python: List trong Python

Bài tập Python: Cấu trúc dữ liệu trong Python

Bài tập Python: Cấu trúc dữ liệu trong Python

Bài tập Python: Chuỗi trong Python

Bài tập Python: Chuỗi trong Python

Bài tập Python: Hàm trong Python

Bài tập Python: Hàm trong Python

Top