Thu thập dữ liệu công khai có trách nhiệm: từ Nghị định 13/2023 đến Luật Bảo vệ dữ liệu cá nhân 2025
Thu thập dữ liệu công khai có trách nhiệm: từ Nghị định 13/2023 đến Luật Bảo vệ dữ liệu cá nhân 2025
Tags: python, webscraping, privacy, vietnamese
Công khai: Mình đang làm việc tại ipvora, một dịch vụ proxy dân cư. Bài viết này không phải tư vấn pháp lý. Các ví dụ kỹ thuật dùng biến môi trường và hostname giả, chạy được với bất kỳ nhà cung cấp nào hỗ trợ HTTP/HTTPS/SOCKS5. Trước khi triển khai quy trình thu thập dữ liệu, hãy đọc văn bản gốc và tham khảo ý kiến pháp chế của tổ chức bạn.
Nhiều tài liệu tiếng Việt vẫn nhắc Nghị định 13/2023/NĐ-CP khi nói về “crawl cho đúng luật”. Từ 01/01/2026, Luật Bảo vệ dữ liệu cá nhân số 91/2025/QH15 có hiệu lực, cùng Nghị định 356/2025/NĐ-CP quy định chi tiết thi hành; Nghị định 13/2023 hết hiệu lực cùng thời điểm đó. Nếu nội quy nội bộ còn viết theo Nghị định 13, hãy đối chiếu lại mục đích, phạm vi và cách lưu dữ liệu, chứ không phải viết lại toàn bộ scraper.
Bài này tập trung vào việc dev và marketer thường làm: thu thập dữ liệu công khai trên website để nghiên cứu thị trường, theo dõi giá hoặc đối chiếu nội dung theo khu vực. Proxy dân cư chỉ thay đổi đường đi mạng; nó không thay đổi nghĩa vụ pháp lý khi dữ liệu lấy ra là dữ liệu cá nhân.
1. Nghị định 13 đã hết hiệu lực, nhưng không phải bắt đầu lại từ không
Luật 91/2025/QH15 được Quốc hội thông qua ngày 26/06/2025, có hiệu lực từ 01/01/2026. Theo Điều 39, hoạt động xử lý đã được đồng ý hoặc theo thỏa thuận hợp lệ dưới Nghị định 13 trước ngày Luật có hiệu lực thì được tiếp tục, không phải xin đồng ý lại. Hồ sơ đánh giá tác động đã được cơ quan chuyên trách tiếp nhận trước đó cũng tiếp tục được sử dụng; cập nhật sau 01/01/2026 thì theo Luật mới.
Quy trình mới, gồm mở rộng mục đích hoặc chuyển dữ liệu ra nước ngoài lần đầu, cần đọc theo Luật 91 và Nghị định 356.
Luật áp dụng với tổ chức, cá nhân Việt Nam, bên nước ngoài tại Việt Nam, và bên nước ngoài liên quan đến việc xử lý dữ liệu cá nhân của công dân Việt Nam. Nếu bạn thu thập dữ liệu từ Việt Nam, hoặc xử lý dữ liệu của người Việt Nam dù hạ tầng đặt ở nước ngoài, hãy giả định Luật này có thể liên quan đến công việc của bạn.
2. “Dữ liệu công khai” không đồng nghĩa với “không phải dữ liệu cá nhân”
Luật định nghĩa dữ liệu cá nhân là dữ liệu số hoặc thông tin dưới dạng khác xác định hoặc giúp xác định một con người cụ thể. Một trang web mở cho ai cũng đọc được vẫn có thể chứa dữ liệu cá nhân. Hai nhóm sau đây khác nhau:
- Dữ liệu không gắn với một người cụ thể: giá niêm yết, mô tả sản phẩm, thông số kỹ thuật, điều khoản công khai, tài liệu hướng dẫn, hoặc thời gian giao hàng công bố trên trang. Đây là kiểu dữ liệu nghiên cứu thị trường thường cần.
- Dữ liệu cá nhân dù đang hiển thị công khai: họ tên kèm số điện thoại trên tin rao, email trong bình luận, ảnh chân dung có thể nhận diện, đường dẫn hồ sơ người dùng, số căn cước hay tài khoản bị lộ trên trang. Việc thông tin ấy “đang nằm trên Internet” không tự biến nó thành dữ liệu bạn có thể thu thập, lưu trữ, ghép nối hay chuyển giao tùy ý.
Điều 3 của Luật nêu nguyên tắc: chỉ được thu thập, xử lý dữ liệu cá nhân đúng phạm vi, mục đích cụ thể, rõ ràng và tuân thủ pháp luật; dữ liệu phải chính xác, được chỉnh sửa khi cần, và chỉ lưu trong khoảng thời gian phù hợp với mục đích xử lý, trừ trường hợp pháp luật có quy định khác. Câu hỏi đầu tiên không phải “mình crawl được không?”, mà là “mình đang xử lý dữ liệu của ai, để làm gì, giữ trong bao lâu?”.
Theo Điều 4, chủ thể dữ liệu có quyền được biết, đồng ý hoặc rút lại sự đồng ý, xem và chỉnh sửa, yêu cầu cung cấp, xóa hoặc hạn chế xử lý, phản đối xử lý, cũng như khiếu nại và yêu cầu bồi thường theo pháp luật. Nếu pipeline giữ lại tên, số điện thoại hay email, hãy chuẩn bị cách đáp ứng các yêu cầu này.
Các trường hợp xử lý không cần sự đồng ý được Luật liệt kê hẹp: bảo vệ tính mạng, sức khỏe trong tình huống cấp bách; tình trạng khẩn cấp hoặc phòng, chống tội phạm; hoạt động của cơ quan nhà nước; thực hiện thỏa thuận của chủ thể dữ liệu theo pháp luật; và trường hợp khác do pháp luật quy định. “Trang đó ai cũng xem được” không nằm trong danh sách này.
Luật cấm mua, bán dữ liệu cá nhân (trừ trường hợp luật có quy định khác), chiếm đoạt, cố ý làm lộ hoặc làm mất dữ liệu cá nhân, và xử lý trái quy định. Theo cổng thông tin của Bộ Công an khi Luật có hiệu lực, mức phạt tiền tối đa với hành vi mua, bán dữ liệu cá nhân là 10 lần khoản thu từ hành vi vi phạm; với vi phạm chuyển dữ liệu xuyên biên giới, mức tối đa đối với tổ chức là 5% doanh thu năm trước liền kề; các hành vi khác có mức tối đa 03 tỷ đồng (tổ chức; cá nhân bằng một phần hai).
3. Trước khi viết scraper: một danh sách ngắn
- Xác định mục đích cụ thể và viết ra một câu, ví dụ: “theo dõi giá niêm yết công khai của sản phẩm X trên các trang bán lẻ, cập nhật mỗi ngày, giữ 90 ngày”. Nếu mục đích thay đổi (từ theo dõi giá sang xây danh sách liên hệ), đó là một hoạt động xử lý khác.
- Phân loại dữ liệu trước khi lấy. Nếu trang mục tiêu chủ yếu là giá và mô tả sản phẩm, hãy cấu hình parser chỉ lấy các trường đó. Đừng cào toàn bộ DOM “cho chắc”.
- Đọc điều khoản sử dụng và
robots.txt. Chúng không thay thế nghĩa vụ theo Luật, nhưng là tín hiệu kỹ thuật và hợp đồng mà nhiều trang dùng để nêu phạm vi cho bot. - Giới hạn tần suất. Nghiên cứu thị trường không cần hàng chục request mỗi giây. Giữ khoảng nghỉ, tôn trọng mã 429 và Retry-After.
- Không đăng nhập, không vượt paywall, không vượt CAPTCHA để lấy dữ liệu bạn không được phép lấy. Proxy không phải công cụ để đóng giả một phiên đăng nhập trái phép.
- Ghi nhật ký mục đích và nguồn, không ghi thêm dữ liệu cá nhân “phòng khi cần”. Có hạn lưu và cách xóa khi mục đích kết thúc hoặc khi có yêu cầu hợp lệ.
4. Ví dụ Python: robots.txt, giới hạn tốc độ, và lọc trước khi lưu
Các ví dụ dưới đây dùng biến môi trường PROXY_URL và URL mặc định https://example.com/. Không có hostname thật của nhà cung cấp, không có thông tin đăng nhập trong code.
"""Thu thập dữ liệu công khai có kiểm soát: robots.txt, rate limit, lọc PII.
Chỉ dùng cho trang và dữ liệu bạn được phép thu thập.
Đặt biến môi trường trước khi chạy, ví dụ:
export PROXY_URL="http://user:pass@host:port"
export TARGET_URL="https://example.com/products"
export PURPOSE="theo doi gia niem yet cong khai, giu 90 ngay"
"""
from __future__ import annotations
import csv
import os
import re
import time
import urllib.robotparser
from datetime import datetime, timezone
from urllib.parse import urlsplit
import requests
TARGET_URL = os.environ.get("TARGET_URL", "https://example.com/products")
PURPOSE = os.environ.get(
"PURPOSE",
"theo doi gia niem yet cong khai, giu 90 ngay",
)
PROXY_URL = os.environ.get("PROXY_URL") # để trống thì đi trực tiếp
USER_AGENT = os.environ.get(
"CRAWL_USER_AGENT",
"PublicPriceResearchBot/1.0 (contact: research@example.com)",
)
MIN_INTERVAL_SEC = float(os.environ.get("MIN_INTERVAL_SEC", "3"))
OUTPUT_CSV = os.environ.get("OUTPUT_CSV", "public_prices.csv")
# Mẫu nhận diện thô, không đủ để khẳng định "đã tuân thủ".
EMAIL_RE = re.compile(r"\b[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,}\b", re.I)
# Số điện thoại Việt Nam ở dạng phổ biến: +84 hoặc 0, rồi 9–10 chữ số.
VN_PHONE_RE = re.compile(
r"(?:\+?84|0)(?:\s|\.|-)?(?:3|5|7|8|9)\d(?:[\s.\-]?\d){7,8}"
)
# Căn cước 12 chữ số đi riêng, tránh nuốt nhầm giá tiền.
CCCD_RE = re.compile(r"(?<!\d)\d{12}(?!\d)")
PRICE_RE = re.compile(
r"(?:(?:\d{1,3}(?:[.,]\d{3})+|\d+)(?:[.,]\d{0,2})?)\s?(?:₫|đ|VND|vnđ)",
re.I,
)
def proxy_dict(proxy_url: str | None) -> dict[str, str] | None:
if not proxy_url:
return None
return {"http": proxy_url, "https": proxy_url}
def allowed_by_robots(url: str, user_agent: str) -> bool:
parts = urlsplit(url)
robots_url = f"{parts.scheme}://{parts.netloc}/robots.txt"
parser = urllib.robotparser.RobotFileParser()
parser.set_url(robots_url)
try:
parser.read()
except Exception:
# Không đọc được robots.txt thì dừng lại để người vận hành quyết định,
# đừng mặc định "cứ crawl".
print(f"Khong doc duoc robots.txt tai {robots_url}")
return False
return parser.can_fetch(user_agent, url)
class RateLimiter:
def __init__(self, min_interval: float) -> None:
self.min_interval = min_interval
self._last = 0.0
def wait(self) -> None:
now = time.monotonic()
delay = self.min_interval - (now - self._last)
if delay > 0:
time.sleep(delay)
self._last = time.monotonic()
def redact_personal_data(text: str) -> str:
"""Che các mẫu thường gặp trước khi ghi ra đĩa."""
text = EMAIL_RE.sub("[redacted-email]", text)
text = VN_PHONE_RE.sub("[redacted-phone]", text)
text = CCCD_RE.sub("[redacted-id]", text)
return text
def extract_public_prices(html: str) -> list[str]:
return PRICE_RE.findall(html)
def fetch(url: str, session: requests.Session, limiter: RateLimiter) -> requests.Response:
limiter.wait()
response = session.get(url, timeout=30)
if response.status_code == 429:
retry_after = response.headers.get("Retry-After", "30")
try:
wait_s = min(float(retry_after), 120)
except ValueError:
wait_s = 30
time.sleep(wait_s)
limiter.wait()
response = session.get(url, timeout=30)
response.raise_for_status()
return response
def main() -> None:
if not allowed_by_robots(TARGET_URL, USER_AGENT):
raise SystemExit(f"robots.txt khong cho phep: {TARGET_URL}")
session = requests.Session()
session.headers.update({"User-Agent": USER_AGENT, "Accept": "text/html"})
proxies = proxy_dict(PROXY_URL)
if proxies:
session.proxies.update(proxies)
limiter = RateLimiter(MIN_INTERVAL_SEC)
response = fetch(TARGET_URL, session, limiter)
html = redact_personal_data(response.text)
prices = extract_public_prices(html)
new_file = not os.path.exists(OUTPUT_CSV)
with open(OUTPUT_CSV, "a", newline="", encoding="utf-8") as handle:
writer = csv.writer(handle)
if new_file:
writer.writerow(["collected_at_utc", "source_url", "purpose", "price_text"])
collected_at = datetime.now(timezone.utc).isoformat()
for price in prices:
writer.writerow([collected_at, TARGET_URL, PURPOSE, price])
print(f"Da luu {len(prices)} gia tu {TARGET_URL}")
if __name__ == "__main__":
main()
Vài lưu ý: redact_personal_data() chỉ là lớp lọc kỹ thuật, không biến hoạt động vốn cần cơ sở pháp lý thành hợp pháp, cũng không bắt hết dữ liệu cá nhân (tên không theo mẫu, ảnh, mã số khác). Cột purpose và source_url giúp giải thích mình lấy dữ liệu để làm gì, từ đâu, lúc nào. Nếu PROXY_URL dùng SOCKS5, cần thêm requests[socks] và URL dạng socks5h://...; HTTP/HTTPS proxy thì requests dùng trực tiếp được. Hãy kiểm tra IP đầu ra một lần trước khi chạy hàng loạt.
Mỗi nguồn nên ghi nhận URL, mục đích, trường được phép và trường bị cấm (họ tên, điện thoại, email, hồ sơ), tần suất, hạn lưu, có chuyển ra nước ngoài hay không, và cách xóa. Trường nằm ngoài danh sách được phép hãy coi là lỗi của pipeline.
5. Proxy dân cư đóng vai trò gì — và không đóng vai trò gì
Nghiên cứu thị trường và kiểm thử theo khu vực thường cần nhìn trang như người dùng ở một thị trường cụ thể: giá và ngôn ngữ tại Việt Nam có khác Mỹ, Nhật Bản hay châu Âu hay không. IP datacenter đôi khi bị trang đích trả về phiên bản khác với người dùng nhà mạng dân dụng. Proxy dân cư xoay phù hợp khi các lần lấy giá độc lập với nhau; nếu cần giữ cùng một IP trong một phiên làm việc ngắn, cửa sổ sticky (với ipvora là 1–120 phút) thường đủ. Khi đối tác yêu cầu whitelist một IP cố định trong nhiều ngày, nên dùng proxy dân cư tĩnh thuê theo tháng, không phải xoay.
Nếu bạn cần IP dân cư tại Việt Nam, Mỹ, Nhật Bản hoặc châu Âu để nghiên cứu dữ liệu công khai và kiểm thử theo khu vực, có thể tham khảo proxy dân cư dành cho nghiên cứu thị trường từ Việt Nam.
Proxy không thay thế mục đích hợp pháp, không cho phép thu thập dữ liệu cá nhân chỉ vì “đi ra IP khác”, và không cho phép bỏ qua điều khoản hay tường đăng nhập. Luật có quy định riêng về chuyển dữ liệu xuyên biên giới (Điều 20) và hồ sơ đánh giá tác động. Nếu log hoặc kho dữ liệu nằm ngoài Việt Nam, hãy để pháp chế xem trước khi bật pipeline.
Tổng kết
Từ 01/01/2026, khung pháp lý là Luật 91/2025/QH15 và Nghị định 356/2025/NĐ-CP, không còn là Nghị định 13/2023. Với dev và marketer, phần lớn công việc hợp lý vẫn là thu thập dữ liệu không gắn với một người cụ thể — giá, thông tin sản phẩm, nội dung công khai — với mục đích viết rõ, tần suất vừa phải, và bộ lọc để dữ liệu cá nhân không lọt vào kho. Proxy dân cư hữu ích khi bạn cần nhìn thị trường từ đúng khu vực; nó không phải giấy phép để thu thập danh bạ. Hãy đọc văn bản gốc và để pháp chế xem các trường hợp có dữ liệu cá nhân hoặc chuyển dữ liệu ra nước ngoài trước khi mở rộng quy mô.
All rights reserved