cho e hỏi là mình chưa có exp thực tế, thì kinh nghiệm xin việc về dev-ops như nào ạ. Em đang là back-end có 3 yoe r và đang muốn học thêm về dev-ops ạ
This guide perfectly captures the Docker installation process I struggled through last year! As someone who's deployed Airflow across multiple environments, here's what I wish I knew earlier:
The Constraint File Lifesaver
While this uses Docker, for native installs always use:
bash
Copy
pip install "apache-airflow[postgres]==2.7.3" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.7.3/constraints-3.10.txt"
(Skipping this caused 3 failed installations before I learned my lesson)
GPU Support Goldmine
That GPU configuration tip is priceless! We use it for ML pipelines and saw 4x faster processing. Just remember to install NVIDIA container toolkit first.
Production Reality Check
The compose file works great for testing, but in production we had to:
Increase shm_size to 8GB
Add resource limits to prevent OOM kills
Set up proper volume backups
Watch Out For:
The init container sometimes fails silently - always check logs with docker compose logs airflow-init
Port conflicts on 8080 are more common than you'd think
Question: Has anyone gotten this working smoothly with Airflow 2.8+? I'm seeing Python 3.11 compatibility quirks.
— DataPipelineEngineer (Running 200+ DAGs in production)
P.S. That .env file tip saved me from permission nightmares!
ở bước $ mosquitto -c /etc/mosquitto/mosquitto.conf -v khi em chạy thì
gặp lỗi
Error: Unable to open log file /var/log/mosquitto/mosquitto.log for writing.
Error: Unable to open pwfile "/etc/mosquitto/passwd".
Error opening password file "/etc/mosquitto/passwd".
làm sao để khắc phục ạ
hiện tại thì đang sử dụng Bitwarden, và cảm nhận thấy cũng tiện đấy chứ, thay vì phải nhớ mật khẩu và đặt mật khẩu giống nhau thì cứ random mật khẩu cho từng web. Không cần phải nhớ làm chi, cứ vào là nó tự fill sẵn mật khẩu cho mình.
Mình dùng Open Source và tự Selfhost server nên vấn đề bảo mật thì đảm bảo.
Go fen. Mà fen chắc ko, tại ko nhiều công ty cho vừa code mobile vừa code BE đâu. Cty mình outsource, nhiều dự án nên xin code ké được, chứ với mọi người thì mình vẫn khuyên là lỡ học mobile rồi thì học sâu về native
Anh cho em hỏi xíu là đoạn label bằng labelImg kia là anh làm thủ công bằng tay từng ảnh một ạ ? Nếu làm thủ công bằng tay rồi thì cần gì train model để nó làm nữa đâu đúng ko a ? Em cảm ơn.
THẢO LUẬN
cho e hỏi là mình chưa có exp thực tế, thì kinh nghiệm xin việc về dev-ops như nào ạ. Em đang là back-end có 3 yoe r và đang muốn học thêm về dev-ops ạ
excalidraw nhé, icon thì mình lấy trên flaticon
Hay hay
cho em hỏi là cái này phải cài nhiều máy ảo à và sử dụng ubuntu thì có cài tương tự ko ạ ,em mới học nên chưa biết gì cả
Bác vẽ bằng gì vậy ?
This guide perfectly captures the Docker installation process I struggled through last year! As someone who's deployed Airflow across multiple environments, here's what I wish I knew earlier:
The Constraint File Lifesaver
Watch Out For:
Question: Has anyone gotten this working smoothly with Airflow 2.8+? I'm seeing Python 3.11 compatibility quirks.
— DataPipelineEngineer (Running 200+ DAGs in production)
P.S. That .env file tip saved me from permission nightmares!
For native installs: See this complete pip install apache-airflow guide with 2024 best practices
ở bước $ mosquitto -c /etc/mosquitto/mosquitto.conf -v khi em chạy thì gặp lỗi Error: Unable to open log file /var/log/mosquitto/mosquitto.log for writing.
Error: Unable to open pwfile "/etc/mosquitto/passwd".
Error opening password file "/etc/mosquitto/passwd". làm sao để khắc phục ạ
bên mình thì QA là bên đại diện khách hàng, test UAT, còn bên QC thì đúng như bạn nói test khi ra thành phẩm.
Vote bo
Nice
Hay quá bạn ơi
Upvote
hiện tại thì đang sử dụng Bitwarden, và cảm nhận thấy cũng tiện đấy chứ, thay vì phải nhớ mật khẩu và đặt mật khẩu giống nhau thì cứ random mật khẩu cho từng web. Không cần phải nhớ làm chi, cứ vào là nó tự fill sẵn mật khẩu cho mình. Mình dùng Open Source và tự Selfhost server nên vấn đề bảo mật thì đảm bảo.
Go fen. Mà fen chắc ko, tại ko nhiều công ty cho vừa code mobile vừa code BE đâu. Cty mình outsource, nhiều dự án nên xin code ké được, chứ với mọi người thì mình vẫn khuyên là lỡ học mobile rồi thì học sâu về native
Bạn ơi ko ra phần 2 à bạn.
nguyên 1 bài viết bơ từ chatgpt qua, ko có tâm thì đừng nên viết mấy bài kiểu này nữa
Anh cho em hỏi xíu là đoạn label bằng labelImg kia là anh làm thủ công bằng tay từng ảnh một ạ ? Nếu làm thủ công bằng tay rồi thì cần gì train model để nó làm nữa đâu đúng ko a ? Em cảm ơn.
hóng p2. Pro có series hướng dẫn giao dịch CK bằng python nữa thì hết nước chấm
Okela
bài tới làm chủ đề I/O multiplexing đi anh :v