DataOps (DevOps Engineer có nền tảng dữ liệu)

● Hỗ trợ triển khai và duy trì các hệ thống Big Data như Spark, Kafka, Airflow và các công cụ liên quan.

● Quản lý, giám sát và khắc phục sự cố các dịch vụ phân tán trong hệ thống Big Data.

● Triển khai và tối ưu các pipeline dữ liệu (ETL) chạy trên môi trường on-premises hoặc cloud.

● Viết script để tự động hóa quy trình vận hành, bảo trì hệ thống Big Data và cơ sở dữ liệu.

● Cộng tác với các nhóm Data Engineering và Data Science để hiểu yêu cầu hệ thống và hỗ trợ vận hành hiệu quả.

● Có kiến thức cơ bản về Linux, các hệ thống máy chủ và mạng.

● Hiểu biết về Apache Kafka và cách sử dụng nó để truyền tải dữ liệu giữa các dịch vụ.

● Hiểu biết về cơ sở dữ liệu: Postgresql, MS SQL

● Hiểu biết cơ bản về Docker và containerization.

● Hiểu biết cơ bản về một trong các ngôn ngữ lập trình: Python,