Senior/Expert Data Engineer (Python/Java, Data Lake)

Mô tả Công việc

a. Xây dựng và duy trì hệ thống Data Lake:

• Triển khai và tối ưu hóa hệ thống Data Lake sử dụng các công nghệ open source như MinIO, Iceberg, và Trino.
• Migrate dữ liệu từ các hệ thống sang Data Lake, bao gồm cả dữ liệu gần thời gian thực (near real-time) và dữ liệu batch (t-1).
• Thiết kế và bảo trì Data Marts cho các đơn vị trong công ty.

b. Quản lý luồng ETL:

• Xây dựng và quản lý luồng ETL sử dụng các công cụ như Airflow, dbt, ODI.
• Làm việc với team Phân tích và Khoa học Dữ liệu để làm giàu dữ liệu cho Data Lake và Data Mart.

c. Tài liệu hóa và làm sạch dữ liệu:

• Tài liệu hóa các mapping về dữ liệu Data Lake, Data warehouse, MetaData của các hệ thống tác nghiệp.
• Tham gia vào các hoạt động làm sạch dữ liệu trên các hệ thống.

d. Vận hành và báo cáo:

• Tham gia vào hoạt động vận hành và báo cáo về chất lượng dữ liệu theo mô hình Data Steward Models và Khung Quản trị Dữ liệu.

Yêu Cầu Công Việc

• Tốt nghiệp Đại học các chuyên ngành về Công nghệ thông tin, Dữ liệu.
• Có chứng chỉ liên quan đến các chuyên ngành như Khoa học Máy tính, Kỹ sư phần mềm hoặc Khoa học Dữ liệu là một lợi thế.
• Có mindset data-driven và sự tỷ mẩn của người xây dựng hạ tầng dữ liệu. Có khả năng phân tích là một lợi thế.
• Từ 03 năm kinh nghiệm với việc xây dựng luồng ETL trên các hệ thống lưu trữ dữ liệu có cấu trúc và thiết kế Data Marts, Data Warehouse hoặc Data Lake.
• Kinh nghiệm với các công nghệ mã nguồn mở như MinIO, Iceberg, DeltaLake là một lợi thế
• Thuần thục Python và các thư viện xử lý dữ liệu.
• Kinh nghiệm với các công cụ quản lý luồng ETL như Airflow, ODI, Datastate, Pentaho hoặc các công cụ tương tự.
• Kinh nghiệm với các công cụ về stream dữ liệu thời gian thực như Kafka, Spark, Risingwave là một lợi thế.