Senior/Expert Data Engineer (Data Lake/Lake House)

Mô tả Công việc

a. Xây dựng và duy trì hệ thống Data Lake/Lake House:

• Triển khai và tối ưu hóa hệ thống Data Lake/Lake House sử dụng các công nghệ open source như MinIO, Iceberg, và Trino
• Migrate dữ liệu từ các hệ thống sang Data Lake/Lake House, bao gồm cả dữ liệu gần thời gian thực (near real-time) và dữ liệu batch (t-1)
• Thiết kế và bảo trì Data Marts cho các đơn vị trong công ty

b. Quản lý luồng ETL:

• Xây dựng và quản lý luồng ETL sử dụng các công cụ như Airflow, dbt, ODI
• Làm việc với team Phân tích và Khoa học Dữ liệu để làm giàu dữ liệu cho Data Lake/Lake House và Data Mart.

c. Tài liệu hóa và làm sạch dữ liệu:

• Tài liệu hóa các mapping về dữ liệu Lake House, Data Lake, Data warehouse, MetaData của các hệ thống tác nghiệp
• Tham gia vào các hoạt động làm sạch dữ liệu trên các hệ thống

d. Vận hành và báo cáo:

• Tham gia vào hoạt động vận hành và báo cáo về chất lượng dữ liệu theo mô hình Data Steward Models và Khung Quản trị Dữ liệu

Yêu Cầu Công Việc

• Tốt nghiệp Đại học các chuyên ngành về Công nghệ thông tin, Dữ liệu
• Có chứng chỉ liên quan đến các chuyên ngành như Khoa học Máy tính, Kỹ sư phần mềm hoặc Khoa học Dữ liệu là một lợi thế
• Có mindset data-driven và sự tỷ mẩn của người xây dựng hạ tầng dữ liệu. Có khả năng phân tích là một lợi thế
• Từ 03 năm kinh nghiệm với việc xây dựng luồng ETL trên các hệ thống lưu trữ dữ liệu có cấu trúc và thiết kế Data Marts, Data Warehouse hoặc Data Lake
• Kinh nghiệm với các công nghệ mã nguồn mở như MinIO, Iceberg, DeltaLake là một lợi thế
• Thuần thục Python và các thư viện xử lý dữ liệu
• Kinh nghiệm với các công cụ quản lý luồng ETL như Airflow, ODI, Datastate, Pentaho hoặc các công cụ tương tự
• Hiểu biết về các công cụ stream dữ liệu thời gian thực như Kafka, Flink, Spark hoặc công cụ như Hadoop...