Kỹ sư dữ liệu (Data Engineer )

Mô tả Công việc

Trách nhiệm chính:

· Chịu trách nhiệm triển khai data pipeline bằng Azure Stack

· Chịu trách nhiệm tạo các data pipeline có thể mở rộng và tái sử dụng

· Chịu trách nhiệm sử dụng Databrick để xây dựng mô hình trong Datalake/Azure Synapse

· Làm việc với lãnh đạo để thiết lập các tiêu chuẩn cho thực hành kỹ thuật phần mềm trong the machine learning engineering team và hỗ trợ trong các lĩnh vực khác

· Cung cấp và thiết lập nền tảng dữ liệu/Công nghệ truyền dữ liệu tại chỗ của kỹ sư dữ liệu và Cloud.

· Quản lý và bảo mật luồng dữ liệu có cấu trúc và phi cấu trúc từ nhiều nguồn.

· Nền tảng dữ liệu bao gồm cơ sở dữ liệu quan hệ, cơ sở dữ liệu phi quan hệ, luồng dữ liệu và kho lưu trữ tệp.

Yêu Cầu Công Việc

Kiến Thức:

·        Kiến thức về các công nghệ Dữ liệu lớn, chẳng hạn như Spark, Hadoop/MapReduce là cần thiết nhưng không thiết yếu

·        Kiến thức về các dịch vụ Azure như HD Insight, Azure DataBricks, v.v.

·        Kiến thức làm việc về ưu, nhược điểm và cách sử dụng của các ứng dụng ML/DL khác nhau (chẳng hạn như Keras, Tensorflow, Python scikit learn và R)

·        Đóng góp cho cộng đồng công nghiệp/nguồn mở.

·        Kiến thức và kinh nghiệm thực tế về các nền tảng dựa trên đám mây và các dịch vụ ML/DL của chúng (chẳng hạn như Google GCP, AWS và Azure) sẽ là lợi thế

·        Hiểu biết về cơ sở hạ tầng (bao gồm lưu trữ, triển khai dựa trên vùng chứa và kiến trúc lưu trữ) sẽ là lợi thế

·        Kiến thức về Linux, Iseries, Windows

Bằng cấp:

·        Bằng đại học về Khoa học Máy tính, Kỹ thuật và/hoặc lĩnh vực định hướng kỹ thuật

·        2 năm kinh nghiệm với Flink/Spark, Databricks và lý tưởng là Kubernetes

·        2 năm kinh nghiệm với Azure (chứng chỉ DP200 và/hoặc DP201, DP203 là một lợi thế)

·        Kiến thức tốt về SQL và kỹ năng coding xuất sắc (Python)

·        Đam mê công nghệ & ứng dụng máy học phân tích và ham học hỏi

·        Tiếng Anh giao tiếp.