Chuyên viên cao cấp Dữ liệu lớn (Big Data Engineer)

Mô tả Công việc

• Xây dựng kiến trúc, phát triển các công cụ khai thác dữ liệu lớn, xử lý, chuyển đổi dữ liệu lớn và quản trị dữ liệu lớn (Big Data).
• Triển khai và phát triển các ứng dụng, mô hình xử lý dữ liệu trong hệ sinh thái dữ liệu lớn (Big Data) (Hadoop, Spark, Kafka,…) nhằm đảm bảo cung cấp một nền tảng lưu trữ, xử lý và khai thác dữ liệu đồng nhất, ổn định và hiệu quả cao.
• Nghiên cứu và thiết kế các hệ thống bảng biểu, các vùng lưu trữ, các pipeline dữ liệu, các chuẩn nén và phân tầng dữ liệu … phục vụ cung cấp dữ liệu cho nhu cầu khai thác, phân tích của các yêu cầu và dự án triển khai trên hạ tầng Big Data.
• Tìm hiểu, phân tích, đánh giá và xử lý các nguồn dữ liệu bán cấu trúc và phi cấu trúc; xây dựng các phương án kết nối dữ liệu đúng logic, nhanh và ổn định.
• Nghiên cứu, phát triển và quy hoạch các hệ thống đồng bộ và xử lý dữ liệu theo thời gian thực (near realtime), data streaming trên các nền tảng Oracle, Kafka Streams,… phục vụ nhu cầu khai thác dữ liệu theo thời gian thực.
• Nghiên cứu, phát triển và quy hoạch các hệ thống đám mây (Google Cloud) phục vụ lưu trữ và xử lý dữ liệu để giảm tải cho các hệ thống on-premise.
• Đánh giá các giải pháp kỹ thuật cũng như kiến trúc của luồng xử lý dữ liệu để đảm bảo đáp ứng các yêu cầu về hiệu năng, mức độ sẵn sàng cao và tính dễ mở rộng.
• Xây dựng và cập nhật các tài liệu liên quan đến thiết kế, triển khai, phát triển và vận hành hệ thống lưu trữ và xử lý dữ liệu lớn

Yêu Cầu Công Việc

1. Trình độ học vấn 

• Tốt nghiệp Đại học trở lên chuyên ngành Công nghệ thông tin hoặc tương đương.
• Tiếng Anh: Thành thào 4 kỹ năng nghe nói đọc viết.

2. Kinh nghiệm, kiến thức 

• Tối thiểu 02 năm kinh nghiệm với vai trò Kỹ sư dữ liệu lớn (Big Data Engineer) hoặc tương đương.
• Có kiến thức và kinh nghiệm làm việc về các hệ thống lưu trữ, xử lý dữ liệu phân tán, xử lý dữ liệu lớn (Hadoop, Spark, Elastic Search…); sử dụng Spark ETL with Scala, Python trên hệ sinh thái Hadoop.
• Có kiến thức, kinh nghiệm làm việc với các hệ thống streaming dữ liệu, các công cụ đồng bộ và chuyển đổi dữ liêu lớn, sử dụng các nền tảng Oracle, Cloudera và Confluent.
• Có kiến thức và kinh nghiệm về DB thuộc các nhóm: SQL DB: Oracle, MySQL, PostgreSQL, MariaDB, Amazon Aurona; No-SQL DB: Elasticsearch, Apache Cassandra, Apache Hbase, Google BigQuery, Apache Pinot; Graph DB: Neo4j, TigerGraph, Amazon Nepture; Memory DB: Redis, Hazelcast, Memcached
• Có kiến thức và kinh nghiệm làm việc với hệ thống Temenos Data Lake.
• Có kinh nghiệm sử dụng các công cụ BI như: OAS, Tableau, Power BI, Google Looker.
• Có kinh nghiệm làm việc theo mô hình Agile.
• Ưu tiên ứng viên có kinh nghiệm triển khai và phát triển các hệ thống Dữ liệu lớn tại các ngân hàng.

3. Các yêu cầu khác: 

• Tư duy/khả năng lập trình tốt và có kỹ năng phân tích hệ thống.
• Chủ động, sáng tạo và cải tiến trong công việc, trung thực, có tinh thần trách nhiệm, bảo mật thông tin.