工作內容
需此職位與產品團隊和前後端工程團隊緊密合作,負責資料基礎建設的穩定性與資料品質,並推動新一代 AI 資料應用的落地。
【工作內容】
1. Data Infrastructure 建置與維護:負責 Airflow 的部署、調優與日常維護,確保排程系統的高可用性。
2. Data Pipeline & ETL/ELT 開發:
- 設計並實作高效的 ETL/ELT 流程,處理大量 SQL 資料轉換。
- 建置與維護 CDC (Change Data Capture) 機制,確保資料庫資料即時且準確地同步。
3. Data Product 開發:支援資料產品開發,並參與公司內部 RAG (Retrieval-Augmented Generation) 應用的資料流規劃。
【必備技能】
1. 工作經驗:1 年以上數據工程或數據產品相關工作經驗。
2. 程式語言:熟悉 Python 與 SQL,具備良好的編碼風格。
3. 資料工程工具:
- 熟悉 Airflow 的 DAGs 撰寫、排錯與維護。
- 具備大數據處理工具實作經驗(如 PySpark, Kafka)。
4. 資料處理架構:
- 熟悉 ETL/ELT 流程設計。
- 具備 Batch processing 與 Streaming processing 相關經驗。
- 有 CDC (Change Data Capture) 工具(如 AWS DMS、Debezium 或其他自建方案)的使用或維護經驗。
5. 資料庫經驗:熟悉關聯式資料庫(PostgreSQL, MySQL)或 NoSQL(MongoDB)。
6. 主動積極、樂於學習分享新技術(如 GenAI 相關應用)。
7. 具備自我成長、追求進步的特質。
8. 良好的團隊溝通能力,能與不同職能團隊協作。
【加分條件】
1. GenAI 與 RAG 實戰經驗:
- 具備 RAG (Retrieval-Augmented Generation) 架構規劃與建置經驗。
- 熟悉 Vector Database (如 Pinecone, Milvus, pgvector) 或 LLM 開發框架 (如 LangChain, LlamaIndex)。
2. 雲端服務:熟悉 AWS 各項服務(如 S3, EMR, RDS, Glue),並有實際串接經驗。
3. 儲存與查詢優化:熟悉各項 Storage 格式(Parquet, Avro)與 Query 效能優化工具。
工作說明
-
工作縣市:臺中市
- 上班地點:台中市西屯區
-
工作待遇:月薪55,000~65,000元
-
上班時段:週休二日
-
需求人數:1人
條件要求
-
工作經歷:
1年以上
-
學歷要求:專科
-
科系要求:
無填寫
-
專長需求:
-
擅長工具:
- 具備駕照:
-
其他條件:
https://www.104.com.tw/job/8xujh