Software Developer Professional Retail Date
Adaugat: 6 zile în urmă
Raiffeisen Bank
Software Developer Professional Retail Date
Adaugat: 6 zile în urmă
Raiffeisen Bank
Acest anunt este cu aplicare externa. Cand dati click pe Aplicare Externa veti fi redirectionat pe un alt site pentru a aplica.
I. 🎯 Scopul Postului
Dezvoltarea, implementarea și optimizarea soluțiilor complexe de Data Warehouse (DWH) și Data Lakehouse folosind platforma Databricks (inclusiv Delta Lake, Unity Catalog și Spark) pentru a asigura o fundație de date scalabilă, performantă și guvernată pentru analiză, raportare și Machine Learning.
II. 📝 Responsabilități Principale
- Dezvoltare și Arhitectură Databricks
- Proiectare și Implementare Avansată: Proiectarea și implementarea de pipeline-uri de date ETL/ELT robuste, scalabile și de înaltă performanță utilizând PySpark/Scala și Databricks SQL pe platforma Databricks.
- Delta Lake: Expertiză în implementarea și optimizarea arhitecturii Medallion (Bronze, Silver, Gold) folosind Delta Lake pentru a asigura calitatea, coerența și istoricitatea datelor.
- Lakehouse Platform: Implementarea eficientă a arhitecturii Lakehouse pe Databricks, combinând cele mai bune practici din DWH și Data Lake.
- Optimizarea Performanței: Optimizarea clusterelor Databricks, a operațiunilor Spark și a tabelelor Delta (ex: Z-ordering, Compaction, Tuning Queries) pentru a reduce latența și costurile de calcul.
- Streamare: Proiectarea și implementarea de soluții de procesare a datelor în timp real/cvasireal (streaming) folosind Spark Structured Streaming și Delta Live Tables (DLT).
- Guvernanță și Securitate
- Unity Catalog: Implementarea și administrarea Unity Catalog pentru guvernanța centralizată a datelor, securitate fină (row/column-level security) și lineage de date.
- Calitatea Datelor (Data Quality): Definirea și implementarea standardelor și a regulilor de calitate a datelor (ex: folosind DLT sau Great Expectations) pentru a menține integritatea datelor.
- Operațiuni și Colaborare
- Orchestrare: Dezvoltarea și gestionarea fluxurilor de lucru (workflows) complexe folosind Databricks Workflows (Jobs) sau instrumente externe (ex: Azure Data Factory, Airflow) pentru automatizarea pipeline-urilor.
- DevOps/CI/CD: Integrarea pipeline-urilor Databricks în procese de CI/CD folosind instrumente precum Git, Databricks Repos și Bundles.
- Colaborare: Lucrul îndeaproape cu Data Scientists, Analisti și Arhitecți pentru a înțelege cerințele de business și pentru a oferi soluții tehnice optime.
- Mentorat: Oferirea de îndrumare tehnică (mentorship) dezvoltatorilor juniori și promovarea celor mai bune practici.
III. 🛠️ Calificări și Competențe Tehnice
- Cunoștințe Obligatorii (Nivel Expert)
- Databricks Platform: Experiență demonstrată, de nivel expert, cu întregul ecosistem Databricks (Workspace, Cluster Management, Notebooks, Databricks SQL).
- Apache Spark: Cunoștințe aprofundate ale arhitecturii Spark (RDD, DataFrames, Spark SQL) și a tehnicilor avansate de optimizare.
- Delta Lake: Expertiză în implementarea și administrarea Delta Lake (ACID properties, Time Travel, Merge, Optimize, Vacuum).
- Limbaje de Programare: Python (cu PySpark) și/sau Scala (cu Spark) la nivel avansat/expert.
- SQL: Competențe avansate/expert în SQL și Data Modeling (Dimensional, 3NF, Data Vault).
- Cloud: Experiență solidă cu o platformă Cloud majoră (AWS, Azure sau GCP), în special cu serviciile de stocare (S3, ADLS Gen2, GCS) și rețelistică.
- Cunoștințe Suplimentare (Avantaj Major)
- Unity Catalog: Experiență practică cu implementarea și administrarea Unity Catalog.
- Lakeflow: Experiență cu Delta Live Tables (DLT) și Databricks Workflows.
- Noțiuni de ML/AI: Înțelegerea conceptelor de bază MLOps și experiență cu MLflow pentru a facilita integrarea cu echipele de Data Science.
- DevOps: Experiență cu Terraform sau echivalent pentru Infrastructure as Code (IaC).
- Certificări: Certificările Databricks (ex: Databricks Certified Data Engineer Professional) reprezintă un avantaj semnificativ.
IV. 🧑 🎓 Educație și Experiență
- Educație: Licență în Informatică, Inginerie, Matematică sau un domeniu tehnic relevant.
- Experiență Profesională: Minimum 5+ ani de experiență în Data Engineering, dintre care cel puțin 3+ ani cu Databricks și Spark la scară largă.
Beneficii
Bonus de performanta
Al 13-lea salariu
Prime ocazii speciale
(ex: Paste, Craciun, 8 mar etc)
Abonament medical
Asigurare de viata
Pensie privata
Training-uri
Cursuri
Zile libere suplimentare
Program de lucru flexibil
Teambuilding-uri / excursii
Petreceri/evenimente companie
Laptop
Telefon mobil
Loc de parcare
Fun / Relax Area
Tichete de masa
Tichete culturale
Sfaturi de siguranta
- Nu trimiteti niciodata BANI in avans sau acte de identitate pentru aplicarea la un loc de munca. Nu trimiteti bani in avans pentru promisiuni de angajare sau alte oferte similare.
- Daca aveti impresia ca acest anunt nu este real, va rugam sa il raportati apasand butonul "Raporteaza Job"
This action will pause all job alerts. Are you sure?
Locuri de munca similare
Fii informat
Aboneaza-te la newsletter-ul nostru si primeste cele mai recente oferte de munca si informatii despre cariera direct in inbox-ul tau.
Securitatea datelor dumneavoastra este importanta pentru noi. Citeste Politica de confidentialitate.