[미리디] 데이터 엔지니어

상세 정보

직종

개발·엔지니어링

고용형태

정규직

경력

경력 3년 이상

지역

서울특별시 구로구 디지털로31길 12

상세 직무 내용

| 팀 소개 저희 Data Engineering 파트는 Kafka/Debezium CDC 기반 수집·적재 파이프라인과 Databricks Delta Lake 레이크하우스를 운영하며, 그 위에서 전사가 신뢰하고 즉시 활용할 수 있는 분석 데이터 기반을 만들어 갑니다. 현재는 구축된 수집·적재 기반 위에서 데이터의 신뢰성과 활용성을 끌어올리는 단계로, Silver·Gold 마트의 모델링 표준화, Databricks Asset Bundle 기반 변환·CI/CD 체계, 데이터 품질 상시 모니터링을 진행하고 있습니다. 나아가 파이프라인 운영과 데이터 품질 검증을 자동화하는 Agent를 직접 개발해 플랫폼의 안정성과 운영 효율을 높이고 있으며, 마트화된 데이터를 Databricks 외부·Agent에서 가볍게 접근할 수 있는 DW 환경(예: ClickHouse, StarRocks)을 구축해 전사 AX(AI Transformation)를 위한 데이터 활용 기반을 마련하고 있습니다. 우리는 데이터의 수집부터 모델링, 품질, 서빙, 그리고 이를 떠받치는 플랫폼·도구까지 데이터 엔지니어링의 전 영역을 직접 설계하고 운영합니다. | 주요 업무 "미리디에서 이런 일들을 함께 하고 싶어요" 데이터 수집 파이프라인 실시간(Kafka/Debezium) 및 배치(Airflow) 기반 데이터 파이프라인을 구축하여 사내 여러 서비스의 데이터를 안정적으로 수집하고 중앙화하여 모든 데이터 기반의 분석과 의사결정의 출발점을 책임집니다. 데이터 레이크하우스 설계·운영 Databricks Delta Lake 위에 Bronze/Silver/Gold 구조를 설계하고, 사내 팀들이 믿고 쓸 수 있는 데이터 모델을 만듭니다. Kubernetes 기반 데이터 플랫폼 운영 EKS 기반으로 Airflow 배치 워크로드 및 다양한 사내 데이터 활용 오픈소스 솔루션을 구축 운영합니다. 데이터 품질 체계 정합성·freshness·schema drift를 지표화하고 모니터링해, 데이터를 쓰는 사람이 품질을 의심하지 않아도 되는 환경을 만듭니다. 데이터 거버넌스 Unity Catalog 기반 접근 제어와 PII 마스킹, 메타데이터·lineage 관리를 직접 설계·운영하며, 안전하고 추적 가능한 상태를 유지합니다. Agent 기반 셀프서비스 데이터 환경 사내 여러 팀이 데이터를 쉽게 활용할 수 있도록 데이터 제공·셀프서비스 환경을 개발하고, 파이프라인 운영·품질 검증을 자동화하는 Agent 등 내부 도구·플랫폼을 직접 개발합니다. 전사 AX 데이터 지원 AI Agent의 데이터 활용을 지원하는 DW 환경을 구축하고 전사 AX를 위한 데이터 활용을 지원합니다. | 자격요건 "이런 분이라면 목표 달성에 확신을 얻을 것 같아요" 데이터 엔지니어링 또는 관련 분야에서 3년 이상의 유관 경력 혹은 이에 준하는 역량을 갖추신 분 Python, SQL로 데이터를 능숙하게 처리하고, 운영 가능한 수준의 코드를 작성하실 수 있으신 분 Spark 등 분산 처리 프레임워크와 DBMS·데이터 스토리지에 대한 이해가 있으신 분 AWS 클라우드 환경에서 데이터 인프라를 구축·운영해본 경험이 있으신 분 Kubernetes 기반 데이터 파이프라인 구축 및 운영 경험이 있으신 분 데이터 웨어하우스/레이크하우스 모델링(스키마 설계, 차원/팩트, 적재 전략 등)에 대한 이해가 있으신 분 AI 도구를 적극 활용하여, 에이전트를 활용한 데이터플랫폼 운영·자동화 및 업무 생산성을 높인 경험이 있으신 분 | 우대 사항 "이런 분이라면 장기적으로 서로에게 더 긍정적일 것 같아요!" 원활한 커뮤니케이션을 바탕으로 팀과 함께 적극적으로 소통하며 어려운 문제들을 함께 풀어가시는 분 Databricks · Delta Lake 및 Open Table Format 환경에서 데이터 레이크하우스를 설계·운영해 본 경험이 있으신 분 데이터 거버넌스(접근 제어, PII 처리, 메타데이터·lineage)를 깊이 고민하고 운영해 본 경험이 있으신 분 DW/OLAP 엔진(ClickHouse, StarRocks 등) 또는 분석 서빙 레이어 구축하거나 운영해 본 경험이 있으신 분 다양한 요구사항에 맞게 데이터를 제공하기 위한 데이터 제공 플랫폼과 서비스를 구현해본 백엔드 개발 경험이 있으신 분 새로운 기술 스택에 대해 빠르게 학습하고, 문제에 맞는 방법을 찾아 적용하시는 분 | 기타 사항 [서류 전형] - [기술 스크리닝] - [1차 인터뷰] - [2차 인터뷰] - [처우 협의] - [입사] 의 프로세스로 진행됩니다. 기술 스크리닝 : 실무 인터뷰 전, 컴퓨터 공학 기초 지식을 확인합니다. (온라인, 30분 내외) 2차 인터뷰의 경우, 직무/직급에 따라 생략될 수 있습니다. 서류는 원활한 검토를 위해 PDF 형식으로 제출 부탁 드립니다. 직급에 따라 인터뷰 후 레퍼런스 체크 전형이 추가될 수 있습니다. 입사 후 3개월의 수습 기간 및 수습 평가가 진행됩니다. (급여 100%) 서류 전형 결과 안내까지는 최대 2주, 인터뷰 결과 안내까지는 최대 3주가 소요됩니다. 여러 포지션에 동시에 지원해주시는 것은 가능하지만 동일한 포지션의 경우 최종 결과 안내를 받은 시점으로부터 6개월 후에 재지원이 가능합니다.