Databricks1 [Delta Lake] DB Sink 되는 건들의 모수를 줄여보기 나는 백엔드 엔지니어이지만, Databricks 활용한 데이터 엔지니어링 업무도 겸하고 있다.추후 개발 커리어를 데이터 쪽으로 전향하고 싶기도 하여, 현재 회사에 입사 이후 지속적인 면담에서 데이터 업무를 하고 싶다고 적극적으로 어필을 했고, 챕터 리드분은 이를 흔쾌히 받아들여주셨다. 원하는 업무를 겸하게 되어 정말 행복하다. Databricks를 사용하며 사용하는 API는 Apache Spark를 사용한다.사실 적극적인 데이터 엔지니어링보다는 데이터 플랫폼, 데이터 분석팀에서 만들어주신 Raw Data를 서비스에 맞게 가공하여 Delta table에 적재한 후, 이를 DB Sink 하는 용도의 개발을 진행하고 있다. 처음 파이프라인을 개발했을 때는, 아무것도 모르는 상태에서 공부하며 진행했었기에 모든.. 2024. 11. 30. 이전 1 다음 반응형
