어떤 회사인가요
빗썸은 국내 2등 규모의 가상자산 거래소이자, 종합 디지털 금융 플랫폼으로서 안전하고 신뢰할 수 있는 거래 환경을 제공하기 위해 보안과 기술 혁신을 최우선으로 삼고 있습니다. 코인원에서의 경험을 바탕으로 더 큰 규모의 시스템과 사용자 환경을 다루며 B2C 서비스의 큰 볼륨을 다루는 경험을 배우고 싶었습니다. 그리고 무엇보다도 개발자로서 더 깊이 있는 성장을 이루고 싶었습니다.
본인의 역할은 무엇인가요(무엇이었나요)
데이터플랫폼 관리 운영 및 클라우드 기반 파이프라인 개발: AWS 서비스들을 활용한 데이터플랫폼을 통합하고 임직원들이 원하는 데이터를 직접 볼 수 있는 Self Serve 환경을 만들고 있습니다. 우리 플랫폼을 이용하는 사용자에게 신뢰할 수 있는 데이터를 제공하고 편리하게 이용하는 걸 목표를 설정했어요.데이터 API 개발: 데이터를 클라우드 DW 컴퓨팅 파워를 이용해 집계하고, 이를 거래소 서비스에 사용할 수 있도록 API 를 제공했습니다. Reverse ETL 파이프라인과 Python 을 이용해 제공했으며, 최근에는 Source -> DW -> OLTP 파이프라인을 이용하지 않고 DW 의 데이터를 바로 볼 수 있는 방법에 대해 고민하고 있어요(Arrow Flight SQL)데이터 조직의 성과지표: 최근 성과관리에 대한 관심이 많아졌고 데이터 조직의 성과를 관리하기 위한 기반을 마련했습니다. 다른 조직에 비해 데이터 조직은 지원 하는 역할을 주로 맡았고, 눈으로 보여지는 성과를 만들기 어려웠어요. 이에 데이터 조직은 무엇을 했고, 어떤 성과를 이뤘는지 숫자로 볼 수 있도록 체계를 잡고 어필할 수 있는 환경을 만들어갔어요.
진행중인, 완료한, 크고 작은 프로젝트(들)은 무엇인가요
완료
진행중
작고 소중한
- 오픈소스>> mwaa-local-runner.rs
- 왜 만들었는지: 러스트 언어 학습과 aws 의 미흡한 레포 관리로 인해 CLI 를 shell script > 러스트로 포팅한 프로젝트에요.
- 꾸준히 만들어가고 있어요. root commit 을 rebase & force push 해서 커밋이 하나지만 매일 같이 변경하고 있답니다. 틀이 다 잡히고 쓰기 가능한 정도이면 Github Action 도 사용해볼 예정이에요.
- 미작성: 신뢰성 있는 Airfow dag Repository 를 위한 여정
- 미작성: Ruff 영감을 받아 DAG linter 제작기
- 미작성: DW API w/ Arrow Flight SQL
3버전부터 MWAA 프로덕션에서 실행되는 이미지를 오픈소스로 풀었네요. 기존 사용하던 스크립트와 유사한 형태긴 한데 수정할 게 많아보이긴 합니다.
https://github.com/aws/amazon-mwaa-docker-images/tree/main/images/airflow/3.0.6