테이블 적재 대신 함수 로직으로
AI가 작성한 코드는 테스트로 잡아냅니다. 그렇다면 AI가 읽는 데이터는 무엇으로 검증해야 할까요? 저희는 검증을 늘리는 대신 데이터 기반 자체를 바꿨습니다. 16,000개의 테이블을 생성하는 파편화된 파이프라인을 함수 계층으로 전환해서, 고질적인 비용, 지연, 생산성 문제를 해결하고 AI에게 '어떤 데이터를 어느 구간까지' 처리할지에 대한 결정만 남긴 과정을 공유합니다.
이런 분께 권합니다
AI에게 어디까지 의사결정을 맡겨야 할지 고민 중인 분들께 추천합니다. 데이터 직군이 아니어도 괜찮습니다. AI 도구 자체를 만드는 이야기가 아니라, 그 도구들이 단단하게 딛고 설 '데이터 기반'을 구축하는 이야기이기 때문입니다.
연사
여러 조직에서 데이터 플랫폼을 0에서 1로 구축해 왔습니다. 현재 사람과 AI가 동일한 데이터를 안전하게 활용할 수 있는 기반을 만들며, 문서가 아닌 시스템으로 통제되는 데이터 표준을 설계하고 있습니다.
세션 소개
데이터 카탈로그에 16,000개의 테이블이 있지만, 'order'를 검색하면 140개가 나옵니다. 이 중 무엇이 정확한 데이터인지 사람조차 쉽게 답하지 못합니다. 테이블은 로직의 결과물만 저장할 뿐, 그 결과를 만든 로직은 담당자의 코드와 기억 속에만 존재하기 때문입니다. 담당자가 바뀌면 동일한 개념이 다섯 번씩 다시 만들어지기도 합니다. 이 상태로 AI에게 데이터를 맡기면, 사람도 고르지 못한 140개 중 하나를 AI가 임의로 선택하고 그 이유를 아무도 검증하지 못하는 상황이 벌어집니다.
그래서 저희는 데이터 자산의 기준을 결과(테이블)가 아닌 재사용 가능한 로직(테이블 함수)으로 바꿨습니다. 시간 파라미터를 강제해 스캔 범위를 명시적으로 고정하고, 요청이 들어온 구간만 채우는 수요 기반 캐싱을 함수 내부로 추상화했습니다. 또한, 카탈로그가 추적하지 못하는 함수 단위의 데이터 리니지를 개발해 각 데이터 에셋의 영향력을 조회할 수 있게 되었습니다. 이번 발표에서는 이 세 가지 요소를 어떻게 구현했는지 집중적으로 다루며, 네 가지 라이브 데모를 함께 선보일 예정입니다.
이러한 기반이 갖춰지면 AI에게 남는 결정은 "어떤 의미를 어느 구간까지" 뿐입니다. 조인, 파티셔닝, 처리 순서는 엔진이 알아서 최적화하며, AI가 생성하는 것은 단 한 줄의 함수 호출이므로 사람이 직관적으로 검증할 수 있습니다. AI의 결과물을 사후에 검증하는 방식이 아니라, 애초에 틀릴 여지 자체를 줄이는 접근법입니다. 이 개발 과정에서 부족했던 부분도 함께 공유합니다. 캐싱의 효과를 보고 전부 캐싱하려다 비용만 태운 이야기, 개념을 아무리 설명해도 "그래서 마트는 언제 만들어주나요"로 되돌아오던 현실적인 고민도 함께 나눕니다.