Project Sentinel
과거 릴리즈 빌드와 PRD 문서를 각각 정답지로 삼아 새 빌드를 자동 채점합니다. 예전과 달라진 곳과 스펙과 어긋난 곳을, QA가 손으로 훑기 전에 찾아냅니다.
01
이런 분께 권합니다
- 검증을 사람 손이 아니라 인프라로 옮기려는 클라이언트 개발자와 QE께 권합니다.
- 배포를 더 자주 하고 싶은데, 안전하다고 말할 근거를 아직 시스템으로 못 만든 조직이라면 더 그렇습니다.
02
연사
권태완iOS Engineering
무신사 Tech에서 클라이언트 플랫폼을 만들고 운영합니다. 사람이 반복해서 처리하던 일을 시스템이 대신하게 만드는 데 관심이 많습니다.
고희연
무신사 Client 조직에서 AI Native 인턴 무키로 일하고 있습니다. 앱이 화면에 실제로 그린 것을 자동 검증하는 E2E 회귀 하네스를 만들며, "사람의 수동 확인 없이도 안전한 배포"를 목표로 검증 환경을 만들고 있습니다.
03
세션 소개
릴리즈마다 QA가 손으로 화면을 훑습니다. 자동화를 안 해본 게 아닙니다. 테스트를 붙여도 화면이 조금 바뀌면 깨졌고, 고치는 데 드는 손이 아끼는 손보다 많았습니다.
그래서 테스트를 짜는 대신 정답지를 만들기로 했습니다. 하나는 과거 릴리즈 빌드입니다. 어제 잘 돌던 앱이 오늘의 채점 기준이 됩니다. 다른 하나는 PRD 문서입니다. 만들기 전에 이렇게 나와야 한다를 먼저 적어두고 실제와 맞춰봅니다. 어려운 건 판정이 아니었습니다. 앱은 돌릴 때마다 조금씩 다르게 보이고, 그 흔들림과 진짜 고장을 가르는 일에 대부분의 시간이 들어갔습니다.
지금은 사람의 확인을 얼마나 덜어낼 수 있는지 재보는 중입니다. 어디까지 AI 를 조합하여 자동화 할 수 있을지? 우리가 했던 고민을 공유합니다.
04