groobee, gelatto, genser 등 자사 AI CX 제품이 고객에게 안정적으로 제공될 수 있도록 품질을 검증하고 개선합니다. 단순히 버그를 찾는 데 그치지 않고, 기획 단계부터 개발·배포 전 과정에 참여해 리스크를 줄이고 품질 기준을 만들어갑니다.

기능·회귀 테스트, 운영 배포 QA, 결함 추적·관리, LLM 기반 검색 품질 평가, 장애 대응·사후 분석까지 제품의 신뢰성을 높이기 위한 전반적인 품질 활동을 수행합니다.

배포 건마다 QA 요청을 접수해 테스트 설계·실행·사인오프까지 동일한 절차로 진행합니다. 운영 환경의 테스트 쇼핑몰을 자동으로 점검하는 스모크 테스트(Playwright), AI 에이전트가 테스트 케이스 초안을 설계하는 방식, AI를 평가자로 활용하는 검색·답변 품질 평가 대시보드도 직접 구축해 운영하고 있습니다.

• 정상 동작보다 실패 가능성을 먼저 살펴보는 ‘의심하는 눈’
• 추천·검색·캠페인의 데이터 흐름을 이해하는 제품·도메인 이해
• 누구나 동일하게 재현할 수 있도록 정리하는 재현·기록 역량
• 기획·개발·운영 사이에서 품질 이슈를 사실에 기반해 전달하는 협업·소통 역량
• AI 결과의 품질을 정량적으로 평가하는 데이터·AI 리터러시
• Python·Playwright를 활용해 테스트를 코드화하고, AI 에이전트가 수행한 결과를 검증하는 자동화 역량

결함을 개인의 문제가 아니라 프로세스의 문제로 바라봅니다. QA가 문제를 지적하는 데 그치지 않고 기획·개발·운영과 함께 품질을 만들어가는 문화를 지향하며, 마지막 검수 단계뿐 아니라 기획과 개발 초기부터 품질 관점을 함께 반영하고자 합니다.

테스트 결과와 결함은 Jira·Confluence·Teams에 동일한 형식으로 자동 기록해, 기획·개발·운영이 같은 근거를 바탕으로 판단할 수 있도록 합니다.

품질이 속도를 늦추는 요소가 아니라 더 과감한 출시를 가능하게 하는 신뢰의 기반이 되고, 테스트 수행을 넘어 품질의 방향을 제시하는 전문가 조직으로 성장하는 것을 지향합니다.

소수 정예 인력으로 거의 매주 진행되는 운영 반영을 빠짐없이 검증해왔으며, 어드민 보안 기능도 안정적으로 검증·배포했습니다.

QA 요청부터 사인오프까지의 절차를 표준화하고, 테스트 결과 등록을 자동화 계정(QAbot)으로 전환했습니다. 또한 운영 테스트 쇼핑몰의 스모크 테스트를 자동화해 배포 전후 화면을 몇 분 안에 비교할 수 있도록 했으며, 검색 결과의 품질 자체를 평가하는 LLM 품질 평가 체계를 대시보드로 구축해 운영하고 있습니다.

현재의 도전

정답이 하나로 정해지지 않는 LLM 기반 검색·추천의 품질을 정량적이고 반복 가능한 방식으로 측정하는 일이 여전히 가장 큰 과제입니다. 수동 테스트 중심에서 자동화 중심으로 전환하는 과정에 있으며, AI 에이전트가 테스트 설계와 실행을 지원하고 사람은 판단과 검증에 집중하는 구조를 만들어가고 있습니다.

앞으로의 목표

자동화 범위를 groobee의 온사이트·추천·메시지 발송 전 영역과 gelatto·genser로 확대하고, 문제가 발생한 뒤 대응하는 조직이 아니라 사전에 예방하고 더 나은 방향을 제시하는 조직으로 발전하고자 합니다.