· 중고거래 채팅에서의 문장 추천 기능에서 발생하는 LLM의 잦은 호출로 인해 연간 약 9억 원의 비용이 예상되는 상황에서, 인턴이지만 주도적으로 시맨틱 캐싱 기법을 먼저 제안하고 직접 구현하여 비용 절감 방안을 모색함.

· 실제 채팅 데이터를 임베딩 후 PCA와 HDBSCAN으로 의미 기반 대화 패턴 군집 식별.

· 메인 서버와 분리된 애드온 구조, 내장형 벡터 DB를 활용하여 트래픽 외부 전이를 방지.

· 부하 테스트로 네트워크 I/O 병목 확인, 경량 리소스 다중 레플리카 구성(TPS 100/인스턴스, P50 400ms, P95 1초 이내)으로 동시성 대응.

· 연간 LLM 호출 비용 20% 이상 절감, 약 2.3억 원 이상의 비용 절감 효과 예상.

• 프롬프트 실행은 가능했으나 프롬프트 자체를 평가·개선할 수단 부재로 반복 수작업 검증 발생.

· LangGraph로 Planner/Actor/Reflector 3 그래프 구성, 자동화된 평가-개선 루프 설계.

· Planner: 평가 기준 추출 및 검증용 페르소나·시나리오 생성.

· Actor: 생성 기준에 따라 가상 요청을 구성하여 응답 생성 후 점수화·피드백.

· Reflector: 결과 기반 개선 여부 판단 및 자동 재작성, 사용자 피드백 반영.

· 근로기준법과 내부 정책 기반 판단 자동화 필요.

· 외부 API로 법령 검색 MCP 서버, 내부 정책 임베딩/검색 MCP 서버 각각 개발.

· Docker Compose로 배포, 사내 LLM 인프라 연계하여 부정 사용자 식별 파이프라인에 기여.

· 월간 8만 건 거래 데이터 분개장 수작업 처리의 효율·정확성 개선.

· Go로 분개 처리 로직 설계, BigQuery로 대량 데이터 집계·처리.

· cron 스케줄링으로 분개장 생성~보고용 데이터 출력까지 전 과정 자동화.