AITIRA AI CARD LAB · 1분 핵심 → 20분 실전
AI 에이전트를 똑똑하게 만드는 것은 모델보다 평가표다
좋은 에이전트는 “느낌상 똑똑함”이 아니라 성공률·수정률·비용·시간으로 관리합니다.
읽는 시간 3~5분바로 써먹는 구조복사 프롬프트 포함
SWIPE THE IDEA
넘기듯 읽고, 한 장씩 써먹으세요.
길게 설명하지 않습니다. 중요한 기준을 한 장에 하나씩 끊어 실제 행동으로 연결합니다.
01
SWIPE 01정답률만 보면 부족
도구 호출 성공, 작업 완료, 사람 개입, 재시도까지 같이 봐야 합니다.
tool successresolutionretry
02
SWIPE 02사람 수정률
결과를 매번 많이 고치면 모델 점수가 높아도 운영 효율은 낮습니다.
human edit rate
03
SWIPE 03비용과 시간
요청당 비용이 아니라 “완료된 업무 1건당 비용”을 보면 현실적인 비교가 됩니다.
cost/tasktime/task
04
SWIPE 04회귀 테스트
모델이나 프롬프트를 바꿀 때 같은 테스트 세트를 돌려 성능이 뒤로 가지 않았는지 확인합니다.
eval setregression
바로 써먹기
아래 프롬프트를 복사해 지금 하는 일에 붙여 넣으세요.
AI 에이전트 평가표를 만들어줘. 작업완료율, 도구호출성공률, 사람수정률, 재시도율, 완료당비용, 처리시간을 KPI로 써줘.