8071fd9, 09-18). 온프레미스(학원 PC 3대 · 로컬 Qwen)는 09-18 폐쇄했고, 자체 학습 Qwen 어댑터는 시연 경로에서 빠져 연구·비교 자료로만 남는다. 실측 결과는 아래 「최종 결과 09-28」 절. 09-11 판의 GPU 단가 "$0.71/h" 는 도쿄 가격 오기라 본문·계산식 모두 서울 $0.647/h 로 고쳤다.whisper-1 API(백엔드가 직접 호출 · 분당 $0.006 · 면접당 ~$0.06), 실시간 면접 전사 = CPU 로컬 faster-whisper 로 갈려 돈다(09-17 운영 실측, STT_BACKEND 빈 값 — ADR-0038 「같은 변수, 두 해석」. 09-18 이후 값은 미확인). 무음 hallucination 은 no_speech_prob 게이트로 완화한다(API 경로에만 적용).
Qwen3 3갈래 어댑터 자체학습(v9 등 실측치)은 비용 절감 R&D 근거로 남지만, 해커톤 심사 서빙 기준은 클라우드 + Claude 다.
seuk.suvisdev.cloud (API api.seuk.suvisdev.cloud) + Anthropic Claude 로 진행됐다.
온프레미스(학원 PC 3대 · 로컬 Qwen)는 09-18 에 닫았고, 자체 학습 Qwen 어댑터는 시연 경로에서 빠져 연구·비교 자료로만 남는다.
09-20 제출 이후 코드 변경·배포는 없다(마지막 커밋 8071fd9, 09-18).
조건 · 해커톤 심사가 끝난 뒤에만 서버 .env 스위치(STT_BACKEND · Ollama · VIT_MODEL)를 바꾼다. 심사 기간 동안 심사 서버 구성은 그대로 둔다. 09-11 판에 적힌 "$0.71/h" 는 도쿄 가격 오기이며, 이 문서의 계산(축 ②~④)도 서울 $0.647/h 로 고쳤다.
api.seuk.suvisdev.cloud · Postgres(pgvector)| 도메인 | 어댑터 | 버전 | 측정·비고 |
|---|---|---|---|
| chat / agent (아르 도구 호출) | qwen3-arda-agent |
v9 | 도구 호출 pass_rate 73.9% (17/23) 실측 · v6·v7·v8 모두 상회. fail 6건 중 5건은 UX상 정상(pending_pass·안전 다단계) → 실질 ~95%+. |
| summary (이력서·면접 요약) | qwen3-arda-summary |
summary-2026-09-17 | 정성 확인 통과 · JSON 완벽 · gist·key_skills 정확. career_years 만 인턴 포함 오차(정답 3년→5년). 최초의 요약 전용 어댑터다 — v6~v9 는 chat 어댑터, 겸용 아님. |
| interview (면접 chain) | qwen3-arda-interview |
arda-interview-wj | probe · findings · findings_turn · score chain 담당. 인터뷰 chain 은 초기 어댑터부터 통과 카테고리였음(축 ①-B interview·findings_turn 3/3). |
주의 · v6~v9 = chat 어댑터, summary-2026-09-17 = 요약 전용. 하나의 모델이 세 역할을 겸하지 않는다 — 도메인별 어댑터를 분리해 서빙하도록 설계했다(09-18 이후 미서빙).
whisper-1 API(백엔드가 직접 호출) · 실시간 면접 전사 = CPU 로컬 faster-whisper (09-17 운영 실측, STT_BACKEND 빈 값. 09-18 이후 값은 미확인). 무음 hallucination 은 no_speech_prob 게이트로 완화한다(API 경로에만 적용). faster-whisper large-v3-turbo(GPU) 는 GPU 실측 경로에서 측정한 R&D 자산으로 남는다.arda-expression-vit 는 UI 표시만(ADR-0029/0032). AI 정책상 감정 인식 채용 활용 금지 → 표정·음성 신호를 Claude 입력에 넣지 않는다. "표정으로 거짓말 판정" 이 아니다.list_postings 오선택)judge.py)로 v9 를 재고, fail 사유를 UX정상 / 진짜 실수로 분류. 진짜 실수는 1건뿐.운영 리허설(우정, 09-17): 전체 흐름 13분 무중단(공고→지원→서류→면접→분석→채점→합격→메일) · 얼굴 인식 86% · 실시간 판정 57/57 담당자 화면 도착 · 메일 4통 발송. GPU 실측·시연은 arda-gpu · Tesla T4 에서만; 프로덕션 lie-detection 은 여전히 t3.large CPU(int8)이고 VIT_MODEL env 가 없어 표정 판정은 꺼져 있다.
| 회차 | 프롬프트 요약 | 토큰 생성 | 생성 시간(s) | tok/s |
|---|---|---|---|---|
| 1 | 안녕하세요 | 92 | 2.33 | 39.46 |
| 2 | 지원자 찾기 (검색 도구) | 503 | 12.50 | 40.24 |
| 3 | 지원자 프로필 요약 | 215 | 5.34 | 40.24 |
| 4 | 면접 일정 잡기 | 243 | 6.09 | 39.91 |
| 5 | 발견 사항 추출 | 235 | 5.91 | 39.77 |
| 6 | 지원자 필터링 | 407 | 10.30 | 39.53 |
| 7 | 회사 소개 | 690 | 17.62 | 39.16 |
| 8 | 서류 심사 결과 정리 | 962 | 24.90 | 38.63 |
| 9 | 면접 발견사항 요약 | 1024 | 26.23 | 39.03 |
| 10 | 채용 공고 확인 | 251 | 6.41 | 39.17 |
| 평균 (10회) | 462 | 11.76 | 39.51 | |
데이터 출처 · 수집 시각: agent_traces (prod DB · 2026-09-11) · Anthropic 요금 (2026-09-11 확인) · AWS 요금 (2026-09-11 인스턴스 생성 화면) · Qwen eval (2026-09-11 학습 후 23건 → v9 재측정 2026-09-17) · Ollama (2026-09-11 배포 후 10회 평균).
| 카테고리 | Claude | Qwen(09-11) | 관찰 |
|---|---|---|---|
| search (7건) | 7/7 | 0/7 | 당시 로컬은 검색 도구 호출을 전혀 못 냈다 · v9 에서 개선된 대표 축 |
| write (5건) | 0/5 | 1/5 | Claude 0건은 채점 문제다 — 이름만 받으면 search_applications 로 먼저 찾는데, 정답은 쓰기 도구를 바로 부르길 기대 |
| interview · findings_turn (3건) | 3/3 | 3/3 | 둘 다 통과 · 인터뷰 chain 은 초기부터 학습됨(→ 지금은 qwen3-arda-interview 전용 어댑터) |
| scheduling (2건) | 2/2 | 0/2 | 당시 로컬은 일정 도구 형식 미학습 |
| detail · hallucination (2건) | 2/2 | 0/2 | 당시 롱테일 약점 |
| company · refuse (2건) | 2/2 | 2/2 | 거부·회사 답변은 둘 다 됨 |
| multi_turn (2건) | 0/2 | 0/2 | 둘 다 실패 — 멀티턴은 이 평가에서 가장 어려운 축 |
pending_pass 규칙이 "확인을 받은 뒤의 실행 응답"(「변경했습니다」)에도 확인 문구를 요구한다. 만점이 23 이 아니다. v9 의 fail 6건 중 5건도 같은 UX정상 유형이라 실질 통과율은 표시치보다 높다.entity_resolver 로 이름을 해석하는 것이 옳은 동작인데 정답이 그것을 허용하지 않는다.update_candidate_stage (우리 도구는 change_stage). 합성 데이터 생성 오류.그래서 상대 비교로는 유효하다(같은 자·같은 편향). 이 09-12 표를 손대지 않고 둔 이유는 규칙을 바꾸면 26.1% → 73.9% 라는 개선 궤적의 기준선이 깨지기 때문이다.
재현: cd ai/qwen-training && python eval_anthropic.py (GPU 불필요) · Claude 결과 results/claude-haiku-4-5-20251001-2026-09-12.json · 채점기 judge.py (eval.py 와 공유). v9 재측정은 같은 채점기로 2026-09-17 수행.
슬라이더를 움직이면 손익분기 그래프와 시나리오 계산이 즉시 갱신됩니다. 아래는 클라우드에서 Claude API 를 쓸 때의 사용량 요금과, 대안인 로컬 GPU 상시 운용 비용을 비교하는 근거입니다 — 실 사용량 요금은 캔드 응답·캐시 설계로 더 낮아집니다.
답변수 × (입력 × in_rate + 출력 × out_rate) + 도구호출 × 트레이스평균비용
· GPU(로컬 모델 대안) 비용 = 운용시간 × $0.647/h (서울) + 24h × $0.014/h (EBS)
· 로컬 GPU 상시 운용은 이 GPU 임대 축의 자체 하드웨어 대안이며 호출당 추가 과금이 없다(비용 절감 R&D 비교축).
| 옵션 | 월 환산 | 기간 총액 | 면접당 | 비고 |
|---|
| 옵션 | 월 환산 | 기간 총액 | 면접당 | 비고 |
|---|
| 옵션 | 월 환산 | 기간 총액 | 면접당 | 비고 |
|---|
각 옵션 · Anthropic (사용량 요금만) · GPU 필요시 (하루 슬라이더 시간만 켬) · GPU 상시 (24h × 30일). GPU 축은 09-11 로컬 모델 대안의 비용 근거 — 실제 채택은 클라우드 + Anthropic Claude(사용량 요금 · 캔드 응답·캐시로 절감)다.
| 판단 품질 | 결정타. 서류 요약·평가·추천 3단 체인과 도구 호출 정확도가 사람 검토의 토대. 같은 자로 잰 품질에서 Claude 가 상한. |
| 서비스 안정성 | LLM 은 관리형 API · 모델 서빙은 벤더 몫. 자체 하드웨어 운용·재학습·모니터링에 서비스가 묶이지 않는다. |
| 트래픽 대응 | LLM 은 관리형 API 라 벤더 쪽에서 확장 · 서버는 단일 EC2(t3.large). |
| 비용 절감 설계 | 기본·경계 질문 캔드 응답($0) + 회사 프로필 근거 + 프리픽스 캐시로 사용량 요금을 눌렀다. |
| R&D 자산 유지 | agent_traces·인터뷰 chain 으로 학습한 Qwen 3어댑터(v6→v9)는 비용 절감 근거로 남는다. 데이터가 곧 자산. |
| 사용량 요금 | 트래픽에 비례해 API 요금이 증가 · 캔드 응답·캐시로 완화하되 규모가 커지면 로컬 대비 비용 열위(축 ④). |
| 데이터 처리 고지 | 이력서·발언이 외부 API 로 처리됨 → 채용=고위험 도메인, 사람 최종 검토+고지 필수(AI 정책 준수). |
| 벤더 종속 | 모델 버전·가용성이 벤더에 의존 · ChatBackend Port 추상화로 교체 여지 확보. |
| 요약 어댑터 오차 | R&D Qwen 요약 어댑터 career_years 인턴 포함 오차(3년→5년) 확인됨 · 후속 보정 대상. |
| 표정 판정 제약 | AI 정책상 감정 인식 채용 활용 금지 → ViT 는 UI 표시만, 판정 미포함(의도된 제약). |
서류 요약·평가·추천 3단 체인과 아르 도구 호출을 Claude 로 서빙(AWS EC2·Docker Compose). ChatBackend Port 로 프로바이더 교체 여지 확보. Colab QLoRA 로 학습한 chat(v9)·summary·interview 어댑터는 비용 절감 R&D 자산. GPU 실측(T4): STT 275ms/3s · ViT 75ms/crop.
기본·경계 질문 캔드 응답($0)과 프리픽스 캐시로 Claude 사용량 요금을 눌렀다. 09-11 Anthropic 실측(누적 $0.1479)이 기준선. 손익분기 그래프(축 ④)가 보여 주듯 규모가 커지면 로컬 GPU 가 저렴 — 그래서 Qwen 자체학습을 비용 절감 R&D 근거로 유지한다.
지원자 이력서·면접 발언·평가 근거의 판단 품질이 곧 서비스 품질. 채용은 고위험 도메인(사람 검토+고지 필수)이며 감정 인식 활용은 금지 — 그래서 표정·음성 신호는 판정에 넣지 않고, 판단 엔진은 품질·안정성이 검증된 Claude 로 간다. 이 축이 09-18 클라우드 + Claude 채택을 이끌었다.
| 대안 | 장점 | 단점 · 왜 안 | 채택 |
|---|---|---|---|
| Anthropic Claude (클라우드) | 품질 상한 높음 · 도구 호출 강 · 관리형 API(확장은 벤더 쪽 · 서버는 단일 EC2) · 즉시 시작 | 사용량 요금 지속(캔드 응답·캐시로 완화) · 데이터 처리 고지 필요(사람 최종 검토). | ✅ 채택 |
| OpenAI GPT-4o | 성능 최고 · 프론티어 모델 | 입력 $2.50 / 출력 $10 · Haiku 대비 비쌈. 데이터 반출 여전. | ❌ |
| Google Gemini 2.5 Flash | 한국어 강 · 저렴 ($0.30/$2.50) | Google 종속 우려 · 데이터 반출 문제 동일. | ❌ |
| AWS g4dn.xlarge (클라우드 GPU) | 관리 편의 · 온디맨드 | $0.647/h(서울) + EBS · 상시 운용 시 비용 누적. 데이터가 클라우드에 상주. | ❌ 시연/실측만 10-14~27 계획 |
| 온프레미스 PC 3대 + Ollama | 데이터 로컬 처리 · 호출당 0 · 우리 통제 · 규모에서 비용 우위 | 유지보수 인원·재학습·모니터링 부담 · 서비스 안정성·트래픽 대응이 클라우드보다 약함. | △ R&D 자산 |
결론: 심사·운영 서빙은 클라우드 + Anthropic Claude로 확정. STT 는 Whisper — 업로드는 API(whisper-1), 실시간은 CPU 로컬 faster-whisper(ADR-0038 · 09-17 운영 실측). 온프레미스 Qwen 3어댑터 자체학습은 비용 절감 R&D 자산으로 유지한다.
자료 출처: agent_traces (prod DB) · Anthropic API pricing · AWS EC2 Seoul pricing · Qwen3 QLoRA eval(v9) · Ollama benchmark · GPU 실측(T4) · ADR-0024·0029·0031·0032·0038 ·
초판 2026-09-11 · 갱신 2026-09-17 (결정 완료) · 최종 갱신 2026-09-28 (심사 기간 실사용 · GPU 계획 · 서울 단가 정정) · suvisdev