우리는 LLM 앱과
RAG · AI 에이전트를 만듭니다

원리 — 사전학습된 LLM의 원래 가중치(수십억 개의 숫자)는 그대로 얼려두고, 옆에 LoRA 어댑터라는 작은 행렬 한 쌍만 붙여 그 부분만 학습합니다. "이 입력엔 이런 출력" 예시 수천 개를 반복해서 보여주며, 모델이 낸 답과 정답의 차이(loss)를 줄이는 방향으로 어댑터의 숫자를 조금씩 조정하는 것(경사하강)이 학습의 전부입니다. QLoRA는 본체를 4비트로 압축해 이 과정을 GPU 한 장으로 돌리는 기법입니다.

1. 도메인 데이터 수집 → 정제·큐레이션 — 성능의 8할이 여기서 결정
2. QLoRA 학습 → 어댑터 병합
3. 블라인드 절차 평가 — 심판에게 어느 모델의 답인지 알려주지 않고 상위 모델이 채점
4. GGUF 양자화 → 로컬 GPU 서빙

작은 모델이 큰 모델을 이기는 이유: 범용 지식 대신 한 도메인의 패턴에만 용량을 집중시키기 때문입니다.

원리 — LLM 자체는 "텍스트를 넣으면 텍스트가 나오는 함수"일 뿐입니다. 에이전트는 이 함수를 루프에 넣은 것입니다: ① 현재 상태(이슈·목표·이전 기록)를 읽고 → ② 다음 행동을 스스로 결정하고 → ③ 도구(터미널·API·브라우저)를 실제로 호출하고 → ④ 그 결과를 다시 읽으며 반복. 이 관찰→행동 루프가 에이전트의 심장입니다.

루프를 현장에서 안정적으로 돌리는 장치:

1. 상태 외부화 — 진행 상황을 이슈 보드에 기록해, 세션이 끊겨도 다음 루프가 이어받음
2. 승인 게이트 — 배포·외부 공개처럼 되돌리기 어려운 행동은 사람 승인 후에만 실행
3. 관제 — 워치독·모니터·자동 재시도, 그리고 역할(기획/실행/검증) 분리와 권한 경계

원리 — 추론(모델 실행)을 클라우드 API가 아니라 사내·홈랩 GPU에서 수행하면, 프롬프트와 문서가 애초에 회사 밖으로 나가지 않습니다. 그 위에 3중 안전장치를 겹칩니다:

1. 격리 실행 — 에이전트마다 최소 권한 키와 분리된 작업 공간을 주어, 서로의 비밀과 데이터에 접근 불가
2. 이그레스 게이트 — 밖으로 나가는 모든 네트워크 요청을 화이트리스트로 검사, 승인 안 된 목적지는 차단하고 기록
3. 해시체인 감사 로그 — 모든 행동 기록을 사슬처럼 이어 붙여, 중간에 한 줄만 지우거나 고쳐도 즉시 표가 남

클라우드 API 대비: 데이터 잔류 리스크가 사라지고, 토큰 종량제 대신 비용이 고정됩니다.