AI 자동화의 시작은 우월감이었다
솔직히 인정하면, AI를 쓰는 가장 큰 이유는 "일을 시킨다"는 데서 오는 우월감이었던 것 같다.
예전엔 도구를 잘 다루느냐가 곧 내 능력의 한계였다. 소프트웨어를 배우고, 단축키를 외우고, 도구의 방식에 나를 맞춰야 결과가 나왔다. 그런데 AI는 그 순서를 뒤집었다. 이제는 도구가 내 말을 알아듣고 맞춰준다.
처음엔 "이것도 되네?" 하는 호기심으로 시작했지만, 실제로 결과물이 나오자 그 감각은 점점 커졌고, 자연스럽게 "이걸 내가 직접 통제하고 싶다"는 욕망으로 바뀌었다.
자동화를 만들고, 자동화를 못 믿다
그래서 만든 게 하네스였다. a에서 z까지 가는 워크플로우를 짜고 AI에게 체계적으로 일을 시키는 구조. 나 없이도 알아서 돌아가는 자동화가 목표였고, 실제로 잘 작동하는 것도 눈으로 확인했다.
그런데 신기하게도 그 순간부터 다른 생각이 들었다.
결국 자동화를 만들어놓고도 중간 과정을 b부터 y까지 전부 다시 눈으로 확인해야 직성이 풀렸다. 자동화의 이점은 속도인데, 스스로 그 속도를 깎아먹고 있었던 셈이다.
이 과정이 토큰 사용량으로 고스란히 드러나다 보니, 이제는 얼마나 썼는지까지 신경 쓰게 됐다. 일종의 자기만족이었다.
그래서 검증을 자동화했다
이 모순을 풀기 위해 검증 자체를 자동화했다. a→z 파이프라인에 a→a'라는 검증 플로우를 별도로 넣었다.
먼저 결과가 미리 정해둔 형식(숫자, 표, 구조)을 만족하는지 결정론적으로 체크하고, 통과하면 다른 AI에게 내용이 사실인지 다시 확인시킨다. "숫자는 거짓말하지 않는다"는 생각으로 검색과 원본자료 대조를 기본 원칙으로 삼았다.
이때 하나가 아니라 2~3개의 AI를 동원해 다수결로 판단한다. 물론 여러 AI가 같은 검색 결과를 보고 똑같이 틀릴 위험도 있어서, 각 AI가 서로 다른 출처를 찾도록 유도하는 장치도 미리 넣어뒀다.
지금은 이 구조에 어느 정도 만족한다.
AI는 살아있는 생물 같다
그런데 최근 상위 모델로 이 구조를 돌리면서 이런 생각이 들었다. AI의 발전은 살아있는 생물의 진화 같다는 것.
모델이 좋아질수록 예전에 짜둔 하네스는 과잉 방어가 되고 토큰만 더 소모한다. 세 개의 AI로 돌리던 다수결 검증이 어느 순간 불필요한 이중, 삼중 확인으로 전락할 수 있다.
예전 모델은 실수가 잦아 촘촘한 검증망이 필요했지만, 지금 모델은 애초에 웬만한 실수는 하지 않는다. 그런데도 예전 방식 그대로 검증을 돌리면, 안전장치가 아니라 그냥 비용이 된다.
결국 하네스도, 그 안의 스킬들도 모델의 진화 속도에 맞춰 주기적으로 다시 다듬어야 하는, 살아있는 문서가 되어야 한다는 걸 깨달았다.
지시하는 만족감은 입구였을 뿐, 지금 붙잡고 있는 건 "내가 설계한 구조가 나 없이도 신뢰할 만하게 돌아가는가"라는 질문이다.
그리고 그 답은 한 번 찾고 끝나는 게 아니라 AI가 진화할 때마다 다시 찾아야 하는 것 같다. 도구가 좋아졌다고 손을 놓을 게 아니라, 오히려 그때마다 내가 만든 구조를 다시 들여다봐야 한다는 뜻이다.
나는 또 얼마 지나지 않아 "이거 진짜 맞아?"라는 불안으로 되돌아갈까.
아니면 이번엔 그 불안 자체를 다루는 법을 배운 걸까.
아직은 잘 모르겠다.
댓글
댓글 쓰기