결국 남은 건 시나리오였다

AI를 만지작거리면서 참 많은 방법을 써봤다.

프롬프트 엔지니어링부터 시작했다. 그다음엔 페르소나를 줘봤다. AI한테 역할을 하나 씌우는 거다. "너는 이제부터 이런 전문가야"라고 말해주는 식이다.

그다음엔 단계별로 하나씩 알려주는 방식도 써봤다. 한 번에 다 시키지 않고, 1단계, 2단계, 이런 식으로 잘게 쪼개서 지시했다.

마지막엔 하네스라는 걸 만들어서 구조 자체를 잡아보기도 했다. 그냥 대화를 주고받는 게 아니라, 아예 규칙과 틀을 미리 짜놓고 그 안에서 움직이게 하는 방식이다.

다 나름의 장점이 있었다.
그런데 확실한 게 하나 있었다. 어떤 방법이든 흥망성쇠가 있었다는 거다.

날개였던 게 족쇄가 될 때

페르소나를 주면 말투가 정돈됐다. 단계별로 시키면 실수가 줄었다. 하네스를 짜면 결과물이 일관됐다.

한동안 잘 먹히다가도, 어느 순간부터는 오히려 발목을 잡았다.

모델이 좋아질 때마다 이 문제가 반복됐다. 기존에 만들어둔 하네스를 다시 손봐야 했다. 스킬도 새로 맞춰야 했다. 손을 대지 않으면 며칠 안 가서 이상하게 어긋났다.

예전엔 AI가 이상한 대답을 하거나 헛발질을 할 때, 하네스가 그걸 막아주는 안전장치였다. 규칙이 있으니 엉뚱한 길로 새지 않았다.

그런데 지금은 반대다. 모델 자체가 똑똑해지니까, 하네스가 오히려 성능을 갉아먹는다. 조금만 복잡한 요청이 들어와도 정해둔 틀에 안 맞는다며 "못한다"고 뻗어버린다.

원래는 날개였던 게 지금은 족쇄가 돼버린 거다. 그래서 요즘은 이런 하네스를 하나씩 다 풀고 있는 중이다.

그런데도 아직 놓지 못한 게 있다. 바로 시나리오 기반 프롬프트, 그리고 유스 케이스다.

AI랑 대화를 하다 보면 뭔가 이상하다. AI가 쓰는 말이 내가 평소에 쓰는 말이 아니다. 어딘가 부자연스럽다.

똑똑해 보이긴 하는데 문맥에는 안 맞는다. 단어 하나하나는 맞는데, 대화 전체로 보면 뭔가 어색하다.

그러다 보니 대화를 하면서 그 문맥을 계속 따라가기가 힘들었다. 내가 원하는 방향과 AI가 이해한 방향이 조금씩 벌어지는 느낌이었다.

“지금 내가 처한 상황은 이거다. 내가 하고 싶은 건 이거다. 최종적으로 어떤 결과가 어떤 모습으로 나왔으면 좋겠다.”

그래서 방법을 바꿨다. AI한테 시나리오를 통째로 알려주는 거다.

중간 과정을 하나하나 짚어주는 게 아니라, 큰 그림부터 먼저 맞추는 거다.

그다음이 중요하다. 이 상황에서 또 어떤 일이 생길 수 있는지, 내가 뭘 놓치고 있는 건 아닌지 AI한테 먼저 점검하게 한다.

모든 경우의 수를 같이 짚어보는 거다. 나 혼자 생각하면 놓치는 부분이 꼭 있는데, 이 단계에서 AI가 의외로 그런 빈틈을 잘 잡아준다.

이렇게 시나리오 검토가 다 끝나야 그때 비로소 작업을 시작하라고 한다.

순서를 바꾸면 꼭 탈이 난다. 검토 없이 바로 시켰다가 나중에 처음부터 다시 하는 경우를 몇 번 겪고 나서 이 순서를 지키게 됐다.

이 방법이 좋은 이유는 간단하다. 모델이 아무리 바뀌어도, 새로운 흐름이 나와도 계속 쓸 수 있을 것 같다.

프롬프트 기술이나 하네스 구조는 모델 성능에 따라 수명이 짧다. 오늘 잘 먹히던 방식이 다음 모델에서는 안 먹힐 수도 있다.

하지만 "상황을 설명하고, 빠진 부분을 같이 점검하고, 그다음에 움직인다"는 방식 자체는 낡을 일이 없다. 이건 모델의 성능과 상관없는 방식이기 때문이다.

지금의 생각

결국 AI를 어떻게 다루느냐의 문제가 아니었다.

내가 원하는 걸 어떻게 정확하게 전달하느냐의 문제였다.

그리고 그 답은 기술이 아니라, 그냥 상황을 제대로 설명하는 것이었다.

남은 질문

모델이 더 똑똑해져도,
시나리오를 먼저 맞추는 이 순서는 계속 유효할까?