AI로 알아보는 인문학 시리즈 #1 (ToT)

1. 생각은 혼자 자라지 않는다

소크라테스는 고대 아테네의 광장에서 제자들에게 "정의란 무엇인가?" 라는 질문에 바로 정답을 말하는 대신 끊임없이 제자들에게 되물었다. 조선시대 궁궐에서 임금과 신하는 경연장에서 하나의 문장을 두고 며칠씩 논쟁했다. 복잡한 문제에 대한 정답은 어느 한 사람에게서 나오는 것이 아니라, 여러 사람들의 의견으로 흩어졌다가 다시 하나의 중심으로 모였다.

이처럼 과거부터 복잡한 문제를 마주할 때 우리는 자연스럽게 ‘누군가’에게 이야기하고 의견을 나눈다. 주변의 친구나 믿을 만한 멘토에게 털어놓기도 하고, 때로는 여러 사람들과 해당 주제에 대해 이야기를 나누며 질문을 던지거나 의견을 반박하고, 전혀 새로운 관점을 제시하기도 한다. 그런데 이런 익숙한 대화들이 사실 문제 해결의 핵심 매커니즘으로 작동한다면 어떨까?

실제로 사람들은 어떤 문제를 두고 하나의 정답으로 바로 가기보다, 여러번의 대화를 통해 점점 더 설득력 있는 방향으로 나아간다. 이런 과정을 우리는 ‘토론’이라고 부른다.

‘토론’은 인간이 오래전부터 사용해 온 문제 해결 방식이다. 한 가지 생각에 머무르기보다, 다양한 생각들이 만나고 부딫히면서, 그중에서 가장 그럴듯한 결론으로 점점 모이게 되는 방식과 과정을 의미한다.

이 오래된 인간의 사고방식이 이제 AI 안에서도 재현이 가능하게 되었다. AI에게 단 하나의 답을 재촉하는 대신, 여러 갈래로 생각해본 다음 스스로 검증하기를 요청하는 방식. 이것이 바로 ToT(Tree-of-Thought), 즉 '생각의 나무'다.

2. 하나의 답이 아니라, 여러 갈래의 생각

우리가 AI를 사용할 때 가장 익숙한 방식은 하나의 질문을 던지고, 하나의 답을 받는 것이다.

반면 ToT(Tree-of-Thought)는 거대한 생각이 자라나는 ‘나무’이다. 하나의 질문이 씨앗이라면, 그로부터 여러 개의 가지가 뻗어나간다. 각 가지는 하나의 가설이자 하나의 풀이 방법, 하나의 해석을 담고 있다. 그리고 이 가지들은 서로 얽히고설키는 과정에서 어떤 것은 살아남고, 어떤 것은 자연스럽게 소멸한다.

ToT는 하나의 문제를 보고 곧바로 정답을 말하지 않는다. 대신 여러 답안을 동시에 생성하고 각 경로를 평가해 가장 합리적인 방향을 선택한다.

즉 무게중심이 '하나의 도달점'에서 ‘여러개의 경로'로 옮겨간 셈이다. 단순히 “정답을 맞추는 것”이 아니라 “정답에 도달하는 여러 길을 탐색하는 것”으로 바뀌기 때문에 AI도 동시에 다양한 시도를 할 수 있게 된다. 문제 앞에서 성급히 결론으로 이르는 대신 여러 답안을 동시에 펼쳐놓고, 각 경로를 저울질하며, 그중 가장 합리적인 접근법을 고른다.

이때 중요한 것은 단지 접근법을 많이 만드는 것이 아닌 ‘의미 있는 접근법’을 많이 만드는 것이다. 토론에서도 아무런 제한 없이 말하는 방식보다 잘 설계된 규칙 내에서 진행된 토론이 더 생산적이듯, 정교하게 설계된 ToT는 문제를 구조적으로 분해하고 각 경로를 비교 가능하게 만든다.

ToT는 ‘문제 해결’ 방식의 구조를 설계하는 인간 기반의 접근법이다.

3. 불완전함을 껴안는 사고 방식

하지만 단지 선택지가 많다고 해서 더 좋은 정답이 되는 것은 아니다. 잡목처럼 사방으로 뻗기만 한 가지들은 서로의 햇빛을 가리고, 뿌리에서 올라온 양분을 나눠 먹으며 결국 나무 전체를 약하게 만든다.

생각의 구조도 다르지 않다. 근거 없는 생각을 끊임없이 주입하는 것은 단지 소음에 불과하다. AI는 놀랍도록 많은 지식을 가지고 있지만 여전히 무엇이 가장 합리적인지를 추론하는 과정에는 종종 약점을 보인다. 특히 복잡한 다단계 문제에서는 중간 단계에서 오류가 발생할 수 있고 그 오류가 최종 결과까지 그대로 이어지는 경우가 종종 나타난다.

ToT는 하나의 답을 바로 생성하는 대신, 여러 후보 답안을 만든다음, 최종적으로 타당한지(valid), 터무니없는지(invalid) 또는 절반쯤 맞는지를 판단한다. (partially valid)

이러한 구조는 AI에게 일종의 ‘자기 검증 고리’를 제공한다. 하나의 경로에서는 오류가 발생한 것을 확인하고 나서야 수정이 가능하지만, 여러 경로가 동시에 존재하면 상대적으로 더 나은 선택을 할 가능성이 높아진다.

흥미로운 점은, 이 방법 역시 완벽한 논리를 요구하지 않는다는 것이다. 항상 완벽하게 논리적이기보다는, 인간의 실제 사고 방식처럼 여러 선택지를 비교하면서 ‘그나마 나은 선택’을 한다.

ToT는 바로 불완전성 자체를 하나의 전략으로 삼는다.

4. CoT (Chain of Thought)와 다른 핵심적인 한가지

생각은 언제나 흔적을 남긴다. 그것을 잘 보여주는 것이 CoT (Chain of Thought) 이다.

Chain-of-Thought(CoT)는 문제를 단계별로 풀어가며 reasoning 과정을 따라가는 접근법이다. 사고의 과정 전체가 투명하게 열려 있기에 우리는 이를 '열린 상자(open box)' 방식이라 부른다.

하지만 CoT와 ToT의 가장 본질적인 차이는 ‘경로의 수’에 있다. CoT가 하나의 사고 흐름을 깊게 파고드는 데 집중한다면, ToT는 여러 사고 흐름을 동시에 전개하고 비교하는 데 초점을 맞춘다.

쉽게 말해 CoT가 “이 길로 끝까지 가보자”라면, ToT는 “여러 길을 동시에 열어두고 가장 좋은 길을 고르자”에 가깝다.

이 차이는 실제 성능에도 영향을 준다. 단순한 문제에서는 CoT가 빠르고 효율적일 수 있지만, 잘못 접근한 방식에서 발생한 비용이 훨씬 무거운 복잡한 문제에서는 잘못된 경로를 선택했을 때 회복이 어렵다. 반면 ToT는 초기 비용이 더 들더라도 다양한 경로를 보유하기 때문에 실패 리스크를 낮출 수 있다.

결국 중요한 것은 어떤 방법이 더 ‘좋다’가 아니라, 어떤 문제에 어떤 접근이 더 적합한가다.

5. 예시 케이스로 알아보는 ToT

ToT를 이해하는 가장 직관적인 방법은 사실 직접 만들어보는 것이다. 하나의 문제 또는 목표에서 출발하여, 3~5개의 각 노드가 마치 가지처럼 뻗어나간다. 각 아이디어는 다시 세부 단계로 확장되고, 그 과정에서 일부 가지는 사라지고 일부는 더 강화된다.

이 구조를 하나의 프롬프트로 표현해보면, 하나의 질문에서 브랜치가 생기고, 각 브랜치가 다시 서브 브랜치를 생성하는 형태가 된다. 중요한 것은 모든 가지를 끝까지 탐색하지 않는다는 점이다. 중간에 평가를 통해 비효율적인 경로는 과감하게 제거한다.

## 데이터 분석 CoT Instructions
아래 원칙에 따라 데이터 분석 및 의사 결정 사고를 전개하세요:

다음 단계에 따라 사고를 전개하세요:

1. Branch 생성 (Exploration)

- 초기 질문에서 여러 개의 1차 브랜치를 생성하세요
- 각 브랜치는 서로 다른 가설 또는 접근 방식을 나타내야 합니다
 
2. Sub-branch 확장 (Multi-level Thinking)

- 각 브랜치에서 추가적인 서브 브랜치를 생성하세요
- 원인 → 세부 원인 → 실행 요인 수준까지 계층적으로 확장하세요

3. 중간 평가 (Intermediate Evaluation)

- 각 단계에서 브랜치를 확장하기 전에 반드시 평가를 수행하세요
- 아래 기준으로 각 경로를 평가하세요:
  - 비즈니스 영향도
  - 데이터로 검증 가능성
  - 실행 가능성
 
4. 가지치기 (Pruning)

- 평가 결과가 낮은 브랜치는 즉시 제외하세요
- 모든 브랜치를 끝까지 탐색하지 말고, 가장 유망한 경로만 선택적으로 확장하세요
 
5. 선택적 탐색 (Selective Deepening)

- 높은 점수를 받은 브랜치만 더 깊이 탐색하세요
- 리소스를 집중하여 최적 경로를 도출하세요
 
6. 조기 종료 조건 (Early Stopping)

- 충분히 설명력 있는 가설이 도출되면 추가 탐색을 중단하세요
- 불필요한 분석 확장은 피하세요

이 과정은 검색 알고리즘과도 유사하다. 하지만 단순 탐색과 다른 점은, 각 단계에서 ‘판단’이 개입된다는 것이다. 가능한 모든 경우를 보는 것이 아니라, 더 가능성 높은 경로에 자원을 집중한다.

결국 ToT는 계산량을 늘리는 것이 아니라, 계산의 ‘질’을 높이는 방식이다. 그리고 이 질을 좌우하는 것이 바로 평가 기준이다. 어떤 기준으로 valid를 판단할 것인가에 따라 결과의 수준이 크게 달라진다.

ToT의 성패를 가르는 결정적 열쇠는 바로 판단의 기준, 즉 평가의 척도에 놓여 있다.

6. 상호 작용이 성능을 키우는 핵심이다.

많은 이들은 ToT를 정교한 알고리즘이나 복잡한 구조물로 상상한다. 하지만 ToT는 CoT의 단점을 보완하기 위해 만들어졌다. CoT의 대표적인 한계는 오버헤드(Overhead)다. 모든 단계를 자세히 풀어내다 보면, 불필요한 계산이 많아지고 응답 속도도 느려진다. 특히 단순한 문제에서는 과도한 reasoning이 오히려 비효율적일 수 있다.

ToT는 이 병목을 다르게 접근한다. 하나의 긴 사고 과정을 강제하기보다, 여러 짧은 사고를 비교하는 구조를 만든다. 그리고 초기 단계에서 빠르게 가능성이 낮은 경로를 제거함으로써 오버헤드를 줄인다.

여기서 핵심은 AI의 의사결정 ‘상호작용’ 이 언제 어떻게 일어날지를 정하는 것이다.

• 언제 가지를 나눌 것인가?
• 어느 시점에서 평가를 개입시킬 것인가?
• 얼마나 많은 가지를 살려둘 것인가?
• 어떤 기준으로 가지치기를 결정할 것인가?

결국 성능을 결정하는 것은 모델 자체 보다 현재 AI와 어떻게 ‘상호작용’할지가 더 많은 것을 결정한다.