먼저 결론: 좋은 리서치 구조와 검증된 투자 전략은 다르다

재무제표를 읽는 애널리스트, 뉴스를 분석하는 애널리스트, 상승론자와 하락론자, 그리고 리스크 관리자까지. 이 역할을 LLM에게 나눠 주면 작은 투자회사를 만들 수 있을까? 그리고 그 회사는 실제로 돈을 벌 수 있을까?

TradingAgents는 첫 번째 질문에 흥미로운 설계로 답한다. 그러나 두 번째 질문에 대해서는, 공개된 논문만으로 지속적인 실거래 초과수익이 입증됐다고 보기는 어렵다. 내 평가는 “쓸모없다”가 아니라 “어떤 쓸모가 검증됐고, 무엇은 아직 검증해야 하는지 나누자”에 가깝다.

이 글은 Yijia Xiao, Edward Sun, Di Luo, Wei Wang의 TradingAgents: Multi-Agents LLM Financial Trading Framework를 다룬다. 최초 공개는 2024년 12월 28일이며, 2026년 9월 16일 확인한 최신 공개본은 2025년 6월 3일의 v7이다. 아래 실험 분석은 v7 PDF를 기준으로 한다.

읽기 계기는 Honbul의 한국어 소개, Hugging Face 논문 페이지, 공식 프로젝트 페이지, EverydayAI School의 설치·구조 소개 영상이다. 한국어 소개는 프로젝트를 살펴볼 길잡이로 사용하고, 기술적 판단은 원문과 공식 저장소로 대조했다. 영상의 제목·설명은 확인했지만 자막 본문은 확보하지 못했으므로, 전체 영상을 시청한 것처럼 특정 발언을 인용하지 않는다.

이 글은 연구 리뷰이며 특정 종목의 매매 추천이 아니다. 직접 백테스트를 재실행하거나 실거래 계좌의 성과를 검증한 글도 아니다. 원문 보고값, 직접 계산한 설명용 예시, 나의 해석을 구분해 적는다.

1. 무엇을 새로 만든 논문인가

TradingAgents는 새로운 Transformer나 금융 전용 사전학습 모델을 제안하는 논문이 아니다. 이미 존재하는 LLM에 역할·도구·정보 전달 규칙을 부여해 의사결정 절차를 구성한 시스템 연구다. 모델 가중치 하나를 개선하기보다, 누가 어떤 자료를 보고 어떤 순서로 판단할지를 설계한다.

논문이 지적하는 문제는 두 가지다. 첫째, 단일 에이전트가 모든 관점을 처리하거나 여러 에이전트가 자료만 독립적으로 수집하면, 의견 충돌과 위험 검토가 충분히 드러나지 않는다. 둘째, 모든 정보를 긴 대화 기록으로 넘기면 요약을 반복하는 동안 수치와 조건이 사라지는 전달 오류가 생긴다. 이를 역할 분담과 구조화된 상태로 줄이려 한다. v7 §1·§4

여기서 구조화는 모든 대화가 숫자만으로 표현된다는 뜻이 아니다. 애널리스트 보고서와 결정을 상태의 정해진 항목에 저장하고, 찬반 토론처럼 논쟁이 필요한 구간에는 자연어를 사용한다. 원자료와 분석 결과를 참조할 위치를 정해 놓는 것이 핵심이다. v7 §3·§4

2. 한 번의 의사결정을 예로 따라가 보기

가상의 기업이 좋은 실적을 발표했지만, 주가는 이미 크게 오른 상황을 생각해 보자. 아래는 구조를 설명하기 위한 예시이며 논문 실험의 실제 거래 로그가 아니다.

재무 애널리스트는 매출과 현금흐름의 개선을, 뉴스 애널리스트는 실적 발표와 규제 우려를, 기술 애널리스트는 최근 가격 상승과 변동성을 정리한다. Bull은 이익 전망의 상향을 매수 근거로 삼고, Bear는 기대가 가격에 이미 반영됐거나 밸류에이션이 높다는 반론을 제시한다. 트레이더가 매수를 제안하면 리스크 팀은 규모 축소나 보류를 논의한다.

이 과정이 유용한 이유는 “좋은 뉴스니까 매수”라는 단일 결론에 반대 근거를 붙이기 때문이다. 다만 좋은 기업을 설명하는 능력과, 현재 가격 대비 앞으로의 초과수익을 예측하는 능력은 다르다. 재무정보가 맞더라도 시장 기대와 가격 반영을 놓치면 거래 신호는 틀릴 수 있다. 이는 내가 이 시스템을 평가할 때 가장 중요하게 보는 구분이다.

또 하나의 구분도 필요하다. 앞서 살펴본 Mixtral의 expert는 모델 내부의 FFN이고, TradingAgents의 agent는 LLM 호출과 도구를 묶은 업무 역할이다. 여러 역할을 만들었다고 서로 독립적으로 훈련된 금융 전문가 여러 명을 얻은 것은 아니다.

3. 논문이 실제로 보고한 성과

v7 §5.1의 백테스트 기간은 2024년 1월 1일~3월 29일이다. 시스템은 일별로 당시까지의 자료를 받아 거래 신호를 만든다고 설명한다. 시장 가격뿐 아니라 뉴스, 소셜 자료, 재무자료, 내부자 거래와 기술지표를 이용한다. 비교군은 Buy & Hold, MACD, KDJ+RSI, ZMR, SMA다.

다음은 Table 1의 보고값을 그대로 옮긴 것이다. AAPL·GOOGL·AMZN 각각의 성과이며, 세 종목을 합친 하나의 포트폴리오 성과가 아니다. 누적수익률과 MDD의 단위는 %다.

출처: v7 Table 1, 11쪽. 여기서 Sharpe는 수익의 크기를 변동성과 함께 보는 지표이지 성공 확률이 아니다. MDD는 관측 구간에서 이전 최고 평가액 대비 가장 크게 하락한 정도이며, 앞으로 발생할 손실의 상한이 아니다.

AAPL이 하락하는 동안 높은 수익을 보고한 것은 흥미롭다. 하지만 이 곡선이 매끈하다는 사실 자체가 재현성과 실거래 유효성을 증명하지는 않는다. 오히려 매우 좋은 결과일수록 그 결과를 만든 거래 장부와 계산 정의를 먼저 확인해야 한다.

4. 숫자를 읽다가 멈춰야 하는 부분

4.1. 초기 소개와 최신 논문의 기간을 섞으면 안 된다

초기 v1과 프로젝트 페이지에는 데이터 설명의 1~3월과 시뮬레이션 설명의 6~11월이 함께 나온다. v7은 §5.1에서 1~3월로 명시한다. 따라서 최신본을 리뷰하면서 “6개월 실험”이라고 소개하면 맞지 않는다. 본문의 2024년 11월 AAPL 분석 예시도 1~3월 전체 거래 기록을 대신하는 증거가 아니다.

4.2. 누적수익률과 연환산 수익률이 바로 맞아떨어지지 않는다

Table 1은 AAPL 누적수익률을 26.62%, ARR을 30.5%로 적는다. 그런데 부록 S1.2의 식은 평가액 비율을 기간의 역수로 거듭제곱하는 일반적인 연환산이다. 기간을 단순히 0.25년으로 놓으면 다음과 같다.

연환산 수익률 = (종료 평가액 / 시작 평가액)^(1 / 기간[년]) - 1
설명용 계산   = 1.2662^4 - 1 ≈ 157.05%
논문 표 ARR   = 30.5%

157.05%가 실제 1년 수익률이라는 뜻도, 논문의 올바른 정정값이라고 확정한다는 뜻도 아니다. 정확한 거래일 수와 평가액 원자료가 필요하다. 다만 논문이 제시한 기간·식·표 사이에 설명이 필요한 차이가 있다는 뜻이다. v7 Table 1·부록 S1.2

Figure 7의 마지막 값도 약 1.30 근처여서 표의 누적수익률 26.62%와 바로 대응하지 않는다. 반올림만으로 정리할 수 있는지, 서로 다른 실행 결과가 들어갔는지, 지표 계산 관례가 다른지 공개된 그림만으로 확정할 수 없다. 일별 평가액과 체결 로그를 동일 실행 식별자로 묶어 재계산하는 것이 먼저다.

4.3. Sharpe 8.21과 낮은 MDD를 장기 안전성으로 읽지 않는다

저자들도 12쪽 각주에서 매우 높은 Sharpe가 경험적으로 기대한 범위를 넘었다고 밝힌다. 의사결정 시퀀스를 내보내 계산을 확인했으며, 해당 기간에 되돌림이 적었던 것이 원인이라고 해석한다. 또한 예측당 LLM 호출 11회와 도구 호출 20회 이상이라는 비용 때문에 백테스트를 3개월로 제한했다고 적는다.

이 설명을 무시하고 수치가 높다는 이유만으로 오류라고 단정할 수는 없다. 반대로 저자의 계산 확인이 독립 재현이나 긴 표본을 대신하지도 않는다. 일별 수익률의 자기상관, Sharpe 연환산 방식, 무위험수익률의 주기, 포지션 노출과 레버리지까지 확인해야 한다.

MDD 역시 모든 비교군보다 작지는 않다. AAPL에서는 ZMR의 0.86%가 TradingAgents의 0.91%보다 작다. 본문에는 낙폭이 2를 넘지 않는다는 서술이 있지만 Table 1의 AMZN은 2.11%다. 이런 차이는 성과 전체를 부정할 근거라기보다, 홍보 문장을 그대로 옮기지 말고 표와 계산을 함께 확인해야 할 이유다.

5. 가장 중요한 문제: 과거 날짜를 넣는다고 과거의 AI가 되지는 않는다

논문은 각 거래일까지 이용 가능한 자료만 제공하므로 미래정보를 사용하지 않는다고 설명한다. 그러나 도구 입력의 날짜 제한과 모델 내부 지식의 시간 제한은 별개다.

가령 2024년 1월 뉴스를 넣더라도, 모델이 학습 과정에서 그 이후의 기업 사건이나 가격 움직임을 접했다면 판단에 그 지식이 섞일 가능성이 있다. “미래를 사용하지 마”라는 프롬프트는 가중치 속 지식을 제거하는 장치가 아니다. 그렇다고 모델 출시일이 실험 이후라는 이유만으로 실제 누수의 크기까지 입증되는 것도 아니다. 정확한 모델 스냅샷과 학습 범위, 통제 실험이 필요하다.

Glasserman과 Lin의 연구는 금융 뉴스 감성 분석에서 학습·검증 기간의 중첩과 기업 관련 배경지식의 영향을 구분해 다룬다. 기업 식별자를 지우는 실험도 수행하지만, 익명화가 모든 시간 누수를 자동으로 해결한다는 결론은 아니다. 후속 연구 Profit Mirage도 LLM 금융 에이전트의 지식 범위 안팎 성과와 정보 누수를 평가한다. 이는 추가 검증이 필요한 문제라는 근거이지, TradingAgents 원논문의 모든 수익이 암기에서 왔다고 확정하는 증거로 사용하지 않는다.

실무에서는 다음 세 가지 시간을 따로 기록해야 한다.

내가 재현한다면 “날짜가 과거인 자료”가 아니라 주문 결정을 내린 시각 이전에 실제로 공개되어 있던 자료의 버전을 저장하겠다. 과거 거래에 대한 회고도 결과를 알게 된 시점 이후에만 다음 의사결정에 제공해야 한다.

현재 코드에서도 이 문제가 실제 유지보수 대상이다

공식 변경 이력은 2026년 7월 v0.3.1의 재무자료 날짜 필터 수정과, 8월 v0.4.0의 거시자료 수정본·소셜 자료·메모리 시점 제한 수정을 기록한다. 이는 날짜 통제가 문구 하나로 끝나지 않는다는 구체적 사례다.

이후 코드에서 발견된 결함이 2024년 논문 실험에도 그대로 존재했다고 소급해 단정하지는 않는다. 원래 실험의 코드·데이터 스냅샷과 연결해서 확인해야 한다. 또한 버그 수정은 평가 신뢰도를 개선하는 작업이지, 새 버전의 수익성 검증 결과가 아니다.

6. 거래비용과 실행을 넣으면 무엇이 달라질까

검토한 v7의 실험·결과·지표 부록에서는 수수료율, 슬리피지, 공매도 대차비용과 체결 지연을 동일 조건으로 재현할 만큼 구체적으로 확인하지 못했다. 이를 “반드시 비용을 0으로 계산했다”라고 단정하지 않고, 실거래 순수익을 검증하기에 공개 설명이 부족하다고 읽는다.

실거래에서 필요한 것은 매수·매도라는 문장만이 아니다. 언제 알게 된 정보로, 언제 주문을 내고, 어떤 가격에 얼마만큼 체결됐는지가 있어야 한다. SELL이 보유 주식을 청산한다는 뜻인지 신규 공매도인지도 구분해야 한다. 논문 Figure 6은 long/short를 표시하므로, 매수 후 보유 전략과 비교할 때 노출·레버리지·공매도 조건의 공정성을 확인할 필요가 있다.

간단한 장부는 다음처럼 생각할 수 있다.

순손익 = 포지션 손익
       - 수수료 - 스프레드·슬리피지
       - 대차·차입 비용
       - LLM·데이터·운영 비용

아래는 실제 TradingAgents 비용이 아닌 가정에 따른 민감도 예시다. 1bp는 0.01%다. 매번 계좌 평가액의 100%를 사고 다시 파는 왕복 거래가 20회이며 편도 비용을 거래대금의 5bp로 가정하면, 총비용 부담은 평가액이 일정하다는 단순 근사에서 20 × 2 × 0.05% = 2%다. 편도 20bp면 약 8%다. 비중이 작으면 줄고, 잦은 회전이나 레버리지로 거래대금이 커지면 늘어난다.

별도로 월 LLM·데이터 비용이 100달러라고 가정하면, 운용금 1만 달러에서는 월 1%, 10만 달러에서는 월 0.1%의 부담이다. 이 숫자는 현행 API 요금 견적이 아니다. 고정비가 소규모 계좌에 더 크게 작용한다는 산술 예시다.

논문의 호출 수를 60거래일·3종목에 단순 적용하면 LLM 호출 약 1,980회, 도구 호출 3,600회 이상이다. 재시도와 반복 실험은 별도다. 로컬 GPU가 없어도 API로 실행할 수 있다는 설명을 “운영비가 거의 없다”는 뜻으로 받아들이면 안 된다.

7. 여러 에이전트가 토론하면 정말 더 정확해질까

찬반 역할은 검토 항목을 늘리고 반론을 강제로 만들 수 있다. 이 장점은 인정한다. 다만 서로 다른 역할이 서로 독립적인 정보와 오류를 의미하지는 않는다. 같은 모델이 같은 잘못된 뉴스 요약을 공유하면, 여러 명이 한 실수를 다른 표현으로 반복할 수 있다. 결론에 합의했다는 사실이 독립 검증의 횟수를 뜻하지 않는 이유다.

또한 논문의 주 비교표는 규칙 기반 전략과 Buy & Hold를 중심으로 한다. 같은 LLM·같은 자료·같은 비용을 쓰는 단일 에이전트와의 비교나, 토론·리스크 팀을 하나씩 제거하는 실험이 충분히 제시되지 않아 수익 개선 중 얼마가 토론 구조 자체의 효과인지 분리하기 어렵다. 더 많은 자료, 더 좋은 기반 모델, 더 많은 호출 비용의 효과일 수도 있다.

내가 요구할 대조군은 다음과 같다.

이는 이 글에서 수행한 실험이 아니라 후속 평가 제안이다. 프롬프트나 토론 횟수를 시험 구간 성과를 보며 고르면, 그 구간이 사실상 튜닝 데이터가 된다. 비교 후보와 탈락한 설정도 기록해야 한다.

8. 설명이 길어진 것과 설명이 검증된 것은 다르다

논문의 자연어 거래 로그는 사람이 판단 근거를 살펴보기 쉽게 만든다. 이 점은 실용적이다. 그러나 유창한 근거가 실제 의사결정의 충실한 설명이거나, 수치가 정확하다는 보장은 아니다.

예를 들어 “수익성이 좋아서 매수”라는 문장만으로는 부족하다. 어느 보고서의 어떤 수치를 이용했는지, 발표 당시 이미 알려져 있었는지, 경쟁사와 비교 기준이 같은지까지 연결되어야 검증할 수 있다. 토론 과정에서 원자료의 단위나 기간이 바뀌지 않았는지도 확인해야 한다.

특히 “리스크 관리자”라는 이름과 실제로 강제되는 위험 한도는 다르다. 내가 구현한다면 LLM은 의견을 제안하고, 주문 전 한도 검사는 별도 코드로 고정하겠다. 최대 포지션, 레버리지, 주문 금액, 데이터 유효기간, 중복 주문을 검사하고, 파싱 실패나 자료 누락은 자동 매매가 아닌 보류·검토로 보내는 방식이다. 외부 뉴스 본문에 섞인 지시문 역시 데이터로 취급해야 하며 주문 권한을 바꾸게 해서는 안 된다.

9. 실제로 효과가 있는가: 내 판단을 세 층으로 나누면

리서치 업무의 효율에는 가능성이 크다. 여러 자료를 모아 찬반 근거와 모르는 점을 정리하는 용도라면 수익률이 아니라 자료 확인 시간, 출처 정확도, 누락률로도 효과를 평가할 수 있다. 나는 이 활용부터 시작하는 것이 합리적이라고 본다. 다만 이 역시 이 글에서 측정한 생산성 개선 수치는 아니다.

거래 신호의 개선에는 가능성이 있지만 조건부다. 비정형 자료에서 유용한 정보를 추출할 수 있어도, 그 정보가 시장에 아직 덜 반영되어 있어야 하며 비용을 넘는 예측력이 있어야 한다. “문서를 더 잘 읽는다”에서 “시장을 이긴다”로 넘어가는 단계가 바로 검증해야 할 가설이다. 초단기 매매보다 사람의 검토가 가능한 저빈도 의사결정 보조부터 평가해 보고 싶다.

지속적인 실거래 초과수익은 이번에 확인한 자료로는 입증되지 않았다. 세 종목의 짧은 과거 실험, 계산 정의의 확인 필요성, 비용·누수·반복성 문제가 남는다. 원논문 결론도 실거래 배치를 향후 과제로 적는다. 공식 README 역시 성과가 모델·기간·데이터·비결정성에 따라 달라지며 공개 수익률 재현을 보장하지 않는다고 밝힌다. v7 §7, 공식 README 확인본

이 판단은 “LLM은 절대로 돈을 벌 수 없다”는 주장이 아니다. TradingAgents라는 의사결정 구조의 유용성과 특정 전략의 비용 차감 후 초과수익을 별도로 검증하자는 입장이다. 긍정적인 결과가 나와도 시장 상승 노출, 섹터 편향, 공매도·레버리지 효과를 분리한 뒤 남는 성과를 봐야 한다.

10. 내가 검증한다면: 수익곡선보다 먼저 실험 규칙을 고정한다

1. 재현 대상 고정. 코드 커밋, 모델 ID·스냅샷, 프롬프트, 도구 버전, 토론 횟수, 데이터 출처를 기록한다. 현재 기본 설정으로 과거 논문을 그대로 재현했다고 주장하지 않는다.
2. 시간 누수 차단. 공시·뉴스·지표의 실제 이용 가능 시각과 수정본을 저장한다. 모델 지식 범위가 겹치는 과거 시험은 한계를 표시하고, 새로운 미래 구간의 전진 검증을 별도로 실시한다.
3. 체결과 장부 정의. 예를 들어 장 마감 뒤 판단하고 다음 거래일 시가에 비용을 적용하는 규칙을 미리 정한다. 거래일·휴장·배당·분할·대차·현금 이자와 자금 제약을 동일하게 처리한다.
4. 비교군과 위험을 맞춤. Buy & Hold뿐 아니라 단순한 변동성 조절 전략, 같은 자료의 단일 LLM과 비교한다. 노출과 레버리지, 호출 예산의 차이를 공개한다.
5. 기간·종목 확장과 반복. 상승·하락·횡보 구간, 여러 업종을 사전에 정하고 독립적인 반복 실행을 수행한다. 수익률뿐 아니라 MDD, 회전율, 비용, 장애율과 신뢰구간을 보고한다. 시계열 의존성을 보존하는 블록 부트스트랩 등도 검토한다.
6. 모의 전진 거래. 결과를 알기 전에 신호와 근거를 저장한다. 실행 실패·보류일도 포함하고, 모델 교체는 새 실험으로 분리한다. 모의체결이 실제 체결을 완전히 대신하지는 않는다고 명시한다.

통과 기준은 시작 전에 정해야 한다. 예를 들어 비용을 높였을 때도 비교군 대비 성과가 유지되는지, 특정 한 종목을 제외하면 효과가 사라지는지, 반복 실행 간 결론이 얼마나 흔들리는지 확인하겠다. 6개월이나 1년을 채웠다는 사실만으로 자동 합격시키지는 않겠다. 거래 수, 시장 국면과 통계적 불확실성이 함께 중요하다.

마치며: 투자회사의 조직도보다 정보와 평가의 규율

TradingAgents에서 가져갈 가장 좋은 아이디어는 “AI를 많이 부르면 수익이 오른다”가 아니다. 자료 수집, 반론, 결정, 위험 검토를 분리하고 그 흔적을 남긴다는 설계다. 이 구조는 투자 외의 연구·업무 의사결정에도 참고할 만하다.

반대로 내가 가장 경계하는 장면은 정교한 조직도와 매끈한 수익곡선을 보고 검증이 끝났다고 느끼는 것이다. 실제 돈이 걸리면 조직도의 그럴듯함보다 데이터 시점, 체결 규칙, 비용, 실패 처리와 전진 검증이 중요하다.

현재의 내 결론은 이렇다. TradingAgents는 연구해 볼 가치가 있는 투자 리서치 프레임워크다. 다만 공개된 백테스트를 근거로 검증된 자동 수익 시스템이라고 부르기에는 증거가 부족하다. 나는 먼저 읽고 따져 주는 보조자로 쓰고, 매매 권한은 별도의 평가를 통과한 뒤에 논의하겠다.

참고 자료와 확인 범위

• TradingAgents v7 원논문: §3~4 구조, §5 실험, Table 1·Figure 6~7 성과, 12쪽 각주 호출 비용, 부록 S1.2 지표 정의를 대조했다.
• arXiv 버전 이력, 초기 v1, 프로젝트 페이지: 최신본과 초기 소개의 기간을 구분하기 위해 확인했다.
• 공식 저장소 README, CHANGELOG: 2026년 9월 16일 확인한 커밋에 링크를 고정했다. 저장소 전체 코드 감사나 논문 재현 실행은 하지 않았다.
• Glasserman & Lin, Assessing Look-Ahead Bias: 금융 LLM의 시간 누수와 배경지식 문제에 관한 관련 연구.
• Li et al., Profit Mirage: 정보 누수와 표본 밖 평가를 다룬 후속 프리프린트. 본문의 일반적 평가 문제를 보강하는 자료이며 이 글에서 독립 재현한 결과는 아니다.
• Honbul의 한국어 소개, Hugging Face 소개 페이지, EverydayAI School 영상: 사용자가 제공한 입문·실행 참고 자료. 영상은 공개 제목·설명만 확인했고 자막 본문을 확보하지 못했다.

그림 3장은 Xiao et al.의 TradingAgents v7에서 발췌했다. 원문 CC BY 4.0에 따라 저자·출처와 그림 영역 발췌 사실을 표시했다. 설명용 비용·연환산 계산은 원논문 결과와 별개다.