AI 에이전트에게는 '노르아드레날린'이 없습니다
버스가 늦을 때와 노선이 바뀌었을 때, 뇌는 다르게 반응합니다
평소 길어야 5분 늦던 버스가 20분째 오지 않으면, 기다리기를 멈추고 지도 앱을 엽니다. 노선이 바뀌었다는 안내를 보지 못했어도, 평소와 너무 다르다는 것만으로 판단을 바꿉니다. 새 노선을 찾고 나면 다음에 헤매지 않도록 즐겨찾기도 바꿔 둡니다.
뇌에서 이 과정에 깊이 관여하는 신호 중 하나가 노르아드레날린입니다. 결과가 좋았는지 나빴는지를 따지는 보상 신호는 주로 도파민이 맡고, 노르아드레날린은 '세상의 규칙이 바뀐 것 같은가'에 반응합니다. 효과는 크게 두 가지입니다. 당장은 하던 처리를 멈추고 익숙한 기억보다 눈앞의 새 정보를 더 믿게 만듭니다. 그리고 그 경험을 기억에 더 강하게 남깁니다. 두 효과가 하나의 신호에서 함께 일어난다는 점이 중요합니다.
AI 에이전트에게는 명시적인 오류를 처리하는 장치는 있어도, 도구가 돌려준 결과가 평소와 다르다는 것을 알아채고 그 경험을 남기는 장치는 아직 드뭅니다.
에이전트는 오류 없이 틀린 결과를 그대로 전달합니다
외부 리뷰 분석 서비스를 MCP로 연결해, 부정 리뷰 비율이 높은 상품을 찾아 검색 노출을 낮추고 판매자에게 개선 요청을 보내는 에이전트가 있다고 해보겠습니다. 어느 날 서비스 제공사가 내부 분석 모델을 새 버전으로 바꿉니다. 응답 형식도 항목 이름도 그대로라 계약 테스트는 모두 통과합니다. 그런데 새 모델은 같은 리뷰에도 부정 점수를 전반적으로 높게 매깁니다. 에이전트는 기존 기준대로 판단해 멀쩡한 상품 수백 개의 노출을 낮추고 판매자들에게 경고를 보냅니다. 도구 뒤에 또 다른 AI 모델이 있는 경우가 늘면서, 이런 변화는 공지 없이 일어나기 쉽습니다.
도구 이름이 바뀌거나 필수 항목이 빠지는 변경은 차라리 낫습니다. 서버가 요청을 거부하고, 에이전트는 오류 메시지를 보고 고치거나 멈춥니다. 문제는 이번처럼 오류가 나지 않을 때입니다. 응답이 정상이니 재시도도 경보도 일어나지 않습니다. 버스에 비유하면 응답 시간 초과는 '5분 지연', 모델 교체는 안내문 없는 '노선 폐지'입니다.
지금은 사람이 미리 정한 규칙으로 막고 있습니다
1차 방어선은 배포 전입니다. 사내 도구라면 계약 테스트와 버전 관리로 호환되지 않는 변경을 미리 걸러냅니다. 운영 중에는 하네스와 MCP 게이트웨이에서 재시도할 오류와 하지 말아야 할 오류를 나누고, 실패가 반복되는 도구는 잠시 차단하고, 입력 형식이 바뀐 도구는 격리합니다.
다만 이 장치들은 사람이 미리 정한 조건에 걸리는 변화만 잡습니다. 외부 플랫폼처럼 우리가 배포를 통제하지 못하는 도구에서, 형식은 그대로인데 값의 의미나 분포만 바뀌는 조용한 실패는 그대로 통과합니다. 2026년 6월 공개된 도구 장애 벤치마크 연구(When Tools Fail)도 이런 실패를 명시적 오류보다 까다로운 문제로 다룹니다.
경보 하나가 멈춤과 기록을 함께 일으켜야 합니다
▪ '평소'와 비교해 경보를 울립니다
평소 5% 안팎이던 '부정 리뷰 과다' 상품 비율이 하루아침에 30%로 뛰면 오류 코드가 없어도 이상입니다. 기준값은 명절이나 할인 행사 같은 시기별 차이까지 담긴 데이터 파이프라인의 통계를 쓰면 되지만, 비교는 에이전트가 행동하기 직전에 해야 합니다. 파이프라인의 경보는 대개 노출이 이미 바뀐 뒤에 오기 때문입니다.
▪ 행동의 무게에 맞춰 멈춥니다
모든 이상에 사람을 부르면 운영자는 금세 경보에 무뎌집니다. 조회처럼 되돌릴 수 있는 작업은 기록만 남기고 진행하고, 노출 변경이나 판매자 경고처럼 되돌리기 어려운 행동만 보류합니다. 보류한 뒤에는 예전에 판정해 둔 리뷰 몇 건을 다시 넣어 점수가 그대로인지 확인하고, 그래도 확신이 없을 때 사람에게 묻습니다.
▪ 결과를 기록으로 남깁니다
원인이 밝혀지면 에이전트는 '분석 모델이 바뀌어 점수 분포가 달라졌다'는 메모와 기준값 수정안을 남기고, 사람이 승인한 뒤 반영합니다. 에이전트가 설명서를 스스로 고쳐 쓰게 하는 연구(ContDa, ACL 2026 Findings)도 있지만 아직은 연구 단계이고, 잘못된 교훈이 퍼지는 것도 막아야 하기 때문입니다. 별일 아니었다는 판단도 함께 기록해 '평소'의 기준에 반영하면 같은 경보가 반복되지 않습니다. 뇌도 반복되는 자극이 별일 아니라는 것을 확인하면 노르아드레날린 반응을 빠르게 줄입니다.
뇌에서 두 효과가 한 신호로 묶여 있듯, 에이전트에서도 경보와 기록이 따로 움직이지 않게 연결하는 것이 핵심입니다.
사람과 조직도 비슷합니다. 지금 겪는 변화가 '5분 지연'인지 '노선 폐지'인지는 평소의 흔들림을 알고 있어야 판단할 수 있습니다. 그리고 노선이 바뀌었다고 판단했다면, 그 경험을 개인의 기억에만 두지 말고 다음 사람이 헤매지 않도록 남겨 두어야 합니다.
#AI에이전트 #MCP #NeuroAI #노르아드레날린
When Tools Fail (2026) — https://huggingface.co/papers/2606.05806
Wu et al. (2026), ContDa, Findings of ACL 2026 — https://aclanthology.org/2026.findings-acl.1082/
Nassar et al. (2012), Nature Neuroscience — https://pmc.ncbi.nlm.nih.gov/articles/PMC3386464
Li et al. (2026) — https://arxiv.org/abs/2609.20083
Yu & Dayan (2005), Uncertainty, Neuromodulation, and Attention, Neuron — https://www.researchgate.net/publication/7798530_Uncertainty_Neuromodulation_and_Attention
Comments
Be the first to comment.
Sign in to comment