재시도 예산이 명시되지 않는 한 API 시간 초과로 인해 도구 사용 에이전트가 재시도 부채로 전환됩니다.
신선한 r/AgentixLabs 스레드 프로덕션 버전의 에이전트 오류를 무시하기 어렵게 만듭니다. API 시간 초과는 드문 소음이 아닙니다. 정상적인 작동 상태입니다. 진짜 실수는 모든 시간 초과를 모델이 해결해야 하는 일시적인 불편함처럼 취급하는 것입니다. 이것이 하나의 불안정한 종속성이 추가 모델 호출, 반복적인 도구 시도, 나중에는 아무도 설명할 수 없는 사고 시간으로 변하는 방식입니다.
시간 초과는 즉각적인 결함이 아니라 생산 사실입니다.
외부 종속성이 정체되면 모델이 스택의 눈에 보이는 부분이기 때문에 팀은 모델을 먼저 비난하는 경우가 많습니다. 그것은 운영 문제를 놓치고 있습니다. 시간 초과는 다운스트림 API, 인증 드리프트, 대기열 압력, 테넌트별 비율 제한 또는 실패하기까지 너무 오래 걸리는 잘못된 요청 형태로 인해 발생할 수 있습니다. 하네스가 이러한 사례를 구분할 수 없는 경우 에이전트는 모든 실패를 또 다른 추론 기회로 간주합니다.
이것이 바로 시간 초과가 많은 워크플로가 서류상으로 보는 것보다 더 비싸게 느껴지는 이유입니다. 각 재시도는 작업이 완료되거나 중단되기 전에 더 많은 계획, 더 많은 컨텍스트 재사용, 더 많은 도구 설명 및 더 많은 인적 검토를 유발할 수 있습니다. 오류는 종속성 계층에서 시작되었지만 청구서는 전체 실행에 걸쳐 발생합니다.
예산이 없는 재시도 로직은 값비싼 극장이 됩니다
일반 재시도 루프는 단독으로 책임이 있는 것으로 보입니다. 시도 사이에 의미 있는 변화가 없을 때 문제가 나타납니다. 동일한 도구, 동일한 페이로드 제품군, 동일한 종속성, 동일한 차단 상태. 런타임의 관점에서 보면 또 다른 시도가 그럴듯해 보입니다. 운영자의 관점에서 시스템은 고객이 기다리는 동안 동일한 실패를 천천히 연습하고 있습니다.
수정 사항은 재시도 횟수가 0이 아닙니다. 해결 방법은 명시적인 재시도 정책입니다. 제한 시간이 한 번 더 시도되어야 하는 시기, 에이전트의 성능이 정상적으로 저하되어야 하는 시기, 실행이 일시 중지되었다가 나중에 다시 시작되어야 하는 시기, 사람이 인계받아야 하는 시기를 정의합니다. 해당 경계가 없으면 도구 시간 초과가 조용히 재시도 부채로 변합니다.
워크플로를 신뢰할 수 있다고 부르기 전에 측정해야 할 사항
도구별 시간 초과 비율, 성공적인 결과당 재시도 횟수, 재시도에 의해 추가된 총 대기 시간, 실패 후 각 실행이 수행한 경로(성능 저하, 에스컬레이션 또는 중지)를 측정합니다. 또한 시간이 초과된 도구, 발생한 시도 횟수, 페이로드 변경 여부, 멱등성 가드가 설치되었는지 여부 등 나중에 사건을 분류할 수 있을 만큼 충분히 기록합니다. 에이전트가 "실행"되었다는 것만 알면 워크플로가 작동하는지 여부를 알 수 없습니다.
Token Robin Hood 해당 레이어에 맞습니다. 제품은 보장된 비용 절감을 약속해서는 안 됩니다. 이는 팀이 작업에서 지출을 얻기 전에 토큰 사용이 확장되는 위치를 분석, 파악 및 최적화하는 데 도움이 되어야 합니다.
다음 실제 움직임
실제 외부 종속성이 있는 프로덕션 워크플로를 하나 선택하세요. 각 도구에 시간 제한 클래스, 재시도 예산 및 명확한 대체 조치를 제공합니다. 그런 다음 정책 변경 전후의 성공적인 작업당 비용을 비교합니다. 이는 모델이 "충분히 좋은지"에 대한 또 다른 일반적인 논쟁보다 에이전트 신뢰성에 대해 더 많은 것을 알려줄 것입니다.