tscg: 에이전트 도구 용량을 확장하는 토큰-컨텍스트 컴파일러
tscg, SKZL AI에서 제공하는, 에이전트 작업 흐름을 위한 AI 에이전트의 컨텍스트 예산을 최적화하는 결정론적 컴파일러입니다. 복잡한 JSON 도구 스키마를 토큰 효율적인 문법으로 압축하여 모델이 더 큰 도구 세트와 RAG 데이터를 참조할 수 있도록 하여 컨텍스트 창이 넘치지 않도록 합니다. 이 도구는 장황한 도구 정의에 대해 50-72%의 토큰 절약을 보고하며, 컴팩트하고 예측 가능한 도구 표현이 필요한 로컬 또는 제약된 LLM을 배포하는 AI 엔지니어를 대상으로 합니다.
실제로 어떤 작업에 사용할 수 있나요?
이 도구는 MCP 서버와 npm 패키지로 제공되며, Claude Desktop, Cursor 및 Windsurf와 같은 MCP 호환 호스트에서 Node.js 기반 배포를 목표로 합니다. 통합에는 LangChain 및 Vercel AI SDK에 대한 지원이 포함되어 있어 에이전트 코드가 도구 호출 또는 RAG 체인을 조합하는 곳에서 사용할 수 있습니다. 실제로 팀은 에이전트가 실행 중에 많은 외부 도구를 나열하거나 참조해야 할 때 프롬프트 오버헤드를 줄이는 데 적용합니다.
모델 행동 및 정확도에 얼마나 영향을 미치나요?
독립적인 테스트와 개발자 노트에 따르면 tscg를 사용하면 프롬프트 '노이즈'가 줄어들고 컨텍스트 창 오버플로우를 방지하여 Phi-4와 같은 더 작은 로컬 모델의 도구 호출 정확도를 향상시킬 수 있습니다. 이 구현은 에이전틱 시스템이 800개 이상의 도구로 실험을 수행할 수 있도록 하는 것이 입증되었으며, 이 경우 모델은 전체 도구 세트를 사용하는 데 실패했습니다.
실행 시간 및 개인 정보 보호 특성은 무엇인가요?
tscg는 외부 종속성 없이 TypeScript로 구현되었으며 빠르게 실행되며, 50개 도구 세트에 대한 보고된 실행 시간은 약 2.4 밀리초입니다. GPU 요구 사항 없이 표준 CPU에서 실행되며, 외부 API 호출 없이 로컬에서 컴파일을 수행하여 오프라인 또는 개인 배포를 지원합니다. 이 패키지는 Anthropic, OpenAI 및 Ollama 호스트에 대한 제공자 인식 형식을 포함합니다.
도구 수 제한에 집중하는 엔지니어를 위한 실용적인 옵션, 로컬라이제이션 스위트가 아님
tscg는 제한된 모델 내에서 호출 가능한 도구의 수를 확장해야 하는 AI 엔지니어를 위한 실용적인 옵션입니다. 도구-맥락 트레이드오프를 해결하는 데 있어 에이전틱 AI 연구 커뮤니티에서 높이 평가받고 있습니다. 스키마 압축에 대한 전문성은 로컬라이제이션 특정 기능을 찾는 팀이 이 집중된 범위가 그들의 목표와 일치하는지 고려해야 함을 의미합니다.
