Cost-aware LLM routing 2026: Opus, Sonnet sau open-source

Când merită să chemi Claude Opus 4.5 pentru un task și când e suficient Sonnet — sau un Llama 3.3 70B rulat pe două H100 în rack propriu? Întrebarea nu mai e academică. Pe un pipeline agentic cu 200.000 de apeluri/lună, alegerea greșită de model se vede direct în P&L.

Regula practică: modelul urmează task-ul, nu invers. Sonnet 4.5 rezolvă marea majoritate din trafic la o fracțiune din costul Opus, potrivit tabelei oficiale de pricing Anthropic. Opus intră în ecuație doar când beneficiul marginal — corectitudinea pe reasoning multi-pas — depășește costul marginal.

Matricea de decizie: 3 axe

Trei axe decid ruta, nu una singură:

1. Complexitatea raționamentului — un rezumat de email nu cere chain-of-thought. Un review de contract cu clauze condiționate încrucișate, da.
2. Sensibilitatea datelor — GDPR Art. 6(1)(f) și obligațiile din Regulamentul (UE) 2024/1689 (AI Act) transformă „unde rulează inferența” într-o decizie legală, nu doar tehnică. Date sub NIS2 sau clasificate → on-prem, nu cloud US.
3. Latența acceptată — un agent interactiv are buget 800 ms. Un batch nocturn are buget 30 s. Modele mari cu reasoning extins nu încap în primul caz.

router:
  default: claude-sonnet-4-5
  rules:
    - match: {task: legal_review, complexity: high}
      route: claude-opus-4-5
      max_cost_eur: 0.42
    - match: {task: summarization, tokens_in: "<4000"}
      route: llama-3.3-70b-local
      endpoint: http://10.11.10.17:14000
    - match: {data_class: pii_ro}
      route: mistral-large-onprem
      reason: "art. 44 GDPR — transfer extra-UE interzis"
  fallback: claude-haiku-4

Cum arată un router de producție

Router-ul rulează în gateway-ul nostru agentic și trimite telemetrie către dashboard-ul din platforma demeter pentru observabilitate cost/token pe workload.

Când open-source bate cloud

Pentru workload-uri repetitive cu volum mare — clasificare de tickets, extragere structurată din PDF, embeddings — un Llama 3.3 70B sau Qwen 2.5 rulat pe hardware propriu bate frontier models la TCO după câteva luni de trafic constant. NIST AI RMF recomandă evaluarea „model provenance” pentru orice sistem cu impact operațional — un argument suplimentar pentru control local.

Poziția noastră: nu construim un „meta-model” care alege singur. Regulile explicite în router sunt auditabile, iar când ENISA cere trasabilitate pe deciziile automatizate, un YAML de 40 de linii bate un clasificator neural opac. Pentru integrarea cu pipeline-urile SOC, determinismul rutei contează mai mult decât ultimele 2% de acuratețe.

Vino cu propriul workload la demeter și îl trecem prin matrice — să vedem unde pierzi bani și unde pierzi acuratețe.

Lectură suplimentară

• Cum decid agenții între tool-uri: benchmark MetaRoute
• Triage SOC cu LLM: de la ore la minute în mid-market
• Când merită un orchestrator agentic peste procese