Tag: optimisation

Affichage 1-4 sur 4

TutorielsFrance
Ouvrir
08 juin 20267 min de lecturePlaybook AgentsIntermédiaire180 min build

Comment Viktor utilise le prompt caching et des préfixes byte‑stables pour réduire le coût des threads d'agent

Viktor transforme l'historique répété d'un thread en lectures de cache peu coûteuses grâce à des préfixes byte‑stables, des outils exposés via SDK, des logs append‑only et une compaction en cache — un thread de 40 étapes est passé de $11.35 à $2.07 dans leur exemple.

ActualitésRoyaume-Uni
Ouvrir
02 mai 20266 min de lecturePlaybook AgentsIntermédiaire

AWS Strands Agents : conception agent→outil qui a réduit l’utilisation de tokens LLM d’environ 96%

Résumé et guide pratique pour équipes et développeurs : l’approche « agent→outil » de Strands externalise l’extraction et la synthèse hors des prompts, réduisant fortement l’usage mesuré de tokens et améliorant coût, testabilité et protection des données. Source : thenewstack.io/strands-agents-tool-design

TutorielsFrance
Ouvrir
10 mars 20268 min de lectureDeep dive outillageIntermédiaire480 min build

Audit et contrôles légers pour réduire les coûts API LLM multi-fournisseurs

Exécutez un audit factures + endpoints pour récupérer les dépenses API LLM gaspillées — un rapport communautaire indique qu'environ 60 % pouvaient être récupérés via routage de modèles, compression de prompt, déduplication de retries et cache sémantique (à valider dans votre contexte).

Analyses de modèlesFrance
Ouvrir
06 févr. 20266 min de lectureNotes fondateurIntermédiaire5 min build

Vérification sélective au niveau des états avec heuristiques apprises pour raisonnement LLM sous contrainte de coût de vérification

Résumé professionnel pour développeurs et fondateurs : pipeline de vérification sélective au niveau des états (filtrage de faisabilité, classement appris pré-vérification, allocation adaptative) — revendique + précision et −44% d'appels au vérificateur sur MATH (source : arXiv:2602.03975).