Benchmark — Kirha vs Recherche Web

Beaucoup de gens supposent que les données privées ne sont pas publiques à la base. La réalité est que, dans tous les secteurs, la majeure partie de ce que vendent les fournisseurs de données provient du domaine public : flux de prix, déclarations SEC, résultats d’entreprises, décisions de justice. Les blockchains en sont un exemple encore plus frappant : chaque transaction est inscrite sur un registre public, mais bonne chance pour transformer ces données brutes en informations exploitables.

Alors, que paient réellement les clients ? La synchronisation en temps réel, l’agrégation spécifique au domaine, et la responsabilité qui accompagne les fournisseurs de données professionnels.

Pour les agents IA ayant besoin de contexte externe, les options étaient limitées :

• La recherche web est large mais désordonnée. Elle n’est pas assez précise pour les agents travaillant avec des données spécialisées en temps réel. Les indexeurs web à facturation à l’usage privilégient la couverture plutôt que la profondeur, ce qui rend difficile le maintien de données en temps réel sur des domaines spécifiques.
• Les sources de données premium offrent la profondeur et la fiabilité dont les agents ont besoin, mais elles impliquent des abonnements, des contrats entreprise, des semaines de travail d’intégration et une maintenance continue.

Kirha offre aux agents IA le meilleur des deux mondes : un accès à l’usage aux sources de données premium, entièrement traçable et auditable, via un seul endpoint /search. Nous routons les requêtes vers un réseau de fournisseurs premium en priorité et nous replions sur la recherche web si nécessaire — ainsi la couverture est toujours au moins aussi large, mais la profondeur est significativement meilleure là où ça compte.

Aujourd’hui, nous publions le premier benchmark public mesurant cette différence.

Résultats

Sur 100 requêtes spécifiques à des domaines couvrant les données d’entreprises, d’assurance et de crypto :

Kirha obtient un score 43% supérieur tout en utilisant 95% de tokens en moins. Ce ne sont pas seulement de meilleures réponses. C’est un contexte drastiquement plus efficace pour vos agents.

• Benchmark : https://benchmark.kirha.com
• Code source : https://github.com/kirha-ai/benchmark

Méthodologie

Nous utilisons le pattern LLM-as-a-Judge pour évaluer les résultats selon cinq critères : pertinence, précision, exhaustivité, fraîcheur et actionnabilité. Chaque requête est exécutée contre Kirha et la Recherche Web en parallèle. Les résultats sont résumés par Gemini 2.5 Flash pour normaliser le format de sortie, puis évalués par le même modèle avec la réflexion étendue activée.

Une bonne pratique courante avec LLM-as-a-Judge est de croiser les scores avec une évaluation humaine et de viser une corrélation élevée. Pour cette v1 nous avons adopté une approche moins chronophage: nous avons demandé à Claude d’examiner tous les résultats ainsi que leurs scores et de signaler les incohérences. Lisez le rapport complet.

« Le benchmark est fiable. Le juge fait des évaluations correctes dans ~96% des cas. Les 4 incohérences identifiées sont des cas limites qui méritent discussion mais n’invalident pas la méthodologie globale. »

Une note sur notre référence : nous avons utilisé Exa pour la Recherche Web. Pas pour les cibler en particulier, mais parce qu’ils sont un représentant solide de cette catégorie. Nous pourrons ajouter d’autres fournisseurs dans de futures itérations. L’objectif de ce benchmark n’est pas de prétendre que la Recherche Web est défaillante. C’est de démontrer que pour les requêtes en temps réel et spécifiques à un domaine, les intégrations sur mesure surpasseront toujours la Recherche Web.