Lag der Fokus beim ersten LLM Benchmarking im ersten Quartal primär noch auf der reinen Performance in den Bereichen Informationsklassifikation und -extraktion, wurden nun zusätzlich Geschwindigkeit, Datenschutz und relative Kostenstruktur berücksichtigt – entscheidende Kriterien für den produktiven Einsatz im IDP-Umfeld.

In der Analyse hat insbesondere Gemini 2 Flash durch außerordentlich hohe Effizienz in der Ausgabe und Verarbeitungsgeschwindigkeit überzeugt. Damit bietet das LLM einen entscheidenden Vorteil für die schnelle Bearbeitung großer Datenmengen in zeitkritischen Verfahren.

Nach wie vor liegen die globalen Modelle im aktuellen Vergleich vorn. Den ersten Platz im Gesamtranking sicherte sich das Modell Claude 3.7 Sonnet von Anthropic mit einem Score von 90,17, dicht gefolgt vom Sieger des Januar-Rankings Claude Sonnet 3.5 mit 89,61 Punkten. Auf dem dritten Platz landete eines der bekanntesten Modelle: GPT-40 von Open AI mit einem Score von 86,33.

Auch das auf Datenschutz und Compliance optimierte Insiders Private LLM findet sich im Vergleich. Das vollständig in der nach ISO 27001-zertifizierten Insiders-Cloud betriebene Modell mit höchstem Datenschutzlevel ist ein bewusstes Tradeoff speziell für sensible Dokumententypen wie SEPA-Mandate oder medizinische Daten. Hoher Datenschutz, volle Kontrolle, lokale Verarbeitung und höchste Transparenz zeichnen das Modell aus. Damit eignet es sich besonders für informationssensible Branchen wie die Versicherungs- und Finanzbranche.

Mit seinem Benchmarking veranschaulicht Insiders Technologies die Herausforderung, den Balanceakt zwischen Performance und Sicherheit zu meistern. Mit seinem Brest-of-Breed-Ansatz begegnet das Unternehmen dieser Herausforderung, indem es die leistungsfähigsten LLMs auf dem Markt identifiziert und über seine OvAItion Engine in all seinen Produkten integriert. Damit haben die Kunden die Möglichkeit, dass für ihren jeweiligen Anwendungsfall optimale Setup auszuwählen und angepasst an ihre individuellen Bedürfnisse das Level an Performance und Sicherheit zu erreichen, das sie tatsächlich benötigen.

„Gerade in hochregulierten Branchen wie der Versicherungswirtschaft kommt es nicht nur auf die reine Leistung eines LLM an, sondern auch auf Aspekte wie Datenschutz, Kostenkontrolle und Verarbeitungsgeschwindigkeit“, erklärt Dr. Alexander Lück, Team OvAItion/Data Management und Verantwortlicher für das LLM Benchmarking bei Insiders Technologies. „Unser Benchmark zeigt, dass es kein Modell für alle Fälle gibt. Stattdessen ermöglichen wir unseren Kunden, mit einem maßgeschneiderten Setup aus führenden LLMs und unserem Private-Modell die optimale Balance aus Effizienz und Sicherheit zu finden.“

Erscheint ein neues Modell auf dem Markt, wird dieses im aktuellen Insiders LLM Benchmarking auf die Probe gestellt und mit den bisherigen LLMs verglichen. Die gewonnen Erkenntnisse fließend direkt in die Produktentwicklung ein und sorgen für eine dauerhaft hohe Qualität für die Insiders-Kunden.

Die aktuelle Ausgabe Q2-2025 des LLM Benchmarkings kann hier kostenlos bezogen werden:
https://insiders-technologies.com/…

Weitere Informationen zur intelligenten Prozessautomatisierung in der Versicherungswirtschaft:
https://insiders-technologies.com/…

Zusammenfassung
KI-Experten von Insiders Technologies vergleichen in ihrem aktuellen LLM Benchmarking Leistung, Datenschutz und Kosten von LLM für die Versicherungs- und Finanzbranche und finden kundenspezifisch das je nach Anwendungsfall optimale Setup.

Keywords
LLM, Benchmark, Versicherungswirtschaft, Performance, Inputmanagement, Intelligent Automation, KI