Przetestowałem 11 modeli AI na 10 zadaniach zakupowych [BLOG aiwzakupach.pl]

Propozycje tytułów:

1. Przetestowałem 11 modeli AI na 10 zadaniach zakupowych. Oto co wyszło
2. Który model AI nadaje się do zakupów? Sprawdziłem na 330 testach
3. Przestałem wierzyć benchmarkom i zrobiłem własny test AI dla zakupów

Slug: przetestowalem-11-modeli-ai-w-zakupach

Excerpt: 11 modeli AI, 10 zadań z prawdziwej pracy kupca, 330 testów i ślepa ocena. Zamiast wierzyć rankingom z internetu, sprawdziłem, który model naprawdę nadaje się do pracy w zakupach — i za ile.

Tagi: AI w zakupach, LLM, testy modeli, koszty AI, automatyzacja

W moich rozmowach na temat AI w zakupach łapię się na tym, że doradzam ludziom w wyborze modeli na podstawie cudzych benchmarków. Czyli wszystkie te rankingi: model X ma 94% na teście matematycznym, model Y wygrywa w pisaniu kodu, które mają mało do czynienia z obszarem zakupów. Ja nie tworzę aż tyle kodu ani nie buduję modeli matematycznych i gier online. Ja chcę, żeby przeczytał czterdziestostronicową umowę ramową i powiedział mi, gdzie dostawca ukrył haczyki.

Skoro nikt nie zrobił takiego testu dla zakupów, zrobiłem go sam.

Wziąłem 11 modeli: dwa flagowe (Claude Fable 5 i GPT-5.6 Sol), środkową półkę (m.in ↗. GPT-5.6 Terra, Claude Sonnet 5, Gemini), tańsze warianty (GPT-5.6 Luna, Gemini Flash) i cztery modele open-weight (czyli takie, których wagi są publicznie dostępne i można je uruchomić u różnych dostawców — DeepSeek, GLM, Mistral). Każdy z nich dostał dokładnie te same 10 zadań, każde w trzech wariantach. Razem 330 przebiegów. Całość kosztowała mnie jakieś 85 USD w API.

Zadania nie były wymyślone pod test. To jest po prostu praca, którą zespół zakupowy robi co tydzień: streść umowę i wskaż ryzyka, wyciągnij warunki handlowe do tabelki, napisz kompletne RFP z brudnego briefu od biznesu, porównaj trzy nieporównywalne oferty i zarekomenduj dostawcę, sklasyfikuj sto linii faktur, zrób syntezę due diligence z paczki dokumentów, przygotuj się do negocjacji z dostawcą chmury (z BATNA i ZOPA), napisz analizę rynku z materiałów analityka, zbuduj macierz oceny ofert w formacie pod Excela i policz analizę ABC z zaszumionego zrzutu z SAP-a z duplikatami dostawców, notami kredytowymi i czterema walutami.

I żeby było jasne, nie oceniałem tego na oko. Do części zadań istniał policzalny klucz odpowiedzi (w umowach celowo zaszytych było po 10 konkretnych ryzyk, w danych ABC znałem prawidłowy wynik co do euro, bo sam wygenerowałem dane). Resztę oceniał sędzia, inny model, który dostawał anonimowe wyniki pracy LLM-ów, bez nazw, tylko treść. Do tego drugi sędzia z innej stajni na próbie kontrolnej (94% zgodności) i moja własna weryfikacja wyrywkowa. Najlepszy dowód, że ślepa ocena działa: model-sędzia sklasyfikował sam siebie w niektórych zadaniach na siódmym miejscu.

Co wyszło? Bardzo ciekawe konkluzje.

Po pierwsze, najdroższy model faktycznie był najlepszy, ale nie tam, gdzie się spodziewałem, że ma znaczenie. Claude Fable 5 wygrał klasyfikację jakościową (99% średniej, zaliczone wszystkie zadania), tylko że kosztowało to 19,49 USD za komplet 30 przebiegów. Jego przewaga robiła różnicę głównie tam, gdzie każde przeoczenie boli: przy wyciąganiu warunków z umów i porównywaniu ofert z ukrytymi wyłączeniami. Czyli tam, gdzie jeden przegapiony zapis kosztuje więcej niż roczny abonament na model.

Po drugie, środkowa półka to koń roboczy zakupów. GPT-5.6 Terra i Claude Sonnet 5 zrobiły ponad 96% jakości flagowca za ułamek jego ceny. A prawdziwym zaskoczeniem była Luna, najtańszy wariant GPT: zaliczyła wszystkie 10 zadań przy koszcie 1,22 dolara za całość. Szesnaście razy taniej niż flagowiec, przy jakości niższej o niecałe 9 punktów. Na sparingu negocjacyjnym dostała komplet punktów — za 5 centów! I to jest sygnał dla wszystkich, którzy zastanawiają się, jak optymalnie stosować AI w czasach rosnących kosztów. Dokładnie zajmę się tą kwestią a następnym artykule na temat “AI jako kategoria zakupowa”.

Po trzecie, i to jest lekcja, której nie znajdziecie w żadnym cenniku, tani za token nie znaczy tani za zadanie. Modele "rozumujące" potrafią spalić dziesiątki tysięcy tokenów na wewnętrzne myślenie, zanim napiszą pierwsze zdanie. Na analizie ABC jeden z tańszych modeli zużył 59 tysięcy tokenów (i 56 centów), żeby policzyć coś, co flagowiec zrobił w 9 tysiącach. Do tego dochodzi coś, co nazywam efektem tokenizera: ten sam tekst umowy to u jednego dostawcy 12,5 tysiąca tokenów do zapłacenia, a u innego prawie 21 tysięcy. Porównywanie cenników "za milion tokenów" między dostawcami jest tym samym strukturalnie zachwiane. Liczcie koszt wykonanego zadania, nie koszt tokena.

Była też pułapka, w którą wpadła połowa LLM-ów. Analiza rynku, czyli zadanie najbliższe pracy category managera, okazała się najtrudniejsza: zaliczyło ją tylko 7 z 11 modeli. Reszta pisała gładkie teksty, które rozpadały się przy sprawdzaniu liczb i źródeł. A najtańszy model w teście, Mistral, za 27 centów za całość był rewelacyjnym dealem na prostych zadaniach, po czym na analizie ABC wyprodukował wynik z 15% trafności.

Najważniejszy wniosek z całości jest w sumie bardzo zakupowy: pytanie "który model AI jest najlepszy" jest źle postawione. Sensowne pytanie brzmi: „Który model do której pracy?” Rutynową klasyfikację i streszczenia robi u mnie od teraz tania półka, cięższe analizy środkowa, a flagowiec wchodzi tam, gdzie przeoczenie kosztuje realne pieniądze. Dokładnie tak, jak w zakupach od zawsze: nie kupuje się wszystkiego u premium dostawcy.

Z tego testu powstała cała mapa "zadanie → model → koszt" z heatmapami i pełną metodologią.

Jeżeli chcecie się więcej dowiedzieć na temat testu lub ekonomiki używania AI, dajcie znać.

Źródła:

1. Własny test porównawczy: 11 modeli LLM × 10 zadań zakupowych × 3 warianty (330 przebiegów), ślepa ocena wg rubryk + klucze odpowiedzi, lipiec 2026. Pełna metodologia i wyniki — publikacja wkrótce.
2. Cenniki API dostawców (Anthropic, OpenAI, Google, Together), stan na 11 lipca 2026.