Skąd komputer wie, że „auto” i „samochód” to to samo, a „zamek” w drzwiach i „zamek” w Malborku – nie? Nie wie. Komputer umie tylko liczyć. Embeddings to sztuczka, która sprowadza znaczenie do liczenia: każdy tekst dostaje współrzędne w przestrzeni, a bliskość współrzędnych odpowiada bliskości znaczeń. Banalne w opisie, rewolucyjne w skutkach.
Czym jest embedding
Embedding to lista liczb reprezentująca fragment tekstu – słowo, zdanie, cały dokument. Model OpenAI text-embedding-3-small zwraca 1536 liczb, wariant large – 3072. Każda liczba to jedna współrzędna w przestrzeni o tylu wymiarach.
Brzmi abstrakcyjnie, więc zejdźmy do dwóch wymiarów. Wyobraź sobie mapę, na której „pies” leży tuż obok „szczeniak”, kawałek dalej „kot”, a „faktura VAT” – na drugim końcu. Embeddingi robią dokładnie to, tylko zamiast dwóch współrzędnych mają ich tysiące, dzięki czemu mieszczą dużo subtelniejsze relacje: ton, kontekst, dziedzinę, a nawet to, że zdanie jest pytaniem.
Kluczowa właściwość: teksty o podobnym znaczeniu dostają podobne wektory – niezależnie od użytych słów. „Jak naprawić pralkę, która nie wiruje” i „bęben pralki przestał się obracać” nie mają ani jednego wspólnego rzeczownika, a ich embeddingi leżą obok siebie. Tego klasyczne wyszukiwanie po słowach kluczowych nie potrafiło nigdy.
Jak powstaje embedding
Wektor produkuje wyspecjalizowany model embeddingowy – sieć neuronowa trenowana na ogromnych zbiorach tekstu. Podczas treningu model uczy się przewidywać konteksty słów i zdań, a skutkiem ubocznym jest właśnie to, że podobne znaczenia zbiegają się w przestrzeni.
Z perspektywy użytkownika to jedna prosta operacja: wysyłasz tekst, dostajesz wektor. W API OpenAI to jedno żądanie POST; jak takie wywołania działają technicznie, tłumaczymy w tekście o API i REST. Alternatywnie odpalasz model lokalnie – biblioteka sentence-transformers i setki darmowych modeli z Hugging Face działają nawet na laptopie bez karty graficznej, choć wolniej.
Ważny drobiazg: wektory różnych modeli są nieporównywalne. Embedding z modelu A i embedding z modelu B to współrzędne z dwóch różnych map – odległość między nimi nic nie znaczy. Całą bazę liczysz zawsze jednym modelem, a zmiana modelu oznacza przeliczenie wszystkiego od zera.
Podobieństwo wektorów, czyli cała magia
Skoro znaczenie to punkt w przestrzeni, podobieństwo znaczeń to odległość między punktami. W praktyce używa się podobieństwa kosinusowego (cosine similarity): wynik 1 oznacza identyczny kierunek wektorów, 0 – brak związku, a wartości ujemne – kierunki przeciwne (przy embeddingach tekstu w praktyce prawie nie występują).
I to wszystko. Cała „inteligencja” wyszukiwania semantycznego sprowadza się do policzenia tej jednej miary między wektorem zapytania a wektorami dokumentów, posortowania wyników i zwrócenia góry listy.
Para przykładów z życia: „buty do biegania po górach” dopasuje się do opisu „obuwie trailowe z bieżnikiem na kamieniste szlaki” (wysokie podobieństwo mimo innych słów), ale już nie do „buty do biegania po bieżni” (wspólne słowa, inna intencja). Klasyczna wyszukiwarka po słowach oceniłaby te pary dokładnie odwrotnie.
Do czego używa się embeddingów
Wyszukiwanie semantyczne to zastosowanie numer jeden – wyszukiwarki sklepów, baz wiedzy i helpdesków, które rozumieją pytanie zamiast dopasowywać litery. Specjalistyczne modele i narzędzia do tego celu rozwija m.in. Jina AI.
Dalej: rekomendacje („podobne artykuły”, „klienci oglądali też”), grupowanie tysięcy opinii klientów w tematy bez ręcznego tagowania, wykrywanie duplikatów treści, klasyfikacja zgłoszeń supportu, filtrowanie spamu. Wszędzie tam, gdzie trzeba porównać znaczenia na dużą skalę, pod spodem siedzą zwykle embeddingi.
No i RAG – obecnie najgłośniejsze zastosowanie.
Embeddings w RAG i bazy wektorowe
RAG (Retrieval-Augmented Generation) to architektura, w której model językowy przed odpowiedzią dostaje wyszukane fragmenty Twoich dokumentów. Chatbot odpowiadający na pytania o regulamin firmy nie „zna” regulaminu – w momencie pytania system znajduje embeddingami właściwe fragmenty i wkleja je modelowi do prompta.
Schemat jest zawsze ten sam. Dokumenty tnie się na fragmenty (chunki) po kilkaset tokenów, każdy chunk dostaje embedding, wektory lądują w bazie. Pytanie użytkownika też dostaje embedding, baza zwraca kilka najbliższych chunków, model skleja z nich odpowiedź. Dzięki temu LLM odpowiada na podstawie faktów z Twoich danych zamiast halucynować.
Do przechowywania i przeszukiwania wektorów służą bazy wektorowe: Pinecone i Qdrant jako wyspecjalizowane usługi, Chroma do prototypów, pgvector dla tych, którzy wolą zostać przy PostgreSQL. Przy kilkudziesięciu tysiącach dokumentów różnice są kosmetyczne – wybór bazy ma znaczenie dopiero przy milionach wektorów i wymaganiach milisekundowych.
Co embeddingi znaczą dla SEO
Google od lat nie dopasowuje słów, tylko znaczenia – modele typu BERT i ich następcy reprezentują zapytania oraz treści właśnie wektorowo. Praktyczne skutki znasz z SERP-ów: strona potrafi rankować na frazę, której nie zawiera, a upychanie synonimów przestało być „optymalizacją”, bo dla wektora „tani hosting” i „niedrogi hosting” to niemal ten sam punkt. Szerzej rozbieramy to w tekście o semantyce w SEO.
Embeddingów możesz też użyć po swojej stronie warsztatu. Trzy zastosowania, które realnie działają:
Wykrywanie kanibalizacji – liczysz embeddingi wszystkich artykułów bloga i szukasz par o podobieństwie powyżej ~0,9. Takie pary to kandydaci do scalenia albo rozróżnienia intencji, zanim zaczną wypychać się nawzajem z wyników. Linkowanie wewnętrzne – dla każdego nowego tekstu najbliższe wektorowo artykuły to naturalni kandydaci na linki. Grupowanie fraz – tysiące fraz z narzędzi keyword research klastrują się embeddingami w tematy w kilka minut, bez ręcznego przeglądania arkusza.
Ile to kosztuje i jak zacząć
Taniej, niż się wydaje. OpenAI liczy za text-embedding-3-small 0,02 dolara za milion tokenów – zembedowanie całego bloga z kilkuset artykułami kosztuje grosze, dosłownie. Modele lokalne z Hugging Face nie kosztują nic poza prądem.
Najprostszy start to eksperyment w jeden wieczór: weź 20-30 tytułów swoich artykułów, policz embeddingi, porównaj każdą parę podobieństwem kosinusowym i zobacz, co wyjdzie. Zwykle już na takiej próbce widać dwie rzeczy – które teksty się dublują i których tematów w klastrze brakuje. To moment, w którym embeddingi przestają być teorią z artykułu, a zaczynają być narzędziem w Twoim arkuszu.
Najczęściej zadawane pytania
Co to jest embedding?
To reprezentacja tekstu jako wektora liczb – typowo od kilkuset do ponad 3000 wymiarów – w której teksty o podobnym znaczeniu mają podobne wektory.
Dzięki temu porównywanie znaczeń sprowadza się do liczenia odległości między punktami, co komputery robią błyskawicznie i na dowolną skalę.
Czym embeddingi różnią się od słów kluczowych?
Wyszukiwanie po słowach kluczowych dopasowuje litery: znajdzie „pralka”, ale nie skojarzy jej z „bębnem, który przestał się obracać”. Embeddingi dopasowują znaczenie, więc łączą teksty bez ani jednego wspólnego słowa.
W praktyce oba podejścia często łączy się w wyszukiwanie hybrydowe – słowa kluczowe dla precyzji nazw własnych, wektory dla rozumienia intencji.
Co to jest baza wektorowa?
To baza danych zoptymalizowana pod przechowywanie embeddingów i błyskawiczne znajdowanie wektorów najbliższych zapytaniu. Popularne opcje to Pinecone, Qdrant, Chroma i rozszerzenie pgvector dla PostgreSQL.
Przy małych zbiorach (do dziesiątek tysięcy wektorów) wystarczy zwykła tablica i pętla – wyspecjalizowana baza staje się potrzebna dopiero przy dużej skali.
Co to jest RAG?
Retrieval-Augmented Generation – architektura, w której model językowy dostaje przed odpowiedzią fragmenty dokumentów wyszukane embeddingami. Tak buduje się chatboty odpowiadające na podstawie firmowej wiedzy.
RAG ogranicza halucynacje, bo model opiera odpowiedź na podanych fragmentach, a nie wyłącznie na swojej pamięci z treningu.
Czy embeddingi działają po polsku?
Tak. Czołowe modele embeddingowe (OpenAI, Cohere, wielojęzyczne modele open source z rodziny multilingual) są trenowane na wielu językach i polski obsługują dobrze.
Co więcej, dobre modele wielojęzyczne umieszczają polskie zdanie i jego angielskie tłumaczenie blisko siebie – można więc szukać po polsku w angielskiej bazie dokumentów.
Jak Google używa embeddingów?
Modele językowe w wyszukiwarce (od BERT-a po obecne systemy) reprezentują zapytania i treści wektorowo, dzięki czemu Google dopasowuje intencję, a nie litery. Strona może rankować na frazę, której dosłownie nie zawiera.
Dla SEO oznacza to, że liczy się pokrycie tematu i intencji, a nie liczba powtórzeń frazy w tekście.
Ile wymiarów ma embedding i czy więcej znaczy lepiej?
Typowo od 384 (małe modele open source) przez 1536 (OpenAI small) do 3072 (OpenAI large) i więcej. Więcej wymiarów to pojemniejsza reprezentacja, ale też większa baza i wolniejsze porównania.
Do większości zastosowań mniejsze modele wystarczają – różnicę widać głównie w wymagających benchmarkach, nie w wyszukiwarce bloga.
