Okno kontekstu ile AI widzi naraz.

DefinicjaOkno kontekstu (context window) to limit tekstu, który model językowy bierze pod uwagę przy jednej odpowiedzi: instrukcje, historia rozmowy, wklejone dokumenty i sama odpowiedź. Mierzy się je w tokenach. To, co się w nim nie mieści, model pomija. Okno kontekstu to pamięć robocza modelu, a nie jego wiedza z trenowania.

Co mieści się w oknie kontekstu?

Wszystko, co model dostaje przy danym pytaniu. W rozmowie z czatem to Twoje wiadomości, jego wcześniejsze odpowiedzi, załączone pliki i ukryte instrukcje dostawcy. W automatyzacji to polecenie, dane z systemu (np. treść maila klienta) i fragmenty dokumentów, które ktoś do niego dołączył.

Model nie pamięta niczego między rozmowami, chyba że narzędzie samo dokleja wcześniejsze informacje. Każda odpowiedź powstaje tylko z tego, co akurat jest w oknie.

Dlaczego AI zapomina, co ustaliliśmy na początku?

Bo okno ma limit, a w długiej rozmowie najstarsze wiadomości mogą z niego wypaść albo zostać skrócone do streszczenia. Nawet gdy wszystko się mieści, przy bardzo długim kontekście model gorzej wyłapuje szczegóły. Dostawcy sami o tym piszą: więcej tekstu nie znaczy automatycznie lepszej odpowiedzi.

Przykład: handlowiec przez godzinę dopracowuje z czatem ofertę, a na końcu prosi o podsumowanie. W podsumowaniu wraca rabat, który na początku rozmowy został już odrzucony. Rozwiązanie jest proste: przy ważnej zmianie zacznij nową rozmowę i wklej tylko aktualne ustalenia.

Co to znaczy przy AI pracującym na dokumentach firmy?

Że nie warto wrzucać do modelu wszystkiego naraz. Cały regulamin, cennik i sto maili to dużo tokenów, wyższy koszt każdego zapytania i większa szansa, że model przeoczy ważne zdanie. Lepiej podać mu tylko to, co pasuje do pytania. Tak działa RAG: system najpierw wyszukuje kilka właściwych fragmentów, a dopiero je przekazuje modelowi.

• Krótko i na temat. Jedno zadanie w jednej rozmowie albo w jednym kroku automatyzacji.
• Najważniejsze na wierzchu. Kluczowe zasady powtórz w poleceniu, zamiast liczyć, że model je znajdzie w długim pliku.
• Sprawdzaj wynik. Gdy odpowiedź opiera się na długim materiale, zapytaj, z którego fragmentu pochodzi.

Więcej praktycznych zasad pracy z czatem znajdziesz w artykule ChatGPT w pracy firmy.