Wdrożenie
Self-hosted LLM: nic nie wypływa.
Warstwa modelu w Interim Robots jest abstrakcyjna — przełączasz dostawcę zmienną środowiskową, bez zmian w kodzie. Możesz korzystać z modelu w regionie UE objętego DPA albo uruchomić własny model lokalnie, tak by żaden fragment dokumentu nie wychodził poza Twój perymetr.
Abstrakcja dostawcy
Ten sam interfejs obsługuje model w chmurze UE (np. Claude przez Bedrock w regionie europejskim) oraz lokalny serwer zgodny z API OpenAI (np. vLLM). Zmiana to jedna zmienna konfiguracyjna — reszta systemu pozostaje bez zmian.
- Przełączanie dostawcy: bedrock_eu · azure_openai · self-hosted (vLLM)
- Model tylko do odczytu — bez narzędzi i function-callingu
- Streaming odpowiedzi token po tokenie
Pełna suwerenność danych
Przy modelu lokalnym cały potok — od dokumentu, przez wektory, po wygenerowaną odpowiedź — działa w Twojej infrastrukturze. To najmocniejszy wariant dla organizacji, które nie mogą wysyłać nawet fragmentów treści do zewnętrznego dostawcy.
- Zero ruchu wychodzącego z treścią dokumentów
- Do modelu i tak trafiają tylko fragmenty po kontroli dostępu
- Idealne dla sektora regulowanego i danych wrażliwych
Sizing i wydajność
Model lokalny wymaga GPU dobranego do wybranego modelu i oczekiwanej przepustowości. Wspólnie dobierzemy rozmiar sprzętu i model tak, aby pogodzić jakość odpowiedzi z kosztem i opóźnieniem. Wyszukiwanie (embeddingi, reranking) działa na CPU niezależnie od wyboru modelu.
- Doradztwo w doborze modelu i GPU pod Twój wolumen
- Wyszukiwanie na CPU — GPU tylko dla generacji odpowiedzi
- Możliwość startu na modelu chmurowym i migracji do lokalnego
Potrzebujesz pełnej suwerenności modelu?
Pomożemy dobrać model i sprzęt oraz przeprowadzić wdrożenie w pełni lokalne.