Właśnie testuję małe modele AI w wersji offline na moim telefonie.
Możecie zapytać ale jak to, bez połączenia z internetem?
Tak, pobrałem w tym celu Enclave AI.
Enclave AI jest dostępna na urządzenia iOS oraz macOS i pozwala na uruchamianie modeli językowych, bez połączenia z Internetem.
Jak to zrobić?
Po pobraniu aplikacji, uruchamiamy ją i wybieramy, z którego modelu językowego chcielibyśmy skorzystać. Do tego celu właśnie służy menadżer modeli.
W menedżerze znajdziemy polecane modele offline oraz modele chmurowe (opcja z wysyłaniem zapytań na serwer po podaniu API – płatne). Jeśli na liście nie ma interesującego nas modelu możemy nacisnąć w tym oknie plusik i przeszukać bazę Hugging Face. Otrzymujemy jednak informację, że zbyt duże modele mogą powodować problemy.
Po wybraniu naszego modelu i jego pobraniu, uruchamiamy go i odrazu możemy na nim pracować.
Aplikacja umożliwia ustalenie „prompta systemowego”, czyli instrukcji jak ma zachowywać się nasz model językowy. W tym celu ustawiamy naszego asystenta.
Dodatkowo w opcjach ustawienia czatu możemy ustawić temperaturę i rozmiar kontekstu.
Enclave AI powala na analizę dokumentów, takich jak PDF lub innych plików tekstowych. W tym celu wybieramy „plusik”. Zauważcie, że dostępna jest również rozmowa głosowa.
Osoby, które lubią automatyzacje z pewnością ucieszą się z informacji, że Enclave AI jest dostępny w aplikacji Skróty. Możemy dzięki temu szybko uruchomić interesujące nas zapytanie w wybranym modelu i ustalonej wcześniej instrukcji systemowej.
Obecnie jeszcze testuję tą aplikację.
Teraz sprawdzam działanie z Bielikiem i już zauważyłem, że daje radę ale nie jest to tak płynna rozmowa jak na komputerze osobistym. Przy większych modelach językowych jest zauważalny spadek wydajności telefonu oraz jego nagrzewanie się. Wydaje mi się, że do mniejszych zadań nada się idealnie. Myślę, że warto sprawdzić możliwości tej aplikacji.
Więcej dowiecie się na stronie projektu, Enclave AI. Twórca zapewnia, że dane jakie wpiszemy w aplikacji są prywatne (oczywiście przy wykorzystywaniu modeli lokalnych).
Korzystaliście z tego rozwiązania? Jak oceniacie Enclave AI?