O Simon Willison έχει ένα σχέδιο για το τέλος του κόσμου.

Είναι ένα USB stick, στο οποίο έχει φορτώσει μερικά από τα αγαπημένα του LLM (μεγάλα γλωσσικά μοντέλα) που είναι ανοιχτά και δημόσια διαθέσιμα. Αυτά τα μοντέλα μπορούν στην ουσία να κατέβουν και να εκτελούνται τοπικά, χρησιμοποιώντας τον υπολογιστή του καθενός. Αν ποτέ καταρρεύσει η ανθρώπινη πολιτισμική κοινωνία, ο Willison σκοπεύει να χρησιμοποιήσει όλη τη γνώση που είναι κωδικοποιημένη στους δισεκατομμύρια παραμέτρους αυτών των μοντέλων για να βοηθήσει. “Είναι σαν να έχεις μια περίεργη, συμπυκνωμένη και ελαττωματική εκδοχή της Wikipedia για να μπορώ να βοηθήσω να επανεκκινήσει η κοινωνία με τη βοήθεια του μικρού μου USB stick“, λέει χαρακτηριστικά. 

Αλλά δε χρειάζεται να σχεδιάζετε για το τέλος του κόσμου για να θέλετε να τρέξετε ένα LLM στη δική σας συσκευή. Για άτομα που ανησυχούν για την προστασία της ιδιωτικότητας θέλουν να απελευθερωθούν από τον έλεγχο των μεγάλων εταιρειών LLM ή απλώς απολαμβάνουν να πειραματίζονται, τα τοπικά μοντέλα προσφέρουν μια δελεαστική εναλλακτική λύση σε υπηρεσίες όπως το ChatGPT και τους αντίστοιχους διαδικτυακούς του “συνοδοιπόρους”. 

Oι ερευνητές είχαν τόσο μεγάλη επιτυχία στο να μικρύνουν και να επιταχύνουν τα μοντέλα, ώστε τώρα οποιοσδήποτε με ένα φορητό υπολογιστή ή ακόμα και ένα smartphone μπορεί να συμμετάσχει. “Πριν από μερικά χρόνια θα έλεγα ότι οι προσωπικοί υπολογιστές δεν είναι αρκετά ισχυροί για να τρέξουν τα καλά μοντέλα” υποστηρίζει ο Willison. “Και συνεχώς αποδεικνύομαι λάθος ξανά και ξανά“. 

Γιατί να κατεβάσετε το δικό σας LLM 

Η χρήση τοπικών μοντέλων LLM (μεγάλων γλωσσικών μοντέλων) απαιτεί λίγο περισσότερη προσπάθεια σε σχέση με την απλή περιήγηση στο ChatGPT, ωστόσο η πρόσβαση σε εργαλεία όπως το ChatGPT συνοδεύεται από ένα τίμημα. “Είναι το κλασικό ρητό: Αν κάτι είναι δωρεάν, τότε εσύ είσαι το προϊόν” τονίζει η Elizabeth Seger, διευθύντρια πολιτικής ψηφιακών θεμάτων στο think tank Demos του Λονδίνου. 

Η OpenAI που προσφέρει τόσο πληρωμένες όσο και δωρεάν εκδόσεις εκπαιδεύει τα μοντέλα της χρησιμοποιώντας τις συνομιλίες των χρηστών κατά προεπιλογή. Δεν είναι ιδιαίτερα δύσκολο να εξαιρεθεί κάποιος από αυτήν την εκπαίδευση, ενώ παλιότερα ήταν δυνατό να αφαιρεθούν τα δεδομένα συνομιλιών από τα συστήματα της OpenAI, μέχρι που μια πρόσφατη νομική απόφαση στην αγωγή της New York Times κατά της OpenAI απαιτούσε από την εταιρεία να διατηρεί όλες τις συνομιλίες των χρηστών με το ChatGPT. 

Η Google που έχει πρόσβαση σε τεράστιο όγκο δεδομένων για τους χρήστες της, εκπαιδεύει τα μοντέλα της και για χρήστες που δεν πληρώνουν, με αλληλεπιδράσεις μέσω του Gemini. Η μόνη δυνατότητα να εξαιρεθεί κάποιος από αυτήν την εκπαίδευση είναι να ρυθμίσει την αυτόματη διαγραφή του ιστορικού συνομιλιών του, κάτι που σημαίνει ότι χάνει επίσης την πρόσβαση στις προηγούμενες συνομιλίες του. Η Anthropic δεν χρησιμοποιεί συνομιλίες χρηστών για την εκπαίδευση των μοντέλων της, αλλά θα το κάνει για συνομιλίες που έχουν “σημανθεί για έλεγχο Ασφάλειας και Εμπιστοσύνης”. 

Η εκπαίδευση των μοντέλων ενδέχεται να θέτει σοβαρούς κινδύνους για την ιδιωτικότητα λόγω του τρόπου που τα μοντέλα ενσωματώνουν και συχνά αναπαράγουν τα δεδομένα εκπαίδευσής τους. Πολλοί άνθρωποι εμπιστεύονται τα LLMs με πολύ προσωπικές συνομιλίες, αλλά εάν τα μοντέλα εκπαιδευτούν με αυτά τα δεδομένα οι συνομιλίες αυτές μπορεί να μην είναι τόσο ιδιωτικές όσο πιστεύουν οι χρήστες. 

Η απομάκρυνση από τις μεγάλες εταιρείες AI σημαίνει επίσης ότι έχετε μεγαλύτερο έλεγχο στην εμπειρία σας με το LLM. Τα διαδικτυακά LLM αλλάζουν συνεχώς και οι χρήστες το αντιλαμβάνονται. Πριν από τον Απρίλιο το ChatGPT άρχισε ξαφνικά να υποστηρίζει τους χρήστες πολύ περισσότερο από ό,τι πριν και μόλις την περασμένη εβδομάδα, το Grok άρχισε να αυτοαποκαλείται “MechaHitler” στο X. Οι πάροχοι τροποποιούν τα μοντέλα τους χωρίς προειδοποίηση και ενώ αυτές οι τροποποιήσεις μερικές φορές βελτιώνουν την απόδοση των μοντέλων, μπορούν επίσης να προκαλέσουν ανεπιθύμητες συμπεριφορές. Τα τοπικά LLM μπορεί να έχουν τα δικά τους προβλήματα, αλλά τουλάχιστον είναι συνεπή. Ο μόνος που μπορεί να αλλάξει το τοπικό σας μοντέλο είστε εσείς. 

Φυσικά οποιοδήποτε μοντέλο που μπορεί να χωρέσει σε έναν προσωπικό υπολογιστή θα είναι λιγότερο ισχυρό από τις κορυφαίες διαδικτυακές προσφορές από τις μεγάλες εταιρείες AI, αλλά υπάρχει ένα πλεονέκτημα στη χρήση μικρότερων μοντέλων: Μπορούν να σας προστατεύσουν από τους πιο σοβαρούς περιορισμούς των μεγαλύτερων μοντέλων. Μικρότερα μοντέλα για παράδειγμα, μπορεί να χάνουν την επαφή με την πραγματικότητα και να κάνουν φανταστικά σενάρια συχνότερα και πιο εμφανώς από τα Claude, GPT και Gemini και το να βλέπετε αυτά τα σενάρια μπορεί να σας βοηθήσει να κατανοήσετε πότε και πως τα μεγαλύτερα μοντέλα μπορεί επίσης να λένε ψέματα. 

“Η εκτέλεση τοπικών μοντέλων είναι στην πραγματικότητα μια πολύ καλή άσκηση για να αναπτύξετε αυτήν τη μεγαλύτερη διαίσθηση για το τι μπορούν να κάνουν αυτά τα μοντέλα” υποστηρίζει ο Willison. 

Τα τοπικά LLM δεν είναι μόνο για προχωρημένους προγραμματιστές. Αν αισθάνεστε άνετα χρησιμοποιώντας την διεπαφή γραμμής εντολών του υπολογιστή σας που σας επιτρέπει να περιηγείστε σε αρχεία και να εκτελείτε εφαρμογές μέσω κειμένων εντολών, το Ollama είναι μια εξαιρετική επιλογή. Μόλις εγκαταστήσετε το λογισμικό, μπορείτε να κατεβάσετε και να εκτελέσετε οποιοδήποτε από τα εκατοντάδες μοντέλα που προσφέρουν με μία μόνο εντολή. 

Αν δεν θέλετε να ασχοληθείτε καθόλου με κάτι που μοιάζει με κώδικα μπορείτε να επιλέξετε το LM Studio, μια φιλική προς τον χρήστη εφαρμογή που διευκολύνει τη λειτουργία των τοπικών LLM. Μπορείτε να περιηγηθείτε σε μοντέλα από τη Hugging Face απευθείας μέσα στην εφαρμογή, η οποία παρέχει πολλές πληροφορίες για να σας βοηθήσει να κάνετε τη σωστή επιλογή. 

Καθώς πειραματίζεστε με διάφορα μοντέλα θα αρχίσετε να καταλαβαίνετε τι μπορεί να χειριστεί η συσκευή σας. Σύμφωνα με τον Willison, κάθε δισεκατομμύριο παραμέτρων απαιτεί περίπου 1 GB RAM για να λειτουργήσει και αυτός ο υπολογισμός φαίνεται ακριβής. 

Αν αντιμετωπίσετε προβλήματα ταχύτητας ή χρηστικότητας, μπορείτε πάντα να επιλέξετε ένα μικρότερο μοντέλο. Για παράδειγμα, το Qwen3 8B από την Alibaba παρείχε λογικές απαντήσεις στο δικό μου laptop των 16 GB. 

Και αν επιλέξετε πραγματικά μικρότερα μοντέλα, μπορείτε να τα τρέξετε ακόμα και στο κινητό σας τηλέφωνο. Το iPhone 12, παρά την παλαιότητά του ήταν σε θέση να τρέξει το Meta Llama 3.2 1B με την εφαρμογή LLM Farm, αν και το μοντέλο αυτό δεν ήταν το καλύτερο, καθώς παρουσίαζε συχνά φανταστικά σενάρια.  

*Mε στοιχεία από το Technology Review.

 

 

➪ Ακολουθήστε το OLAFAQ στο Facebook, Bluesky και Instagram.