Η κοινότητα της Τεχνητής Νοημοσύνης είναι γεμάτη ενθουσιασμό για το DeepSeek R1, ένα νέο ανοιχτού κώδικα μοντέλο συλλογιστικής. Το μοντέλο αναπτύχθηκε από την κινεζική startup AI, DeepSeek, η οποία ισχυρίζεται ότι το R1 ταιριάζει ή και ξεπερνά το ChatGPT της OpenAI σε πολλούς βασικούς δείκτες και ταυτόχρονα είναι οικονομικότερο. «Αυτό θα μπορούσε να είναι μία πραγματικά καινοτομία, εξαιρετική για ερευνητές και προγραμματιστές με περιορισμένους πόρους, ειδικά για εκείνους από τον Παγκόσμιο Νότο», λέει ο Χαντσένγκ Κάο, επίκουρος καθηγητής συστημάτων πληροφορικής στο Πανεπιστήμιο Έμορι.

Η επιτυχία της DeepSeek αποκτά ακόμα μεγαλύτερη αξία, δεδομένων των περιορισμών που αντιμετωπίζουν οι κινεζικές εταιρείες AI λόγω των αυξανόμενων ελέγχων εξαγωγών “αιχμής” από τις ΗΠΑ. Τα πρώιμα δεδομένα δείχνουν ότι αυτά τα μέτρα δεν λειτουργούν όπως προβλεπόταν. Αντί να αποδυναμώνουν την πρόσβαση κι ανάπτυξη AI της Κίνας οι κυρώσεις φαίνεται να ωθούν startups όπως η DeepSeek να καινοτομούν με τρόπους που δίνουν προτεραιότητα στην αποδοτικότητα, τη συνεργασία πόρων και τη συλλογικότητα.

Για να δημιουργήσει το R1, η DeepSeek αναγκάστηκε να αναδιαμορφώσει τη διαδικασία εκπαίδευσής του ώστε να μειώσει την πίεση στις GPU της, που σύμφωνα με τον Ζιχάν Γουάνγκ πρώην υπάλληλο της DeepSeek και νυν διδακτορικό φοιτητή πληροφορικής στο Πανεπιστήμιο Northwestern κυκλοφόρησε η Nvidia για την κινεζική αγορά με περιορισμένη απόδοση στο μισό της ταχύτητας των κορυφαίων προϊόντων της.

Το DeepSeek R1 έχει λάβει επαίνους από ερευνητές για την ικανότητά του να αντιμετωπίζει σύνθετα προβλήματα συλλογιστικής, ιδιαίτερα στα μαθηματικά και τον προγραμματισμό. Το μοντέλο χρησιμοποιεί μια προσέγγιση «αλυσίδας σκέψης» παρόμοια με αυτή που χρησιμοποιεί το ChatGPT o1, η οποία του επιτρέπει να επιλύει προβλήματα επεξεργαζόμενο ερωτήματα βήμα προς βήμα.

Ο Δημήτρης Παπαϊλιόπουλος, κύριος ερευνητής στο ερευνητικό εργαστήριο AI Frontiers της Microsoft αναφέρει σε συνέντευξή του ότι αυτό που τον εξέπληξε περισσότερο σχετικά με το R1 είναι η απλότητα του σχεδιασμού του. «Η DeepSeek στόχευσε σε ακριβείς απαντήσεις αντί να αναλύει κάθε λογικό βήμα, μειώνοντας σημαντικά τον χρόνο υπολογισμού διατηρώντας παράλληλα υψηλό επίπεδο αποτελεσματικότητας», λέει.

Η DeepSeek κυκλοφόρησε επίσης έξι μικρότερες εκδόσεις του R1, αρκετά μικρές ώστε να τρέχουν τοπικά σε φορητούς υπολογιστές. Ισχυρίζεται ότι μία από αυτές ξεπερνά ακόμη και το o1-mini της OpenAI σε συγκεκριμένα benchmarks. «Η DeepSeek έχει σε μεγάλο βαθμό αναπαραγάγει το o1-mini και το έχει διαθέσει ως ανοιχτού κώδικα», έγραψε στο Twitter ο CEO της Perplexity, Αραβίντ Σρινίβας.

Παρά τον θόρυβο γύρω από το R1 η DeepSeek παραμένει σχετικά άγνωστη εταιρεία στο ευρύ κοινό. Με έδρα το Χανγκζού της Κίνας ιδρύθηκε τον Ιούλιο του 2023 από τον Λιανγκ Ουένφεγκ, απόφοιτο του Πανεπιστημίου Zhejiang με εξειδίκευση στην πληροφορική και τη μηχανική ηλεκτρονικών συστημάτων. Η DeepSeek αναπτύχθηκε μέσω της High-Flyer, ενός hedge fund που ίδρυσε ο Λιανγκ το 2015. Όπως και ο Σαμ Άλτμαν της OpenAI, ο Λιανγκ στοχεύει στη δημιουργία AGI, δηλαδή μίας μορφής AI που μπορεί να ανταγωνιστεί ή και να ξεπεράσει τους ανθρώπους σε μια σειρά από καθήκοντα.

Η εκπαίδευση μεγάλων γλωσσικών μοντέλων (LLMs) απαιτεί μια ομάδα υψηλά καταρτισμένων ερευνητών και σημαντική υπολογιστική ισχύ. Η κατάσταση περιπλέκεται περαιτέρω από τους αμερικανικούς περιορισμούς εξαγωγών σε προηγμένα “ημιαγωγικά” προϊόντα. Ωστόσο, η απόφαση της High-Flyer να επενδύσει στην AI συνδέεται άμεσα με αυτούς τους περιορισμούς. Πολύ πριν από τις αναμενόμενες κυρώσεις, ο Λιανγκ απέκτησε ένα μεγάλο απόθεμα chip Nvidia A100, τα οποία τώρα απαγορεύεται να εξαχθούν στην Κίνα. Το κινεζικό μέσο 36Kr εκτιμά ότι η εταιρεία έχει περισσότερες από 10.000 μονάδες σε απόθεμα, ενώ ο Ντίλαν Πατέλ ιδρυτής της εταιρείας συμβουλευτικής SemiAnalysis εκτιμά ότι ο αριθμός φτάνει τουλάχιστον τις 50.000. Η αναγνώριση της δυναμικής αυτού του αποθέματος για την εκπαίδευση AI ήταν αυτή που ώθησε τον Λιανγκ να ιδρύσει τη DeepSeek, η οποία κατάφερε να τα χρησιμοποιήσει σε συνδυασμό με chips χαμηλότερης απόδοσης για την ανάπτυξη των μοντέλων της.

Την κινεζική αγορά AI κυριαρχούν τεχνολογικοί γίγαντες όπως η Alibaba και η ByteDance, καθώς και λίγες startups με ισχυρούς επενδυτές γεγονός που καθιστά δύσκολο για μικρομεσαίες επιχειρήσεις να ανταγωνιστούν. Μια εταιρεία όπως η DeepSeek, η οποία δεν έχει σχέδια να συγκεντρώσει κεφάλαια αποτελεί την εξαίρεση στον γενικό κανόνα, που έρχεται να τον επιβεβαιώσει.

Σε συνέντευξή του στο 36Kr τον Ιούλιο του 2024 ο Λιανγκ ανέφερε ότι μία επιπλέον πρόκληση που αντιμετωπίζουν οι κινεζικές εταιρείεςπέρα από τις κυρώσεις στα chips, είναι ότι οι τεχνικές μηχανικής AI τείνουν να είναι λιγότερο αποδοτικές. «Εμείς (οι περισσότερες κινεζικές εταιρείες) πρέπει να καταναλώνουμε διπλάσια υπολογιστική ισχύ για να επιτύχουμε τα ίδια αποτελέσματα. Σε συνδυασμό με τα κενά αποδοτικότητας στα δεδομένα, αυτό μπορεί να σημαίνει ότι χρειαζόμαστε έως και τέσσερις φορές περισσότερη υπολογιστική ισχύ. Ο στόχος μας είναι να μειώνουμε συνεχώς αυτά τα κενά», είπε. Η DeepSeek βρήκε τρόπους να μειώσει τη χρήση μνήμης και να επιταχύνει τους υπολογισμούς χωρίς σημαντική απώλεια ακρίβειας. «Η ομάδα λατρεύει να μετατρέπει μια υλικοτεχνική πρόκληση σε ευκαιρία για καινοτομία», λέει ο Γουάνγκ. Ο ίδιος ο Λιανγκ παραμένει ενεργά εμπλεκόμενος στη διαδικασία έρευνας της DeepSeek διεξάγοντας πειράματα μαζί με την ομάδα του. «Όλη η ομάδα μοιράζεται την ιδέα της συνεργατικής κουλτούρας και αφοσίωσης στη σκληρή έρευνα», αναφέρει ο Γουάνγκ.

Εκτός από την προτεραιότητα στην αποδοτικότητα οι κινεζικές εταιρείες υιοθετούν όλο και περισσότερο τις αρχές του ανοιχτού κώδικα. Η Alibaba Cloud έχει κυκλοφορήσει περισσότερα από 100 νέα AI μοντέλα ανοιχτού κώδικα υποστηρίζοντας 29 γλώσσες και εξυπηρετώντας διάφορες εφαρμογές, όπως η κωδικοποίηση και τα μαθηματικά. Ομοίως, startups όπως η Minimax και η 01.AI έχουν διαθέσει τα μοντέλα τους ως ανοιχτού κώδικα. Σύμφωνα με μια λευκή βίβλο που δημοσιεύτηκε πέρυσι από την Κινεζική Ακαδημία Πληροφοριών και Τεχνολογιών Επικοινωνίας, ένα κρατικό ερευνητικό ινστιτούτο, ο αριθμός των μεγάλων γλωσσικών μοντέλων AI παγκοσμίως έχει φτάσει τα 1.328, με το 36% να προέρχεται από την Κίνα. Αυτό κατατάσσει την Κίνα ως τη δεύτερη μεγαλύτερη συνεισφέρουσα στον τομέα της AI πίσω από τις Ηνωμένες Πολιτείες.

«Αυτή η γενιά νέων Κινέζων ερευνητών ταυτίζεται έντονα με την κουλτούρα του ανοιχτού κώδικα, επειδή επωφελείται τόσο πολύ από αυτήν», λέει ο Τόμας Κιτόνγκ Κάο, επίκουρος καθηγητής πολιτικής τεχνολογίας στο Πανεπιστήμιο Tufts.

«Ο έλεγχος εξαγωγών των ΗΠΑ ουσιαστικά έχει στριμώξει τις κινεζικές εταιρείες σε μια κατάσταση όπου πρέπει να είναι πολύ πιο αποδοτικές με τους περιορισμένους υπολογιστικούς πόρους τους», λέει ο Ματ Σίχαν, ερευνητής AI στο Carnegie Endowment for International Peace. Σύντομα μάλιστα αναμένονται συνεργασίες σε επίπεδο κολοσσών. Αυτό μπορεί ήδη να έχει ξεκινήσει. Πριν από δύο εβδομάδες η Alibaba Cloud ανακοίνωσε ότι συνεργάζεται με την startup 01.AI με έδρα το Πεκίνο που ιδρύθηκε από τον Κάι-Φου Λι για να συγχωνεύσουν τις ερευνητικές τους ομάδες και να δημιουργήσουν ένα «εργαστήριο βιομηχανικών μεγάλων μοντέλων».

«Είναι ενεργειακά αποδοτικό και φυσικό να προκύπτει κάποιο είδος καταμερισμού εργασίας στη βιομηχανία AI», αναφέρει ο Κάο, ο καθηγητής του Tufts. «Η ταχεία εξέλιξη της AI απαιτεί ευελιξία από τις κινεζικές εταιρείες για να επιβιώσουν». Φαίνεται λοιπόν να έχουν βρει τον δρόμο και τον προχωρούν με βήμα ταχύ.

*Με στοιχεία από το Technology Review.

 

 

➪ Ακολουθήστε το OLAFAQ στο Facebook, Bluesky και Instagram.