Local AI

 
Desigur, discutam despre aceeasi configuratie ca si in cazul primului articol publicat astazi, mai precis un laptop ultraportabil (in cazul de fata Lenovo Yoga Pro 9), echipat cu un chip NVIDIA RTX Spark, alcatuit dintr-un procesor Grace cu 20 de nuclee si 6144 unitati de procesare grafica din familia Blackwell, secondate de 128GB LPDDR5X 9400MHz. Evident, Lenovo Yoga Pro 9 va beneficia in curand de un review dedicat, insa pentru lansarea de astazi ne-am rezumat la sarcinile prezentate in acest articol, fiind limitati de timpul avut la dispozitie pentru a pregati aceasta lansare.

Bun, am publicat mai devreme un articol plin de teste, de ce este RTX Spark atat de fascinant incat sa merite doua articole in aceeasi zi? Ce putem face cu el, mai mult decat ce am vazut deja in primul articol. Ei bine, dragii Monstrului, destul de multe, as zice eu. Pentru ca modul in care este construit RTX Spark a fost gandit special pentru a permite rularea de modele AI locale, de agenti AI locali, de programe puternice care folosesc inteligenta artificiala pentru editare de imagini, material video sau audio, intr-un format mult mai compact decat un PC sau un desktop replacement.

Astfel, putem folosi modele AI locale in siguranta, datele noastre ramanand pe laptop-ul nostru, nu pe internet. De asemenea, nu suntem limitati de taxe lunare sau de token-uri, avem control complet asupra modelelor si check-point-urilor folosite, iar puterea de calcul se afla chiar pe biroul nostru, nu intr-un data center dintr-o alta parte a lumii. Datorita arhitecturii sale si a modului in care este accesata memoria, un laptop echipat cu RTX Spark si 64GB sau 128GB RAM, poate incarca LLM-uri de dimensiuni uriase, care nu pot fi incarcate, de exemplu, pe un RTX 5090.

RTX Spark aduce suport local pentru modele performante, cum ar fi Qwen3.8 27B, Qwen3.8 Flash Next si NVIDIA Nemotron Bolt, dar si pentru agenti locali, cum ar fi Hermes, OpenClaw, Perplexity sau WorkBuddy, performanta acestora fiid accelerata de nucleele Tensor si de framework-urile CUDA compatible, cum ar fi llama.cpp. De altfel, intreaga platforma este gandita de la bun inceput pentru a fi utilizata impreuna cu agenti locali, securitatea fiind de asemenea o prioritate.

Si pentru cei care au ajuns pana aici si au clipit mirati – “Despre ce agenti vorbesti Monstrule, despre 007?” – trebuie sa mentionez ca, asa cum stiti, inteligenta artificiala a evoluat logaritmic in ultimii ani. Asta inseamna ca am trecut rapid de la LLM-uri si chat-bots la agenti AI. Da, in spate vom folosi in continuare un model pentru inferenta, dar modul in care putem face asta acum, sau mai bine zis interfata, s-a schimbat complet.

Astfel, agentii AI sunt in esenta sisteme software autonome, care folosesc un LLM pe post de creier, aceasta analizand cerinta, schitand pasii care vor fi urmati pentru a satisface respectiva cerinta si apoi executand respectivii pasi. Executia este realizata folosind unelte (programe, baze de date, API-uri, etc.), agentul fiind capabil sa instaleze si sa configureze aceste unelte la cererea noastra, sau autonom, in functie de cum este configurat.

De-a lungul timpului agentul invata si retine preferintele noastre, imbunatatindu-se constant, in functie de tipul de sarcina pentru care il folosim. Astfel, un agent AI poate fi utilizat pentru o multitudine de scopuri, de la asistent personal, care colecteaza stiri, ne analizeaza calendarul sau email-urile, poate redacta email-uri pentru noi sau ne poate sfatui in legatura cu activitatile zilnice, pana la agent de creatie, care poate genera imagini, grafica 3D, materiale video sau audio si nu in ultimul rand, pana la un adevarat maestru programator / developer. De altfel, putem controla o multitudine de aplicatii cu ajutorul agentilor locali, inclusivi NVIDIA Broadcast.

Mai jos puteti gasi un exemplu extrem de simplu, pe un agent proaspat instalat (Hermes), folosit pentru un singur alt task si care nu a avut inca timp sa invete si sa se rafineze. Astfel, aveam ComfyUI instalat pe laptop, respectiv Blender 5.4.0 Alpha intr-un folder in Download, dar nu aveam modelul AI instalat in folderul corespunzator. Pur si simplu l-am intrebat in limbaj natural daca putem folosi ComfyUI pentru a genera o imagine. Ei bine, agentul a retinut ca folosisem Blender pentru altceva in sesiunea anterioara, drept urmare mi-a oferit posibilitatea de a folosi Blender sau ComfyUI.

Dupa ce am ales ComfyUI, a observat ca modelul nu este instalat in folder, la descarcat, instalat si configurat. Apoi a inceput generarea propriu-zisa, agentul observand uneori ce detalii nu au fost reprezentate cum trebuie si oferind sugestii. De asemenea, cand am simtit nevoia, pur si simplu i-am dat un link de unde sa gaseasca sursa de inspiratie pentru imaginea generata. Ce este important de retinut este faptul ca intreaga conversatie a avut loc in limbaj natural – eu pur si simplu i-am zis ce am nevoie, iar el a instalat, configurat si generat singur, conform cerintelor mele.