În ultimii 1,5 ani, au apărut din neant atât de multe servicii de tehnologie generativă de inteligență artificială încât ar putea fi enumerate la nesfârșit. Există multe soluții care au fost dezvoltate pentru o anumită nișă, dar există unele care pot oferi ceva în plus, iar acesta ar fi software-ul Nvidia Chat With RTX. La CES, Nvidia a anunțat că va oferi utilizatorilor posibilitatea de a utiliza un chatbot AI personalizat.
Chat With RTX este o aplicație tutorial pentru PC-uri care oferă posibilitatea de a crea un sistem GPT personalizat, un chatbot, folosind un model lingvistic de mari dimensiuni. Serviciul va permite utilizatorilor să folosească propriile documente (PDF, XML, DOCX) și notițe. Nu a fost dezvăluit încă totul despre această dezvoltare, dar am aflat că va suporta videoclipuri, de exemplu. De asemenea, va fi capabil să proceseze subtitrările asociate videoclipurilor, chiar și din linkurile YouTube. Așadar, nu suportă și nu gestionează videoclipul în sine - deocamdată.
Cardurile Nvidia se află în spatele multor servicii de inteligență artificială prin intermediul platformelor cloud. Datorită acestui fapt, compania a fost într-o formă explozivă în ultimul an. Încearcă să își valorifice îmbunătățirile în cât mai multe moduri posibile, motiv pentru care a creat Chat With RTX. Aici, o placă video din familia RTX, care rulează poate utiliza un model de limbaj antrenat pe baza datelor stocate local.
Nvidia a subliniat că acesta este cel mai sigur mod de a utiliza un chatbot, deoarece totul rulează local pe un PC Windows. Compania spune că stațiile de lucru locale vor putea fi configurate pentru a utiliza aplicația Chat With RTX. Întrebările vor primi răspunsuri rapide datorită faptului că nu este nevoie să se bazeze pe o conexiune online și chatbot-ul instruit individual va funcționa offline.
Nvidia a dezvăluit că utilizatorii vor trebui doar să adune documentele pe care vor să le proceseze într-un folder și de acolo vor putea încărca totul automat în propriul sistem. Acest lucru se va face în câteva secunde în condiții normale, așa că nu trebuie să vă faceți griji cu privire la un proces îndelungat pentru oricine dorește să folosească software-ul Chat With RTX.
Nvidia a adăugat că a creat Chat With RTX folosind proiectele de referință TensorRT-LLM RAG (Retrieval Augmented Generation) disponibile în mod deschis pe github. Acestea pot fi folosite în mod deschis de dezvoltatorii interesați ca un ghid pentru a-și construi propriile aplicații bazate pe propriul RAG, valorificând fucțiile RTX TensorRT-LLM. Nvidia dorește să vadă mai multe proiecte de inteligență artificială pentru Windows care să folosească potențialul plăcilor RTX.
Compania a anunțat noi plăci la CES, și a menționat deja Chat With RTX împreună cu DLSS 3 și platforma RTX Remix atunci când a vorbit despre modul în care utilizatorii se pot bucura de noi experiențe AI generative alături de PC-urile RTX. Aplicația chatbot personalizată va fi pusă la dispoziție de Nvidia în cursul acestei luni, iar vizitatorii au putut să o încerce la CES.
