Otkriveno novo surfovanje: „Make it Real“ transformiše crteže u funkcionalni kod

Tldraw, aplikacija za saradnju na beloj tabli, izazvala je veliko interesovanje nakon što je predstavila prototip funkcionalnosti nazvane „Make it Real“, koja omogućava korisnicima da nacrtaju sliku softvera i pretvore je u funkcionalni kod koristeći veštačku inteligenciju. Ova funkcionalnost koristi GPT-4V API kompanije OpenAI kako bi vizuelno interpretirala vektorski crtež i pretvorila ga u kod za izradu korisničkih interfejsa ili čak jednostavnih implementacija igara poput „Breakout“.

Korišćenjem „Make it Real“, dizajner Kevin Cannon je kreirao funkcionalne klizače za rotiranje objekata na ekranu, interfejs za promenu boje objekata i funkcionalnu igru „tic-tac-toe“. Uskoro su ostali korisnici pokazali kreiranje klonova igre „Breakout“, funkcionalnog sata koji otkucava, igranje igre „snake“, stvaranje igre „Pong“ i još mnogo toga.

Da biste eksperimentisali sa „Make it Real“, dostupan je demo na sajtu aplikacije. Međutim, za izvršavanje ove funkcionalnosti potrebno je pružiti API ključ kompanije OpenAI, što predstavlja određeni rizik za bezbednost. Ako drugi ljudi pristupe vašem API ključu, mogu ga koristiti i stvoriti velike troškove na vaše ime (OpenAI naplaćuje količinu podataka koji se prenose putem API-ja). Tehnički napredni korisnici mogu izvršavati kod lokalno, ali i dalje će biti potreban pristup OpenAI API-ju.

Tldraw je razvijen od strane Stiva Ruiza u Londonu i predstavlja alatku za saradnju na beloj tabli otvorenog koda. Pruža osnovno beskonačno platno za crtanje, unošenje teksta i multimedija bez potrebe za prijavom. Projekt je pokrenut 2021. godine i dobio je 2,7 miliona dolara sredstava za pokretanje, uz podršku sponzora sa GitHub-a. Nedavno je Ruiza integrisao dizajnerski prototip pod nazivom „draw-a-ui“ koji je kreirao Sajer Hud kako bi implementirao funkcionalnost zasnovanu na veštačkoj inteligenciji unutar tldraw aplikacije.

GPT-4V je verzija velikog jezičkog modela kompanije OpenAI koja može interpretirati vizuelne slike i koristiti ih kao podsticaje. Funkcionalnost „Make it Real“ funkcioniše tako što „generiše PNG sliku nacrtanih komponenti, a zatim je prosleđuje GPT-4 Vision“ uz sistemski podsticaj i uputstva za pretvaranje slike u fajl koristeći Tailwind. U nastavku je celokupni sistemski podsticaj koji govori GPT-4V kako da obradi ulaze i pretvori ih u funkcionalni kod:

Kako sve više ljudi eksperimentiše sa GPT-4V i kombinuje ga sa drugim okruženjima, verovatno ćemo u sledećim nedeljama videti još originalnih primena tehnologije za vizualno parsiranje kompanije OpenAI. Takođe, jedan programer je koristio GPT-4V API kako bi stvorio naraciju u stvarnom vremenu video snimka, koristeći lažnu AI-generisanu glasove poznatog naratora Dejvida Attenborougha, o čemu smo već izvestili.

Sada izgleda da smo dobili uvid u moguću budućnost razvoja softvera, ili bar dizajna interfejsa gde je kreiranje funkcionalnog prototipa jednostavno kao stvaranje vizuelnog skica i prepuštanje AI modelu da odradi ostalo. Kao što je napisao programer Majkl Dubakov dok je predstavljao svoje delo kreirano uz pomoć „Make it Real“: „OK, @tldraw je zvanično neverovatan. Veoma je interesantno gde ćemo biti za 5 godina… Više ne mogu da se nosim sa ovim tempom inovacija.“