Prije nekoliko mjeseci sam sudjelovao na jednoj domaćoj, najvećoj, developerskoj konferenciji sa predavanjem na ovu istu temu iz naslova. Predavanje, odnosno prezentacija je, uz ponešto teksta i činjenica, bila skup screenshot-ova mojeg „istraživanja“ AI-a i mogu li ga i kako koristiti u svrhu razvijanja arhitekture nekog softvera, a sve u svrhu odgovora na pitanje iz naslova, a to je moram li se kao Arhitekt softvera „bojati“ za svoj posao.

Autor: Tomislav Globlek, Application Architect, ELEKS

S obzirom da je ovo članak, a ne prezentacija, neću koristiti toliko screenshot-ova, nego ću probati svoje „putovanje“ kroz razvoj i dokumentiranje arhitekture pretočiti u tekst. Naravno, neće tu biti apsolutno sve prikazano i opisano, ali ću vam probati prenijeti moj tok misli, rezultate i zaključke oko korištenja umjetne inteligencije u svrhu kreiranja arhitekture jednog zamišljenog softvera kako bi sam sebi odgovorio na pitanje je li moje mjesto arhitekta softvera ugroženo.

Krenut ću od definicije arhitekture

“The software architecture of a system is the set of structures needed to reason about the system. These structures comprise software elements, relations among them, and properties of both.”

Dakle, skup raznih struktura koji omogućavaju objašnjenje sustava, a te strukture se sastaje od softverskih elemenata, relacija između njih i njihovih svojstva.

Zadao sam si zadatak, i pokušao sam koristiti što više AI kako bi dobio željeni rezultat, a to je dokumentirana i nacrtana arhitektura nekog softvera. Malo sam se fokusirao na jedan aspekt arhitekture, onaj meni najzanimljiviji, a to je vizualizacija arhitekture putem dijagrama, a tek onda dokumentiranje.

Zamišljeni software čiju arhitekturu sam htio „osmisliti“ i „nacrtati“ pomoću AI-a je, ukratko, web aplikacija koja se mora integrirati sa lokalnom bazom podataka, omogućiti korisniku da mijenja dizajn i radi online plaćanje.

Premisa korištenja AI-a je da sam odlučio koristiti besplatne inačice, počevši od ChatGPT-a kao nekako najpoznatijeg.

Krenuo sam sa raščlanjivanjem zahtjeva na funkcionalne i nefunkcionalne zahtjeve, grupirao ih logičke i slijedne korake te uz svaku stavku probao odrediti mogu li za to koristiti AI ili ne.

1. Korisnički zahtjevi
   • Funkcionalni – Korisnik
   • Nefunkcionalni – Korisnik / Arhitekt / AI
2. Dizajn arhitekture
   • Obrasci (patterns)- AI
   • Taktike (tactics) – AI
   • Atributi kvalitete, rizici, osjetljive točke (Sensitivity points) – Arhitekt / AI
   • Prioritizacija – Korisnik / Arhitekt
3. Dokumentiranje arhitekture
   • Struktura dokumenta – Arhitekt / Korisnik / AI
   • Dijagrami – Arhitekt / AI
   • Razlozi i objašnjenja – Arhitekt / AI

Dakle, za dosta stavki mislim mogu koristiti AI, pa sam onda tako i krenuo, dio po dio, postavljao pitanja ChatGPT-u što i kako mogu implementirati, počevši od integracije lokalne baze i web aplikacije u cloud-u na što sam dobio odgovor da moram implementirati VPN (Virtual Private Network). Nastavio sam sa pitanjima oko izmjene dizajna web-a, na što je ChatGPT sugerirao da mogu koristiti tehniku CSS Stylesheet Switching. Uz to mi je dao i uputstva kako se to može odraditi putem skripte. Predložio mi je integraciju Stripe servisa za online plaćanje s obzirom da taj servis nudi izdavanje faktura. Sve su to bili pojedinačni upiti na koje sam dobio odgovor, odnosno prijedlog ili ideju što i kako koristiti.

Međutim, onaj koji čita dokument arhitekture to možda ne može vizualizirati, pa je dobro napraviti i neki dijagram, kako bi se prikazale relacije (jedna od glavnih definicija arhitekture sustava) između tih pojedinačnih elemenata i kako bi to moglo funkcionirati u cjelini. Osmislio sam jedan kratak upit za AI gdje sam naveo što su ulazni zahtjevi i što pokušavam dobiti na dijagramu, te pitao da mi ga nacrta. Od ChatGPT-a sam dobio mermaid kod, koji sam ubacio u draw.io i dobio dijagram. Vrlo jednostavno i efektno, kada bi bilo točno.

S obzirom da sam na prvom rezultatu crtanja dijagrama dobio „krivi“ rezultat do kojeg sam došao inicijalnom analizom, pokušao sam ići korak dalje, isti upit za crtanje dijagrama provući kroz još nekoliko alata, da vidim ima li razlike. Probao sam:

1. Whimsical – jako zanimljiv alat za crtanje dijagrama koji ima direktnu integraciju sa ChatGPT-om u pozadini gdje mu se može zadati upit za crtanje dijagrama direktno kroz korisničko sučelje. Rezultat je bio malo bolji, ali i dalje ne potpuno točan. Interesantno, s obzirom da u pozadini koristi isti model kao što sam i ja direktno koristio, ChatGPT.

2. Excalidraw – također, jako zanimljiv alat za brzo crtanje  i skiciranje bilo čega, pa tako i dijagrama, isto ima direktnu integraciju sa AI-em (ne znam točno kojim modelom). Isti upit kao i u prva dva slučaja, dobio sam treći rezultat. Opet, malo bolje, ali i dalje ne potpuno točno.

3. LMSys.org Chatbot arena – zanimljiv koncept kako iskoristiti korisnike da pomognu u učenju AI modela. Zadate upit (naravno isti kao i prije) i dobijete 2 paralelna rezultata od dva različita AI modela, gdje onda vi kao korisnik dajete ocjenu koji je dao bolji rezultat. Odabrao sam jedan koji mi se činio bolji i prikladniji za ono što mi treba, rezultat ponovo u mermaid kodu, ponovo import u draw.io, rezultat opet drugačiji, i pogađate, opet ne potpuno točan.

I onda, nakon što sam probao nekoliko različitih alata sa neželjenim rezultatom, pitao sam se što bi bilo bolje. Možda nešto s kim bi mogao „pričati“ i imati interakciju, odnosno konverzaciju, kao sa „pravim“ AI-em.

AI for Work, web stranica sa poprilično puno kategorija i potkategorija ChatGPT promt-ova, gdje sam naišao na jedan pod nazivom „Create a technical documentation document“ iz perspektive „Software Engineer-a“. Možda upravo ono što sam tražio.

Definicija ChatGPT prompta od samog ChatGPT-a

ChatGPT prompt je ulazni tekst ili upit koji korisnik daje modelu ChatGPT kako bi dobio željeni odgovor. Prompt može biti pitanje, rečenica, ili niz rečenica koje služe kao smjernica modelu za generiranje odgovora. Ukratko, prompt je ono što korisnik unosi kako bi započeo razgovor ili postavio zadatak modelu ChatGPT.

Na hrvatskom jeziku, prompt bi se mogao definirati kao uputa ili upit upućen umjetnoj inteligenciji (AI) kako bi se generirao odgovarajući odgovor ili nastavak teksta.

Upravo taj pristup mi je dao bolji rezultat, u samom crtanju dijagrama koji sam mogao „popravljati“ sa dodatnim pojašnjenjima mojeg upita. Zanimljiv dio ovakve konverzacije je što se u samom prompt-u definira i što očekujemo kao popratne akcije za ono što inicijalno AI generira kao rezultat. Kao popratna akcija je definirano da sam AI mora uzeti u obzir određene reference (tehničke knjige oko sofvera i arhitekture koje su također navedene u propmt-u) na temelju kojih treba sam sebi analizirati rezultat i ocijeniti ga.

Nakon toga će ponuditi što želimo napraviti sa rezultatom, i kao prva opcija je da se unaprijedi rezultat na temelju analize koju je odradio. Odabirom te opcije, AI sam sebe revidira i očekivano, poboljša rezultate. Pored crtanja dijagrama koji je bio inicijalni zadatak, daljnjom konverzacijom sam zatražio da predloži i neki predložak dokumentiranja tih rezultata (iako sam znao što bi trebao). Dobio sam poprilično dobar rezultat, naravno na temelju onih referentnih knjiga definiranih u samom prompt-u. Sve to skupa sam mogao iskoristiti kako bi kreirao dokument koji ima smisleni početak i kraj, te zaključak dizajna arhitekture.

Nasuprot dijagramima koje je generirao AI, ovako izgleda dijagram kada ja sa sam crtam u draw.io alatu. Dosta drugačije.

Zaključak priče i mojeg putovanja kroz istraživanje kako mi AI može pomoći u poslu vjerojatno nikome neće biti iznenađujući.

1. Treba znati protumačiti i ispravno postaviti korisničke zahtjeve koji mogu biti „misleading” i za AI
2. Ponekad korisnik neće znati sve zahtjeve
   • ALI arhitekt mora predložiti neke stvari (npr. VPN)
3. AI može generirati objašnjenje dijagrama u tekstualnom obliku
   • ALI, usmena prezentacija nekome tko ne razumije tehnički jezik je i dalje na arhitektu
4. U definiranju strukture pisane dokumentacije svakako AI može pomoći i ne treba bježati od toga
   • ALI arhitekt mora odlučiti treba li sve i ima li sve to smisla u kontekstu zahtjeva od korisnika
5. Ima puno AI alata što nije ništa čudno
   • ALI, jesu li točni? Ne baš skroz i uvijek, ovisi o samom ulaznom zahtjevu, ali idu u dobrom smjeru
6. Trebamo li ih koristiti?
   • Da, naravno, zašto si ne bi olakšali i ubrzali posao, pogotovo onaj dio oko istraživanja. ChatGPT može zamijeniti Google u dosta slučajeva.
7. Trebaju li se arhitekti bojati za svoj posao?
   • NE još!

Disclaimer: svi korišteni alati su besplatni za korištenje u kontekstu u kojem sam ih koristio, a ovaj članak nije sponzoriran niti ima namjeru reklamirati bilo koji od tih alata.

O autoru

Tomislav Globlek

Tomislav se bavi razvojem softvera preko 17 godina. Kroz svoju karijeru bio je dio nekoliko najvećih i najjačih tvrtki u Hrvatskoj što mu je dalo priliku raditi na projektima razvoja poslovnog softvera. Njegova strast od početka nije bila samo kodiranje, već zamišljanje i predstavljanje kako softver funkcionira ispod haube i kako klijenti vide svoj softver iz poslovne perspektive, što ga je dovelo do softverske arhitekture i vodećih uloga kroz koje je također prakticirao savjetovanje o specifičnim tehnologijama i proizvodima.

Objava Softverska arhitektura & AI – trebaju li se arhitekti bojati za svoje poslove? pojavila se prvi puta na .debug.

Zahvaljujući obećanjima o potencijalnom ubrzanju razvojnih procesa, GitHubov alat Copilot privukao je velik interes programera. Ovaj članak donosi osvrt na GitHub Copilot i ocjenu njegova učinka na povećanje brzine razvoja softvera u praksi

Copilot je izazvao buru rasprava već od samog početka, pa su ga tako neki dočekali s entuzijazmom i optimizmom, dok su drugi skeptični i oprezni u pogledu njegova utjecaja na programiranje i ulogu programera u budućnosti. Utjecaj tog alata na razne aspekte razvoja softvera, od brzine do kvalitete koda i učenja, i dalje je u središtu raznih analiza i rasprava.

„Korisnici alata GitHub Copilot brže su rješavali zadatke, a preciznije 55 posto brže od programera koji se nisu služili tim alatom.“ – GitHub

Zaintrigirale su nas smjele tvrdnje o povećanju brzine zahvaljujući upotrebi Copilota pa smo se odlučili ispitati učinkovitost alata, osobito u domeni primjene umjetne inteligencije u razvoju softvera. U potrazi za istinom proveli smo vlastito ispitivanje primjene Copilota u stvarnim projektima. Kako bismo osigurali optimalne rezultate, odabrali smo sljedeći pristup:

• odabir raznovrsnih projekata – s obzirom na to da smo nastojali obuhvatiti širok spektar primjena u praksi, odabrali smo više projekata s raznolikim tehnološkim stogova (engl. stacks) i arhitekturama
• programeri s raznolikim iskustvom – u testiranju su sudjelovali programeri s raznim razinama iskustva i kompetencijama.

Glavni je cilj analize sustava GitHub Copilot bio ocijeniti njegov utjecaj na produktivnost u programiranju i utvrditi čimbenike koji utječu na alat, kao i najučinkovitije načine upotrebe alta. Testiranje je trajalo tri mjeseca kako bi se ublažilo sustavno odstupanje u rezultatima tijekom razdoblja u kojem su se programeri navikavali na novi program. Rezultati testiranja prikazani su u nastavku.

Analiza alata GitHub Copilot: utjecaj na brzinu programiranja

ELEKS-ov tim nedavno je proveo dubinsku analizu sustava GitHub Copilot radi ocjene njegova učinka na rješavanje programerskih zadataka i trajanje postupaka, kao i ocjene standarda kvalitete preporučenih rješenja. Rezultati analize nalaze se na sljedećoj poveznici: ELEKS-ova analiza sustava GitHub Copilot – ispitivanje potencijala umjetne inteligencije u razvoju softvera (na engleskom jeziku).

Poseban naglasak u istraživanju stavljen je na učinak primjene alata Copilot u različitim vrstama projekata. Ispitali smo i analizirali učinkovitost alata u monolitnim aplikacijama i mikroservisima, kao i u backend i frontend aplikacijama kako bismo utvrdili najučinkovitiji način primjene alata.

„Copilot omogućuje od 10 do 15 posto veću produktivnost kod pisanja novog koda.“ – ELEKS-ov tim

Općenito govoreći, uočili smo velike fluktuacije u pogledu utjecaja alata Copilot na povećanje brzine programiranja koje su ovisile o više čimbenika. Slijedi pregled glavnih čimbenika koji utječu na učinkovitost alata Copilot.

1. Veličina postojeće baze koda

„Učinak Copilota na brzinu programiranja razlikuje se ovisno o vrsti projekta i strukturi koda: u monolitnim frontend aplikacijama postigli smo povećanje brzine od približno 20 do 25 posto; brzina je porasla za približno 10 do 15 posto u monolitnim backend aplikacijama, odnosno za približno 5 do 7 posto u backend mikroservisima. – Ihor Mysak, voditelj odjela za tehnologiju u ELEKS-u

Presuda? Copilot briljira na projektima s velikim bazama koda, gdje pruža podršku programerima s pomoću postojećih predložaka i rješenja. Međutim, nije toliko učinkovit u domeni mikroservisa jer oni barataju malim bazama koda. Stoga zaključujemo da Copilot nije učinkovito rješenje za projekte koji su u začetku i još nemaju dovoljnu količinu programerskih rješenja.

2. Tehnološki stack

Kod testiranja Copilota na projektima s raznolikim tehnološkim stogovima pokazalo se da kvaliteta rješenja uvelike ovisi o popularnosti primijenjene tehnologije.

• Zabilježen je značajan porast produktivnosti kod aplikacija izrađenih u sustavu React, ali to nije bio slučaj s već zastarjelim i manje popularnim okvirom Zend.
• Projekti koji se temelje na tehnologiji .Net polučili su osrednje rezultate – performanse alata bile su bolje nego kod Zenda, ali slabije nego kod aplikacija temeljenih na Reactu, što upućuje na vezu s relativnom popularnošću i količinom dostupnih materijala u sustavu .Net.

Činjenica je da je Copilot treniran na javnim repozitorijima GitHuba, tako da je imao pristup tehnologijama koje su bile popularne među programerima, što vjerojatno objašnjava naše rezultate.

3. Kvaliteta koda u postojećim bazama koda

Copilot je davao bolja rješenja ako su varijable i metode imale jasne i logične nazive, pa stoga zaključujemo da kvalitetni nazivi pomažu Copilotu da bolje razumije kontekst koda i tako pruži korisnije i točnije odgovore.

Nejasni ili dvoznačni nazivi varijabla i metoda pružaju manje informacija za Copilotovu analizu, a to negativno utječe na kvalitetu njegovih rješenja u postupku razvoja softvera. Zaključujemo da kodovi s dobrim nazivima ne samo da olakšavaju posao programerima već i poboljšavaju učinkovitost alata na bazi umjetne inteligencije.

4. Vrsta zadatka koju programer obavlja

Copilot je učinkovit u određenim područjima, ali isto tako ima svoja ograničenja, pogotovo kad je riječ o pisanju koda koji primjenjuje novu poslovnu logiku.

„Copilot piše isključivo kod na temelju upita, ali ne i potpuna rješenja. Copilot je najučinkovitiji za rješavanje jasnih, šablonskih zadataka. Vrijeme koje se utroši na pisanje detaljnog opisa poslovne logike može biti dulje od vremena koje bi bilo potrebno za implementaciju poslovne logike bez Copilota.“ – Ihor Mysak, voditelj odjela za tehnologiju u ELEKS-u

Copilot je imao dobre rezultate na šablonskim zadacima, ali nije mogao držati korak kad je riječ o novim zamislima i kreativnom programiranju. Poruka je jasna: Copilot je pouzdan alat za rutinske zadatke, ali inovativni projekti zahtijevaju dašak ljudske kreativnosti.

Ključni savjeti za učinkovitu upotrebu Copilota:

• Preciznost je ključna: što je upit (prompt) precizniji i detaljniji, to su veći izgledi da će Copilot dati kvalitetna rješenja.
• Sve je u kontekstu: zatvorite nepovezane projekte dok upotrebljavate Copilot kako ga ne biste zbunili. Ako je u integriranom razvojnom okruženju (IDE) otvoreno više projekata, Copilot može pomiješati kontekste pa dati rješenja za projekt A na temelju koda iz projekta B.
• Komentari su bitni: ako dodate komentare prije izrade razreda ili metode, dobit ćete bolje rezultate kod automatskog dovršavanja zadataka.
• Datoteka u fokusu: Copilot je osjetljiv na otvorene kartice s projektnim datotekama pa je na temelju toga moguće proizvesti uži kontekst.

Iskorištavanje potencijala alata GitHub Copilot: prilagodljivost i neizravni učinak

Prilagodljivost okruženjima za konkretan projekt

Sposobnost alata Copilot da se prilagodi posebnostima projekta jedna je od njegovih najzanimljivijih karakteristika. Copilot će s vremenom „naučiti“ stil programiranja i značajke projekta pa će početi nuditi bolja rješenja.

Iako alat u početku može davati generička i neprecizna rješenja, točnost i relevantnosti rješenja raste što je alat dulje izložen projektu, odnosno na temelju interakcija unutar projekta. To posebno dolazi do izražaja na projektima koji imaju zadan stil koda i velike baze koda na kojima je moguće „istrenirati“ alat. Zahvaljujući svojoj prilagodljivosti, Copilot ne samo da povećava učinkovitost već i pomaže očuvati dosljednost koda unutar projekta.

Programeri ističu i da Copilot ima pozitivan utjecaj na složenost koda, odnosno uočen je pomak prema čitkijim i održivijim rješenjima, osobito među programerima koji su navikli pisati komplicirane i kompleksne strukture koda.

Bolje automatsko testiranje

Osim pisanja koda, Copilot isto tako predstavlja koristan alat za automatsko testiranje. Alat može dati predloške i preporuke testnih scenarija pa tako programerima štedi vrijeme i resurse.

„Copilot daje od 20 do 30 posto brže rezultate kod pisanja unit testova.“ – ELEKS-ov tim

Osobito je pažnje vrijedna sposobnost alata da generira jedinstvene testne slučajeve koji znaju promaći programerima. Softverski proizvod tako prolazi dublju analizu zahvaljujući većem opsegu testiranja.

Zanimljivo je da je kvaliteta Copilotovih testova izravno povezana s kvalitetom i strukturom ispitanog koda. Naši su programeri primijetili da jasni nazivi varijabli i metoda i jasnoća cjelokupne strukture koda značajno pridonose kvaliteti i preciznosti testova koje generira Copilot. Učinkovitost Copilota kod pisanja jediničnih testova stoga ovisi o samom alatu i kvaliteti koda koji se testira.

Zaključak je da je Copilot koristan alat u postupku pisanja jediničnih testova koji pridonosi povećanju ne samo brzine već i kvalitete konačnog proizvoda.

Neizravan učinak

GitHub Copilot povećava brzinu pisanja koda i podiže kvalitetu cjelokupnog rada programera. Na temelju povratnih informacija programera jasno je da im je Copilot omogućio da više pažnje posvete kreativnim i zahtjevnim zadacima umjesto da troše vrijeme na rutinske zadatke.

Copilot isto tako predstavlja učinkovito alternativno rješenje za pretraživanje interneta ili dokumentacije jer skraćuje vrijeme koje se troši na prebacivanje između različitih prozora i omogućuje programeru da se usredotoči na trenutačni zadatak. To je korisna mogućnost kad treba brzo pronaći odgovor na pitanje bez odvraćanja pažnje s glavnog zadatka.

„Copilot pozitivno utječe na komfor i zadovoljstvo programera. Pojednostavljuje postupak traženja odgovora na razna pitanja i uskače kad nemate priliku potražiti savjet iskusnijeg kolege ili pronaći rješenje na internetu.“ – Olena Hladych, voditeljica odjela za osiguranje kvalitete u ELEKS-u

Zanimljivo je da smo pronašli vezu između mekih vještina programera i razine zadovoljstva alatom Copilot; programeri koji nisu imali razvijene komunikacijske vještine obično su izrazili manju razinu zadovoljstva alatom, vjerojatno jer im je bilo teže formulirati precizne upite.

Zaključak

GitHub Copilot moćan je alat koji značajno povećava produktivnost programera u određenim scenarijima, osobito kod postupaka sastavljanja jediničnih testova i navigacije velikim bazama kodova koje se temelje na popularnim tehnologijama. Međutim, učinkovitost mu opada na zadacima koji zahtijevaju inovativne pristupe ili izradu novih koncepata.

Kad je riječ o tvrdnji da alat osigurava porast produktivnosti od 55 posto, stvarni rezultati bili su nešto gori. Produktivnost timova porasla je u prosjeku za 10 do 15 posto na zadacima koji su podrazumijevali pisanje novog koda. Ipak, važno je naglasiti razne prednosti upotrebe alata. Programeri su općenito ocijenili da je Copilot vrijedan alat koji uvelike povećava brzinu programiranja te je razina zadovoljstva programera alatom bila značajna.

Timovima i programerima preporučujemo da razmisle o upotrebi Copilota, ali da pritom imaju na umu njegova potencijalna ograničenja. Za učinkovitu upotrebu Copilota potrebno je razumjeti da je riječ o pomoćnom alatu, a ne zamjeni za ljudski intelekt i kreativnost. Copilot može unaprijediti produktivnost i zadovoljstvo radom, skratiti vrijeme koje se troši na rutinske zadatke u razvoju softvera, a programerima omogućiti da se usredotoče na kompleksnije i kreativnije zadatke.

Objava GitHub Copilot: 55 posto brži razvoj softvera – mit ili stvarnost? pojavila se prvi puta na .debug.

Približava nam se .debug, developerski događaj godine, na kojem će se predstaviti 50-ak najboljih domaćih i regionalnih IT kompanija sa svojim izlagačkim boothovima i zanimljivim predavanjima. Jedna od njih je i ELEKS, tvrtka koja ove godine prvi put sudjeluje na našoj konferenciji.

Tko je ELEKS, čime se bave, koliko dugo postoje u Hrvatskoj, koje industrije pokrivaju i na kojim tehnologijama rade, u .debug TV studiju ispričao nam je Marko Modrušan, njihov voditelj regionalnog ureda. Osim toga, najavio je i premijerni nastup njihove tvrtke na .debugu 2024, a sve detalje doznajte u videu.

Ulaznice su još uvijek dostupne, osigurajte si mjesto na vrijeme!

Kupi ulaznicu

Objava VIDEO: Predstavljamo ELEKS, novog partnera .debuga pojavila se prvi puta na .debug.