Mitmed olulised parameetrid on ju puudu võrdlusest. Pane siis vähemalt mingi tolleaegne parim võimalik memory bandwidth kiirus ka juurde oma analüüsi.
Ja lisa siis mingi konkreetne LLM mudel ja prognoosi, kas selle inference token/s kiirus on piisav (no ütleme, et suurem kui 5 token/s).
No täpselt, kahtlustan sama. Eks igasuguseid asju saab “käima ajada.” Linuxi võid ka käima ajada AVRi peal, kui väga tahad. Taskunoaga saab ka puu maha raiuda, kui vähegi viitsimist on jne.
Hallooo, milline reaalsus:
“Baasmudelil on 500-MHz Celeron protsessor, 64 MB RAM (laiendatav kuni 192 MB), 4GB kõvaketas, 8 MB kuvaadapter, 24X CD-ROM ja väline flopiseade. Windows 98-ga on hind 1,999$, Windows 2000-ga lisandub 100$.”
64MB… 128MB oli aastaid “Väga Palju Mälu”. Siis hakkas suht kiirelt ronima 256, 512, 1GiB … ja siinna 1-2 GiB peale jäi pikalt pikalt … terve WindowsXP ajastu. 32 vs 64 bit üleminek.
Alles 2006 aastal “stabiliseerus” sinna 64bit, 2 koort, 4GiB on miinimum peale.
1990ndad olid “pöörased aastad”, ei maksa unustada. Alustasime 1993 486 ja 32MB mälu ja lõpetasime… ja “maagiline gigaherts” ja “maagiline 1GiB” – ilmus, oli tipus 3 päeva ja kukutati P II, P III, Athlon … vilksasid mööda nagu kaleidoskoobis.
Üks päev oli sul ISA 1MB Tseng “kõva videokaart” ja järgmisel päeval räägiti juba Voodoo 1 4MiB (NB! Mib mitte Gib!!!)
6 aastat on tegelikult päris pikk aeg… aga nüüd tundub “turbona”.
x86 arhitektuur hakkas “päris arvuti” moodi lõhnama alates kusagilt sealt PIII kandist. Enne seda elasid Inimesed ikka Sunide ja Alphade, Apollode ja SGIde seljas.
Ja veelkord. “Continous Memory Space” … rõhk sõnal “kontiinium”.
InfiniBand võimaldas midagi seesugust, aga maksis… niiet oioioi.
IBMil olid tehnoloogiad, aga need olid “mainframe klassi” tehnoloogiad. Direct Memory Access IBMi keeles tähendas, et lahjemad masianad nätsutasid andmed “poolpehmeks” ja siis kirjutasid otse Tema Enese mällu ettevalmistatud andmed, kus siis Tema Majesteet võttis need töödelda ja arvutada.
Midagi seesugust x86 maailmas ei olnud. Isegi… kui sul oli mingi kiirus-võimsus kasutada, siis Kuidas Sa Selle Sealt kätte saad. Arvutage ise ISA - 16bitti x 8Mhz (või 10 v. parimal juhul 12). EISA 32… Parim oli “tööstuslik” PCI-X 64 bitti x 66MHz. Ei ole just parim kiirus.
Ülaltoodud “suur” kõvaketas oli PATA… see oli Tatt Aeglane… eriti veel paralleelsete lugemiste-kirjutuste juures.
PCIe-16x on enam vähem esimene “auk” mis “ei kägista” ja kust kaudu saab teha andmevahestust (peaaegu) hostiva masina töötluskiiruse tasemel. Peaaegu.
Millal see ilmus. Meenutagem?
Mul on reaalselt olemas 386, 486, P 133, P II 233 dual (server), K6-2 ja posu uuemaid x86 ja x86-64 masinaid (ja sunnid ja alphad). Ma olen nende kõigiga ajaviiteks reaalselt ka mässanud. Ja proovinud mida Saab ja mis on Ebareaalne.
Kõike saab… aga mingite “viguritega”.
kasutaja348 - jah, läbi “vägistamise” on Intel8008 peal ka linux käima pandud. Ja see bootis NÄDAL AEGA.
LLM puhul on väga selge nõue – ÜKS “tasand” peab ühekorraga mällu ära mahtuma. Kõik. Muidu pole kogu kupatusel üldse mingit mõtet. Niipea kui hakkab mingi “andmevahetus läbi pudelikaela” kukub selle asja võimekus siinna “ühte vastustust ootad nädal aega”.
Aga muidugi võib teha Kõvade Häkkerite Suvelaagri. Ma tagan riistvara (vana või igivana), toite, võrguühenduse ja kofeiinitoite – tulge külla ja tehke kolmkaheksakuuest-copilotikuut kui nii kõvad mehed olete
Sõnaga, härrased, te kipute unustama, Kes me olime, ja Kust me tulime (millise okupatsiooni alt). Mäletan hästi 1990ndate algust, kus käis pidev otsimine ja nillimine ja uurimine, millise sõbra v. koolivenna töökohas oleks arvuti, kus oleks vähemalt 4MB mälu ja 6MB vaba kettaruumi, et öösiti võrgu-DOOMi taguda. Ja neid Ei Olnud “jalaga segada”. Ja sai ka 386DX peal “slideshow modes” DOOMi mängitud. Pea-asi, et oleks DOOM.
Ja kui “pildile” tulid DN3D ja Dark Forces oma 8MB miinimum mälumahu nõudega – siis vaatasime kõik teineteisele imestunult otsa – olete te seal HULLUKS läinud või. Milline kuradi rikkur suudab osta endale 8MB mäluga 486 arvuti. (Maksis umbes 25 000 krooni, selle eest sai juba uuema kasutatud Audi või BMW Saksamaalt. KÕVA palk oli 5000 krooni netos).
Unustate, härrased, unustate kiiresti.
Pealegi… näen siit läbi jooksmas Mitte Nii Arvutialal Tugevate inimeste seas väga levinud mõtteviisi – 1970ndate “mainframe” oli samasugune nagu “tänapäeva lauaarvuti”, ainult palju suurem, palju raskem palju voolunäljasem. “Natuke aeglasem” ja “natuke” vähem võimekas. Väärarusaam Arvutustehnika Kõikvõimsusest.
See on VÄÄR. Oli ülesandeid mida lihtsalt puhttehniliselt ei saanud lahendada 1960ndatel, 1970ndatel, 1980ndatel. Sul lihsalt ei olnud selleks (eelkõige) piisavalt vaba mälu, piisavalt töötlusvõimsust, piisavalt IOd. EI olnud. EI saanud. Punkt.
Matemaatika - on ülesandeid mida saab paralleliseerida, on ülesandeid mida ei saa. On ülesandeid mida saab “tükeldada” ja on ülesandeid mida ei saa.
Näide - laser print. Terve 600dpi lehekülg PEAB ühekorraga mahtuma printeri mällu (ca 4MiB, miks nad nii kuradi kallid olid vanasti). EI mahu … ei saa. Kõik. Finito. Punkt.
See artikkel on juba aasta 2000. 1998a alguses oli 2GB-ne HDD kõvaketas tippsuuruses, mille hinnale hakkas rahakott peale. Suuremaid polnud isegi vabalt saada, kuigi selliseid juba toodeti. Tol ajal paisusid kõvaketaste mahud tohutu kiirusega.
Tundub populaarne teema. Tegin natuke loomkatseid lokaalsete LLM-idega. Üks 7B ja teine 30B parameetriga mudel.
7B Mistral pani vastusega pange, aga see-eest tegi seda väga kiiresti ja ökonoomselt saades hakkama kõigest 2 sek-iga. Aga mis sel tähtsust, kui vastus on vale.
Teine kandidaat oli Qwen30B-Thinking. Sellel kulus terve minut probleemi järamisele, >4K tokenit ja mitu lehekülge tuletamist, aga jõudis õigele järeldusele. Mis on loomulikult lootustandev.
Aga hetkel vist on odavam 20$ kuus maksta ja saada parem tulemus. Samas, kellel on vaja oma andmed maja sees hoida, nende jaoks on see lokaalne huvitav variant.
Kui on tahtmist lithsalt juttu puhuda, siis see 7B ajab ka asja ära.
Kuidas need lokaalsed mudelid saavad hakkama sellise küsimusega? Küsisin Groki käest:
Mul oleks küsimus, et kui suure osa OL3 ehitusmaksumusest on osanikud alates reaktori valmimisest tagasi maksnud? Võiks anda tabeli viie aasta kohta - tagasimakse, intressid, tagasimakse miinus reaktori raamatupidamislik amortisatsioon, kommentaarid - laenu tagasimakse vs võlakirjade lunastamine ja refinantseerimine?
Siin konks on lõigus “The host - who doesn’t know”.
Klassikaliselt on see ülesanne püstitatud eeldusel et ukseavaja teab, kus ukse taga auto on ja sel juhul tasub ust vahetada.
Aga praegusel juhul oli ülesannet modifitseeritud nii, et ukseavaja ei tea, kus auto on - sellisel juhul uksevahetus eelist ei anna (kuigi samas ei tee ka vahetamine kahju). Kõrvalnähuna võib juhtuda et ukseavaja teadmatusest kogemata juba esimesel korral ise avab ukse, mille taga auto.
Tänapäeval (Agentic AI), kasutatakse reeglina hübriidlahendust, kus tööjaotus sõltub agendi töö keerukusest, privaatsusvajadusest ja reageerimiskiirusest.
Sellist lahendust nimetatakse orkestreerimiseks. See tähendab, et seadmes asuv “kerge” agent teeb esmase otsuse: kas ta saab ülesandega ise hakkama (lokaalne ressurss) või peab ta kutsuma appi võimekama “raske” agendi pilvest (serveri ressurss).
Ja ikkagi oled sa “omas kastis kinni”.
Enamikul on sülearvutid. Mitte kõigil ei ole “nii fänssit” kus oleks “Thunderbolt” liides 64, 80 või 120Gbit (boost mode). 64Gbit on juba päris uhke, aga see on “latest und gratest”.
Ja siin on oma piirangud, see on peer-to-peer üldiselt.
Reaalne 5-6 gigaBAITI sekundis. Justkui palju. Aga näiteks 4K BluRay kopeerimine on ikkagi peaaegu pool minutit.
nVme - 4 PCIe liini, 5 generatsioon - põmst sama - reaaleluline kättesaadav kiirus 5-7 GBaiti.
Võrguliides … 2.5Gbits – pole mõtet üldse rääkidagi mingitest kiirustest.
Paneme tähele, et kuigi tegemist on juba üsna ilusate numbritega, on need Mõne Viimase Aasta Numbrid. Kuni väga lähiminevikuni oli igasugune personaalarvuti “kägistatud omaenda liivakasti” ja “välismaailmaga” ühendas seda mingi imekitsas “ilaniidike”.
Need “kiired siinid” ja “kiired IOd” kus terve “virn kaste” vahetas infot omavahel pea sama kiiresti, kui sisemiselt, need olid “suurte poiste mängumaa” ja väga väga väga kallis lõbu.
Kui heidame pilgu ajalukku, siis huvitav termin koduseks uurimiseks võiks olla “terror of numbers” – see koletis võideti lausintegraallülituste ilmumisega ja nüüd on taas tagasi ilmunud meid kummitama. Miks – eks uurige ise Vihjena võin öelda, et valguse kiirus meie Universumis on piirkiirus, mida ei saa ületada.
P II, P III, Athlon … vilksasid mööda nagu kaleidoskoobis.
