TL;DR: The AI boxes are coming. We can build our own or let Big Tech build them for us. Guess which one they’re betting on.
TL;DR:Сећате се када је Ричард Хендрикс стално ридао о "Кутији" и сви су мислили да га је изгубио?
In HBO’s Silicon Valley, “The Box” represented the choice between decentralized platforms that empower users versus centralized hardware that locks them into corporate ecosystems.
The Box isn’t some magical compression algorithm. It’s edge AI hardware that can run the models that needed Google’s data centers two years ago. And it’s shipping right now.
Образац који би вас требао уплашити
- 2014: Amazon Echo shows up. “It’s just a speaker,” we said.
- 2018: Google and Apple follow with their own spy cylinders.
- 2022: ChatGPT breaks the internet. Everyone loses their minds.
- 2025: AMD ships consumer chips with 50 TOPS. NVIDIA Jetson hits 275 TOPS for $2,400.
- 2027: Canalys forecasts 60% of new PCs will be AI-capable, up from 20% in 2024. AI compute globally is projected to grow 10x, and the AI market approaches $1 trillion.
That 2027 deadline is where we decide if families own their AI or rent it forever from Big Tech.
Here’s What Just Changed Everything
Њихове скалиране, али практичне верзије раде на хардверу који заправо можете купити - ако знате где да погледате:
Опције потрошача / просумера:
- AMD Ryzen AI Max+ 395: 128GB unified memory, $2,800, 45-120W - the only prosumer device that can run Llama 70B locally at 4-8 tokens/sec
- НВИДИА РТКС 4090: 24ГБ ВРАМ, 1.500 долара, 350В - моћан али ограничен у меморији, не може се носити са 70Б моделима
- НВИДИА Јетсон АГКС Орин: 64ГБ РАМ-а, 2.400 долара, 15-60В - одлично за ивицу АИ, али удара зид меморије са великим моделима
Rešenja samo za preduzeća:
- НВИДИА Х100/Х200: 80-192ГБ ВРАМ, $ 20,000+, 350-1000В - може да покрене било који модел, али захтева серверску инфраструктуру
- Intel Gaudi 2/3: 96GB+ memory, $5-8k, 350-600W - competitive performance but enterprise pricing and power requirements
Reality Check: AMD Ryzen AI Max+ 395 is currently the samo prosumer device that can run Llama 70B locally. NVIDIA’s consumer GPUs max out at 24GB (not enough), their enterprise cards cost $20,000+, and even the Jetson AGX Orin hits a 64GB wall. Intel’s Gaudi chips work but require server infrastructure and enterprise pricing.
AMD je to postigao kroz jedinstvenu arhitekturu memorije – do 128GB LPDDR5X deljenog između CPU-a, GPU-ja i NPU-ja u tihom, energetski efikasnom paketu koji se uklapa u desktop ili laptop.
Линук Десктоп Момент (али још горе)
Windows got there first, network effects kicked in, and by the time Linux was ready for normies, everyone was already locked into Microsoft’s ecosystem.
We’re at that exact same moment with AI. Except this time the timeline is 2–3 years, not decades, and the stakes are your family’s intelligence, not just your file manager. Once your family’s AI is integrated into Apple/Google/Amazon’s ecosystem, switching means rebuilding your entire digital life.
In Ready Player One, Wade Watts dreams of upgrading from his outdated hardware to access better virtual worlds, but he can’t afford the good stuff. We’re facing the same choice with AI — except the stakes aren’t entertainment access, they’re intellectual sovereignty and privacy.
Zašto ovaj put možemo da pobedimo
The Hardware Gap Is Closing (But Not Closed): Consumer hardware now matches the raw compute of cloud GPUs from just two years ago. You can run capable local models for document analysis, background automation, and routine AI tasks — but we’re not quite at real-time ChatGPT speeds yet. Think fast batch processing rather than instant conversation.
Ево убрзања које је важно: трошкови хардвера падају 30% годишње, док се енергетска ефикасност побољшава 40% годишње. Нови чипови испоручују 2,8-3 пута веће добитке у перформансама у односу на претходне генерације сваких 12-18 месеци - брже од Моореовог закона.
Privacy Isn’t Abstract Anymore:Од ТикТок забрана за ЦхатГПТ контроверзних контроверзи, људи коначно схватају да њихови подаци нису сигурни. „АИ обука на својим разговорима“ наслови ударио другачије када је ваша интелигенција се користи за обуку своју замену.
Models Are Becoming Commodities: Meta (Llama), Mistral, DeepSeek, Alibaba (Qwen) are releasing capable models that run locally. You can now run decent AI without it tattling to corporate headquarters.
Искрена техничка реалност
What Can You Actually Do With 4–8 Tokens Per Second?
Let’s be honest — this isn’t for regular families yet. At 4–8 tokens per second, you’re not getting the smooth ChatGPT experience most people expect. You’re setting up tasks and waiting.
Ово је тренутно за технолошке ентузијасте који желе да експериментишу са локалном АИ, програмерима који граде апликације и корисницима који су свесни приватности који су спремни да тргују погодностима за суверенитет података.
But here’s why this matters: by the time edge AI is family-ready, we need the infrastructure, software ecosystem, and community knowledge to exist. Someone has to build the foundation now, or families will only have Big Tech’s options when they’re ready to adopt.
The Current Limitations:
- Неуспех у перформансама: Локални модели и даље заостају за ГПТ-4о/Клаудом у сложеном размишљању и мултимодалним задацима
- Терет одржавања: Ви сте одговорни за сигурносне исправе, ажурирања модела и неисправности хардвера
- Power and Heat: Running AI 24/7 means dealing with 45–120W power consumption, heat generation, and potential fan noise
- Софтверски екосистем: Иако се брзо побољшава са пројектима као што је Оллама, алат још увек има грубе ивице
This isn’t plug-and-play yet. It’s more like “competent DIY enthusiast with numerous weekends and a lot of patience.”
Šta stvarno možete da uradite odmah
If you’re technically minded:
- Start experimenting with Ollama, local models, and edge AI hardware
- Dokumentirajte šta radi (i šta ne) za druge
- Придружите се заједницама које граде ову ствар: r/selfhosted, r/homelab, r/LocalLLaMA
If you’re business-minded:
- Постоји економија услуга која се појављује око инсталације и одржавања ИИ-а
- Породице желе дигитални суверенитет, али не знају како га изградити
If you just care about digital freedom:
- Подршка пројектима изградње алтернатива
- Don’t buy the first subsidized AI box that ships
- Share this with people who remember when the internet was decentralized
Cloud vs. Edge: The Real Numbers
Cloud AI (ChatGPT Plus, Claude Pro):
- Upfront cost: $0
- Годишњи трошкови: $ 240-$ 600 ($ 20-50 / месец)
- 3 године укупно: $720-$1,800
- Приватност података: Ваши разговори напуштају кућу и обучавају корпоративне моделе
Edge AI (DIY Setup):
- Upfront cost: $2,500 (AMD Ryzen AI Max+ system)
- Годишњи трошкови: $ 100-$ 200 (енергија, одржавање)
- 3 године укупно: $2,800-$3,100
- Data privacy: Everything stays local
The math works: $2,500 one-time hardware cost versus $20–50/month subscriptions forever. But the real value is privacy.
We’re at the 1993 Moment
In 1993, you could still choose a decentralized internet. By 2003, the platforms had won.
До 2027. године, више индустријских прогноза пројектује главну тачку преокрета:60% of new PCs will be AI-capable,AI compute will grow 10x globallyЕкосистеми ће бити затворени.
The window is open now. Pied Piper’s vision of decentralized technology serving users instead of platforms is finally technically possible.
But windows don’t stay open forever.
Доња линија
The Box is coming. The question is: will you build it, or will Big Tech build it for you?
The next 2–3 years will determine whether families own their AI or rent it forever. The hardware exists. The models are available. The only missing piece is the decision to act.
Industry analysts project that by 2027, AI will be integrated into nearly all business software, саOčekuje se da će globalno dostupna inteligencija rasti 10 puta and the AI market approaching $1 trillion. The hardware exists. The models are available. The market needs it. The only question is: who controls it?
What do you think? Are we building the future or just cosplaying as digital freedom fighters?
