Badanie AI Tethera pokazuje, kiedy zakup laptopa kosztuje więcej niż tokeny w chmurze

Ogłoszenie Tethera z 20 października o inwestycji w firmę zajmującą się obliczeniami AI Tenstorrent rozszerza wysiłki CEO Paolo Ardoino na rzecz technologii kontrolowanej przez użytkowników. Jednak lokalna platforma AI emitenta stablecoina, QVAC, pokazuje, dlaczego zakup laptopa nie zaoszczędzi pieniędzy każdemu użytkownikowi.

Ograniczeniem jest użytkowanie. W jednym z gęstych modeli QVAC szacuje, że jego wydajność w ciągu miesiąca roboczego nie osiąga objętości potrzebnej do pokrycia kosztów nowej maszyny w porównaniu do taniego dostępu do chmury. Właściciele istniejących urządzeń stają przed innym obliczeniem, ponieważ nie mają nowego zakupu do odzyskania.

Tether ogłosił swoje uczestnictwo jako część wysiłków na rzecz dawania deweloperom i firmom większej kontroli nad obliczeniami. Tenstorrent ogłosił 19 października, że zamknął rundę finansowania serii E na kwotę 1,5 miliarda dolarów przy wycenie post-money wynoszącej 6,2 miliarda dolarów. Indywidualne zobowiązanie Tethera nie zostało ujawnione.

Laptop potrzebuje wystarczającej ilości pracy, aby pokryć swoje koszty

Badanie kosztów QVAC z 12 października rozkłada zakup laptopa za 2399 dolarów i 32 GB na cztery lata, co daje miesięczny koszt sprzętu wynoszący około 50 dolarów. Szacuje, że gęsty model Qwen3.8-27B może przetworzyć około 55 milionów tokenów w 176-godzinnym miesiącu roboczym, z 94% wejściem i 6% wyjściem. Tokeny to jednostki tekstu, które model odczytuje i generuje. Ceny i dane dotyczące wydajności dotyczą różnych maszyn: QVAC mierzył wydajność na 36 GB MacBooku Pro M5 Max, więc porównanie ma charakter ilustracyjny.

Oryginalne porównanie open-cloud w badaniu ustala próg rentowności na około 90 milionów tokenów. To przekracza szacowaną wydajność miesiąca roboczego dla tego modelu.

Obecne regionalne ceny zmieniają próg. Międzynarodowy cennik Alibaba Cloud w Singapurze, sprawdzony 22 października, podaje cenę Qwen3.8-27B na poziomie 0,5 dolara za milion tokenów wejściowych i 3 dolary za milion tokenów wyjściowych, przed promocjami lub zniżkami za pamięć podręczną.

Obliczenia CryptoSlate, korzystające z mieszanki 94/6 z badania, dają uśrednioną cenę wynoszącą 0,65 dolara za milion tokenów łącznie: 94% z 0,5 dolara plus 6% z 3 dolarów. Dzieląc zaokrąglony koszt sprzętu wynoszący 50 dolarów przez tę stawkę, próg rentowności wynosi około 77 milionów tokenów miesięcznie.

Przy 55 milionach tokenów odpowiadający rachunek API wyniósłby 35,75 dolara. Przy 22 milionach tokenów wyniósłby 14,3 dolara. Jeśli te poziomy użytkowania miesięcznego i stawki API utrzymałyby się przez cztery lata, uniknięte rachunki byłyby niższe od zakładanej ceny zakupu, przed kosztami operacyjnymi lub jakąkolwiek pozostałą wartością sprzętu.

To jest ilustracyjne porównanie wydatków. Zakłada, że lokalne i hostowane wersje nadają się do tej samej pracy, nie ustalając jednak równej jakości wyjściowej. Wyklucza również koszty operacyjne.

Alibaba podaje różne ceny dla Pekinu i oddzielne opłaty za zbuforowane wejścia. Obciążenie, które kwalifikuje się do tańszego buforowania, mogłoby jeszcze bardziej obniżyć rachunek za chmurę; inna mieszanka wejść/wyjść zmieniłaby uśrednioną stawkę.

Szacowanie 55 milionów tokenów dotyczy konkretnego modelu QVAC, konfiguracji i 176-godzinnego okna. Dłuższe działanie zmienia dostępny czas przetwarzania, podczas gdy rzeczywista praca nadal musi pasować do możliwości modelu.

Szybszy scenariusz QVAC Qwen3.6 35B mieszanki ekspertów osiąga szacunkowe 200 milionów tokenów w tym samym oknie roboczym. To mogłoby pomieścić jego ilustracyjne obciążenie kodowania wynoszące 110 milionów tokenów, które przekracza szacunek gęstego modelu.

Badanie wykorzystuje również Mac Studio jako przykład kosztów agenta kodującego. Ogłoszenie Apple z 22 września podaje, że komputer stacjonarny M5 Max zaczyna się od 2499 dolarów, co jest zgodne z tą ceną.

Repozytorium benchmarków sypherin raportuje 36,8 generowanych tokenów na sekundę dla gęstego Qwen3.8-27B na systemie Ryzen AI MAX+395 z 128 GB pamięci, używając wag FP4 i prognozowania wielotokenowego. Ten test społecznościowy z perspektywy pierwszej osoby używa innej konfiguracji niż Mac QVAC, więc dostarcza osobny pomiar z własnymi założeniami dotyczącymi jakości i sprzętu.

Kto może odzyskać koszty lokalnej AI?

Właściciele odpowiedniego urządzenia mają najjaśniejszą przewagę startową. Zakup już się odbył, więc lokalna AI nie musi odzyskiwać pełnej ceny nowego laptopa. Pozostają koszty energii elektrycznej i inne koszty operacyjne, a urządzenie nadal musi mieć wystarczającą pamięć i szybkość do pracy.

Dla kogoś, kto kupuje wyłącznie do okazjonalnego użytku AI, przeszkoda jest wyższa. Stały koszt sprzętu trwa w cichych miesiącach, podczas gdy rachunek za API podąża za zużyciem. Przykład 22 milionów tokenów pokazuje, jak znaczne użycie może nadal pozostawić tani model hostowany znacznie poniżej miesięcznego przydziału nowego laptopa.

Użytkownicy agentów na dłuższą metę mają bardziej prawdopodobną drogę do oszczędności, gdy odpowiedni model i wykonalny szybszy proces konfiguracji zapewniają wystarczającą porównywalną pracę, lub gdy mniej kosztów sprzętu musi być przydzielone do AI. Szybki model, który wymaga więcej prób, lub nie może poradzić sobie z zadaniem, nie zapewni tego samego wyniku ekonomicznego co bardziej zdolna usługa.

Czteroletni przydział zakłada, że nabywca używa sprzętu przez ten okres. Rzeczywiste odzyskanie kosztów zależy od wydatków, które zastępuje. Dla urządzenia, które już jest potrzebne do innej pracy, przydzielenie całego zakupu do AI może zawyżać dodatkowe koszty prowadzenia lokalnego modelu.

Argument Ardoino obejmuje korzyści, których tabela cen tokenów nie może w pełni uchwycić. W relacji QVAC z 21 października na jego AMA z 7 października, opowiada się za AI posiadanym przez swoich użytkowników, jednocześnie przyznając, że telefony obecnie nie dorównują modelom granicznym. Przyznaje również, że najtrudniejsze problemy naukowe mogą pozostać w dużych centrach danych.

Lokalna inferencja może utrzymać pobrany model dostępny offline i zmniejszyć zależność od ciągłej usługi dostawcy. Przechowywanie podpowiedzi i plików na urządzeniu może mieć znaczenie, nawet gdy tokeny w chmurze kosztują mniej. QVAC kwalifikuje tę korzyść prywatności: połączone narzędzia mogą nadal wysyłać dane gdzie indziej.

Analiza QVAC CryptoSlate z 11 maja badała wcześniejsze kompromisy dotyczące wykonania, zdolności i kontroli. Październikowe finansowanie dodaje inwestycję w sprzęt do tej strategii, podczas gdy badanie kosztów ujawnia warunki, pod którymi posiadanie przez użytkownika może również oznaczać niższe wydatki.

Tenstorrent twierdzi, że jego nowy kapitał wesprze wdrożenie serwerów Galaxy, technologię AI i CPU oraz ekspansję komercyjną. Żadne ogłoszenie finansowe nie ustanawia integracji produktu QVAC ani wynikającego z tego zmniejszenia rachunków użytkowników.

Używając sprawdzonych stawek z Singapuru i przykładu gęstego modelu QVAC o czasie trwania 176 godzin, próg rentowności nadal leży poza szacowaną pojemnością. Nabywca w tym scenariuszu musiałby wycenić kontrolę i prywatność obok jakichkolwiek oszczędności tokenów.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.