Qwen 3.8 27BをEVO-X2、DGX Spark、M4 MacBook Airで比較した ― MTPで見えた「生成速度」と「Prefill性能」の違い
近頃Ollamaのアップデートが止まらない。最新版が出たとおもったら、Pre-release版がすぐにあがり、数時間するとRelease版が出る。Docker ImageやBrewが追従できていない。理由は、Qwen 3 … 続きを読む
近頃Ollamaのアップデートが止まらない。最新版が出たとおもったら、Pre-release版がすぐにあがり、数時間するとRelease版が出る。Docker ImageやBrewが追従できていない。理由は、Qwen 3 … 続きを読む
ひょんなことで、Proxmoxを立てた。そこで前から気になっていることがあった。 Virtio NICのMultiple Queue設定。 QNAP NASのVirtualization Stationは、NIC … 続きを読む
ComfyUIが0.30.1になったので再度ビルドしてみた。 DGX Spark BF16 1枚の生成が8秒を切っている。 NVFP4 5秒切るようになった。だんだん高速になっていく。 Strix Halo (EVO … 続きを読む
今年も半分が終わり、PCハードウェアの問題がひと段落着くかと思ったら、さらに悪くなっているらしい。とにかくもの値段が高い、必要なものが手に入らない。仮想環境向けの汎用サーバやパソコンはほんと大変らしい。AI向けのほうが潤 … 続きを読む
趣味で作っていた k3s-setup.sh を久しぶりに更新した。 ソースはこちら。 https://gist.github.com/masezou/65c29fcff3a761335506b908f97228a3 … 続きを読む
6月30日でGMKtec EVO-X2のセール(55万円→51万円)が終了。 ……と思ったら、今度は「セール価格」58万円になっている。これがセール? しかも定価表示がない。 https://jp.gmktec.com/ … 続きを読む
雨が降っていて出かけるのが億劫だ。パッとみたら、使っていないラズパイが何台かでてきた。タダであげるといっても引き取り手がいない。大学生たちに渡したとしても使い道がなければ興味もないだろうしと思って、放置していた。使えなか … 続きを読む
実は、このブログで使っているBitnamiのテンプレートが終わってしまう。AWSからは、一度バックアップして新しいテンプレートで立ち上げてリストアすればいいよと。。。それだったらリストア先はホームラボのWordpress … 続きを読む
あ。来たの https://hal3.slow-fire.net
Local LLMを使っている人は、薄々気がついているかもしれないが、たとえGPT-OSS 120Bを入れたとしても、ChatGPTのようにポンポンとテンポよく、気が利く、整理された回答を返してくれるわけではない。同じG … 続きを読む