电脑平板组集群在家就能跑大模型

电脑平板组集群，在家就能跑大模型

克雷西发自凹非寺量子位|公众号QbitAI不用H100，三台苹果电脑就能带动400B大模型。背后的功臣，是GitHub上的一个开源分布式AI推理框架，已经斩获了2.5k星标。利用这个框架，几分钟就能用iPhone、iPad等日常设备构建出自己的AI算力集群。这个框架名叫exo，不同于其他的分布式推理框架，它采用了p2p的连接方式，将设备接入网络即可自动加入集群。开发者使用exo框架连接了两台MacBookPro和一台MacStudio，运算速度达到了110TFLOPS。同时这位开发者表示，已经准备好迎接即将到来的L...