llama.cpp教程：Windows系统上无需编译，直接运行一个自己的LLaMA 2
llama.cpp是一个量化模型并实现在本地CPU上部署的程序，使用c++进行编写。将之前动辄需要几十G显存的部署变成普通家用电脑也可以轻松跑起来的“小程序”。不久前写过使用CloudFlare Workers 创建自己的AI程序，基于meta llama-2-7b大语言模型，但是 Wor ...
标签 llama2 下的文章
使用CloudFlare Workers 创建自己的AI程序，基于meta llama-2-7b大语言模型
CloudFlare近期推出了无服务器 GPU 驱动推理，可以使用多个AI模型，包括大语言模型、翻译、图像识别、语音转换等。其中的大语言模型，使用了meta的llama-2-7b-chat-int8模型。本人一直使用OpenAI的ChatGPT，想试一下自己部署，所以按照文档，整理出如下部 ...