本地LLM
前段时间在开发小组内部使用的AI工具，主要用的openai得api，在开发过程中也在跟领导讨论“数据安全”的问题。你要想数据安全，那就最好用本地LLM，千万别信运营商的“不会滥用你的数据”这种话。以前的模型体积太大，本地显卡显存装不下，后来出现了模型压缩、模型量化等方法缩减了模型体积，使得在本地单卡运行LLM成为可能。
国内外网上炒作得火热类似“AI已经超越人类”“LLM已经能够替代程序员”得话题满天飞😂，但真正近距离使用和研究LLM的人都清楚，AI要达到这些“广告文”吹嘘的水平还有很长的距离。
Ollama
ollama这个不用多说，目前最好用的本地LLM推理框架之一，模型我选了CodeQwen1.5 7B和llama3 8B 都是选择量化4bit模型。CodeQwen1.5是特化了编码功能，llama3更加全面通用。
CodeQwen1.5
看看CodeQwen1.5的参数和测评跑分：
通常来说，这些官方的测评跑分看看就行了，含有一些宣传成分，别太当真，一切以自己实际使用体验为准。
让它写个贪吃蛇：
把js代码复制粘贴进html之后，打开能成功运行，没有bug，说明已经可以在工作环境下使用了。我也试了一下让llama3写一个贪吃蛇，发现打开不能直接运行，需要人肉debug作一番修改才能运行，所以还是“术业有专攻”，通用型LLM还是老老实实用来解决通用性问题就好😅。
llama3
下面是llama3的测评跑分：
llama3的中文能力很差（meta真是太不国际化了😤），用英文跟它闲聊，能感觉它有恰到好处的“人”味儿，文风活泼开朗，让人心情舒畅😆。我也试了试跟CodeQwen1.5闲聊，感觉它像个技术专家，一丝不苟，文风古板🤣。
nextjs-ollama-llm-ui
UI选择的是nextjs-ollama-llm-ui，因为我只想单纯的体验一下本地LLM，不需要太多其他功能，如果你想搞RAG或思维链，可以考虑open-webui或者Dify：
结语
现状
虽然大语言模型目前还在稳步发展当中，但是当前的网络上各种广告文和短视频都将它炒作的太夸张了，这将让很多普通的用户或者投资人对它的能力产生过高的期待，这种过高期待也显示在了大语言模型相关的公司的股价上面，这些公司的股价开始出现泡沫了。俗话说希望越大失望也就越大，如果后续大语言模型不能持续地给投资人大惊喜，那么投资人可能就会削减相关投资了，这会减慢该领域的发展。
目前大语言模型的发展还将面临优质数据逐渐枯竭的问题，我甚至认为这比算力短缺问题更严重。这次大语言模型的大爆发本质上是将此前多年积累的算力盈余和累积的优质数据资源一次性消耗掉了，这两项关键资源的缓慢增长，一定会影响大语言模型的后续发展速度。
不远的将来
个人推测，未来3-5年，手机本地LLM将会逐步推广开，估计会集成为操作系统的一种可选的功能；具备图像和语音识别的多模态LLM也会迎来蓬勃发展；用于游戏的"千人千面"系统会受益于LLM的发展而逐渐完善……就先瞎猜这么多了😂
总之，随着LLM的回答正确率的不断提升，LLM的应用范围会逐渐从“低风险领域”（如淘宝客服）扩展到“高风险领域”（如手术AI）。