垂直领域大模型的一些思考及开源模型汇总
zhuanlan.zhihu.com/p/642611747
2 Users
0 Comments
4 Highlights
0 Notes
Tags
Top Highlights
兄弟，没有训练过33B模型的人，永远只觉得13B就够了。
之前对关键词抽取的理解，一直是从文本中找到正确的词语，在传统检索中使用同义词等方法来提高检索效果。而keyword LLM利用大模型生成关键词，不仅可以找到文本中的重点内容，还可以总结并释义出一些词。
个人觉得真正垂直领域大模型的做法，应该从Pre-Train做起。SFT只是激发原有大模型的能力，预训练才是真正知识灌输阶段，让模型真正学习领域数据知识，做到适配领域。但目前很多垂直领域大模型还停留在SFT阶段。
Ready to highlight and find good content?
Glasp is a social web highlighter that people can highlight and organize quotes and thoughts from the web, and access other like-minded people’s learning.