我处理了 5 亿 GPT tokens 后:langchain、RAG 等都没什么用

AIGC动态8个月前发布 ai-front
780 0 0
我处理了 5 亿 GPT tokens 后:langchain、RAG 等都没什么用

 

文章摘要


【关 键 词】 OpenAIGPT-4GPT-3.5文本处理经验分享

1. Truss主要使用OpenAI的模型,其中GPT-4占85%,GPT-3.5占15%。

2. 在使用LLM时,简洁的提示比提供详细列表或指令更有效。

3. Truss发现,对于他们的用例,只需要使用OpenAI的聊天API,而不需要Langchain或其他复杂的API。

4. 使用流式API可以改善延迟,为用户提供速度可变的输出,这是ChatGPT在用户体验方面的一个重大创新。

5. GPT在处理“如果没有找到任何内容,则返回空”的提示时表现不佳,它倾向于提供不真实的答案而不是返回空。

6. GPT-4允许的最大输入窗口为128K tokens,而输出窗口仍然只有4K tokens。

7. 对于大多数普通用例,向量数据库和RAG/embeddings几乎没有用处。

8. 在Truss的用例中,GPT很少产生幻觉,它通常能可靠地从文本中提取信息。

我们不会实现真正的人工通用智能(AGI),并且GPT-4确实是有用的,但它不会导致大规模失业。

他建议不需要紧跟LLMs/AI领域的最新发展,因为模型性能的总体改进会超过小幅优化。

他对GPT-5的期待是渐进式的改进,而不是革命性的变化。

原文和模型


【原文链接】 阅读原文 [ 3613字 | 15分钟 ]
【原文作者】 AI前线
【摘要模型】 gpt-4
【摘要评分】 ★★☆☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...