import os
from openai import OpenAI
# 从环境变量中获取API密钥
api_key = os.getenv('GROQ_API_KEY')
# 设置自定义的基础URL
base_url = "https://api.groq.com/openai/v1"
# 创建OpenAI客户端
client = OpenAI(api_key=api_key, base_url=base_url)
# 创建聊天完成请求
response = client.chat.completions.create(
messages=[
{"role": "system", "content": "你是一个有帮助的助手。"},
{"role": "user", "content": "光速是多少?"},
{"role": "assistant", "content": "在真空中,光速约为每秒299,792公里。"},
{"role": "user", "content": "什么是相对论?"},
{"role": "assistant", "content": "相对论是爱因斯坦提出的物理理论,主要分为狭义相对论和广义相对论。狭义相对论主要讨论在没有重力作用的情况下,物体的运动和时间、空间的关系;广义相对论则扩展到了引力场的影响,提出了时空弯曲的概念。"},
{"role": "user", "content": "爱因斯坦的质能等价公式是什么?"}
],
model="mixtral-8x7b-32768",
temperature=0.5,
max_tokens=2048,
top_p=1,
stop=None,
stream=False,
)
# 打印响应的第一个选择的消息内容
print(response.choices[0].message.content)
根据之前解释的temperature和top_p的概念,将temperature设置为2,top_p设置为1,执行后的输出文本出现混乱。
Groq的官方网站提供了一系列示例,供参考使用。
Groq的API为开发者提供了一个高效且兼容性强的工具,使得在各种应用场景下实现高质量的文本生成变得更加便捷。
通过对Temperature、Top-p等参数的灵活调整以及对停止序列的有效应用,用户可以精细控制生成内容的质量和风格。
我相信随着Groq API的不断优化和更新,未来它将为AI领域的创新应用带来更多可能性。
暂无评论