这是一个简单的演示应用程序,用于展示多轮对话和项目问答功能。
启动模型,可以通过vllm或者ollama部署模型,提供openai的请求格式,设置部署的api_base和api_key,或者访问CodeGeeX API获取apikey。在.env文件中填写对应的信息
# 使用open.bigmodel.cn API
openai_api_key = ""
openai_api_base = "https://open.bigmodel.cn/api/paas/v4/"
model_name = "codegeex-4"
# 使用vllm
openai_api_key = "EMPTY"
openai_api_base = "http://xxxx:xxxx/v1"
model_name = "codegeex4-all-9b"
在.env文件中填写对应模型信息和bing_search_api(如果需要体验联网查询),并且在聊天的时候在输入框左侧打开
联网查询开关,默认关闭。
安装依赖:pip install -r requirements.txt
运行应用:chainlit run run.py --port 8899
请确保您的网络环境可以访问CodeGeeX的API。
感谢您使用我们的应用。如果您有任何问题或建议,请随时联系我们。我们期待您的反馈,并致力于为您提供更好的服务。