您现在的位置:网站首页 > 资讯中心 > 技术文章
在RAD Studio中体验CodeLlama AI模型
发布日期:2025-06-11来源: 返回列表 >>

在最新的RAD Studio中的Smart Codeinsight功能中,可以支持ChatGpt、Gemini、Claude和Ollama AI服务。其中Ollama是可以本地部署的AI服务,对于不希望自己的源码发送到公网AI服务中的情况,建议采用Ollama方式完成本地化AI部署。同时,Embarcadero也提供了方便快捷的部署方式,帮助大家体验AI服务。

依照英巴的官网文档,https://docwiki.embarcadero.com/RADStudio/Athens/en/Configuring_Ollama_for_Smart_CodeInsight。它已经提供了一个CodeLlama模型的AI,采用Ollama框架,并部署到docker的镜像中。安装部署也非常简单,只需要两步。

第一步,在win或者linux系统下面安装docker,并确认可以正常运行docker,之后docker login登录。

第二步,直接运行命令 “docker run --name Embarcadero_Codellama -p 11434:11434 radstudio/codellama:latest” 。运行命令后,docker会自动寻找本地是否有radstudio/codellama的镜像,发现没有后,会自动下载,然后运行该镜像。

Ollama运行后的默认端口就是11434,我们可以尝试从浏览器访问http://localhost:11434 网址,如果能看到“Ollama is running”信息,就说明部署成功了。

最后,在RAD Studio的Tools->Options中,将Smart Codeinsight中将AI都设置为Ollama,访问地址设置为你部署Codellama模型的计算机的IP地址的http协议方式,类似http://192.168.1.1:11434 。如果以上设置信息正确,Model(模型)选项可以直接选择“codellama:latest”模型,最后是Timeout选项,建议设置长一些,我自己测试采用的60000ms,也就是1分钟才超时。

之后,就可以在RAD Studio的IDE中,直接使用自带的“Find Bugs”(找Bug)、“Explain the Code”(解释代码)、“Optimize Code”(优化代码)和“Add Unit Test”(添加单元测试)等AI功能。同时,AI还可以帮忙将Delphi代码转换为C++代码,也可以互相转换。这个功能这的很有用,通常大部分的DLL库的接口都是C标准的,一般提供的demo code也是C/C++的。原来,都需要自己写Delphi的库接口文件,现在,只需要将已有的C调用接口直接“Convert to Delphi”就可以了。

最后的最后,说几点自己碰到的情况,便于大家避坑。一个就是docker镜像下载可能需要网络加速工具。在本地运行大模型,耗费的资源很多,默认的这个codellama模型是7B的,在我的笔记本跑起来也占用100%CPU负载很长时间才能有回复,这也是为什么我在超时设置里面将该参数改为1分钟。如果是公司内部部署,一定要高性能的服务器,另外,需要配置docker使用GPU来加速AI模型的计算。这部分需要参考docker的文档 https://hub.docker.com/r/ollama/ollama



作者: Jason 朱江 英巴卡迪诺、Whole Tomato、IDERA 技术顾问

博客:http://blog.sina.com.cn/glassesfather