最近我听说了一个叫AnyNode的项目,它声称自己仅需使用一个通用节点,就能基于LLM实现任意功能。是怎么实现的呢?查看了代码,作者利用定义好的提示词,把我们对于“新节点”的功能写成完整的需求,发送给大语言模型生成对应的Python代码,再作为节点的默认函数执行,很有意思。
在安装试用后,我认为,该插件在实际运用中还有不少问题需要解决:一是没法直接反馈,例如刚刚期望只输出Red Channel时,返回的图片结果只是一根线,很显然它提供的方法不对,但由于ComfyUI没有报错,大模型不会再更新代码,这就失去了逐渐实现一个正确的方法的机会;二是没法保存,即使这次实现了一个功能完美的节点,下次打开ComfyUI时也不能复用;三是提示词太难写,想要达成目标需要一定的代码基础;四是节点质量受制于大模型的聪慧程度,访问的是超聪明的云端GPT-4o,还是本地的Phi3-Mini,效果差距很大。至于目前支持的云端大模型数量太少,那纯粹是工作量,我觉得只是时间问题,但前面的那几点尤其是第一条,可能需要修改节点的交互逻辑。
总体来说,这款"万能插件"可以尝鲜但不够实用,为作者的想法点赞,期待后续更新。
插件地址:github.com/lks...
22 авг 2024