在各类自动生成式人工智能技术开始盛行之下,除了开始有人反应隐私、安全等问题之外,显然运作过程造成耗电也会是接下来许多人关注问题。
依照流量监测网站Similarweb 统计数据,OpenAI推出的 ChatGPT 服务已经在今年3月内累积吸引全球地区约16亿次使用量,相比2月时的使用量已经增加约60%,更是1月时的3倍左右。
而如同Google搜索等服务一样,用户每次使用ChatGPT服务,背后都会连动许多运算时产生的电力损耗,在累积更多人使用之后,其累积耗电规模更是加倍成长。
若以每名用户平均每次向ChatGPT服务提问5个问题,在今年3月约累积提问80亿个问题,平均每日对应提问数量约达2.7亿个。假设每次提问长度约控制在30个单词内,亦即ChatGPT服务每天需处理超过80亿个单词推论,从NVIDIA A100加速器推理单一单词约花费0.35秒情况来看,代表每天通过单张A100加速器处理这些推论量,至少要花费78万小时。
以上数据都还没有列入使用高峰期的使用量,以及特定情况可能会有更庞大运算需求的情况,甚至也未列入其他运算需求。而为了满足更快运算反应效率,ChatGPT服务背后不可能仅通过单张A100加速器完成所有运算,至少会使用超过3.24万张,才能维持服务使用反应效率。
那么,如果以3.24万张A100加速器作计算,大约是以4000台各自搭载8张A100加速器的NVIDIA DGX A100超级电脑加总运算,而平均每台DGX A100超级电脑售价为19.9万美元,最大运作公号为6.5kW,加总下来的成本就将近8亿美元,3月时的总耗电量就达1872万kW。
再以上述数据计算,平均每完成一次用户提问,ChatGPT服务所产生耗电量,约可将60W的灯泡持续点亮140秒,而总累积电费也相当可观,但这些耗电都还没有列入系统冷却所需耗电,以及整体运作时的其他耗电项目。
不过,跟目前的搜索服务一样,随着人工智能技术演算方式持续精进,加上半导体制程、运作模式改进,未来人工智能运算背后所产生耗电问题,应该也能持续获得改善。
免责声明
本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场,如有侵权或其它,请联系 admin@eiefun.com,我们会第一时间配合删除。