当地时间9月25日，OpenAI在官网宣布，对ChatGPT进行重磅升级实现看图、听声音、输出语音内容三大功能。OpenAI表示，在接下来的两周内，向Plus和企业版用户提供看、听、说功能。语音功能将在iOS和Android上使用，图片识别全平台可以使用。
- 用语音与ChatGPT交流
ChatGPT新的语音功能由一个文本到语音模型提供支持，能够仅通过文字和几秒钟的样本语音生成类似人类的音频。OpenAI与专业的配音演员合作，创建了5种合成语音，同时使用了自研开源语音识别系统Whisper，将用户的语音转录成文本。简单来说，以后用户想将文本直接生成语音，可以在ChatGPT中完成了。
例如，让ChatGPT听一段小猫咪的文本故事，然后选择人类语音便可以一键完成转录。完成后，用户可以下载这段语音。
- 向ChatGPT提问图片
用户可以向ChatGPT展示一张或多张图片，提问相关的问题。例如，发送一张坏掉的烧烤炉图片，然后询问无法启动原因；拍摄一张冰箱中的食材，询问多种菜品制作方案。如果用户只想询问图片中的部分内容，可以通过移动端的绘图功能将其框起来进行发问。
ChatGPT的图片理解功能由GPT-3.5和GPT-4提供技术支持，可理解的图片类型包括照片、屏幕截图或包含文本的图片等。
目前，Spotify已经使用ChatGPT的语音功能，开发一款语音翻译助手，可以将博主的声音自动翻译成其他语言，扩大用户群体。而Be My Eyes将ChatGPT的看图功能，植入在应用中，为盲人和弱视群体提供服务。
