清华无问芯穹发布端侧开源模型，重塑AI推理新格局
近日，上海无问芯穹智能科技有限公司隆重推出端侧全模态理解的开源模型——Megrez-3B-Omni。该模型拥有30亿参数，尺寸适宜手机、平板等端侧设备，具备图片、音频、文本三种模态数据处理能力，为人工智能推理应用开辟了全新篇章。
无问芯穹作为清华大学电子工程系教授、系主任汪玉教授发起的初创企业，依托于清华大学强大的学术背景和技术支撑，致力于为人工智能提供软硬件设施，并已在业界斩获颇丰，荣膺2022年科创中国“十大硬核科技成果”和“AI制药产业化落地先锋企业”等殊荣。
Megrez-3B-Omni模型的发布标志着无问芯穹在人工智能领域持续突破，迈向新的高度。该模型在文本理解方面，将上一代14B大模型压缩至3B规模，有效降低了计算成本，提升了计算效率。在语音理解方面，该模型支持中英文语音输入，能够处理复杂多轮对话场景，并支持对输入图片或文字进行语音提问，不同模态之间可以自由切换，极大提升了人机交互体验。
在图像理解方面，Megrez-3B-Omni模型展现出强大的场景理解和OCR（光学字符识别）能力，能够识别并提取文本信息，为端侧设备带来更加智能的视觉处理能力。同时，同步开源的纯语言版本模型Megrez-3B-Instruct作为单模态模型，其推理速度领先同精度模型300%，并具备AI搜索功能，进一步拓宽了人工智能应用场景。
无问芯穹的联合创始人兼CEO夏立雪博士表示：“随着人工智能技术的发展，端侧设备正逐渐成为AI应用的主流。Megrez-3B-Omni模型的发布，将为端侧AI推理带来革命性的改变。”
与云端大模型相比，端侧模型需要在资源有限的设备上快速部署、高效运行，对降低模型计算和存储需求提出了更高要求。无问芯穹通过软硬件协同优化策略，令Megrez-3B-Omni模型能够高效适配主流硬件架构。
该模型采用轻量化的设计理念，通过对模型结构和参数的优化，最大限度地降低了计算和存储需求。此外，该模型还集成了最新的编译器技术和硬件加速技术，充分利用端侧设备的硬件特性，实现高效推理。
无问芯穹表示，Megrez-3B-Omni模型仅仅是能力预览，未来还将持续迭代，不断提升模型性能和功能。通过将Megrez-3B-Omni模型与无问芯穹自主研发的软硬件系统相结合，用户只需给出简单的语音指令，即可完成端设备的设置或应用操作，实现更加便捷、智能的人机交互体验。
值得一提的是，Megrez-3B-Omni模型的开源将极大地促进端侧AI推理生态的发展。开发者可以基于该模型进行二次开发和应用创新，推动人工智能技术在更多领域的落地应用。同时，开源也将促进行业交流和协作，共同探索端侧AI推理的新边界。
无问芯穹作为AI模型算力“超级放大器”和人工智能设施提供商，始终坚持自主研发和创新，致力于为人工智能产业化发展提供强大支撑。Megrez-3B-Omni端侧开源模型的发布，将进一步推动人工智能技术产业化进程，为万物互联时代的智慧生活和智能生产奠定坚实基础。
原创文章，作者：睿鸿在线，如若转载，请注明出处：https://mip.orihonor.com/2024/12/18/33120.shtml
