几天前，库克在苹果电话会上证实，「今年晚些时候会发布生成式AI」。这一消息引起了广泛的关注，尤其在ChatGPT掀起全球热潮之后，苹果也在悄悄发力AI领域。据透露，苹果曾曝出的大模型框架Ajax、AppleGPT等AI工具让业界充满期待。在即将举办的WWDC上，苹果预计将宣布将各种AI能力整合到iOS18、iPadOS18等软件产品中。
然而，在这之前，iPhone用户已经可以提前体验到AI超能力!只需动动嘴，就可以在短短10秒内完成照片编辑，让照片中的哭脸变成笑脸、照片提亮、移除背景人物等。这项神奇的技术背后是由一个基于自然语言修改图片的新模型——MGIE加持，由UCSB和苹果全华人团队共同完成。（MGIE项目下载地址见文末）
具体来说，通过多模态模型，用户可以用简短的话语实现出色的图像编辑能力。这项技术已经在今天正式开源，为用户带来了前所未有的编辑体验。
根据最新研究，多模态大模型（MLLM）能够自然地将图片作为输入，并提供视觉感知响应，展现出强大的能力。MGIE作为MLLM的应用，结合扩散模型，可以通过给定的指令对输入图像进行编辑，实现预期的目标。
与其他类似模型相比，MGIE在处理模糊的人类指令方面表现出色，能够准确理解并执行编辑任务。研究人员使用了IPr2Pr作为预训练数据集，其中包含了大量的指令和图像数据，以进行模型的训练和评估。实验结果表明，MGIE在各种编辑任务中取得了显著的成绩，包括Photoshop风格的修改、全局照片优化和局部对象修改。
通过学习基于指令的图像编辑，研究人员发现，MGIE可以根据明确的指导执行准确的编辑任务，从而增强了图像编辑的效果。在零样本和微调场景中，MLLM引导图像编辑都取得了巨大的改进。
研究人员还探索了不同的架构来使用表达指令，结果显示具有关键视觉感知的表达指令始终具有优势。综合来看，MGIE在图像编辑领域展现出了强大的潜力，并为用户提供了更加直观、高效的编辑方式。随着这一技术的不断完善和推广，相信将会给用户带来更多惊喜和便利。
剩余10%的图文内容打赏作者后可查看
联系客服
微信扫码打赏作者
金额：0.99元好的内容，值得赞赏！打赏后不支持退款！ 联系客服 扫描下方二维码关注公众号“站长资讯”，及时联系客服解决。请把【打赏记录详情】截图给客服，同时把您打赏的文章【网址】发给客服。客服会在24小时内把完整文章内容发送给您。（客服在线时间为周一至周五9:00-11:30 14:00-17:30）
span.cprice { color: #ee2222; } .pcontent { overflow: visible } .markdown { position: relative; text-overflow: ellipsis; word-wrap: break-word; padding-bottom: 160px } .trancent_block { background-color: #fff; opacity: 0; filter: alpha(opacity=0) } .carousel_collapsed_layer { display: block; width: 100%; height: 110px; position: absolute; bottom: 180px } .bg-gradient-white, .bg-gradient-snow { background-image: -webkit-linear-gradient(top,rgba(255,255,255,0) 25%,#fff 67%); background-image: linear-gradient(to bottom,rgba(255,255,255,0) 25%,#fff 67%); background-repeat: repeat-x; filter: progid:DXImageTransform.Microsoft.gradient(startColorstr='#00ffffff',endColorstr='#FFffffff',GradientType=0) } .reward-partial.reward-partial-mask { margin-top: 0px; width: 100%; z-index: 1000; position: absolute } .need-purchase { } .line-sperator { width: 100%; position: relative } .line-sperator .lock-img-div { position: absolute; top: -20px; left: 50%; margin-left: -35px; width: 70px; background: #fff; display: -webkit-box; display: -ms-flexbox; display: flex; -webkit-box-pack: center; -ms-flex-pack: center; justify-content: center } .header-item .line-sperator { width: 100%; border-bottom: 1px solid #EDEDED; position: relative } .header-item .line-sperator .lock-img-div { position: absolute; top: -20px; left: 50%; margin-left: -35px; width: 70px; background: #fff } .header-item .line-sperator .lock-img-div .lock-img { width: 20px; height: 32px } .body-item .tip-one { margin-top: 19px; font-size: 14px; color: #FF7055; line-height: 23px; text-align: center } .login-partial { position: relative; text-align: center } .hide_box { z-index: 999; filter: alpha(opacity=20); background: #000; opacity: 0.2; -moz-opacity: 0.2; left: 0; top: 0; height: 99%; width: 100%; position: fixed; display: none } .shang_box { width: 340px; height: auto; padding: 20px 20px 40px; background-color: #fff; border-radius: 10px; position: absolute; z-index: 1000; left: 210px; bottom: 100px; display: none; box-shadow: 0 3px 14px 0 rgba(199,209,215,.4) } .shang_box:after, .shang_box:before { content: " "; display: block; position: absolute; left: 160px; width: 0; height: 0 } .shang_box:after { bottom: -8px; border-top: 8px solid #fff; border-left: 8px solid transparent; border-right: 8px solid transparent } .shang_box:before { bottom: -9px; border-top: 8px solid #eaeeef; border-left: 8px solid transparent; border-right: 8px solid transparent } .shang_box img { border: none; border-width: 0 } .dashang { position: relative; margin: 40px auto 0; height: 44px; width: 124px; font-size: 16px; box-shadow: 0 10px 20px rgba(255,96,96,.4); border-radius: 22px; background: #ee2222; color: #fff; transition: all 0.3s; outline: none } button:focus { outline: none !important } .dashang:hover { opacity: 0.8; padding: 8px 15px; font-size: 18px } .dashang-text { margin-top: 10px; opacity: .5; display: block; text-align: center; line-height: 30px; font-size: 14px; color: #303030 } .shang_close { float: right; display: inline-block } .shang_logo { display: block; text-align: center; margin: 20px auto } .shang_tit { width: 100%; height: 65px; text-align: center; line-height: 66px; color: #a3a3a3; font-size: 16px; padding-top: 15px } .shang_tit p { color: #27282d; text-align: center; font-size: 16px; margin-left: 20px } .shang_payimg { width: 160px; border: 6px solid #fff; margin: 0 auto; border-radius: 3px; height: 160px } .shang_payimg img { display: block; text-align: center; width: 148px; height: 148px } .shang_paytxt { font-size: 14px; line-height: 20px; color: #27282d; margin: 10px 0 } .shang_info { clear: both } .shang_info { color: #C3C3C3; text-align: center; font-size: 12px; text-decoration: none; line-height: 2em } .success-contact { position: relative; width: 100% text-align: center; } .cbtn { margin-top: 1rem; font-size: .875rem; --tw-text-opacity: 1; color: rgb(141 148 153 / var(--tw-text-opacity)); opacity: 0.75; } .cbtn:focus { outline: 2px solid transparent; outline-offset: 2px; } .contact-wrapper { position: absolute; left: 0px; bottom: 2.25rem; font-size: .815rem; } .contact-wrapper_info { position: relative; background-color: #fff; padding: 1rem 0 0 0; line-height: 1.5rem; color: #71787e; } span.text-orange-400 { color: #f59e0b; } .contact-wxcode { width: 140px; height: 140px; margin: 1.5rem auto 0; }
微信客服
微信公众号
