编译：ronghuaiyang
导读
让我们来看看大型视觉模型是如何进入天生式人工智能市场的，它们的事情事理以及它们在实际商业生活中可以被特殊运用于哪些地方。在本文中，我们将考试测验向您展示 LVM 的起源、方法、运用处景以及不同的示例。
弁言根据Authority Hacker 研究，目前环球大约有 35% 的企业利用人工智能。这表明在所有业务自动化流程中运用人工智能有着显著的增长。因此，我们无法否认，在不久的将来，人工智能和机器学习险些会影响到每一家公司。
机器学习和Transformer 模型已经成为天生式人工智能行业的核心部分。近年来，LLM 在开拓 AI 谈天机器人和虚拟助手方面展示了其颠覆性的运用。我们正步入一个新时期——大型视觉模型 (LVM) 的时期。
那么，让我们来看看大型视觉模型是如何进入天生式人工智能市场的，它们的事情事理以及它们在实际商业生活中可以被特殊运用于哪些地方。在本文中，我们将考试测验向您展示 LVM 的起源、方法、运用处景以及不同的示例。
什么是大型视觉模型 (LVM)？定义大型视觉模型 (LVM) 是一种繁芜的人工智能 (AI) 系统，旨在剖析和理解视觉信息，紧张是图像或视频。LVM 可以被视为大型措辞模型 (LLM)的视觉对应物。这些模型以其弘大的参数数量为特色，常日达到数百万乃至数十亿，使它们能够把握繁芜的视觉模式。
设计大型视觉模型的架构涉及利用前辈的神经网络架构。最初，卷积神经网络 (CNN) 因其高效处理像素数据并识别层次化特色的能力而在图像处理领域霸占主导地位。最近，原来专为自然措辞处理设计的 Transformer 模型已被重新用于各种视觉任务，在某些情形下表现出更优的性能。
演习为了演习大型视觉模型，须要供应大量的视觉数据，例如图像或视频，以及相应的标签或注释，采取逐步序列建模框架。演习者仔细标记大量的图像集，为模型供应高下文。
OpenAI创造了一个完美的方案来展示它是如何事情的：
例如，在图像分类任务中，每张图像都会被打上对应的种别标签。模型通过迭代优化其参数来最小化预测结果与真实标签之间的差异。这一努力须要大量的打算资源和一个弘大且多样化的数据集来演习模型对新涌现、未见过的数据的有效泛化能力。
例如，在图像描述任务中，会天生一张图像的自然措辞描述，比如“一个男人在一个晴朗的日子里修剪草坪”。同样，在视觉问答场景中，LVM 展现出对付针对图像的自然措辞问题供应细致回答的能力，例如“这台割草机是什么颜色？”
这便是 LVM 的事情办法。现在，让我们来看看大型措辞模型 (LLM) 和大型视觉模型 (LVM) 之间的差异。
LVM 与 LLM：有何不同？在谈论 LLM 和 LVM 的差异之前，让我们简要回顾一下 LLM 的事情事理以及它与自然措辞处理 (NLP) 的联系。
大型措辞模型 (LLM) 是一种特定类型的 NLP 模型，它利用深度学习技能，尤其是像 GPT（天生式预演习Transformer）这样的模型，对大量文本数据进行演习。这种模型能够根据从演习数据中学到的模式理解和天生类似人类的笔墨。
基本上，LLM是NLP系统的关键组成部分。它们使打算机能够理解和天生类似人类的笔墨，这对付广泛的 NLP 运用至关主要，例如AI 谈天机器人、措辞翻译、文本择要、情绪剖析等。LLM 通过作为强大的措辞模型来支持许多NLP运用的根本技能，能够以高精度处理多种措辞任务。
让我们看一下下面的图表，它显示了LVM 和 LLM如何相互对应。
因此，只管 LVM 和 LLM 来自相同的观点背景，但在运用和效果上却有着显著的差异。特殊是 LLM，在通过大规模演习互联网文本数据的根本上，展现出了理解与天生文本的卓越能力。
这一造诣基于一个关键不雅观察：互联网文本与专有文档之间的相似度足够高，使得 LLM 能够闇练地适应并理解广泛的文本内容。这便是我们现在看到的紧张 LLM 与 LVM 差异所在。
大型视觉模型的例子有哪些？至少有四家大公司已经被公认为是当今 LVM 领域的顶级推动者：
OpenAIMetaGoogleLandingAI那么，让我们深入理解一下这些公司开拓和支持的 LVM 示例。
OpenAI 的 CLIPCLIP或比拟式措辞-图像预演习是一种神经网络，它利用多样化的图像凑集及其对应的文本描述进行演习。通过这个过程，它得到了理解和以符合自然措辞描述的办法表述图像内容的能力。
利用这一能力，该模型能够实行多种视觉干系的任务，包括零样本分类，通过在自然措辞的背景下阐明图像。此模型可以轻松运用于许多天生式 AI 初创企业。它的演习数据集包含 4 亿对图像和文本，使它能够有效地连接打算机视觉和自然措辞处理。因此，CLIP 在诸如标题预测和图像择要等任务中表现出色，纵然没有针对这些详细目标进行专门演习。
Meta 的 DINOv2DINOv2是一种自我监督的视觉 Transformer 模型，属于根本模型家族，能够产生适用于图像级别的视觉任务（如图像分类、实例检索、视频理解）以及像素级别的视觉任务（如深度估计、语义分割）的通用特色。
一个包含 1.42 亿张图像的大型预演习数据集经由精心网络和整理，来源于网络爬取的数据，确保覆盖各种主要的视觉领域。这种方法建立在 DINO 和 iBOT 的根本上，并进行了多项改进，旨在提高特色的质量和预演习过程的效率。
此外，由这些模型天生的冻结特色在一系列视觉任务上进行了评估，包括粗粒度和细粒度的视觉分类，以及视频理解。这些结果与采取自我监督和弱监督技能的替代方法进行了仔细比较。
Google 的 ViTGoogle 的视觉 Transformer (ViT)完备采取了最初在自然措辞处理中利用的 Transformer 模型架构，用于图像乃至是面部识别的任务。它采纳了一种类似于 Transformer 处理单词序列的办法来处理图像，证明了其在从图像数据中识别干系特色以进行分类和剖析目的方面的有效性。此外，视觉 Transformer 将输入图像视为一系列patch，类似于自然措辞处理 (NLP) Transformer 天生的一系列词嵌入。
利用视觉 Transformer 框架，图像被视为一系列patch。每个patch被展平成一个单独的向量，类似于在 Transformer 中处理文本数据时利用词嵌入的方法。这种方法授予 ViT 自主节制图像构造方面并就种别标签做出预测的能力。
Landing AI 的 LandingLensLandingLens由 LandingAI 开拓，是一个旨在简化打算机视觉模型创建和开拓的平台。该平台是 LVM 示例之一，许可用户构建和评估环绕视觉数据的 AI 项目，适用于各种行业，而无需具备深厚的 AI 专业知识或繁芜的编程技能。
通过标准化不同的深度学习办理方案，该平台缩短了开拓周期，并促进了在环球范围内的无缝扩展。用户可以保持灵巧性来自行构建深度学习模型，并在不影响生产效率的情形下微调检测准确性。
因此，通过利用 Landing AI 的 LVM，该平台优先考虑大幅减少开拓韶光表，将几个月的事情压缩到几周之内，同时简化诸如标注、演习和模型支配等流程。
LandingLens 供应直不雅观的分步用户界面，简化了开拓过程，使AI 开拓者能够构建特定领域的 LVM，而无需深入的技能专业知识。
大型视觉模型的运用处景有哪些？LVM 运用处景：本日我们可以在哪些领域利用大型视觉模型？如何将 LVM 整合到不同的行业和业务中？让我们试着找出答案。
大型视觉模型在各个行业中都有运用，从医疗保健和电子商务到安全、零售、娱乐和环境监测，展示了它们在当代技能进步中的多样性和主要性。
内容创作和娱乐：
影视和视频编辑：LVM 自动化视频编辑和后期制作的部分事情。游戏开拓：它们增强了现实环境和角色的创造。图像和视频增强：这些模型提高了图像和视频的质量。内容审核：LVM 自动检测并标记不适当或有害的视觉内容。医疗保健和医学影像：
疾病诊断：从 X 光片、MRI 或 CT 扫描等医学影像中识别疾病，例如检测肿瘤、骨折或非常。病理学：在病理学中检讨组织样本以检测疾病的迹象，如癌症。眼科学：通过剖析视网膜图像赞助疾病诊断。物流和运输：
导航和障碍规避：通过解读实时视觉数据，帮助自动驾驶汽车和无人机进行操纵和避障。物流中的 ML：利用 AI 驱动的视觉运用来帮助机器人完身分类、组装和质量考验任务。安全和监控：
面部识别：在安全系统中用于身份验证和追踪目的。行为监控：剖析视频流以识别非常或可疑行为。电子商务和零售：
视觉搜索：在电子商务行业中，使顾客能够利用图像而非文本进行产品搜索。库存管理：通过视觉识别技能实现库存监控和管理的自动化。农业：
作物监测与剖析：利用无人机或卫星图像监测作物康健状况和成长情形。害虫检测：识别影响作物的害虫和疾病。环境监测：
野生动物追踪：为保护事情识别和追踪野生动物。地皮利用和地皮覆盖剖析：监测随韶光变革的地皮利用和植被覆盖情形。总的来说，可以通过压缩和优化技能（如剪枝、量化或蒸馏）将 LVM 定制为边缘设备适用。剪枝肃清了多余的或冗余的参数，量化减少了表示每个参数所需的位数，而蒸馏则将知识从大型模型转移到小型模型。
通过采取这些方法和技能，并利用当代AI 技能，LVM 缩小了其大小、内存占用和延迟，同时保持了性能的完全性。这种适应性使它们非常适宜并且能够在各种运用和硬件环境中扩展。
大型视觉模型面临的寻衅有哪些？只管具有巨大的潜力，大型视觉模型 (LVM) 还面临着诸多寻衅，必须有效办理这些问题才能促进广泛采取和伦理利用。个中一个关键问题是数据偏见，由于演习在有偏见的数据集上的模型可能会碰着社会偏见。办理这一寻衅须要建立方法以确保演习数据的多样性和代表性。
根据诊断影像研究，在 555 个 AI 模型中，研究职员创造 83.1%（461 个模型）存在高度偏见风险 (ROB)。元剖析作者还指出，在 71.7%（398 个模型）的样本量不敷，并且在 99.1%（550 个模型）的 AL 模型中处理数据繁芜性不足充分。
另一个障碍源于 LVM 的可阐明性问题，这是由于深度神经网络本身的繁芜性造成的。要在这些模型中建立信赖，就须要发展方法来清晰地阐明和理解它们的决策过程。
此外，无论是演习还是支配，都须要大量的打算资源，这对天生式 AI 初创企业和研究职员来说可能是一个潜在的障碍。随着 LVM 的规模和繁芜性的不断增长，确保其可访问性成为了一个主要的考量成分。
末了，隐私问题尤其突出，尤其是在 LVM 用于监控运用的情境下。在利用这项技能的上风与保护个人隐私权利之间找到奇妙的平衡对付道德和负任务的支配至关主要。
大型视觉模型 (LVM) 的未来展望未来，大型视觉模型在AI/ML 开拓中的路径充满无限潜力，不仅塑造着技能格局，而且也在改变着各行各业的运作动态。
LVM 发展的增长在大型视觉模型领域持续的研究和发展努力正准备打破现有界线。工程师们正在积极探索创新的架构、优化技能和演习方法，以提高这些模型的效率和性能。持续努力办理诸如模型可阐明性、降落打算需求以及开拓节能办理方案等问题有望推动大型视觉模型的发展。
NLP 与 LVM 的结合大型视觉模型与其他 AI 技能的领悟有望创造出协同效应，从而放大人工智能的整体能力。大型视觉模型与自然措辞处理 (NLP) 模型之间的互助可能会导致更加全面的 AI 系统，这些系统能够理解和天生视觉和文本信息。此外，大型视觉模型与强化学习技能的领悟可能有助于在动态和繁芜的环境中做出更高等别的决策。
跨行业的潜力大型视觉模型在各个行业的潜力深远。在医疗保健领域，这些模型可能会彻底改变诊断、药物创造和个人化医疗，增强医疗专业职员的能力。在制造业，大型视觉模型可以优化质量掌握过程，从而提高效率并减少毛病。
零售业也将受益于这些模型所促进的前辈推举系统和无收银员结账办理方案。此外，大型视觉模型在自动驾驶车辆中的集成可能会推动更安全、更可靠的交通系统的开拓。
来自正在进行的研究的思想和技能交叉领悟有望产生不仅更强大而且更易获取的办理方案，推动 AI 能力在各个行业的遍及，如教诲、物流或汽车领域。随着大型视觉模型的不断发展，它们与其它 AI 技能的无缝集成及其对各个领域产生的积极影响预示着一个未来，在那里 AI 成为日常生活不可或缺的一部分，通过智能、效率和定制的精确性提升各项任务。
结论企业须要为充满 AI 技能的未来做好准备。LLM、LVM 和其他 AI 模型已成为技能领域不可或缺的实体。随着我们拥抱正在进行的研究、期待跨学科互助，并预见它们对各个行业的变革性影响，很明显，大型视觉模型不仅仅是一种工具。这些 AI 模型表示了我们在对待和利用人工智能方法上的范式转变。
—END—
英文原文：https://medium.com/@springs_apps/a-new-era-of-large-vision-models-lvms-after-the-llms-epoch-approach-examples-use-cases-7c41f1aaf5cd
