利用生成式人工智能技术，图像搜索将迎来新的定义

发布时间：2023-10-26 10:30:59 所属栏目：动态来源：

导读：由于最近几个月产生的人工智能展现出以独特的方式创建文字、音调和视觉内容的特长而深得人们喜爱。然而，除产生新资料外，生成式AI还具有强大的能力。

图像和文本嵌入
传统的图像搜索依赖于图像附带的文本描述、

由于最近几个月产生的人工智能展现出以独特的方式创建文字、音调和视觉内容的特长而深得人们喜爱。然而，除产生新资料外，生成式AI还具有强大的能力。

图像和文本嵌入
传统的图像搜索依赖于图像附带的文本描述、标记和其他元数据，这将用户的搜索选项限制为已经明确附加到图像中的信息。上传图像的人必须认真考虑输入的搜索查询类型，以确保他们的图像被他人发现。而在搜索图像时，查询信息的用户必须尝试想象图像上传者可能在图像中添加了什么样的描述。

这就是人工智能图像搜索发挥重要作用的地方。人工智能图像搜索有不同的方法，不同的公司有自己的专有技术。然而，有些技术是这些公司所共有的。

人工智能图像搜索以及许多其他深度学习系统的核心是嵌入，嵌入是不同数据类型的数值表示。例如，512×512分辨率的图像包含大约26万个像素(或特征)。嵌入模型试图通过对数百万张图像进行训练来学习视觉数据的低维表示。图像嵌入可以有许多有用的应用，包括压缩图像、生成新图像或比较不同图像的视觉属性。

原理
但是，当图像和文本嵌入一起训练时，事情变得更加有趣。像LAION这样的开源数据集包含数以百万计的图像及其相应的文本描述。当文本和图像嵌入在这些图像/标题对进行联合训练或微调时，它们会学习视觉和文本信息之间的关联。这就是深度学习技术背后的思想，例如对比图像语言预训练(CLIP)。

现在，有了可以从文本转换为视觉嵌入的工具。当为这个联合模型提供文本描述时，它将创建文本嵌入及其相应的图像嵌入。然后，可以将图像嵌入与数据库中的图像进行比较，并检索与它最密切相关的图像。这基本上就是人工智能图像搜索的工作原理。

在上面的例子中，人工智能搜索返回了一组图像，其视觉特征与这个查询相匹配。其中很多的文字描述都没有包含查询的关键词。但它们的嵌入与查询的嵌入相似。如果没有人工智能图像搜索，要找到合适的图像就会困难得多。

从发现到创造
有时，人们寻找的图像并不存在，甚至通过人工智能搜索也无法找到它。在这种情况下，生成式人工智能可以通过两种方式之一帮助用户实现预期的结果。

第一种方法是根据用户的查询从头创建一个新图像。在这种情况下，文本到图像生成模型(例如Stable Diffusion或DALL-E)为用户的查询创建嵌入，并使用它创建图像。生成模型利用对比图像语言预训练（CLIP）等联合嵌入模型和其他架构(例如Transformer或扩散模型)将嵌入的数值转换为令人惊叹的图像。

第二种方法是采用现有的图像，并使用生成模型根据自己的喜好进行编辑。例如，在返回松林的图片中，草地上的蘑菇是缺失的。用户可以使用其中一张认为合适的图像作为起点，并使用生成模型将蘑菇添加到其中。这个功能的另一个好处是，它允许用户创建自己的蘑菇，并且可以通过在线工具进行修改。

（编辑：驾考网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!