百度已经为robots.txt文件中包含的规则提出了官方互联网标准。
机器人排除协议（REP）中概述的这些规则在过去25年中一直是非官方的标准。
虽然REP已通过搜索引擎，它仍然不信息流代运营是官方的，这意味着它的开发者开放的解释。此外，它从未更新以涵盖今天的用例。
作为百度表示，这为网站所有者是一个挑战，因为暧昧地写的，事实上的标准，因此很难正确地写入规则。
为了消除这一挑战，Google记录了如何在现代网络上使用REP并将其提交给互联网工程任务组（IETF）进行审核。
Google解释了草案中包含的内容：
“拟议的REP草案反映了20多年来依赖于robots.txt规则的实际经验，这些规则由Googl信息流代运营ebot和其他主要爬虫以及大约5亿依赖REP的网站使用。这些细粒度的控件使发布商有权决定他们希望在他们的网站上抓取什么，并可能向感兴趣的用户展示。“
该草案并未改变1994年制定的任何规则，它刚刚针对现代网络进行了更新。
一些更新的规则包括：
任何基于URI的传输协议都可以使用robots.txt。它不再局限于HTTP。也可用于FTP或CoAP。
开发人员必须至少解析robots.txt的前500 kibibytes。
新的最大缓存时间为24小时或缓存信息流代运营指令值（如果可用），这使网站所有者可以随时灵活地更新robots.txt。
当robots.txt文件因服务器故障而无法访问时，不会在相当长的时间内抓取已知的不允许页面。
百度对提议的草案的反馈完全开放，并表示它致力于做到正确。如何提高您的搜索可发现性并提高领先量
我们作为搜索营销人员的工作是让我们服务的品牌 - 无论是内部还是代理机构 - 都可以发现。然后，理想情况下，将可发现性转化为潜在客户。
但是，如何才能在今天的竞争搜索领域做到这一点？
6月26日，我主持了由指令首席执信息流代运营行官兼联合创始人Garrett Mehrguth 主持的SEJ ThinkTank赞助网络研讨会。
在网络研讨会中，Mehrguth分享了有关如何提高搜索可发现性的可操作提示，以便推动合格的潜在客户并提供成果。
以下是网络研讨会演示文稿的概述。
如今，品牌不仅面临与直接竞争对手的对抗，而且还面临各种SERP功能，这些功能通常会让用户点击。
那么，您如何让您的品牌可被发现并脱颖而出？
尝试“分享SERP”策略。
什么是SERP的份额？
分享SERP的做法是尽可能多地在Google中占据最有价值的查询。
当您查看Google广告搜索字词报告时，您会发现每个信息流代运营字词都能真正推动您的业务发展。
在SERP的份额中，目标不是推出更多新关键词，而是在整个搜索引擎结果页面中获取更多的市场份额，以获得您已有的重要术语。
“提供需求”比生成需求更有效。
这是一种新的搜索营销方法。
我们行业的想法是，当你开信息流代运营始看到搜索引擎优化成功时，我们通过追求更多的关键词进行扩展。
但事实是，你应该首先通过为已经有效的关键字获取更多的市场份额来扩展。
为什么这有关系？
当您进行B2B搜索时，例如查询[Top SERP软件]，您会发现10个有机列表中有10个是评论网站或付费网站。
当购买意图最强时，个别网站不再排在漏斗的底部。
换句话说，用户通过他们的查询向您显信息流代运营示他们实际上处于此购买阶段，位于渠道的底部。
您还会注意到，像这样的关键字是Google广告中最昂贵的。那是因为我们知道意图是正确的。
你甚至不会在SERP中信息流代运营看到大型企业玩家 - 这不是因为他们有一个糟糕的SEO计划。这只是客户在这个阶段查看评论而百度知道这一点。
请记住，我们只是借用Google的客户，他们希望尽可能满足每个搜索查询。
他们知道，当人们开始有购买意图时，个别网站信息流代运营并不是最好的答案。
事实上，61％的B2B买家希望通过第三方来源进行评论。
当他们在亚马逊寻找信息流代运营家居用品时，几乎所有人都习惯于查看评论，或者在城镇中查看Yelp以获得最好的早餐卷饼。
他们特别会考虑大量购买决策的评论，我们需要确保我们会被发现。这是怎么做的。
