独立站sitemap、robots是什么？怎么配置？

这俩东西说白了就是给谷歌看的说明书。robots.txt是告诉爬虫哪些能爬哪些别碰，sitemap就是一张地图，把你所有页面列给谷歌看。新手最容易犯的错是robots写错，一不小心把整站都屏蔽了，那你就等着哭吧，我见过有人这么干过，一个月没收录才发现。 配置很简单，robots.txt放根目录，内容大概就这几行：User-agent: * 然后 Allow: /，最后加一行 Sitemap: 你的域名/sitemap.xml。别去写一堆Disallow，新手没必要。 sitemap用插件自动生成就行，Shopify、WordPress都有现成的，别手写。生成完去谷歌Search Console提交一下，等它慢慢抓。记住，这俩是基础活，不复杂，但配错了影响很大，配之前先想清楚。

这俩东西啊，说白了就是给你的独立站画地图、立规矩。 sitemap就是网站地图，告诉谷歌你网站上有哪些页面，方便它去抓。robots呢，是给搜索引擎爬虫立的规矩，哪些能爬哪些不能爬，写在一个txt文件里。 配置其实不难。sitemap你可以用工具自动生成，比如WordPress装个Yoast插件，它自动帮你生成一个sitemap.xml，你把它提交到谷歌Search Console就行。robots.txt放在网站根目录，一般写个"User-agent: *"加"Allow: /"就让它全爬，后台管理页这种不想被收录的就写Disallow。 我当年做站的时候，这俩东西都是我自己弄的，花不了半小时。你别被这些术语吓到，工具都帮你搞定了，你只要知道它们是干嘛的就行。真正难的还是内容和询盘，那才是要下功夫的地方。