{"id":3897,"date":"2017-12-04T10:50:37","date_gmt":"2017-12-04T09:50:37","guid":{"rendered":"http:\/\/webmasters-toolbox.de\/?post_type=glossary&#038;p=3897"},"modified":"2017-12-04T11:20:32","modified_gmt":"2017-12-04T10:20:32","slug":"robots-txt","status":"publish","type":"glossary","link":"https:\/\/webmasters-toolbox.de\/en\/glossary\/robots-txt\/","title":{"rendered":"robots.txt"},"content":{"rendered":"<p>Eine\u00a0<strong><code>robots.txt<\/code><\/strong>-Datei ist eine Datei im Stammverzeichnis Ihrer Website, in der die Teile Ihrer Website angegeben sind, auf die Suchmaschinen-Crawler nicht zugreifen sollen. Die Datei verwendet den\u00a0<a href=\"http:\/\/de.wikipedia.org\/wiki\/Robots_Exclusion_Standard\" target=\"_blank\" rel=\"noopener\">Robots Exclusion Standard<\/a>, ein Protokoll mit einigen Befehlen.<\/p>\n<p>Damit werden die Zugriffsm\u00f6glichkeiten auf Ihre Website f\u00fcr einzelne Abschnitte und f\u00fcr verschiedene Typen von Web-Crawlern angegeben, wie z.\u00a0B. mobile Crawler im Gegensatz zu Desktop-Crawlern.<\/p>\n<p><em>Siehe auch:<\/em> <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062608?hl=de&amp;ref_topic=6061961\" target=\"_blank\" rel=\"noopener\">Informationen zur robots.txt-Datei<\/a><\/p>\n<p>[adrotate banner=&#8220;6&#8243;]<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Eine\u00a0robots.txt-Datei ist eine Datei im Stammverzeichnis Ihrer Website, in der die Teile Ihrer Website angegeben sind, auf die Suchmaschinen-Crawler nicht zugreifen sollen. Die Datei verwendet den\u00a0Robots Exclusion Standard, ein Protokoll mit einigen Befehlen. Damit werden die Zugriffsm\u00f6glichkeiten auf Ihre Website f\u00fcr einzelne Abschnitte und f\u00fcr verschiedene Typen von Web-Crawlern angegeben, wie z.\u00a0B. mobile Crawler im [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":0,"menu_order":0,"template":"","meta":{"footnotes":""},"class_list":["post-3897","glossary","type-glossary","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/webmasters-toolbox.de\/en\/wp-json\/wp\/v2\/glossary\/3897","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/webmasters-toolbox.de\/en\/wp-json\/wp\/v2\/glossary"}],"about":[{"href":"https:\/\/webmasters-toolbox.de\/en\/wp-json\/wp\/v2\/types\/glossary"}],"author":[{"embeddable":true,"href":"https:\/\/webmasters-toolbox.de\/en\/wp-json\/wp\/v2\/users\/2"}],"version-history":[{"count":0,"href":"https:\/\/webmasters-toolbox.de\/en\/wp-json\/wp\/v2\/glossary\/3897\/revisions"}],"wp:attachment":[{"href":"https:\/\/webmasters-toolbox.de\/en\/wp-json\/wp\/v2\/media?parent=3897"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}