robots.txt?????

Vermoedelijk worden er bepaalde HTTP-headers meegestuurd die een bezoek blokkeren.

Kijk eens naar web-sniffer.net

Als je geen robots.txt hebt zijn er ook geen blokkades, tenzij je dit rechtstreeks hebt ingesteld in webmaster tools.

Heb dus wel een robots.txt:

## robots.txt for Magento Community and Enterprise
 
## GENERAL SETTINGS
 
## Enable robots.txt rules for all crawlers
User-agent: *
 
## Crawl-delay parameter: number of seconds to wait between successive requests to the same server.
## Set a custom crawl rate if you're experiencing traffic problems with your server.
# Crawl-delay: 30
 
## Magento sitemap: uncomment and replace the URL to your Magento sitemap file
Sitemap: https://www.abcwinkel.nl/sitemap/httpssitemap.xml
 
## DEVELOPMENT RELATED SETTINGS
 
## Do not crawl development files and folders: CVS, svn directories and dump files
Disallow: /CVS
Disallow: /*.svn$
Disallow: /*.idea$
Disallow: /*.sql$
Disallow: /*.tgz$
 
## GENERAL MAGENTO SETTINGS
 
## Do not crawl Magento admin page
Disallow: /admin/
 
## Do not crawl common Magento technical folders
Disallow: /app/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /shell/
Disallow: /var/
 
## Do not crawl common Magento files
Disallow: /api.php
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /get.php
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /README.txt
Disallow: /RELEASE_NOTES.txt
 
## MAGENTO SEO IMPROVEMENTS
 
## Do not crawl sub category pages that are sorted or filtered.
Disallow: /*?dir*
Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /*?mode*
 
## Do not crawl 2-nd home page copy (example.com/index.php/). Uncomment it only if you activated Magento SEO URLs.
## Disallow: /index.php/
 
## Do not crawl links with session IDs
Disallow: /*?SID=
 
## Do not crawl checkout and user account pages
Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /customer/
Disallow: /customer/account/
Disallow: /customer/account/login/
 
## Do not crawl seach pages and not-SEO optimized catalog links
Disallow: /catalogsearch/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
 
## SERVER SETTINGS
 
## Do not crawl common server technical folders and files
Disallow: /cgi-bin/
Disallow: /cleanup.php
Disallow: /apc.php
Disallow: /memcache.php
Disallow: /phpinfo.php
 
## IMAGE CRAWLERS SETTINGS
 
## Extra: Uncomment if you do not wish Google and Bing to index your images
# User-agent: Googlebot-Image
# Disallow: /
# User-agent: msnbot-media
# Disallow: /

En wat zegt Google Webmasters?

Waarschuwingen
URL geblokkeerd door robots.txt.
Sitemap bevat URL's die worden geblokkeerd door robots.txt.
6
Waarde: https://www.abcwinkel.nl/catalogsearch/advanced/
-
23 feb. 2016
Waarde: https://www.abcwinkel.nl/catalogsearch/term/popular/
-
23 feb. 2016
Waarde: https://www.abcwinkel.nl/checkout/cart/
-
23 feb. 2016
1-1 van 1


Hij heeft ook maar 1663 verzonden en maar 4 geindexeerd

Ik zie niet echt een probleem, want het gaat om de pagina die je volgens je robots.txt juist niet wilt indexeren. Zoals je shoppingcart, of je searchresult-pagina.

Indexeren kost altijd tijd voor Google, wel handig om hier rekening mee te houden.
Eventueel kan je een sitemap.xml gebruiken.

ik gebruik een sitemap xml en krijg die error bij het uploade

Dan zal die sitemap de geblokkeerde URL's bevatten.