【有个问题，像百度的蜘蛛是怎么可以发现一个网站不对外开放的url】

文章插图
有一个问题 。百度这样的蜘蛛如何找到一个不对外开放的网站的网址？有一个问题 。像百度这样的蜘蛛如何找到一个不对外开放的网站的url profile？完全不给权限 ， 但是可以看到没有权限看不到的网址链接 。虽然进不去 ， 但是很奇怪这些蜘蛛是怎么找到解决办法的:哈 ， 我猜百度是在扫描用户的缓存 。不知道我是否猜对了 。而是要去翻你的隐私 。lt/brgt；这已经发生在我身上了 。

• 见问题描述 分类查询该怎么做?
• os@git推代码问题
• 有个疑问：运维工程师学习go语言好 还是python好呢 ？希望了解的指点一下，谢谢！
• Mybatis配置问题
• Mybatis SQL问题
• window7系统和ubuntu共存问题，找回ubuntu的启动项
• C# 关于十六进制问题。。。。
• 请教个lucene的查询问题
• 哪位帮改下正则的问题？
• ztree全部展开时异步加载混乱的问题