User-agent: *
Allow: /

# 允许爬取所有页面
Allow: /index.html
Allow: /about.html
Allow: /services.html
Allow: /blog.html
Allow: /contact.html
Allow: /blog-post-*.html
Allow: /privacy-policy.html
Allow: /terms-of-service.html

# 允许爬取资源文件
Allow: /css/
Allow: /js/
Allow: /images/

# 禁止爬取PHP文件和后台
Disallow: /php/
Disallow: /db_config.php
Disallow: /db_setup.php
Disallow: /*.php$
Disallow: /popup.html
Disallow: /logo-preview.html

# 指定sitemap位置
Sitemap: https://vitaria.life/sitemap.xml

# 爬取延迟（对服务器友好）
Crawl-delay: 1

# 特定搜索引擎优化
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: Slurp
Allow: /
Crawl-delay: 2

User-agent: DuckDuckBot
Allow: /
Crawl-delay: 1

User-agent: Baiduspider
Allow: /
Crawl-delay: 3

# 主机偏好设置
Host: vitaria.life