tilecache: block fake FF UA
[chef.git] / cookbooks / tilecache / templates / default / squid.conf.erb
1 acl osmtile_sites dstdomain a.tile.openstreetmap.org b.tile.openstreetmap.org c.tile.openstreetmap.org tile.openstreetmap.org a.tile.osm.org b.tile.osm.org c.tile.osm.org tile.osm.org
2 acl osmtiles_png urlpath_regex .png$
3
4 acl osmtileScrapers browser ^$
5 acl osmtileScrapers browser ^MOBAC
6 acl osmtileScrapers browser ^JTileDownloader
7 acl osmtileScrapers browser ^Apache\-HttpClient
8 acl osmtileScrapers browser ^Opera\/10\.00
9 acl osmtileScrapers browser ^shipxy01
10 #acl osmtileScrapers browser ^OsmAnd #Victor + Email. Whitelist for 1 week
11 #acl osmtileScrapers browser ^apemap #CGI143 + Email. Whitelist for 1 week
12 acl osmtileScrapers browser Firefox\/2\.0\.0\.11$
13 #acl osmtileScrapers browser Firefox\/3\.5\.7$ #CGI285 + Email. Whitelist for 1 week
14 acl osmtileScrapers browser Firefox\/3\.6$
15 acl osmtileScrapers browser ^Mozilla\/5\.0$ #QLandkarte unwilling to set a real user-agent.
16 acl osmtileScrapers browser ^Mozilla$ #Intentionally faked user-agent
17 acl osmtileScrapers browser ^User\-Agent
18 acl osmtileScrapers browser Firefox\/0\.8$
19 acl osmtileScrapers browser Firefox\/1\.0$
20 acl osmtileScrapers browser Firefox\/1\.0\.7$
21 acl osmtileScrapers browser K\-Meleon\/1\.02$
22 acl osmtileScrapers browser MSIE.7\.0.*Windows.NT.5\.1.*2\.0\.50727.$
23 acl osmtileScrapers browser MSIE.5.5
24 acl osmtileScrapers browser ^LoadOSM\.exe$
25 acl osmtileScrapers browser ^app_name$
26 # TEMPORARY unblock of osmdroid-based apps which should be setting their unique
27 # User-Agent, but aren't. Re-block on/near 2016-08-29.
28 #acl osmtileScrapers browser ^osmdroid$ # app using osmdroid library not setting app-specific User-Agent
29 #acl osmtileScrapers browser ^Mozilla/5\.0 \(Windows NT 5\.1\)$ # Faked User-Agent
30 acl osmtileScrapers browser Firefox\/3\.0
31 acl osmtileScrapers browser Firefox\/4\.0
32 acl osmtileScrapers browser Firefox\/5\.0
33 acl osmtileScrapers browser Firefox\/6\.0
34 acl osmtileScrapers browser Firefox\/7\.0
35 acl osmtileScrapers browser Firefox\/8\.0
36 acl osmtileScrapers browser Firefox\/9\.0
37 acl osmtileScrapers browser Firefox\/10\.0
38 acl osmtileScrapers browser Firefox\/11\.0
39 acl osmtileScrapers browser Firefox\/12\.0
40 acl osmtileScrapers browser Firefox\/13\.0
41
42 acl is_fake_browser browser Firefox\/3\.0
43 acl is_fake_browser browser Firefox\/4\.0
44 acl is_fake_browser browser Firefox\/5\.0
45 acl is_fake_browser browser Firefox\/6\.0
46 acl is_fake_browser browser Firefox\/7\.0
47 acl is_fake_browser browser Firefox\/8\.0
48 acl is_fake_browser browser Firefox\/9\.0
49 acl is_fake_browser browser Firefox\/10\.0
50 acl is_fake_browser browser Firefox\/11\.0
51 acl is_fake_browser browser Firefox\/12\.0
52 acl is_fake_browser browser Firefox\/13\.0
53
54 http_access deny osmtile_sites osmtileScrapers
55
56 acl osmtileOverusers referer_regex ^https?://pmap\.kuku\.lu/
57 acl osmtileOverusers referer_regex ^https?://[^.]*\.pmap\.kuku\.lu/
58 acl osmtileOverusers referer_regex ^https?://fastpokemap\.com/
59 acl osmtileOverusers referer_regex ^https?://[^.]*\.fastpokemap\.com/
60
61 http_access deny osmtile_sites osmtileOverusers
62
63 # Delay pool when !has_referer and is_browser
64 acl has_referer referer_regex .
65 acl is_browser browser Mozilla
66
67 acl whitelist_path urlpath_regex ^/cgi-bin/(export|debug)
68 acl blacklist_path urlpath_regex ^/cgi-bin/
69 acl blacklist_path urlpath_regex ^/MyAdmin/
70 acl blacklist_path urlpath_regex ^/myadmin/
71 acl blacklist_path urlpath_regex ^/pma/
72 acl blacklist_path urlpath_regex ^/phpmyadmin/
73 acl blacklist_path urlpath_regex ^/phpMyAdmin/
74 acl blacklist_path urlpath_regex ^/idssvc/
75 acl blacklist_path urlpath_regex ^/iesvc/
76 acl blacklist_path urlpath_regex ^/invoker/
77 acl blacklist_path urlpath_regex ^/jmx-console/
78 acl blacklist_path urlpath_regex ^/manager/
79 acl blacklist_path urlpath_regex ^/service/
80 acl blacklist_path urlpath_regex ^/web-console/
81 acl blacklist_path urlpath_regex ^/wstats/
82 acl blacklist_path urlpath_regex ^/zecmd/
83
84 http_access allow osmtile_sites whitelist_path
85 http_access deny blacklist_path
86
87 acl requestMethodGet method GET
88
89 http_access allow osmtile_sites requestMethodGet
90
91 acl osmtile_nocache_url urlpath_regex \.png/(status|dirty)$
92 cache deny osmtile_sites osmtile_nocache_url
93
94 <% node[:tilecache][:tile_siblings].each do |sibling| -%>
95 cache_peer <%= sibling %> sibling 3128 3130 weight=1500
96 <% end -%>
97 #Primary Parent
98 cache_peer <%= node[:tilecache][:tile_parent] %> parent 80 0 no-query originserver name=osmtileAccel login=PASS connect-timeout=120 no-digest weight=1000
99 cache_peer_access osmtileAccel allow osmtile_sites
100
101 #Backup Parents
102 <% @renders.each do |renders| -%>
103 cache_peer <%= renders[:hostname] %>.render.openstreetmap.org parent 80 0 no-query originserver name=osmtileAccelBackup<%= renders[:hostname] %> login=PASS connect-timeout=60 no-digest weight=10
104 cache_peer_access osmtileAccelBackup<%= renders[:hostname] %> allow osmtile_sites
105 <% end -%>
106
107 #----------------------------------
108 #Create an unlimited pool for cache IP addresses
109 acl pool_unlimited src 127.0.0.1
110 <% @caches.each do |cache| -%>
111 <% cache.ipaddresses(:family => :inet, :role => :external).sort.each do |address| -%>
112 acl pool_unlimited src <%= address %>
113 acl tile_caches src <%= address %>
114 <% end -%>
115 <% end -%>
116 #AOL External (London Hack Weekend)
117 acl pool_unlimited src 64.236.163.23
118 #SoTM-US 2014
119 acl pool_unlimited src 66.78.217.141
120 #SoTM-US 2014 Hack Day Red Cross
121 acl pool_unlimited src 162.6.86.34
122 acl pool_unlimited src 162.6.86.35
123 acl pool_unlimited src 162.6.86.36
124 #Telenav Whitelist - mvexel
125 acl pool_unlimited src 108.60.98.6
126 #SoTM-EU 2014
127 acl pool_unlimited src 185.52.244.32/29
128
129 #Allow tile_caches ICP access
130 icp_access allow tile_caches
131
132 <% (0..127).each do |i| -%>
133 acl pool_<%= sprintf("%03d", 2*i) %> src <%= 2*i %>.0.0.0/7
134 <% end %>
135
136 delay_pools 256
137 delay_initial_bucket_level 25
138
139 <% (1..256).each do |i| -%>
140 delay_class <%= i %> 3
141 <% end %>
142 #bit mask
143 # xxxxxxx- -------- xxxxxxxx xxxxxxxx
144
145 # small pools for faked browsers
146 <% (0..127).each do |i| -%>
147 delay_access <%= i+1 %> allow pool_<%= sprintf("%03d", 2*i) %> !pool_unlimited is_fake_browser osmtile_sites
148 delay_access <%= i+1 %> deny all
149 delay_parameters <%= i+1 %> -1/-1 <%= node[:tilecache][:net_bucket_refill] / 30 %>/<%= node[:tilecache][:net_bucket_size] / 30 %> <%= node[:tilecache][:ip_bucket_refill] / 30 %>/<%= node[:tilecache][:ip_bucket_size] / 30 %>
150 <% end %>
151
152 # small pools for !has_referer && is_browser - designed to slow down anyone
153 # using no-referer to bypass blocks due to abusive levels of use.
154 <% (0..127).each do |i| -%>
155 delay_access <%= i+1 %> allow pool_<%= sprintf("%03d", 2*i) %> !pool_unlimited !has_referer is_browser osmtile_sites
156 delay_access <%= i+1 %> deny all
157 delay_parameters <%= i+1 %> -1/-1 <%= node[:tilecache][:net_bucket_refill] / 10 %>/<%= node[:tilecache][:net_bucket_size] / 10 %> <%= node[:tilecache][:ip_bucket_refill] / 10 %>/<%= node[:tilecache][:ip_bucket_size] / 10 %>
158 <% end %>
159
160 # bigger pools for users providing a referer (assuming it's not blocked)
161 # or non-browser users.
162 <% (0..127).each do |i| %>
163 delay_access <%= i+129 %> allow pool_<%= sprintf("%03d", 2*i) %> !pool_unlimited osmtile_sites
164 delay_access <%= i+129 %> deny all
165 delay_parameters <%= i+129 %> -1/-1 <%= node[:tilecache][:net_bucket_refill] %>/<%= node[:tilecache][:net_bucket_size] %> <%= node[:tilecache][:ip_bucket_refill] %>/<%= node[:tilecache][:ip_bucket_size] %>
166 <% end %>
167
168 #----------------------------------